Высокоточная повышающая дискретизация при масштабируемом кодировании видеоизображений с высокой битовой глубиной

Авторы патента:

ЛУ Таожань (US)

ИНЬ Пэн (US)

ЧЭНЬ Тао (US)

H04N19/33 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

Владельцы патента RU 2610589:

ДОЛБИ ЛАБОРАТОРИС ЛАЙСЭНЗИН КОРПОРЕЙШН (US)

Изобретение относится к вычислительной технике. Технический результат заключается в сохранении точности операций повышающей дискретизации. В системе масштабируемых видеоизображений способ повышающей дискретизации данных изображения c первого уровня на второй уровень включает определение параметров масштабирования и округления в ответ на требования системы масштабируемых видеоизображений к битовой глубине. Входные данные сначала фильтруются по первому пространственному направлению с использованием первого параметра округления с целью генерирования первых данных с повышенной дискретизацией. Путем масштабирования первых данных с повышенной дискретизацией с использованием первого параметра сдвига генерируются первые промежуточные данные, которые затем фильтруются по второму пространственному направлению с использованием второго параметра округления с целью генерирования вторых данных с повышенной дискретизацией. Затем путем масштабирования вторых данных с повышенной дискретизацией с использованием второго параметра сдвига генерируются вторые промежуточные данные. Окончательные данные с повышенной дискретизацией можно генерировать путем подвергания отсечению вторых промежуточных данных. 3 н. и 10 з.п. ф-лы, 3 ил.

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/745050, поданной 21 декабря 2012 г., которая посредством ссылки полностью включается в настоящий документ.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение в целом относится к изображениям. В частности, один из вариантов осуществления настоящего изобретения относится к высокоточной повышающей дискретизации в масштабируемых видеокодеках для видеоизображений с высокой битовой глубиной.

УРОВЕНЬ ТЕХНИКИ

[0003] Сжатие звука и видеоизображений является ключевой составляющей при разработке, хранении, распространении и потреблении мультимедийного содержимого. Выбор способа сжатия включает компромиссы между эффективностью кодирования, сложностью кодирования и задержкой. По мере того, как увеличивается отношение вычислительной мощности к вычислительным затратам, оно позволяет разрабатывать более сложные методики сжатия, делающие возможным более эффективное сжатие. В качестве примера в сжатии видеоизображений Экспертная группа по вопросам движущегося изображения (MPEG) из Международной организации по стандартам (ISO) продолжила совершенствовать первоначальный видеостандарт MPEG-1, выпустив стандарты кодирования MPEG-2, MPEG-4 (part 2) и H.264/AVC (или MPEG-4, part 10).

[0004] Несмотря на эффективность кодирования и успех H.264, в настоящее время в разработке находится технология сжатия видеоизображений нового поколения, известная как высокоэффективное кодирование видеоизображений (HEVC). Технология HEVC, проект которой доступен в документе JCTVC-K1003 Объединенной команды по кодированию видеоизображений ITU-T/ISO/IEC (JCT-VC) «High efficiency video coding (HEVC) text specification draft 9», октябрь 2012 г., авторы B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, T. Wiegand, который посредством ссылки полностью включается в настоящий документ, направлен на обеспечение способности к сжатию, улучшенной относительно существующего стандарта H.264 (так же известного как AVC), опубликованного как документ «Advanced Video Coding for generic audio-visual services», ITU T Rec. H.264, и стандарта ISO/IEC 14496-10, которые посредством ссылки полностью включаются в настоящий документ.

[0005] Видеосигналы можно охарактеризовать множеством параметров, таких как битовая глубина, цветовое пространство, цветовая гамма и разрешение. Современные телевизоры и устройства для воспроизведения видеоизображений (например, проигрыватели Blu-ray) поддерживают различные разрешения, в том числе стандартную четкость (например, 720×480i) и высокую четкость (HD; например, 1090×1080р). Форматом разрешения следующего поколения является сверхвысокая четкость (UHD) с разрешением 3840×2160. Сверхвысокую четкость также можно именовать Ultra HD, UHDTV или Super High-Vision. В рамках настоящего документа «UHD» обозначает любое разрешение выше, чем разрешение HD.

[0006] Другой особенностью характеристики сигнала является его динамический диапазон. Динамический диапазон HD представляет собой диапазон интенсивности (например, яркости, luma) на изображении, например, от самых темных до самых ярких. В рамках настоящего документа термин «динамический диапазон» (DR) может относиться к способности психовизуальной системы человека (HVS) воспринимать диапазон интенсивности (например, яркости, luma) на изображении, например, от самых темных до самых ярких. В этом смысле, DR относится к интенсивности «в отношении сцены». DR также может относиться к способности устройства отображения приемлемо или приблизительно представлять диапазон интенсивности определенной ширины. В этом смысле, DR относится к интенсивности «в отношении дисплея». Если определенное значение не обусловлено в прямой форме как имеющее определенную значимость в любом месте настоящего документа, следует делать вывод о том, что этот термин можно использовать в любом смысле, например, взаимозаменяемо.

[0007] В настоящем документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, охватывающей около 14—15 порядков величины зрительной системы человека (HVS). Например, хорошо приспособленные люди с, по существу, нормальным зрением (например, в одном или нескольких следующих смыслах: статистическом, биометрическом или офтальмологическом) имеют диапазон интенсивности, охватывающий около 15 порядков величины. Приспособленные люди могут воспринимать тусклые источники света всего лишь в единицы фотонов. Даже более, те же самые люди могут воспринимать почти болезненно яркую интенсивность полуденного солнца в пустыне, на море или на снегу (или даже при взгляде на солнце, однако кратком — во избежание повреждений). Такой охват, тем не менее, доступен «приспособленным» людям, например людям, HVS которых имеет время для восстановления и корректировки.

[0008] Для сравнения, DR, в котором человек может одновременно воспринимать обширную ширину в диапазоне интенсивностей, может быть весьма усеченным относительно HDR. В рамках настоящего документа термины «повышенный динамический диапазон» (EDR), «зрительный динамический диапазон» или «переменный динамический диапазон» (VDR) могут по отдельности или взаимозаменяемо относиться к DR, одновременно воспринимаемому HVS. В рамках настоящего документа EDR может относиться к DR, охватывающему 5—6 порядков величины. Поэтому EDR, являющийся в некоторой степени более узким в отношении истинной картины HDR, тем не менее, отображает большую ширину DR. В рамках настоящего документа термин «одновременный динамический диапазон» может относиться к EDR.

[0009] В рамках настоящего документа термин «битовая глубина» изображения или видеоизображения обозначает количество битов, используемых для представления или хранения значений пикселов цветовой составляющей изображения в видеосигнале. Например, термин «N-битное видеоизображение» (например, N=8) обозначает, что значения пикселов цветовой составляющей (например, R, G или B) на этом видеоизображении может принимать значения в интервале от 0 до 2^N–1.

[00010] В рамках настоящего документа термин «высокая битовая глубина» обозначает любые значения битовой глубины больше 8 битов (например, N=10 битов). Следует отметить, что хотя с высокой битовой глубиной, как правило, ассоциируются изображения и видеосигналы HDR, изображение с высокой битовой глубиной необязательно имеет расширенный динамический диапазон. Поэтому в рамках настоящего документа изображения с высокой битовой глубиной могут ассоциироваться как с изображениями HDR, так и с изображениями SDR.

[00011] Для поддержки обратной совместимости с унаследованными воспроизводящими устройствами, а также новых дисплейных технологий для доставки видеоданных UHD и HDR (или SDR) от устройства в восходящем направлении к устройствам в нисходящем направлении можно использовать несколько уровней. При условии наличия такой многоуровневой системы унаследованные декодеры могут использовать базовый уровень для воссоздания версии HD SDR содержимого. Передовые декодеры могут использовать как базовый уровень, так и уровни расширения для воссоздания версии UHD EDR содержимого с целью представления его на более приспособленных дисплеях. Как оценили авторы изобретения, желательными здесь являются усовершенствованные методики кодирования видеоизображений с высокой битовой глубиной с использованием масштабируемых кодеков.

[00012] Подходы, описываемые в данном разделе, представляют собой подходы, которые можно было бы осуществить, но необязательно подходы, понятые и осуществленные ранее. Поэтому, если не указано иное, не следует полагать, что любой из подходов, описанных в данном разделе, квалифицируется как предшествующий уровень техники единственно в силу его включения в этот раздел. Аналогично, если не указано иное, проблемы, установленные на основании этого раздела в связи с одним или несколькими подходами, не следует полагать признанными где-либо на предшествующем уровне техники.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[00013] Один из вариантов осуществления настоящего изобретения проиллюстрирован на неограничивающем примере на чертежах сопроводительных графических материалов, в которых подобные ссылочные позиции относятся к аналогичным элементам и в которых:

[00014] ФИГ. 1 - одно из иллюстративных воплощений системы масштабируемого кодирования в соответствии с одним из вариантов осуществления данного изобретения.

[00015] ФИГ. 2 - одно из иллюстративных воплощений масштабируемой системы декодирования в соответствии с одним из вариантов осуществления данного изобретения.

[00016] ФИГ. 3 изображает один из примеров процесса повышающей дискретизации данных изображения в соответствии с одним из вариантов осуществления данного изобретения.

ОПИСАНИЕ ИЛЛЮСТРАТИВНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[00017] В настоящем документе описана высокоточная повышающая дискретизация при масштабируемом кодировании входных видеоизображений с высокой битовой глубиной. При заданных параметрах, относящихся к битовой глубине промежуточных результатов, битовой глубине внутреннего ввода и битовой глубине точности фильтра, для сохранения точности операций и предотвращения переполнения определяются коэффициенты масштабирования и факторы округления.

[00018] В нижеследующем описании в целях разъяснения с тем, чтобы обеспечить полное понимание настоящего изобретения, изложены многочисленные конкретные подробности. Однако, как будет очевидно, настоящее изобретение может быть применено на практике без этих конкретных подробностей. В других случаях хорошо известные конструкции и устройства не описаны в исчерпывающих подробностях во избежание излишнего затруднения понимания изобретения.

Сущность изобретения

[00019] Иллюстративные варианты осуществления изобретения, описываемые в настоящем документе, относятся к высокоточной повышающей дискретизации при многоуровневом кодировании и декодировании видеосигналов с высокой битовой глубиной. В ответ на требования к битовой глубине системы кодирования или декодирования видеоизображений, для раздельного фильтра повышающей дискретизации определяются входные данные, коэффициенты фильтрации, параметры масштабирования и округления. Входные данные сначала подвергаются фильтрации по первому пространственному направлению с использованием первого параметра округления с целью генерирования первых данных с повышенной дискретизацией. Первые промежуточные данные генерируются путем масштабирования первых данных с повышенной дискретизацией с использованием первого параметра сдвига. Затем эти промежуточные данные фильтруются по второму пространственному направлению с использованием второго параметра округления с целью генерирования вторых данных с повышенной дискретизацией. Вторые промежуточные данные генерируются путем масштабирования вторых данных с повышенной дискретизацией с использованием второго параметра сдвига. Окончательные данные с повышенной дискретизацией могут генерироваться путем отсечения вторых промежуточных данных.

Высокоточная раздельная повышающая дискретизация

[00020] Существующие отображающие и воспроизводящие устройства, такие как телевизоры HDTV, телевизионные приставки или проигрыватели Blu-ray, как правило, поддерживают сигналы с разрешением HD 1080p (1920×1080 при скорости 60 кадров в секунду). Для потребительских приложений такие сигналы в настоящее время, как правило, сжимают с использованием битовой глубины 8 битов на пиксел для каждой цветовой составляющей в цветовом формате luma-chroma, где, как правило, составляющие chroma имеют меньшее разрешение, чем составляющая luma (например, в цветовом формате YCbCr или YUV 4:2:0). По причине 8-битной глубины и соответствующего узкого динамического диапазона такие сигналы, как правило, именуются сигналами со стандартным динамическим диапазоном (SDR).

[00021] По мере разработки новых стандартов телевидения, таких как сверхвысокая четкость (UHD), желательно кодировать в масштабируемом формате сигналы с улучшенным разрешением и/или более высокой битовой глубиной.

[00022] ФИГ. 1 изображает один из вариантов осуществления иллюстративной реализации системы масштабируемого кодирования. В одном из иллюстративных вариантов осуществления изобретения входной сигнал 104 базового уровня (BL) может представлять сигнал HD SDR, а ввод 102 уровня расширения (EL) может представлять сигнал UHD HDR (или SDR) с высокой битовой глубиной. Ввод 104 BL является сжатым (или кодированным) с использованием кодера 105 BL для генерирования битового потока 107 BL. Кодер 105 BL может сжимать или кодировать входной сигнал 104 с использованием любого из известных или будущих алгоритмов сжатия видеоизображений, таких, как MPEG-2, MPEG-4, part 2, H.264, HEVC, VP8 и т.п.

[00023] Для заданного ввода 104 BL система 100 кодирования генерирует не только битовый поток 107 BL, но также и сигнал 112 BL, который представляет сигнал 107 BL так, как он будет декодироваться соответствующим приемником. В некоторых вариантах осуществления изобретения сигнал 112 может генерироваться отдельным декодером (110) BL, следующим за кодером 105 BL. В некоторых других вариантах осуществления изобретения сигнал 112 может генерироваться контуром обратной связи, используемым для выполнения компенсации движения в кодере 105 BL. Как изображено на ФИГ. 1, сигнал 112 может быть обработан модулем 115 межуровневой обработки данных с целью генерирования сигнала, подходящего для использования процессом 120 межуровневого предсказания. В некоторых вариантах осуществления изобретения модуль 115 межуровневой обработки данных увеличивает масштаб сигнала 112 для его приведения в соответствие пространственному разрешению ввода 102 EL (например, от разрешения HD к разрешению UHD). Вслед за межуровневым предсказанием 120 вычисляется остаточный сигнал 127, который впоследствии кодируется кодером 132 с целью генерирования кодированного битового потока 132 EL. Битовый поток 107 BL и битовый поток 132 EL, как правило, уплотняют в единый кодированный битовый поток, который передается в подходящие приемники.

[00024] Термин «SHVC» обозначает масштабируемое расширение технологии сжатия видеоизображений нового поколения, известной как Высокоэффективное кодирование видеоизображений (HEVC) [1], которая делает возможной существенно более высокую способность к сжатию, чем у существующего стандарта AVC (H.264) [2]. SHVC в настоящее время совместно разрабатывают группы ISO/IEC MPEG и ITU-T WP3/16. Одной из ключевых особенностей SHVC является пространственная масштабируемость, где наиболее значимый выигрыш обеспечивает межуровневое предсказание текстуры (например, 120 или 210). На ФИГ. 2 показан один из примеров декодера SHVC. Как часть межуровневого предсказания, процесс (220) повышающей дискретизации выполняет повышающую дискретизацию, или повышающее преобразование, пиксельных данных из базового уровня (215) для их приведения в соответствие разрешению в пикселах для данных, принимаемых на уровне (например, 202 или 230) расширения. В одном их вариантов осуществления изобретения, процесс повышающей дискретизации можно выполнять путем применения фильтра повышающей дискретизации, или интерполирующего фильтра. В программном обеспечении масштабируемого расширения H.264 (SVC), или SHVC SMuCO.1.1 [3], применяется раздельный многофазный фильтр повышающей дискретизации/интерполяции. Несмотря на то, что такие фильтры эффективны для входных данных со стандартной битовой глубиной (например, для изображений, использующих 8 битов на пиксел для каждой цветовой составляющей), они могут переполняться входными данными с высокой битовой глубиной (например, изображениями, использующими 10 или более битов на пиксел для каждой цветовой составляющей).

[00025] В двумерных процессах повышающей дискретизации, или интерполяции, для снижения сложности обработки данных общепринятой практикой является применение раздельных фильтров. Такой фильтр сначала выполняет повышающую дискретизацию изображения в одном пространственном направлении (например, горизонтальном или вертикальном), а затем в другом направлении (например, вертикальном или горизонтальном). Без потери общности, в нижеследующем описании предполагается, что вертикальная повышающая дискретизация следует за горизонтальной повышающей дискретизацией. Тогда процесс фильтрации можно описать как

Горизонтальная повышающая дискретизация

Вертикальная повышающая дискретизация

где eF хранит коэффициенты многофазного фильтра повышающей дискретизации, refSampleArray содержит опорные дискретные значения из воссозданного базового уровня, tempArray хранит промежуточное значение после первой одномерной фильтрации, predArray хранит окончательное значение после второй одномерной фильтрации, xRef и yRef соответствуют относительному положению пикселов для повышающей дискретизации, nshift обозначает параметр масштабирования, или нормирования, offset обозначает параметр округления, и Clip ( ) обозначает функцию отсечения. Например, для заданных данных х и пороговых значений A и B в одном из вариантов осуществления изобретения функция y=Clip(x, A, B) обозначает

Например, для N-битных данных изображения иллюстративные значения А и В могут включать A=0 и В=2^Ν–1.

В уравнении (2) операция a=b>>c обозначает, что b делится на 2^с (например, а=b/2^с) путем сдвига двоичного представления b вправо на с битов. Следует отметить, что в уравнении (1) для первой ступени фильтрации операции отсечения или сдвига не применяются. Также следует отметить, что в данной реализации порядок горизонтальной и вертикальной фильтраций не имеет значения. Применение сначала вертикальной фильтрации, а затем горизонтальной фильтрации приводит к тем же результатам, что и применение сначала горизонтальной фильтрации, а затем вертикальной фильтрации.

[00026] В SMuCO.01 [3] точность фильтра (обозначаемая как US_FILTER_PREC) для eF приравнена 6 битам. Если внутренняя битовая глубина refSampleArray равна 8 битов, то tempArray можно сохранить в пределах битовой глубины целевой реализации (например, 14 битов или 16 битов). Однако если внутренняя битовая глубина refSampleArray больше 8 битов (например, 10 битов), то вывод уравнения (1) может переполняться.

[00027] В одном из вариантов осуществления изобретения это можно предотвратить путем (а) фиксации порядка операций в процессе повышающей дискретизации, (b) введения промежуточных операций масштабирования. В одном из вариантов осуществления изобретения, если за горизонтальной фильтрацией следует вертикальная фильтрация, то повышающую дискретизацию можно реализовать следующим образом.

Горизонтальная повышающая дискретизация

Вертикальная повышающая дискретизация

[00028] Без потери общности, пусть INTERM_BITDEPTH обозначает требование к битовой глубине (или разрешению в битах) для промежуточной обработки данных фильтром; то есть ни один результат нельзя представить большим количеством битов, чем INTERM_BITDEPTH (например, INTERM_BITDEPTH=16). Пусть INTERNAL_INPUT_BITDEPTH обозначает битовую глубину, используемую для представления входного видеосигнала в процессоре. Следует отметить, что битовая глубина INTERNAL_INPUT_BITDEPTH может быть больше или равна первоначальной битовой глубине входного сигнала. Например, в некоторых вариантах осуществления изобретения 8-битные входные видеоданные можно внутренне представить с использованием INTERNAL_INPUT_BITDEPTH=10. В качестве альтернативы, в другом примере 14-битное видеоизображение можно представить битовой глубиной INTERN AL_INPUT_BITDEPTH=14.

[00029] В одном из вариантов осуществления изобретения параметры масштабирования в уравнениях (3) и (4) можно вычислить как

В одном из вариантов осуществления изобретения для nShift1 и nShift2 могут не допускаться отрицательные значения. Например, отрицательное значение для nShift1 указывает на то, что разрешение в битах, допущенное для промежуточных результатов, больше приемлемого для предотвращения переполнения; поэтому в случае отрицательных значений параметр nShift1 может быть приравнен нулю.

[00030] Если в (3) и (4) используется округление (наибольшая сложность, наибольшая точность), то

iOffset1=1<<(nShift1–1), (7)

iOffset2=1<<(nShift2–1), (8)

где a=1<<c обозначает двоичный сдвиг «1» влево на с битов, то есть a=2^с.

[00031] В качестве альтернативы, если в (3) и (4) округление не используется (наименьшая сложность, наименьшая точность), то

iOffset1=0, (9)

iOffset2=0. (10)

[00032] В качестве альтернативы, если округление используется в (3), но не используется в (4), то

iOffset1=1<<(nShift1–1), (11)

iOffset2=0. (12)

[00033] В качестве альтернативы, если округление используется в (4), но не используется в (3), то

iOffset1=0, (13)

iOffset2=1<<(nShift2–1). (14)

[00034] В одном из иллюстративных вариантов осуществления изобретения, пусть INTERM_BITDEPTH=14, US_FILTER_PREC=6 и INTERNAL_INPUT_BITDEPTH=8, тогда исходя из уравнений (5) и (6), nShift1=0, и nShift2=12. В другом примере при US_FILTER_PREC=6, если INTERN AL_INPUT_BITDEPTH=10, и INTERM_BITDEPTH=14, то nShift1=2, и iOffset1=0 или 2 в зависимости от выбранного режима округления. Кроме того, nShift2=10, и iOffset2=0 или 2⁹ в зависимости от выбранного режима округления.

[00035] Следует отметить, что при использовании реализации, изображенной в уравнениях (3) и (4), вертикальная фильтрация, за которой следует горизонтальная фильтрация, может приводить к иным результатам, чем горизонтальная фильтрация, за которой следует вертикальная фильтрация, поэтому надлежащую фильтрацию в декодере можно либо фиксировать и предварительно определить для всех декодеров (например, посредством стандарта декодирования или технических условий), либо в некоторых вариантах осуществления изобретения надлежащий порядок можно сигнализировать из кодера в декодер с использованием соответствующего флага в метаданных.

[00036] ФИГ. 3 изображает один из примеров процесса повышающей дискретизации данных изображения в соответствии с одним из вариантов осуществления данного изобретения. Вначале (305) кодер или декодер в системе многоуровневого кодирования определяет надлежащий порядок фильтрации (например, горизонтальную фильтрацию, за которой следует вертикальная фильтрация) и параметры масштабирования и округления. В одном из вариантов осуществления изобретения параметры масштабирования и округления можно определить в соответствии с уравнениями (5)—(14) на основе требуемых битовых глубин для промежуточного сохранения (например, INTERM_BITDEPTH), коэффициентов фильтра (например, US_FILTER_PREC) и внутреннего представления ввода (например, INTERNAL_INPUT_BITDEPTH). На этапе 310 данные изображения подвергают повышающей дискретизации в первом направлении (например, горизонтальном). Выходные результаты этой ступени округляют и масштабируют перед промежуточным сохранением с использованием первого параметра сдвига (например, nShift1) и первого параметра округления (например, iOffset1). Затем (315) промежуточные результаты подвергают повышающей дискретизации во втором направлении (например, вертикальном). Выходные результаты этой ступени округляют и масштабируют с использованием второго параметра сдвига (например, nShift2) и второго параметра округления (например, iOffset2). В заключение (320) выходные данные второй ступени подвергают отсечению перед окончательным выводом или сохранением.

[00037] Способы, описанные в настоящем документе, также могут быть применимы к другим приложениям формирования изображений, которые используют раздельную фильтрацию данных изображения с высокой битовой глубиной, таким, как понижающая дискретизация, фильтрация шума или преобразования в частотной области.

Иллюстративное воплощение компьютерной системы

[00038] Варианты осуществления настоящего изобретения можно реализовать в компьютерной системе, системах, сконфигурированных на электронной схеме и компонентах, интегральном микросхемном (IC) устройстве, таком как микроконтроллер, вентильная матрица с эксплуатационным программированием (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), в процессоре с дискретным временем или процессоре цифровой обработки сигналов (DSP), специализированной интегральной микросхеме (ASIC) и/или в устройстве, содержащем одну или несколько таких систем, устройств или компонентов. Компьютер и/или IC может выполнять, контролировать или исполнять команды, относящиеся к описанной в настоящем документе высокоточной повышающей дискретизации. Компьютер и/или IC может вычислять любой из множества параметров или значений, относящихся к описанной в настоящем документе высокоточной повышающей дискретизации. Варианты осуществления кодирования и декодирования можно реализовать как аппаратное обеспечение, программное обеспечение, программно-аппаратное обеспечение и различные их сочетания.

[00039] Некоторые реализации изобретения включают компьютерные процессоры, исполняющие команды программного обеспечения, которые вызывают выполнение процессором способа изобретения. Например, способы, относящиеся к вышеописанной высокоточной повышающей дискретизации, могут быть реализованы одним или несколькими процессорами дисплея, кодера, телевизионной приставки, преобразователя кода и т.п. путем исполнения ими команд программного обеспечения, доступных для этих процессоров. Изобретение также может быть предусмотрено в форме программного продукта. Этот программный продукт может включать любой носитель данных, несущий набор машиночитаемых сигналов, содержащих команды, которые при их исполнении процессором данных вызывают исполнение этим процессором данных способа изобретения. Программные продукты в соответствии с изобретением могут находиться в любой из широкого разнообразия форм. Этот программный продукт может включать, например, физические носители данных, такие как магнитные носители данных, в том числе дискеты, жесткие диски, оптические носители данных, в том числе диски CD ROM, диски DVD, электронные носители данных, в том числе запоминающие устройства ROM, флэш-память RAM и т.п. Машиночитаемые сигналы в программном продукте могут, необязательно, быть сжатыми или зашифрованными.

[00040] Там, где выше упоминается компонент (например, модуль программного обеспечения, процессор, компоновочный узел, устройство, схема и т.д.), если не указано иное, ссылку на этот компонент (в том числе ссылку на «средства») следует истолковывать как включающую в качестве эквивалентов этого компонента, любой компонент, выполняющий функцию описываемого компонента (например, являющийся функционально эквивалентным), в том числе компоненты, не являющиеся конструктивно эквивалентными раскрываемой конструкции, выполняющие эту функцию в проиллюстрированных иллюстративных вариантах осуществления изобретения.

Эквиваленты, расширения, альтернативы и прочее

[00041] Таким образом, описаны иллюстративные варианты осуществления изобретения, относящиеся к высокоточной повышающей дискретизации при масштабируемом кодировании видеоизображений с высокой битовой глубиной. В предшествующем описании варианты осуществления настоящего изобретения были описаны со ссылкой на многочисленные конкретные подробности, которые могут изменяться от реализации к реализации. Поэтому единственным и исключительным указателем того, что представляет собой изобретение, является набор, изложенный в формуле изобретения, вытекающей из данной заявки, в той конкретной форме, в которой вытекает эта формула изобретения, включая любую последующую правку. Любые определения, в прямой форме изложенные в настоящем документе для терминов, содержащихся в указанной формуле изобретения, должны иметь преимущественную силу значений этих терминов, используемых в формуле изобретения. Таким образом, никакое ограничение, элемент, свойство, характерный признак, преимущество или атрибут, не изложенный в прямой форме в формуле изобретения, никоим образом не должен ограничивать объем этой формулы изобретения. Соответственно, описание и графические материалы следует рассматривать в иллюстративном, а не в ограничивающем смысле.

Источники информации

[1] B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, and T. Wiegand, «High efficiency video coding (HEVC) text specification draft 9», ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-K1003, Oct. 2012.

[2] ITU-T and ISO/IEC JTC 1, «Advanced Video Coding for generic audio-visual services», ITU T Rec. H.264 and ISO/IEC 14496-10 (AVC).

[3] SMuCO.1.1 software for SHVC (scalable extension of HEVC): https:/hevc.hhi.fraunhofer.de/svn/'svn_SMuCSoftware/tags/0.1.1/.

1. В системе масштабируемых видеоизображений способ повышающей дискретизации данных изображения c первого уровня на второй уровень, где способ включает:

определение процессором параметров масштабирования и округления в ответ на требования системы масштабируемых видеоизображений к битовой глубине, при этом требования системы масштабируемых видеоизображений к битовой глубине включают промежуточные значения битовой глубины, битовую глубину внутреннего ввода и битовую глубину точности коэффициентов фильтрации;

генерирование первых данных с повышенной дискретизацией путем фильтрации данных изображения с первого уровня, при этом эту фильтрацию данных изображения выполняют по первому пространственному направлению с использованием первого параметра округления;

генерирование первых промежуточных данных путем масштабирования первых данных с повышенной дискретизацией посредством первого параметра сдвига;

генерирование вторых данных с повышенной дискретизацией путем фильтрации первых промежуточных данных, при этом фильтрацию первых промежуточных данных выполняют по второму пространственному направлению с использованием второго параметра округления;

генерирование вторых промежуточных данных путем масштабирования вторых данных с повышенной дискретизацией посредством второго параметра сдвига и

генерирование выходных данных с повышенной дискретизацией для второго уровня путем подвергания отсечению вторых промежуточных данных,

при этом определение первого параметра сдвига включает сложение данных битовой глубины для битовой глубины внутреннего ввода с битовой глубиной точности коэффициентов фильтрации и вычитание из их суммы промежуточных значений битовой глубины, при этом определение второго параметра сдвига включает вычитание первого параметра сдвига из удвоенной битовой глубины точности коэффициентов фильтрации.

2. Способ по п. 1, в котором система масштабируемых видеоизображений содержит кодер видеоизображений.

3. Способ по п. 1, в котором система масштабируемых видеоизображений содержит декодер видеоизображений.

4. Способ по п. 1, в котором определение первого и второго параметров округления включает вычисление

iOffset1=1<<(nShift1–1) и

iOffset2=1<<(nShift2–1),

при этом iOffset1 — это первый параметр округления, iOffset2 — второй параметр округления, nShift1 — первый параметр сдвига и nShift2 — второй параметр сдвига.

5. Способ по п. 1, в котором первый и второй параметры округления определяют как равные нулю.

6. Способ по п. 1, в котором определение первого и второго параметров округления включает вычисление

iOffset1=1<<(nShift1–1) и

iOffset2=0,

при этом iOffset1 — это первый параметр округления, iOffset2 — второй параметр округления и nShift1 — первый параметр сдвига.

7. Способ по п. 1, в котором определение первого и второго параметров округления включает вычисление

iOffset1=0, и

iOffset2=1<<(nShift2–1),

при этом iOffset1 — это первый параметр округления, iOffset2 — второй параметр округления и nShift2 — второй параметр сдвига.

8. Способ по п. 1, в котором первое пространственное направление представляет собой горизонтальное направление, а второе пространственное направление представляет собой вертикальное направление.

9. Способ по п. 1, в котором первое пространственное направление представляет собой вертикальное направление, а второе пространственное направление представляет собой горизонтальное направление.

10. Способ по п. 1, в котором первое пространственное направление является фиксированным и предварительно определенным техническими условиями стандарта декодирования видеоизображений.

11. Способ по п. 1, в котором первое пространственное направление определяется кодером и сообщается кодером декодеру.

12. Устройство, содержащее процессор и сконфигурированное для выполнения способа, изложенного в п. 1.

13. Непреходящий машиночитаемый носитель данных, содержащий хранящиеся на нем машиночитаемые команды для исполнения способа по п. 1.

Изобретение относится к области связи и, в частности, к системе записи видеоконференции. Техническим результатом является обеспечение записи контента конференции для сохранения информации или воспроизведения в будущем.

Способ и устройство для кодирования видеоданных и способ и устройство для декодирования видеоданных // 2610296

Изобретение относится к устройствам обработки изображений. Технический результат заключается в повышении эффективности кодирования и декодирования видеоданных.

Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений // 2610294

Изобретение относится к вычислительной технике. Технический результат заключается в повышении качества изображения за счет уменьшения локально возникающих ошибок предсказания.

Декодирование многослойного видеопотока // 2610286

Изобретение относится к вычислительной технике. Технический результат заключается в эффективной сигнализации слоевых зависимостей для многослойного видеопотока.

Способ кодирования изображения, устройство кодирования изображения, способ декодирования изображения и устройство декодирования изображения // 2610249

Изобретение относится к технологиям кодирования и декодирования изображений. Техническим результатом является повышение эффективности кодирования/декодирования видео за счет арифметического кодирования/декодирования информации последней позиции.

Устройства и способы усовершенствованного кодирования изображений // 2609760

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности обработки и/или воспроизведения видео в принимающем устройстве.

Способ и устройство для обработки видеосигнала // 2609753

Изобретение относится к области кодирования видеосигнала. Технический результат – повышение эффективности кодирования видеосигнала.

Способ энтропийного кодирования сегмента слайса и устройство для него и способ энтропийного декодирования сегмента слайса и устройство для него // 2609750

Изобретение относится к технологиям энтропийного кодирования и декодирования для кодирования и декодирования видеосигнала. Техническим результатом является повышение эффективности кодирования/декодирования видеосигнала.

Способ энтропийного кодирования сегмента слайса и устройство для него и способ энтропийного декодирования сегмента слайса и устройство для него // 2609749

Узел сенсорного управления, способ управления устройствами, контроллер и электронное оборудование // 2609101

Изобретение относится к устройствам управления. Технический результат заключается в повышении скорости ввода данных.

Кодирование массива выборок для низкой задержки // 2610668

Изобретение относится к средствам кодирования массива выборок. Технический результат заключается в обеспечении возможности уменьшении задержки при кодировании массивов выборок. Энтропийное кодирование текущей части предопределенного энтропийного слайса основано не только на соответствующих оценках вероятности предопределенного энтропийного слайса, которые адаптируются, используя ранее закодированную часть предопределенного энтропийного слайса, но также и на оценках вероятности, которые используются при энтропийном кодировании пространственно соседнего, по порядку энтропийных слайсов предыдущего энтропийного слайса в его соседней части. Посредством этого оценки вероятности, используемые при энтропийном кодировании, адаптируются к фактической статистической информации символа более близко, таким образом снижая уменьшение эффективности кодирования, обычно вызываемое концепциями более низкой задержки. Временные взаимосвязи используются дополнительно или альтернативно. 7 н. и 14 з.п. ф-лы, 20 ил., 4 табл.

Формирование и обработка сигнала изображения с высоким динамическим диапазоном // 2611978

Изобретение относится к технологиям обработки сигнала изображения, содержащего значения пикселей с высоким динамическим диапазоном. Техническим результатом является повышение эффективности кодирования сигнала изображения за счет совместного кодирования в сигнале индикатора типа HDR. Предложено устройство для формирования сигнала изображения, в котором пиксели закодированы в N-битных словах, кодирующих, по меньшей мере, яркость для каждого пикселя. Устройство содержит приемник, первый и второй генераторы. Приемник получает значения пикселя с высоким динамическим диапазоном в соответствии с первым представлением цвета в M-битных словах. Первый генератор включает значения пикселей с высоким динамическим диапазоном в упомянутый сигнал изображения в N-битных словах согласно второму представлению цвета. 4 н. и 15 з.п. ф-лы, 7 ил.

Повышение пропускной способности для кодирования уровня коэффициентов cabac // 2611992

Изобретение относится к вычислительной технике. Технический результат заключается в повышении пропускной способности CABAC. Способ кодирования коэффициентов преобразования в процессе кодирования видео, в котором: кодируют флаг карты значимости для коэффициентов преобразования во фрагменте коэффициентов преобразования, причем флаг карты значимости указывает, имеет ли или нет конкретный коэффициент преобразования абсолютное значение, большее нуля; кодируют флаг превышения единицы для первых M1 коэффициентов преобразования в фрагменте, указанных флагом карты значимости как имеющие абсолютное значение, большее нуля, причем флаг превышения единицы указывает, имеет ли или нет конкретный коэффициент преобразования абсолютное значение, большее единицы, причем M1 меньше максимального количества коэффициентов преобразования в фрагменте; кодируют флаг превышения двойки для коэффициентов преобразования в фрагменте, указанных флагом превышения единицы как имеющие абсолютное значение, большее единицы, причем флаг превышения двойки указывает, имеют ли или нет конкретные коэффициенты преобразования абсолютное значение, большее двух; и кодируют оставшееся значение уровня для коэффициентов преобразования в фрагменте. 6 н. и 44 з.п. ф-лы, 13 ил., 7 табл.

Устройства и способы видеокодирования и декодирования с сохранением относящейся к ppg информации // 2612386

Изобретение относится к области видеокодирования, с возможностью сохранения значимой информации для фотоплетизмографического изображения (PPG). Техническим результатом является сохранение существенной для PPG информации после кодирования без требования большого объема дополнительных данных. Для этой цели устройство (10) кодирования видео содержит первый кодер (20) для кодирования входных видеоданных (100) в соответствии с первой схемой кодирования и вывода первых кодированных видеоданных (120), имеющих более низкое качество, чем входные видеоданные, и второй кодер (30) для кодирования входных видеоданных (100) в соответствии со второй схемой кодирования, сохраняющей относящуюся к PPG информацию, и вывода вторых кодированных видеоданных (130). 7 н. и 8 з.п. ф-лы, 5 ил.

Способ и устройство получения потока мультимедийных данных // 2612389

Изобретение относится к области управления получением потока мультимедийных данных посредством пользовательских терминалов. Техническим результатом является обеспечение возможности осуществления предварительного просмотра в реальном времени, улучшение эффективности управления целевым съемочным устройством и уменьшение задержки операции предварительного просмотра. Для этого осуществляют установление сетевого соединения с целевым съемочным устройством, когда предустановленное запускающее событие активировано, включающее получение списка интеллектуальных устройств, когда приложение по управлению интеллектуальными устройствами запущено, и определение, что предустановленное запускающее событие активировано, когда целевое съемочное устройство имеется в списке интеллектуальных устройств, определение состояния, в котором находится целевое съемочное устройство. При этом установление соединения также включает отправку команды на передачу потока мультимедийных данных на целевое съемочное устройство через сетевое соединение, когда обнаружено событие начала предварительного просмотра, и получение потока мультимедийных данных, переданных от целевого съемочного устройства, и отображение потока мультимедийных данных в указанном интерфейсе предварительного просмотра. 3 н. и 10 з.п. ф-лы, 9 ил.

Способ кодирования видео и устройство кодирования видео и способ декодирования видео и устройство декодирования видео, которые выполняют деблокирующую фильтрацию на основании единиц кодирования древовидной структуры // 2612576

Изобретение относится к кодированию и декодированию видео. Техническим результатом является улучшение качества сжатого и восстановленного видео. В способе декодирования видео принимают битовый поток, включающий в себя данные о картинке, информацию о размере максимальной единицы кодирования и информацию разбиения единицы кодирования. Разбивают картинку на максимальные единицы кодирования, которые иерархически разбивают на единицы кодирования. Определяют единицы предсказания и единицы преобразования единиц кодирования. Выполняют предсказание на единице предсказания и обратное преобразование на единице преобразования, чтобы сформировать восстановленную единицу кодирования. Если граница соответствует границе единицы предсказания или границе единицы преобразования, определяют мощность границы на основе ненулевых коэффициентов преобразования, режима предсказания, вектора движения или опорного индекса. Определяют способ деблокирующей фильтрации и выполняют деблокирующую фильтрацию, чтобы сформировать отфильтрованную единицу кодирования. 1 з.п. ф-лы, 27 ил., 1 табл.

Способ и устройство для кодирования видеоинформации // 2612577

Изобретение относится к области кодирования/декодирования видеоинформации. Технический результат – обеспечение указания многоуровневых параметров для битовых подпотоков в видеопоследовательности. Способ формирования масштабируемого потока данных включает: формирование двух или более уровней масштабируемости масштабируемого потока данных; вставку значения идентификатора первого уровня масштабируемости в первый элементарный блок, включающий данные из первого уровня масштабируемости; обеспечение сигнализации упомянутого первого уровня масштабируемости с использованием упомянутого первого и второго наборов синтаксических элементов в первом элементарном блоке набора параметров; вставку значения идентификатора первого уровня масштабируемости в первый элементарный блок набора параметров; вставку значения идентификатора второго уровня масштабируемости во второй элементарный блок, включающий данные из второго уровня масштабируемости; обеспечение сигнализации второго уровня масштабируемости с использованием первого и второго наборов синтаксических элементов во втором элементарном блоке набора параметров; вставку значения идентификатора второго уровня масштабируемости во второй элементарный блок набора параметров. 8 н. и 7 з.п. ф-лы, 13 ил.

Способ контентно-адаптивного энтропийного кодирования данных о режимах и опорных типах для видео следующего поколения // 2612600

Группа изобретений относится к технологиям кодирования/декодирования видеоданных. Техническим результатом является повышение эффективности кодирования видеоданных. Предложен компьютерный способ видео кодирования. Способ содержит этап, на котором загружают данные разбиений, данные «горизонтальный/вертикальный», указывающие, является ли разбиение горизонтальным или вертикальными разбиением, данные режимов и данных опорных типов по меньшей мере для части видеокадра. Далее определяют первую оценочную стоимость бита при энтропийном кодировании, содержащую стоимость бита при энтропийном кодировании для совместного кодирования данных разбиений и данных режимов и стоимость бита при энтропийном кодировании для кодирования данных «горизонтальный/вертикальный». 4 н. и 21 з.п. ф-лы, 34 ил., 48 табл.

Способ и устройство для выполнения интерполяции на основе преобразования и обратного преобразования // 2612611

Изобретение относится к интерполяции изображения, более конкретно, к интерполяции между пиксельными значениями целочисленных пиксельных единиц. Техническим результатом является повышение точности генерирования дробной пиксельной единицы. В способе компенсации движения определяют яркостный опорный блок для предсказания текущего блока посредством использования яркостного вектора движения. Генерируют пиксельное значение яркости 2/4-пиксельного местоположения посредством применения фильтра интерполяции с 8 выводами к значениям яркости целочисленных пиксельных местоположений. Генерируют значение 1/4- или 3/4-местоположения посредством применения фильтра интерполяции к значениям яркости целочисленных пиксельных местоположений без использования сгенерированного значения 2/4-местоположения. Определяют хроматический опорный блок для предсказания текущего блока посредством использования хроматического вектора движения. Генерируют значение хроматичности 4/8-местоположения посредством применения фильтра интерполяции с 4 выводами к значениям хроматичности целочисленного пиксельного местоположения. 2 з.п. ф-лы, 62 ил.

Способ и устройство для выполнения интерполяции на основе преобразования и обратного преобразования // 2612612

Изобретение относится к интерполяции изображения и, более конкретно, к интерполяции между пиксельными значениями целочисленных пиксельных единиц. Техническим результатом является повышение точности генерирования дробной пиксельной единицы. В способе компенсации движения определяют яркостный опорный блок для предсказания текущего блока посредством использования яркостного вектора движения. Генерируют пиксельное значение яркости 2/4-пиксельного местоположения посредством применения фильтра интерполяции с 8 выводами к значениям яркости целочисленных пиксельных местоположений. Генерируют значение 1/4- или 3/4-пиксельного местоположения посредством применения фильтра интерполяции к значениям яркости целочисленных пиксельных местоположений без использования сгенерированного значения 2/4-пиксельного местоположения. Причем коэффициенты фильтра у фильтра интерполяции для генерации значения яркости 1/4-пиксельного местоположения расположены в обратном порядке относительно коэффициентов фильтра у фильтра интерполяции для генерации значения яркости 3/4-пиксельного местоположения. 2 з.п. ф-лы, 62 ил.