Способ предсказания изображений и связанное устройство

Авторы патента:

ЛИНЬ Сисинь (CN)

ЛЯН Фань (CN)

ЧЭНЬ Хуаньбан (CN)

ЯН Хайтао (CN)

H04N19/513 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

G06T9/00 - Кодирование изображения, например из побитового к непобитовому изображению (сжатие вообще H03M; сжатие для связи изображения H04N)

G06T7/20 - анализ движения

G06F17/14 - преобразования Фурье, Уолша или аналогичные преобразования

Владельцы патента RU 2671307:

ХУАВЭЙ ТЕКНОЛОДЖИЗ КО., ЛТД. (CN)

Изобретение относится к области кодирования и декодирования видео с предсказанием. Технический результат – повышение эффективности кодирования/декодирования видео за счет уменьшения вычислительной сложности обработки изображений, выполняемой на основе модели аффинного движения. Способ обработки изображений содержит этапы, на которых получают кортеж из двух элементов вектора движения текущего блока изображений, при этом кортеж из двух элементов вектора движения содержит векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и получают вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения. 4 н. и 18 з.п. ф-лы, 24 ил.

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к области техники кодирования/декодирования видео и, в частности, к способу предсказания изображений и связанному устройству.

Уровень техники

[0002] С развитием технологий фотоэлектрического захвата и ужесточения требований к цифровым видео высокой четкости, объем видеоданных становится большим. Вследствие ограниченных гетерогенных полос пропускания передачи и диверсифицированных видеоприложений, более высокие требования непрерывно налагаются на эффективность кодирования видео. Развитие стандарта высокоэффективного кодирования видео (high efficiency video coding, HEVC для краткости) инициируется согласно требованиям.

[0003] Базовый принцип кодирования со сжатием видео заключается в том, чтобы использовать корреляцию между пространственной областью, временной областью и кодовым словом для того, чтобы устранять избыточность в максимально возможной степени. В настоящее время, преобладающая практика заключается в том, чтобы использовать инфраструктуру гибридного кодирования видео на основе блоков для того, чтобы реализовывать кодирование со сжатием видео посредством выполнения этапов предсказания (включающих в себя внутрикадровое предсказание и межкадровое предсказание), преобразования, квантования, энтропийного кодирования и т.п. Эта инфраструктура кодирования демонстрирует высокую жизнеспособность, и в силу этого HEVC по-прежнему использует эту инфраструктуру гибридного кодирования видео на основе блоков.

[0004] В различных решениях по кодированию/декодированию видео, оценка движения или компенсация движения представляет собой ключевую технологию, которая затрагивает эффективность кодирования/декодирования. В различных обычных решениях по кодированию/декодированию видео, предполагается то, что движение объекта всегда представляет собой поступательное движение в пространстве, и то, что движение всех частей всего объекта является идентичным. По существу, все обычные алгоритмы оценки движения или компенсации движения представляют собой алгоритмы блочной компенсации движения, которые устанавливаются на основе модели поступательного движения в пространстве (translational motion model). Тем не менее, движение в реальном мире диверсифицировано, и нерегулярное движение, такое как повышающее/понижающее масштабирование, вращение или параболическое движение, является повсеместным. Начиная с девятого десятилетия прошлого века, эксперты по кодированию видео осознают универсальность нерегулярного движения и желают вводить модель нерегулярного движения (например, модель аффинного движения), чтобы повышать эффективность кодирования видео. Тем не менее, вычислительная сложность обычного предсказания изображений, выполняемого на основе модели аффинного движения, обычно является довольно высокой.

Сущность изобретения

[0005] Варианты осуществления настоящего изобретения предоставляют способ предсказания изображений и связанное устройство, чтобы уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения.

[0006] Согласно первому аспекту, настоящее изобретение предоставляет способ предсказания изображений, включающий в себя:

определение двух пиксельных выборок в текущем блоке изображений и определение набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок, причем набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения;

определение набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, причем:

каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, и единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным; и

предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0007] В отношении первого аспекта, в первой возможной реализации первого аспекта, определение набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, включает в себя:

определение, из N возможных вариантов наборов объединенных единиц информации движения, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, причем каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, N является положительным целым числом, N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0008] Со ссылкой на первую возможную реализацию первого аспекта, во второй возможной реализации первого аспекта, N возможных вариантов наборов объединенных единиц информации движения удовлетворяют, по меньшей мере, одному из первого условия, второго условия, третьего условия, четвертого условия или пятого условия, причем:

первое условие включает в себя то, что режим движения текущего блока изображений, указываемый посредством единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения, представляет собой непоступательное движение в пространстве;

второе условие включает в себя то, что направления предсказания, соответствующие двум единицам информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения, являются идентичными;

третье условие включает в себя то, что индексы опорных кадров, соответствующие двум единицам информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения, являются идентичными;

четвертое условие включает в себя то, что абсолютное значение разности между горизонтальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению горизонтального компонента, или то, что абсолютное значение разности между горизонтальным компонентом вектора движения одной единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения и горизонтальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению горизонтального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок; и

пятое условие включает в себя то, что абсолютное значение разности между вертикальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению вертикального компонента, или то, что абсолютное значение разности между вертикальным компонентом вектора движения любой единицы информации движения в одном из N возможных вариантов наборов объединенных единиц информации движения и вертикальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению горизонтального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок.

[0009] Со ссылкой на любое из первого аспекта или первой-второй возможных реализаций первого аспекта, в третьей возможной реализации первого аспекта, две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений, причем:

верхняя левая пиксельная выборка текущего блока изображений представляет собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений; нижняя левая пиксельная выборка текущего блока изображений представляет собой нижнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю левую вершину текущего блока изображений; верхняя правая пиксельная выборка текущего блока изображений представляет собой верхнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю правую вершину текущего блока изображений; и центральная пиксельная выборка a1 текущего блока изображений представляет собой центральный пиксел текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя центральный пиксел текущего блока изображений.

[0010] Со ссылкой на третью возможную реализацию первого аспекта, в четвертой возможной реализации первого аспекта:

набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x1 пиксельных выборок, причем x1 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений, и x1 является положительным целым числом, причем:

x1 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с левым краем текущего блока изображений, пиксельной выборки, пространственно смежной с верхним левым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0011] Со ссылкой на третью или четвертую возможную реализацию первого аспекта, в пятой возможной реализации первого аспекта, набор возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x2 пиксельных выборок, причем x2 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней правой пиксельной выборкой текущего блока изображений, и x2 является положительным целым числом, причем:

x2 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с правым краем текущего блока изображений, пиксельной выборки, пространственно смежной с верхним правым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0012] Со ссылкой на любую из третьей-пятой возможных реализаций первого аспекта, в шестой возможной реализации первого аспекта:

набор возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x3 пиксельных выборок, причем x3 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с нижней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с нижней левой пиксельной выборкой текущего блока изображений, и x3 является положительным целым числом, причем:

x3 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с левым краем текущего блока изображений, пиксельной выборки, пространственно смежной с нижним левым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с нижним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0013] Со ссылкой на любую из третьей-шестой возможных реализаций первого аспекта, в седьмой возможной реализации первого аспекта:

набор возможных вариантов единиц информации движения, соответствующий центральной пиксельной выборке a1 текущего блока изображений, включает в себя единицы информации движения x5 пиксельных выборок, и одна из x5 пиксельных выборок представляет собой пиксельную выборку a2, причем:

местоположение центральной пиксельной выборки a1 в видеокадре, которому принадлежит текущий блок изображений, является идентичным местоположению пиксельной выборки a2 в видеокадре, смежном с видеокадром, которому принадлежит текущий блок изображений, и x5 является положительным целым числом.

[0014] Со ссылкой на любое из первого аспекта или первой-седьмой возможных реализаций первого аспекта, в восьмой возможной реализации первого аспекта:

предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения включает в себя: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнение обработки масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения включает в себя: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, отличается от индекса прямого опорного кадра текущего блока изображений, и индекс опорного кадра, соответствующего вектору движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, отличается от индекса обратного опорного кадра текущего блока изображений, выполнение обработки масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, понижающе масштабируется в прямой опорный кадр текущего блока изображений, и так что вектор движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, понижающе масштабируется в обратный опорный кадр текущего блока изображений, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения.

[0015] Со ссылкой на любое из первого аспекта или первой-восьмой возможных реализаций первого аспекта, в девятой возможной реализации первого аспекта:

получение вектора движения каждого пиксела в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определение предсказываемого пиксельного значения каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления; или

получение вектора движения каждого пиксельного блока в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определение предсказываемого пиксельного значения каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0016] Со ссылкой на любое из первого аспекта или первой-девятой возможных реализаций первого аспекта, в десятой возможной реализации первого аспекта:

предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения включает в себя: получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений, причем векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения.

[0017] Со ссылкой на десятую возможную реализацию первого аспекта, в одиннадцатой возможной реализации первого аспекта:

коэффициент горизонтальных координат горизонтальных компонентов векторов движения двух пиксельных выборок равен коэффициенту вертикальных координат вертикальных компонентов векторов движения, и коэффициент вертикальных координат горизонтальных компонентов векторов движения двух пиксельных выборок является противоположным коэффициенту горизонтальных координат вертикальных компонентов векторов движения.

[0018] Со ссылкой на любое из первого аспекта или первой-одиннадцатой возможных реализаций первого аспекта, в двенадцатой возможной реализации первого аспекта:

модель аффинного движения представляется в следующей форме:

, где:

векторы движения двух пиксельных выборок представляют собой (vx₀,vy₀) и (vx₁,vy₁), соответственно, vx является горизонтальным компонентом вектора движения пиксельной выборки, координаты которой представляют собой (x, y) в текущем блоке изображений, vy является вертикальным компонентом вектора движения пиксельной выборки, координаты которой представляют собой (x, y) в текущем блоке изображений, и w является длиной или шириной текущего блока изображений.

[0019] Со ссылкой на любое из первого аспекта или первой-двенадцатой возможных реализаций первого аспекта, в тринадцатой возможной реализации первого аспекта:

способ предсказания изображений применяется к процессу кодирования видео, или способ предсказания изображений применяется к процессу декодирования видео.

[0020] Со ссылкой на тринадцатую возможную реализацию первого аспекта, в четырнадцатой возможной реализации первого аспекта, когда способ предсказания изображений применяется к процессу декодирования видео, определение, из N возможных вариантов наборов объединенных единиц информации движения, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, включает в себя: определение, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения.

[0021] Со ссылкой на тринадцатую возможную реализацию первого аспекта или четырнадцатую возможную реализацию первого аспекта, в пятнадцатой возможной реализации первого аспекта, когда способ предсказания изображений применяется к процессу декодирования видео, способ дополнительно включает в себя: декодирование потока видеобитов, чтобы получать разности векторов движения двух пиксельных выборок, получение предикторов векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, и получение векторов движения двух пиксельных выборок отдельно на основе предикторов векторов движения двух пиксельных выборок и разностей векторов движения двух пиксельных выборок.

[0022] Со ссылкой на тринадцатую возможную реализацию первого аспекта, в шестнадцатой возможной реализации первого аспекта, когда способ предсказания изображений применяется к процессу кодирования видео, способ дополнительно включает в себя: получение предикторов векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, получение разностей векторов движения двух пиксельных выборок согласно предикторам векторов движения двух пиксельных выборок и запись разностей векторов движения двух пиксельных выборок в поток видеобитов.

[0023] Со ссылкой на тринадцатую возможную реализацию первого аспекта или шестнадцатую возможную реализацию первого аспекта, в семнадцатой возможной реализации первого аспекта, когда способ предсказания изображений применяется к процессу кодирования видео, способ дополнительно включает в себя: запись идентификатора набора i объединенных единиц информации движения в поток видеобитов.

[0024] Согласно второму аспекту, вариант осуществления настоящего изобретения предоставляет устройство предсказания изображений, включающее в себя:

первый модуль определения, выполненный с возможностью: определять две пиксельных выборки в текущем блоке изображений и определять набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок, причем набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения;

второй модуль определения, выполненный с возможностью определять набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем:

модуль предсказания, выполненный с возможностью предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0025] В отношении второго аспекта, в первой возможной реализации второго аспекта, второй модуль определения, в частности, выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, N является положительным целым числом, N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0026] Со ссылкой на первую возможную реализацию второго аспекта, во второй возможной реализации второго аспекта, N возможных вариантов наборов объединенных единиц информации движения удовлетворяют, по меньшей мере, одному из первого условия, второго условия, третьего условия, четвертого условия или пятого условия, причем:

пятое условие включает в себя то, что абсолютное значение разности между вертикальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению вертикального компонента, или то, что абсолютное значение разности между вертикальным компонентом вектора движения одной единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения и вертикальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению вертикального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок.

[0027] Со ссылкой на любое из второго аспекта или первой-второй возможных реализаций второго аспекта, в третьей возможной реализации второго аспекта, две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений, причем:

[0028] Со ссылкой на третью возможную реализацию второго аспекта, в четвертой возможной реализации второго аспекта, набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x1 пиксельных выборок, причем x1 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений, и x1 является положительным целым числом, причем:

[0029] Со ссылкой на третью или четвертую возможную реализацию второго аспекта, в пятой возможной реализации второго аспекта, набор возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x2 пиксельных выборок, причем x2 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней правой пиксельной выборкой текущего блока изображений, и x2 является положительным целым числом, причем:

[0030] Со ссылкой на любую из третьей-пятой возможных реализаций второго аспекта, в шестой возможной реализации второго аспекта:

[0031] Со ссылкой на любую из третьей-шестой возможных реализаций второго аспекта, в седьмой возможной реализации второго аспекта:

[0032] Со ссылкой на любое из второго аспекта или первой-седьмой возможных реализаций второго аспекта, в восьмой возможной реализации второго аспекта:

модуль предсказания, в частности, выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

модуль предсказания, в частности, выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, отличается от индекса прямого опорного кадра текущего блока изображений, и индекс опорного кадра, соответствующего вектору движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, отличается от индекса обратного опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, понижающе масштабируется в прямой опорный кадр текущего блока изображений, и так что вектор движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, понижающе масштабируется в обратный опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения.

[0033] Со ссылкой на любое из второго аспекта или первой-восьмой возможных реализаций второго аспекта, в девятой возможной реализации второго аспекта:

модуль предсказания, в частности, выполнен с возможностью: получать вектор движения каждого пиксела в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления; или

модуль предсказания, в частности, выполнен с возможностью: получать вектор движения каждого пиксельного блока в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0034] Со ссылкой на любое из второго аспекта или первой-девятой возможных реализаций второго аспекта, в десятой возможной реализации второго аспекта:

модуль предсказания, в частности, выполнен с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений, причем векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения.

[0035] Со ссылкой на десятую возможную реализацию второго аспекта, в одиннадцатой возможной реализации второго аспекта, коэффициент горизонтальных координат горизонтальных компонентов векторов движения двух пиксельных выборок равен коэффициенту вертикальных координат вертикальных компонентов векторов движения, и коэффициент вертикальных координат горизонтальных компонентов векторов движения двух пиксельных выборок является противоположным коэффициенту горизонтальных координат вертикальных компонентов векторов движения.

[0036] Со ссылкой на любое из второго аспекта или первой-одиннадцатой возможных реализаций второго аспекта, в двенадцатой возможной реализации второго аспекта:

модель аффинного движения представляется в следующей форме:

, где:

[0037] Со ссылкой на любое из второго аспекта или первой-двенадцатой возможных реализаций второго аспекта, в тринадцатой возможной реализации второго аспекта:

устройство предсказания изображений применяется к устройству кодирования видео, или устройство предсказания изображений применяется к устройству декодирования видео.

[0038] Со ссылкой на тринадцатую возможную реализацию второго аспекта, в четырнадцатой возможной реализации второго аспекта, когда устройство предсказания изображений применяется к устройству декодирования видео, второй модуль определения, в частности, выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0039] Со ссылкой на тринадцатую возможную реализацию второго аспекта или четырнадцатую возможную реализацию второго аспекта, в пятнадцатой возможной реализации второго аспекта, когда устройство предсказания изображений применяется к устройству декодирования видео:

устройство дополнительно включает в себя модуль декодирования, выполненный с возможностью: декодировать поток видеобитов, чтобы получать разности векторов движения двух пиксельных выборок, получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, и получать векторы движения двух пиксельных выборок отдельно на основе предикторов векторов движения двух пиксельных выборок и разностей векторов движения двух пиксельных выборок.

[0040] Со ссылкой на тринадцатую возможную реализацию второго аспекта, в шестнадцатой возможной реализации второго аспекта, когда устройство предсказания изображений применяется к устройству кодирования видео, модуль предсказания дополнительно выполнен с возможностью: получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, получать разности векторов движения двух пиксельных выборок согласно предикторам векторов движения двух пиксельных выборок и записывать разности векторов движения двух пиксельных выборок в поток видеобитов.

[0041] Со ссылкой на тринадцатую возможную реализацию второго аспекта или шестнадцатую возможную реализацию второго аспекта, в семнадцатой возможной реализации второго аспекта, когда устройство предсказания изображений применяется к устройству кодирования видео, устройство дополнительно включает в себя модуль кодирования, выполненный с возможностью записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов.

[0042] Согласно третьему аспекту, вариант осуществления настоящего изобретения предоставляет устройство предсказания изображений, включающее в себя:

процессор и запоминающее устройство, причем:

процессор вызывает код или инструкцию, сохраненную в запоминающем устройстве, так что процессор выполнен с возможностью: определять две пиксельных выборки в текущем блоке изображений и определять набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок, причем набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения; определять набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, и единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным; и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0043] В отношении третьего аспекта, в первой возможной реализации третьего аспекта, в аспекте определения набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, процессор выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, N является положительным целым числом, N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0044] Со ссылкой на первую возможную реализацию третьего аспекта, во второй возможной реализации третьего аспекта, N возможных вариантов наборов объединенных единиц информации движения удовлетворяют, по меньшей мере, одному из первого условия, второго условия, третьего условия, четвертого условия или пятого условия, причем:

[0045] Со ссылкой на любое из третьего аспекта или первой-второй возможных реализаций третьего аспекта, в третьей возможной реализации третьего аспекта, две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений, причем:

[0046] Со ссылкой на третью возможную реализацию третьего аспекта, в четвертой возможной реализации третьего аспекта, набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x1 пиксельных выборок, причем x1 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений, и x1 является положительным целым числом, причем:

[0047] Со ссылкой на третью или четвертую возможную реализацию третьего аспекта, в пятой возможной реализации третьего аспекта, набор возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x2 пиксельных выборок, причем x2 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней правой пиксельной выборкой текущего блока изображений, и x2 является положительным целым числом, причем:

[0048] Со ссылкой на любую из третьей-пятой возможных реализаций третьего аспекта, в шестой возможной реализации третьего аспекта:

[0049] Со ссылкой на любую из третьей-шестой возможных реализаций третьего аспекта, в седьмой возможной реализации третьего аспекта:

[0050] Со ссылкой на любое из третьего аспекта или первой-седьмой возможных реализаций третьего аспекта, в восьмой возможной реализации третьего аспекта:

в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, отличается от индекса прямого опорного кадра текущего блока изображений, и индекс опорного кадра, соответствующего вектору движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, отличается от индекса обратного опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, понижающе масштабируется в прямой опорный кадр текущего блока изображений, и так что вектор движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, понижающе масштабируется в обратный опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения.

[0051] Со ссылкой на любое из третьего аспекта или первой-восьмой возможных реализаций третьего аспекта, в девятой возможной реализации третьего аспекта, в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор выполнен с возможностью: получать вектор движения каждого пиксела в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления; или

в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор выполнен с возможностью: получать вектор движения каждого пиксельного блока в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0052] Со ссылкой на любое из третьего аспекта или первой-девятой возможных реализаций третьего аспекта, в десятой возможной реализации третьего аспекта:

в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор выполнен с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений, причем векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения.

[0053] Со ссылкой на десятую возможную реализацию третьего аспекта, в одиннадцатой возможной реализации третьего аспекта:

[0054] Со ссылкой на любое из третьего аспекта или первой-одиннадцатой возможных реализаций третьего аспекта, в двенадцатой возможной реализации третьего аспекта:

модель аффинного движения представляется в следующей форме:

, где:

[0055] Со ссылкой на любое из третьего аспекта или первой-двенадцатой возможных реализаций третьего аспекта, в тринадцатой возможной реализации третьего аспекта:

[0056] Со ссылкой на тринадцатую возможную реализацию третьего аспекта, в четырнадцатой возможной реализации третьего аспекта, когда устройство предсказания изображений применяется к устройству декодирования видео в аспекте определения набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, процессор выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0057] Со ссылкой на тринадцатую возможную реализацию третьего аспекта или четырнадцатую возможную реализацию третьего аспекта, в пятнадцатой возможной реализации третьего аспекта, когда устройство предсказания изображений применяется к устройству декодирования видео, процессор дополнительно выполнен с возможностью: декодировать поток видеобитов, чтобы получать разности векторов движения двух пиксельных выборок, получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, и получать векторы движения двух пиксельных выборок отдельно на основе предикторов векторов движения двух пиксельных выборок и разностей векторов движения двух пиксельных выборок.

[0058] Со ссылкой на тринадцатую возможную реализацию третьего аспекта, в шестнадцатой возможной реализации третьего аспекта, когда устройство предсказания изображений применяется к устройству кодирования видео, процессор дополнительно выполнен с возможностью: получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, получать разности векторов движения двух пиксельных выборок согласно предикторам векторов движения двух пиксельных выборок и записывать разности векторов движения двух пиксельных выборок в поток видеобитов.

[0059] Со ссылкой на тринадцатую возможную реализацию третьего аспекта или шестнадцатую возможную реализацию третьего аспекта, в семнадцатой возможной реализации третьего аспекта, когда устройство предсказания изображений применяется к устройству кодирования видео, процессор дополнительно выполнен с возможностью записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов.

[0060] Согласно четвертому аспекту, вариант осуществления настоящего изобретения предоставляет способ обработки изображений, включающий в себя:

получение кортежа из 2 элементов вектора движения текущего блока изображений, причем кортеж из 2 элементов вектора движения включает в себя векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и

получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, причем:

модель аффинного движения имеет следующую форму:

, где:

(x, y) являются координатами любой пиксельной выборки, vx является горизонтальным компонентом вектора движения любой пиксельной выборки, и vy является вертикальным компонентом вектора движения любой пиксельной выборки; и

в уравнении , a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения, и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; и в уравнении , a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, и -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения.

[0061] В отношении четвертого аспекта, в первой возможной реализации четвертого аспекта, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0062] В отношении четвертого аспекта или первой возможной реализации четвертого аспекта, во второй возможной реализации четвертого аспекта, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения включает в себя:

получение значений коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и

получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0063] В отношении четвертого аспекта или первой или второй возможной реализации четвертого аспекта, в третьей возможной реализации четвертого аспекта, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения включает в себя: получение значений коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и

[0064] В отношении четвертого аспекта или первой или второй возможной реализации четвертого аспекта, в четвертой возможной реализации четвертого аспекта, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения включает в себя:

получение значений коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и

[0065] Со ссылкой на любое из четвертого аспекта или первой-третьей возможных реализаций четвертого аспекта, в пятой возможной реализации четвертого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0066] Со ссылкой на любое из четвертого аспекта или первой-третьей возможных реализаций четвертого аспекта, в шестой возможной реализации четвертого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0067] Со ссылкой на любое из четвертого аспекта или первой, второй или четвертой возможной реализации четвертого аспекта, в седьмой возможной реализации четвертого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

(vx₀,vy₀) является вектором движения верхней левой пиксельной выборки, (vx₃,vy₃) является вектором движения пиксельной выборки в нижней правой области, является расстоянием в вертикальном направлении между двумя пиксельными выборками, является расстоянием в горизонтальном направлении между двумя пиксельными выборками, и является квадратом расстояния между двумя пиксельными выборками.

[0068] Со ссылкой на любое из четвертого аспекта или первой-седьмой возможных реализаций четвертого аспекта, в восьмой возможной реализации четвертого аспекта, после получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, способ дополнительно включает в себя:

выполнение кодирования с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0069] Со ссылкой на любое из четвертого аспекта или первой-седьмой возможных реализаций четвертого аспекта, в девятой возможной реализации четвертого аспекта, после определения предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений, способ дополнительно включает в себя:

выполнение декодирования с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления, и получение пиксельного значения восстановления любой пиксельной выборки.

[0070] Согласно пятому аспекту, вариант осуществления настоящего изобретения предоставляет устройство обработки изображений, включающее в себя:

модуль получения, выполненный с возможностью получать кортеж из 2 элементов вектора движения текущего блока изображений, причем кортеж из 2 элементов вектора движения включает в себя векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и

вычислительный модуль, выполненный с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, полученного посредством модуля получения, причем:

модель аффинного движения имеет следующую форму:

, где:

[0071] В отношении пятого аспекта, в первой возможной реализации пятого аспекта, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0072] В отношении пятого аспекта или первой возможной реализации пятого аспекта, во второй возможной реализации пятого аспекта, вычислительный модуль, в частности, выполнен с возможностью:

получать значения коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и

получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0073] В отношении пятого аспекта или первой или второй возможной реализации пятого аспекта, в третьей возможной реализации пятого аспекта, вычислительный модуль, в частности, выполнен с возможностью:

получать значения коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и

[0074] В отношении пятого аспекта или первой или второй возможной реализации пятого аспекта, в четвертой возможной реализации пятого аспекта, вычислительный модуль, в частности, выполнен с возможностью:

получать значения коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и

[0075] Со ссылкой на любое из пятого аспекта или первой-третьей возможных реализаций пятого аспекта, в пятой возможной реализации пятого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0076] Со ссылкой на любое из пятого аспекта или первой-третьей возможных реализаций пятого аспекта, в шестой возможной реализации пятого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0077] Со ссылкой на любое из пятого аспекта или первой, второй или четвертой возможной реализации пятого аспекта, в седьмой возможной реализации пятого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0078] Со ссылкой на любое из пятого аспекта или первой-седьмой возможных реализаций пятого аспекта, в восьмой возможной реализации пятого аспекта, когда устройство обработки изображений применяется к устройству кодирования видео, устройство дополнительно включает в себя модуль кодирования, выполненный с возможностью выполнять кодирование с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычислительного модуля посредством вычисления.

[0079] Со ссылкой на любое из пятого аспекта или первой-седьмой возможных реализаций пятого аспекта, в девятой возможной реализации пятого аспекта, когда устройство обработки изображений применяется к устройству кодирования видео, устройство дополнительно включает в себя модуль декодирования, выполненный с возможностью выполнять декодирование с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычислительного модуля посредством вычисления, и получать пиксельное значение восстановления любой пиксельной выборки.

[0080] Согласно шестому аспекту, вариант осуществления настоящего изобретения предоставляет устройство обработки изображений, включающее в себя:

процессор и запоминающее устройство, причем:

процессор вызывает код или инструкцию, сохраненную в запоминающем устройстве, так что процессор выполнен с возможностью:

получать кортеж из 2 элементов вектора движения текущего блока изображений, причем кортеж из 2 элементов вектора движения включает в себя векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и

получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, причем:

модель аффинного движения имеет следующую форму:

, где:

[0081] В отношении шестого аспекта, в первой возможной реализации шестого аспекта, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0082] В отношении шестого аспекта или первой возможной реализации шестого аспекта, во второй возможной реализации шестого аспекта, в аспекте получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, процессор выполнен с возможностью:

[0083] В отношении шестого аспекта или первой или второй возможной реализации шестого аспекта, в третьей возможной реализации шестого аспекта, в аспекте получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, процессор выполнен с возможностью:

[0084] В отношении шестого аспекта или первой или второй возможной реализации шестого аспекта, в четвертой возможной реализации шестого аспекта, в аспекте получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, процессор выполнен с возможностью:

[0085] Со ссылкой на любое из шестого аспекта или первой-третьей возможных реализаций шестого аспекта, в пятой возможной реализации шестого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0086] Со ссылкой на любое из шестого аспекта или первой-третьей возможных реализаций шестого аспекта, в шестой возможной реализации шестого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0087] Со ссылкой на любое из шестого аспекта или первой, второй или четвертой возможной реализации шестого аспекта, в седьмой возможной реализации шестого аспекта, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0088] Со ссылкой на любое из шестого аспекта или первой-седьмой возможных реализаций шестого аспекта, в восьмой возможной реализации шестого аспекта, когда устройство обработки изображений применяется к устройству кодирования видео, процессор дополнительно выполнен с возможностью: после получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, выполнять кодирование с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0089] Со ссылкой на любое из шестого аспекта или первой-седьмой возможных реализаций шестого аспекта, в девятой возможной реализации шестого аспекта, процессор дополнительно выполнен с возможностью: после определения предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений выполнять декодирование с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления, и получать пиксельное значение восстановления любой пиксельной выборки.

[0090] Согласно седьмому аспекту, вариант осуществления настоящего изобретения предоставляет способ обработки изображений, включающий в себя:

получение коэффициентов модели аффинного движения и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования коэффициентов модели аффинного движения и модели аффинного движения; и

определение предсказываемого пиксельного значения пиксела любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычисления, причем:

модель аффинного движения имеет следующую форму:

, где:

в уравнении , a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения, и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; и в уравнении , a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения, и коэффициенты модели аффинного движения включают в себя a и b; и

коэффициенты модели аффинного движения дополнительно включают в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0091] Согласно восьмому аспекту, вариант осуществления настоящего изобретения предоставляет устройство обработки изображений, включающее в себя:

модуль получения, выполненный с возможностью получать коэффициенты модели аффинного движения;

вычислительный модуль, выполненный с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования коэффициентов модели аффинного движения, которые получаются посредством модуля получения, и модели аффинного движения; и

модуль предсказания, выполненный с возможностью определять предсказываемое пиксельное значение пиксела любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычислительного модуля посредством вычисления, причем:

модель аффинного движения имеет следующую форму:

, где:

в уравнении , a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения, и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; и в уравнении , a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения, и коэффициенты модели аффинного движения включают в себя a и b; и

[0092] Можно выяснить, что в технических решениях, предоставленных посредством некоторых вариантов осуществления настоящего изобретения, пиксельное значение текущего блока изображений предсказывается посредством использования модели аффинного движения и набора i объединенных единиц информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Поскольку диапазон выбора набора i объединенных единиц информации движения становится относительно небольшим, механизм, используемый в обычной технологии для отсеивания единиц информации движения нескольких пиксельных выборок только посредством выполнения огромного объема вычислений во всех возможных наборах возможных вариантов единиц информации движения, соответствующих нескольким пиксельным выборкам, исключается. Это помогает повышать эффективность кодирования, также помогает уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения, дополнительно позволяет вводить модель аффинного движения в стандарт кодирования видео, и поскольку модель аффинного движения вводится, помогает более точно описывать движение объекта, и в силу этого помогает повышать точность предсказания. Помимо этого, поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и также помогает уменьшать информацию аффинных параметров или количество разностей векторов движения и т.п., передаваемые посредством кодера.

Краткое описание чертежей

[0093] Чтобы более понятно описывать технические решения в вариантах осуществления настоящего изобретения, далее кратко описаны прилагаемые чертежи, требуемые для описания вариантов осуществления и предшествующего уровня техники. Очевидно, что прилагаемые чертежи в нижеприведенном описании показывают только некоторые варианты осуществления настоящего изобретения, и специалисты в данной области техники по-прежнему могут извлекать другие чертежи из этих прилагаемых чертежей без творческих усилий.

[0094] Фиг. 1-a и фиг. 1-b являются принципиальными схемами нескольких режимов сегментации на блоки изображений согласно варианту осуществления настоящего изобретения;

[0095] Фиг. 1 является блок-схемой последовательности операций способа предсказания изображений согласно варианту осуществления настоящего изобретения;

[0096] Фиг. 1 является принципиальной блок-схемой блока изображений согласно варианту осуществления настоящего изобретения;

[0097] Фиг. 2 является блок-схемой последовательности операций другого способа предсказания изображений согласно варианту осуществления настоящего изобретения;

[0098] Фиг. 2-b фиг. 2-d являются принципиальными схемами нескольких способов для определения наборов возможных вариантов единиц информации движения, соответствующих пиксельным выборкам, согласно варианту осуществления настоящего изобретения;

[0099] Фиг. 2-e является принципиальной схемой координат вершины блока x изображений согласно варианту осуществления настоящего изобретения;

[0100] Фиг. 2-f и фиг. 2-g являются принципиальными схемами аффинного движения пиксела согласно варианту осуществления настоящего изобретения;

[0101] Фиг. 2-h и фиг. 2-i являются принципиальными схемами вращательного движения пиксела согласно варианту осуществления настоящего изобретения;

[0102] Фиг. 3 является блок-схемой последовательности операций другого способа предсказания изображений согласно варианту осуществления настоящего изобретения;

[0103] Фиг. 4 является принципиальной схемой устройства предсказания изображений согласно варианту осуществления настоящего изобретения;

[0104] Фиг. 5 является принципиальной схемой другого устройства предсказания изображений согласно варианту осуществления настоящего изобретения;

[0105] Фиг. 6 является блок-схемой последовательности операций способа обработки изображений согласно варианту осуществления настоящего изобретения;

[0106] Фиг. 7 является блок-схемой последовательности операций другого способа обработки изображений согласно варианту осуществления настоящего изобретения;

[0107] Фиг. 8 является блок-схемой последовательности операций другого способа обработки изображений согласно варианту осуществления настоящего изобретения;

[0108] Фиг. 9 является принципиальной схемой устройства обработки изображений согласно варианту осуществления настоящего изобретения;

[0109] Фиг. 10 является принципиальной схемой другого устройства обработки изображений согласно варианту осуществления настоящего изобретения;

[0110] Фиг. 11 является блок-схемой последовательности операций другого способа обработки изображений согласно варианту осуществления настоящего изобретения;

[0111] Фиг. 12 является принципиальной схемой устройства обработки изображений согласно варианту осуществления настоящего изобретения; и

[0112] Фиг. 13 является принципиальной схемой другого устройства обработки изображений согласно варианту осуществления настоящего изобретения.

Подробное описание вариантов осуществления

[0113] Варианты осуществления настоящего изобретения предоставляют способ предсказания изображений и связанное устройство, чтобы уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения.

[0114] Чтобы обеспечивать большую ясность и понятность целей изобретения, признаков и преимуществ настоящего изобретения, далее понятно описываются технические решения в вариантах осуществления настоящего изобретения со ссылкой на прилагаемые чертежи в вариантах осуществления настоящего изобретения. Очевидно, варианты осуществления, описанные далее, представляют собой только часть, а не все варианты осуществления настоящего изобретения. Все другие варианты осуществления, полученные специалистами в данной области техники на основе вариантов осуществления настоящего изобретения без творческих усилий, должны попадать в объем охраны настоящего изобретения.

[0115] В этом подробном описании, формуле изобретения и на прилагаемых чертежах настоящего изобретения, термины "первый", "второй", "третий", "четвертый" и т.д. имеют намерение отличать между различными объектами, но не указывают конкретный порядок. Помимо этого, термины "включающий в себя", "включающий в себя" или их другие варианты имеют намерение охватывать неисключительное включение. Например, процесс, способ, система, продукт или устройство, которые включают в себя последовательность этапов или блоков, не ограничены перечисленными этапами или блоками, но необязательно дополнительно включают в себя не включенный в список этап или блок или необязательно дополнительно включают в себя другой внутренне присущий этап или блок процесса, способа, продукта или устройства.

[0116] Далее сначала описываются некоторые понятия, которые могут использоваться в вариантах осуществления настоящего изобретения.

[0117] В большинстве инфраструктур кодирования, видеопоследовательность включает в себя последовательность изображений (picture), изображения дополнительно разделяются на серии последовательных макроблоков (slice), и серии последовательных макроблоков дополнительно разделяются на блоки (block). Кодирование видео заключается в том, чтобы выполнять обработку кодирования слева направо и сверху вниз построчно начиная с верхнего левого углового местоположения изображения посредством использования блока в качестве единицы. В некоторых новых стандартах кодирования видео, понятие блока дополнительно расширено. Макроблок (macroblock, MB для краткости) задается в стандарте H.264, и MB дополнительно может разделяться на несколько блоков предсказания (partition), которые могут использоваться для кодирования с предсказанием. В HEVC-стандарте, используются базовые понятия, такие как единица кодирования (coding unit, CU для краткости), единица предсказания (prediction unit, PU для краткости) и единица преобразования (transform unit, TU для краткости), несколько единиц классифицируются согласно функциям, и абсолютно новая основанная на дереве структура используется для описания. Например, CU может разделяться на меньшие CU согласно дереву квадрантов, и меньшие CU дополнительно могут разделяться, чтобы формировать структуру в виде дерева квадрантов. PU и TU также имеют аналогичные древовидные структуры. Независимо от того, представляет собой единица CU, PU или TU, единица, в сущности, принадлежит понятию блока. CU является аналогичной MB макроблока или блоку кодирования и представляет собой базовую единицу для сегментации и кодирования изображения для кодирования. PU может соответствовать блоку предсказания и представляет собой базовую единицу для кодирования с предсказанием. CU дополнительно разделяется на несколько PU согласно режиму сегментации. TU может соответствовать блоку преобразования и представляет собой базовую единицу для преобразования остатка предсказания. В стандарте высокоэффективного кодирования видео (high efficiency video coding, HEVC для краткости), они могут совместно упоминаться как блоки дерева кодирования (coding tree block, CTB для краткости) и т.п.

[0118] В HEVC-стандарте, размер единицы кодирования может включать в себя четыре уровня: 64×64, 32×32, 16×16 и 8×8. Единицы кодирования на каждом уровне могут разделяться на единицы предсказания различных размеров согласно внутрикадровому предсказанию и межкадровому предсказанию. Например, как показано на фиг. 1-a и фиг. 1-b, фиг. 1-a иллюстрирует в качестве примера режим сегментации на единицы предсказания, соответствующий внутрикадровому предсказанию. Фиг. 1-b иллюстрирует в качестве примера несколько режимов сегментации на единицы предсказания, соответствующих межкадровому предсказанию.

[0119] В процессе разработки и развития технологии кодирования видео, эксперты по кодированию видео выясняют различные способы, чтобы использовать временную и пространственную корреляцию между смежными блоками кодирования/декодирования, чтобы пытаться повышать эффективность кодирования. В H264 или стандарте усовершенствованного кодирования видео (advanced video coding, AVC для краткости), режим пропуска (skip mode) и прямой режим (direct mode) становятся эффективными инструментальными средствами для повышения эффективности кодирования. Блоки двух режимов кодирования, используемых, когда скорость передачи битов является низкой, могут занимать более половины всей последовательности кодирования. Когда используется режим пропуска, вектор движения текущего блока изображений может извлекаться посредством использования смежных векторов движения только посредством добавления флага режима пропуска в поток битов, и значение опорного блока непосредственно копируется согласно вектору движения в качестве значения восстановления текущего блока изображений. Помимо этого, когда используется прямой режим, кодер может извлекать вектор движения текущего блока изображений посредством использования смежных векторов движения и непосредственно копировать значение опорного блока согласно вектору движения в качестве предсказываемого значения текущего блока изображений и выполнять кодирование с предсказанием для текущего блока изображений посредством использования предсказываемого значения в кодере. В текущем последнем стандарте высокоэффективного кодирования видео (high efficiency video coding, HEVC для краткости), некоторые новые инструментальные средства кодирования вводятся для того, чтобы дополнительно повышать эффективность кодирования видео. Режим объединяющего кодирования (merge) и режим усовершенствованного предсказания векторов движения (advanced motion vector prediction, AMVP для краткости) представляют собой два важных инструментальных средства межкадрового предсказания. В объединяющем кодировании (merge), информация движения (которая может включать в себя вектор движения (motion vector, MV для краткости), направление предсказания, индекс опорного кадра и т.п.) кодированных блоков около текущего блока кодирования используется для того, чтобы составлять набор возможных вариантов информации движения; через сравнение, возможный вариант информации движения с наибольшей эффективностью кодирования может выбираться в качестве информации движения текущего блока кодирования, предсказываемое значение текущего блока кодирования находится из опорного кадра, и кодирование с предсказанием выполняется для текущего блока кодирования; и одновременно, значение индекса, указывающее то, из какого смежного кодированного блока выбирается информация движения, может записываться в поток битов. Когда используется режим усовершенствованного предсказания векторов движения, вектор движения смежного кодированного блока используется в качестве предиктора вектора движения текущего блока кодирования. Вектор движения с наибольшей эффективностью кодирования может выбираться и использоваться для того, чтобы предсказывать вектор движения текущего блока кодирования, и значение индекса, указывающее то, какой смежный вектор движения выбирается, может записываться в поток видеобитов.

[0120] Далее продолжается пояснение технических решений вариантов осуществления настоящего изобретения.

[0121] Далее сначала описывается способ предсказания изображений, предоставленный посредством варианта осуществления настоящего изобретения. Способ предсказания изображений, предоставленный посредством этого варианта осуществления настоящего изобретения, осуществляется посредством устройства кодирования видео или устройства декодирования видео. Устройство кодирования видео или устройство декодирования видео может представлять собой любое устройство, которое должно выводить или сохранять видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер, мобильный телефон или видеосервер.

[0122] В варианте осуществления способа предсказания изображений согласно настоящему изобретению, способ предсказания изображений включает в себя: определение двух пиксельных выборок в текущем блоке изображений и определение набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок, причем набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения; определение набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок и единицы информации движения, включает в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным; и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0123] Ссылаясь на фиг. 1-c, фиг. 1-c является блок-схемой последовательности операций способа предсказания изображений согласно варианту осуществления настоящего изобретения. Как показано в качестве примера на фиг. 1-c, способ предсказания изображений, предоставленный посредством варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0124] S101. Определение двух пиксельных выборок в текущем блоке изображений и определение набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок.

[0125] Набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения.

[0126] Пиксельная выборка, упомянутая в каждом варианте осуществления настоящего изобретения, может представлять собой пиксел или пиксельный блок, включающий в себя, по меньшей мере, два пиксела.

[0127] Единица информации движения, упомянутая в каждом варианте осуществления настоящего изобретения, может включать в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным. Таким образом, одна единица информации движения может включать в себя один вектор движения или может включать в себя два вектора движения с различными направлениями предсказания.

[0128] Если направление предсказания, соответствующее единице информации движения, является прямым, это указывает то, что единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным. Если направление предсказания, соответствующее единице информации движения, является обратным, это указывает то, что единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым. Если направление предсказания, соответствующее единице информации движения, является однонаправленным, это указывает то, что единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, или это указывает то, что единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым. Если направление предсказания, соответствующее единице информации движения, является двунаправленным, это указывает то, что единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, и вектор движения, направление предсказания которого является обратным.

[0129] Необязательно, в некоторых возможных реализациях настоящего изобретения, две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений. Верхняя левая пиксельная выборка текущего блока изображений представляет собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений; нижняя левая пиксельная выборка текущего блока изображений представляет собой нижнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю левую вершину текущего блока изображений; верхняя правая пиксельная выборка текущего блока изображений представляет собой верхнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю правую вершину текущего блока изображений; и центральная пиксельная выборка a1 текущего блока изображений представляет собой центральный пиксел текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя центральный пиксел текущего блока изображений.

[0130] Если пиксельная выборка представляет собой пиксельный блок, размер пиксельного блока, например, составляет 2*2, 1*2, 4*2, 4*4 или другой размер. Блок изображений может включать в себя несколько пиксельных блоков.

[0131] Следует отметить, что для блока изображений размера w*w, когда w является нечетным числом (например, w равен 3, 5, 7 или 11), центральный пиксел блока изображений является уникальным; когда w является четным числом (например, w равен 4, 6, 8 или 16), может быть предусмотрено несколько центральных пикселов в блоке изображений, и центральная пиксельная выборка блока изображений может представлять собой любой центральный пиксел или указанный центральный пиксел в блоке изображений, или центральная пиксельная выборка блока изображений может представлять собой пиксельный блок, который находится в блоке изображений и включает в себя любой центральный пиксел, или центральная пиксельная выборка блока изображений может представлять собой пиксельный блок, который находится в блоке изображений и включает в себя указанный центральный пиксел. Например, фиг. 1-d показывает в качестве примера блок изображений размера 4*4, и центральные пикселы блока изображений включают в себя четыре пиксела: A1, A2, A3 и A4. В этом случае, указанный центральный пиксел может представлять собой пиксел A1 (верхний левый центральный пиксел), пиксел A2 (нижний левый центральный пиксел), пиксел A3 (верхний правый центральный пиксел) или пиксел A4 (нижний правый центральный пиксел). Другие случаи могут быть выведены аналогичным образом.

[0132] S102. Определение набора i объединенных единиц информации движения, включающего в себя две единицы информации движения.

[0133] Каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным.

[0134] Например, предполагается то, что две пиксельных выборки включают в себя пиксельную выборку 001 и пиксельную выборку 002. Набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке 001, представляет собой набор 011 возможных вариантов единиц информации движения. Набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке 002, представляет собой набор 022 возможных вариантов единиц информации движения. Набор i объединенных единиц информации движения включает в себя единицу C01 информации движения и единицу C02 информации движения. Единица C01 информации движения может выбираться из набора 011 возможных вариантов единиц информации движения, единица C02 информации движения может выбираться из набора 022 возможных вариантов единиц информации движения, и т.д.

[0135] Очевидно, что при условии, что набор i объединенных единиц информации движения включает в себя единицу C01 информации движения и единицу C02 информации движения, причем любая из единицы C01 информации движения и единицы C02 информации движения может включать в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным, набор i объединенных единиц информации движения может включать в себя два вектора движения (направления предсказания, соответствующие двум векторам движения, могут быть прямыми или обратными, или два вектора движения могут включать в себя один вектор движения, направление предсказания которого является прямым, и один вектор движения, направление предсказания которого является обратным, или может включать в себя четыре вектора движения (четыре вектора движения могут включать в себя два вектора движения, направления предсказания которых являются прямыми, и два вектора движения, направления предсказания которых являются обратными), или может включать в себя три вектора движения (три вектора движения также могут включать в себя один вектор движения, направление предсказания которого является прямым, и два вектора движения, направления предсказания которых являются обратными, или могут включать в себя два вектора движения, направления предсказания которых являются прямыми, и один вектор движения, направление предсказания которого является обратным).

[0136] S103. Предсказывание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0137] Текущий блок изображений может представлять собой текущий блок кодирования или текущий блок декодирования.

[0138] Можно выяснить, что в техническом решении этого варианта осуществления, пиксельное значение текущего блока изображений предсказывается посредством использования модели аффинного движения и набора i объединенных единиц информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Поскольку диапазон выбора набора i объединенных единиц информации движения становится относительно небольшим, механизм, используемый в обычной технологии для отсеивания единиц информации движения нескольких пиксельных выборок только посредством выполнения огромного объема вычислений во всех возможных наборах возможных вариантов единиц информации движения нескольких пиксельных выборок, исключается. Это помогает повышать эффективность кодирования, также помогает уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения, дополнительно позволяет вводить модель аффинного движения в стандарт кодирования видео, и поскольку модель аффинного движения вводится, помогает более точно описывать движение объекта, и в силу этого помогает повышать точность предсказания. Помимо этого, поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и также помогает уменьшать информацию аффинных параметров или количество разностей векторов движения и т.п., передаваемые посредством кодера.

[0139] Способ предсказания изображений, предоставленный посредством этого варианта осуществления, может применяться к процессу кодирования видео или может применяться к процессу декодирования видео.

[0140] При фактическом применении, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, может определяться различными способами.

[0141] Необязательно, в некоторых возможных реализациях настоящего изобретения, определение набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, включает в себя: определение, из N возможных вариантов наборов объединенных единиц информации движения, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, причем каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, N является положительным целым числом, N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0142] То, что два возможных вариантов наборов объединенных единиц информации движения отличаются, может означать то, что единицы информации движения, включенные в возможные варианты наборов объединенных единиц информации движения, не являются полностью идентичными.

[0143] То, что две единицы информации движения отличаются, может означать то, что векторы движения, включенные в две единицы информации движения, отличаются, или то, что направления предсказания, соответствующие векторам движения, включенным в две единицы информации движения, отличаются, или то, что индексы опорных кадров, соответствующие векторам движения, включенным в две единицы информации движения, отличаются. То, что две единицы информации движения являются идентичными, может означать то, что векторы движения, включенные в две единицы информации движения, являются идентичными, и то, что направления предсказания, соответствующие векторам движения, включенным в две единицы информации движения, являются идентичными, и то, индексы опорных кадров, соответствующие векторам движения, включенным в две единицы информации движения, являются идентичными.

[0144] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ предсказания изображений применяется к процессу декодирования видео, определение, из N возможных вариантов наборов объединенных единиц информации движения, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, может включать в себя: определение, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения.

[0145] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ предсказания изображений применяется к процессу кодирования видео, способ дополнительно может включать в себя: запись идентификатора набора i объединенных единиц информации движения в поток видеобитов. Идентификатор набора i объединенных единиц информации движения может представлять собой любую информацию, которая может идентифицировать набор i объединенных единиц информации движения. Например, идентификатор набора i объединенных единиц информации движения может представлять собой индекс набора i объединенных единиц информации движения в списке наборов объединенных единиц информации движения.

[0146] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ предсказания изображений применяется к процессу кодирования видео, способ дополнительно включает в себя: получение предикторов векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, получение разностей векторов движения двух пиксельных выборок согласно предикторам векторов движения двух пиксельных выборок и запись разностей векторов движения двух пиксельных выборок в поток видеобитов.

[0147] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ предсказания изображений применяется к процессу декодирования видео, способ дополнительно включает в себя: декодирование потока видеобитов, чтобы получать разности векторов движения двух пиксельных выборок, получение предикторов векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, и получение векторов движения двух пиксельных выборок отдельно на основе предикторов векторов движения двух пиксельных выборок и разностей векторов движения двух пиксельных выборок.

[0148] Необязательно, в некоторых возможных реализациях настоящего изобретения, определение, из N возможных вариантов наборов объединенных единиц информации движения, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, может включать в себя: определение, из N возможных вариантов наборов объединенных единиц информации движения, на основе искажения или функции затрат на искажение в зависимости от скорости передачи, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения.

[0149] Необязательно, функция затрат на искажение в зависимости от скорости передачи, соответствующая набору i объединенных единиц информации движения, ниже или равна функции затрат на искажение в зависимости от скорости передачи, соответствующей любому из N возможных вариантов наборов объединенных единиц информации движения, отличному от набора i объединенных единиц информации движения.

[0150] Необязательно, искажение, соответствующее набору i объединенных единиц информации движения, меньше или равно искажению, соответствующему любому из N возможных вариантов наборов объединенных единиц информации движения, отличному от набора i объединенных единиц информации движения.

[0151] Функция затрат на искажение в зависимости от скорости передачи, соответствующая возможному варианту набора объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения (например, набору i объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения), например, может представлять собой функцию затрат на искажение в зависимости от скорости передачи, соответствующую предсказываемому пиксельному значению блока изображений (например, текущего блока изображений), полученного посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения).

[0152] Искажение, соответствующее возможному варианту набора объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения (например, набору i объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения), например, может представлять собой искажение между исходным пиксельным значением блока изображений (например, текущего блока изображений) и предсказываемым пиксельным значением блока изображений, полученным посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения) (а именно, искажение между исходным пиксельным значением и предсказываемым пиксельным значением блока изображений).

[0153] В некоторых возможных реализациях настоящего изобретения, искажение между исходным пиксельным значением блока изображений (например, текущего блока изображений) и предсказываемым пиксельным значением блока изображений, полученным посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения), может представлять собой, в частности, например, сумму квадратичных разностей (SSD, sum of quadratic differences) или сумму абсолютных разностей (SAD, sum of absolution differences), или сумму разностей между исходным пиксельным значением блока изображений (например, текущего блока изображений) и предсказываемым пиксельным значением блока изображений, полученным посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения), либо другой параметр искажения, который может измерять искажение.

[0154] N является положительным целым числом. Например, N может составлять, например, 1, 2, 3, 4, 5, 6, 8 или другое значение.

[0155] Необязательно, в некоторых возможных реализациях настоящего изобретения, единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения могут отличаться друг от друга.

[0156] Необязательно, в некоторых возможных реализациях настоящего изобретения, N возможных вариантов наборов объединенных единиц информации движения удовлетворяют, по меньшей мере, одному из первого условия, второго условия, третьего условия, четвертого условия или пятого условия.

[0157] Первое условие включает в себя то, что режим движения текущего блока изображений, указываемый посредством единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения, представляет собой непоступательное движение в пространстве. Например, если все векторы движения, соответствующие первому направлению предсказания в возможном варианте набора объединенных единиц информации движения, равны, можно считать, что режим движения текущего блока изображений, указываемый посредством единицы информации движения в возможном варианте набора объединенных единиц информации движения, представляет собой поступательное движение в пространстве; иначе можно считать, что режим движения текущего блока изображений, указываемый посредством единицы информации движения в возможном варианте набора объединенных единиц информации движения, представляет собой непоступательное движение в пространстве, причем первое направление предсказания является прямым или обратным. В качестве другого примера, если все векторы движения, соответствующие прямому направлению предсказания в возможном варианте набора объединенных единиц информации движения, равны, и все векторы движения, соответствующие обратным направлениям предсказания в возможном варианте набора объединенных единиц информации движения, равны, можно считать, что режим движения текущего блока изображений, указываемый посредством единицы информации движения в возможном варианте набора объединенных единиц информации движения, представляет собой поступательное движение в пространстве; иначе можно считать, что режим движения текущего блока изображений, указываемый посредством единицы информации движения в возможном варианте набора объединенных единиц информации движения, представляет собой непоступательное движение в пространстве.

[0158] Второе условие включает в себя то, что направления предсказания, соответствующие двум единицам информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения, являются идентичными.

[0159] Например, когда две единицы информации движения включают в себя вектор движения, направление предсказания которого является прямым, и вектор движения, направление предсказания которого является обратным, это указывает то, что направления предсказания, соответствующие двум единицам информации движения, являются идентичными. В качестве другого примера, когда одна единица информации движения в двух единицах информации движения включает в себя вектор движения, направление предсказания которого является прямым, и вектор движения, направление предсказания которого является обратным, и другая единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, или другая единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым, это может указывать то, что направления предсказания, соответствующие двум единицам информации движения, отличаются. В качестве другого примера, когда одна единица информации движения в двух единицах информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, и другая единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым, это может указывать то, что направления предсказания, соответствующие двум единицам информации движения, отличаются. В качестве другого примера, когда две единицы информации движения включают в себя вектор движения, направление предсказания которого является прямым, но ни одна из двух единиц информации движения не включает в себя вектор движения, направление предсказания которого является обратным, это указывает то, что направления предсказания, соответствующие двум единицам информации движения, являются идентичными. В качестве другого примера, когда две единицы информации движения включают в себя вектор движения, направление предсказания которого является обратным, но ни одна из двух единиц информации движения не включает в себя вектор движения, направление предсказания которого является прямым, это указывает то, что направления предсказания, соответствующие двум единицам информации движения, являются идентичными.

[0160] Третье условие включает в себя то, что индексы опорных кадров, соответствующие двум единицам информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения, являются идентичными.

[0161] Например, когда две единицы информации движения включают в себя вектор движения, направление предсказания которого является прямым, и вектор движения, направление предсказания которого является обратным, и индексы опорных кадров, соответствующие векторам движения, направления предсказания которых являются прямыми в двух единицах информации движения, являются идентичными, и индексы опорных кадров, соответствующие векторам движения, направления предсказания которых являются обратными в двух единицах информации движения, являются идентичными, это может указывать то, что индексы опорных кадров, соответствующие двум единицам информации движения, являются идентичными. В качестве другого примера, когда одна единица информации движения в двух единицах информации движения включает в себя вектор движения, направление предсказания которого является прямым, и вектор движения, направление предсказания которого является обратным, и другая единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, или другая единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым, это указывает то, что направления предсказания, соответствующие двум единицам информации движения, отличаются, и может указывать то, что индексы опорных кадров, соответствующие двум единицам информации движения, отличаются. В качестве другого примера, когда одна единица информации движения в двух единицах информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, и другая единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым, это может указывать то, что индексы опорных кадров, соответствующие двум единицам информации движения, отличаются. В качестве другого примера, когда одна единица информации движения в двух единицах информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, и другая единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, но не включает в себя вектор движения, направление предсказания которого является обратным, и индексы опорных кадров, соответствующие векторам движения, направления предсказания которых являются прямыми в двух единицах информации движения, являются идентичными, это может указывать то, что индексы опорных кадров, соответствующие двум единицам информации движения, отличаются. В качестве другого примера, когда одна единица информации движения в двух единицах информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым, и другая единица информации движения включает в себя вектор движения, направление предсказания которого является обратным, но не включает в себя вектор движения, направление предсказания которого является прямым, и индексы опорных кадров, соответствующие векторам движения, направления предсказания которых являются обратными в двух единицах информации движения, являются идентичными, это может указывать то, что индексы опорных кадров, соответствующие двум единицам информации движения, отличаются.

[0162] Четвертое условие включает в себя то, что абсолютное значение разности между горизонтальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению горизонтального компонента, или то, что абсолютное значение разности между горизонтальным компонентом вектора движения одной единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения и горизонтальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению горизонтального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок. Пороговое значение горизонтального компонента, например, может составлять 1/3 от ширины текущего блока изображений, 1/2 от ширины текущего блока изображений, 2/3 от ширины текущего блока изображений, 3/4 от ширины текущего блока изображений или другое значение.

[0163] Пятое условие включает в себя то, что абсолютное значение разности между вертикальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению вертикального компонента, или то, что абсолютное значение разности между вертикальным компонентом вектора движения любой единицы информации движения в одном из N возможных вариантов наборов объединенных единиц информации движения и вертикальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению горизонтального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок. Пороговое значение вертикального компонента, например, может составлять 1/3 от высоты текущего блока изображений, 1/2 от высоты текущего блока изображений, 2/3 от высоты текущего блока изображений, 3/4 от высоты текущего блока изображений или другое значение.

[0164] При условии, что две пиксельных выборки представляют собой верхнюю левую пиксельную выборку и верхнюю правую пиксельную выборку текущего блока изображений, пиксельная выборка Z может представлять собой нижнюю левую пиксельную выборку или центральную пиксельную выборку, или любую другую пиксельную выборку текущего блока изображений. Другие случаи могут быть выведены аналогичным образом.

[0165] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x1 пиксельных выборок, причем x1 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений, и x1 является положительным целым числом. Например, x1 пиксельных выборок включают в себя только, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений.

[0166] Например, x1 может составлять, например, 1, 2, 3, 4, 5, 6 или другое значение.

[0167] Например, x1 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с левым краем текущего блока изображений, пиксельной выборки, пространственно смежной с верхним левым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0168] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x2 пиксельных выборок, причем x2 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней правой пиксельной выборкой текущего блока изображений, и x2 является положительным целым числом.

[0169] Например, x2 может составлять, например, 1, 2, 3, 4, 5, 6 или другое значение.

[0170] Например, x2 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с правым краем текущего блока изображений, пиксельной выборки, пространственно смежной с верхним правым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0171] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x3 пиксельных выборок, причем x3 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с нижней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с нижней левой пиксельной выборкой текущего блока изображений, и x3 является положительным целым числом. Например, x3 пиксельных выборок включают в себя только, по меньшей мере, одну пиксельную выборку, пространственно смежную с нижней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с нижней левой пиксельной выборкой текущего блока изображений.

[0172] Например, x3 может составлять, например, 1, 2, 3, 4, 5, 6 или другое значение.

[0173] Например, x3 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с левым краем текущего блока изображений, пиксельной выборки, пространственно смежной с нижним левым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с нижним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0174] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий центральной пиксельной выборке a1 текущего блока изображений, включает в себя единицы информации движения x5 пиксельных выборок, и одна из x5 пиксельных выборок представляет собой пиксельную выборку a2. Например, x5 пиксельных выборок включают в себя только пиксельную выборку a2. Местоположение центральной пиксельной выборки a1 в видеокадре, которому принадлежит текущий блок изображений, является идентичным местоположению пиксельной выборки a2 в видеокадре, смежном с видеокадром, которому принадлежит текущий блок изображений, и x5 является положительным целым числом.

[0175] Необязательно, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения может включать в себя: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнение обработки масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения может включать в себя: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, отличается от индекса прямого опорного кадра текущего блока изображений, и индекс опорного кадра, соответствующего вектору движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, отличается от индекса обратного опорного кадра текущего блока изображений, выполнение обработки масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, понижающе масштабируется в прямой опорный кадр текущего блока изображений, и так что вектор движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, понижающе масштабируется в обратный опорный кадр текущего блока изображений, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения.

[0176] Необязательно, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели непоступательного движения в пространстве и масштабированного набора i объединенных единиц информации движения, например, может включать в себя: выполнение обработки оценки движения для вектора движения в масштабированном наборе i объединенных единиц информации движения, чтобы получать набор i объединенных единиц информации движения с оценкой движения, и предсказание пиксельного значения текущего блока изображений посредством использования модели непоступательного движения в пространстве и набора i объединенных единиц информации движения с оценкой движения.

[0177] Необязательно, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения включает в себя: получение вектора движения каждого пиксела в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определение предсказываемого пиксельного значения каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления; или получение вектора движения каждого пиксельного блока в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определение предсказываемого пиксельного значения каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0178] В ходе теста обнаружено, что выполнение вычисления векторов движения посредством использования пиксельного блока в текущем блоке изображений в качестве степени детализации помогает значительно уменьшать вычислительную сложность, если вектор движения каждого пиксельного блока в текущем блоке изображений получается посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения, и затем предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений определяется посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0179] Необязательно, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения может включать в себя: выполнение обработки оценки движения для вектора движения в наборе i объединенных единиц информации движения, чтобы получать набор i объединенных единиц информации движения с оценкой движения, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения с оценкой движения.

[0180] Необязательно, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения включает в себя: получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения к длине или ширине текущего блока изображений.

[0181] Альтернативно, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения может включать в себя: получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений, причем векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения (например, векторы движения двух пиксельных выборок представляют собой векторы движения двух единиц информации движения в наборе i объединенных единиц информации движения, или векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения и остатке предсказываения).

[0182] Необязательно, в некоторых возможных реализациях настоящего изобретения, коэффициент горизонтальных координат горизонтальных компонентов векторов движения двух пиксельных выборок равен коэффициенту вертикальных координат вертикальных компонентов векторов движения, и коэффициент вертикальных координат горизонтальных компонентов векторов движения двух пиксельных выборок является противоположным коэффициенту горизонтальных координат вертикальных компонентов векторов движения.

[0183] Необязательно, в некоторых возможных реализациях настоящего изобретения:

модель аффинного движения, например, может представлять собой модель аффинного движения в следующей форме:

, где:

[0184] (vx₂,vy₂) является вектором движения другой пиксельной выборки, отличающейся от двух пиксельных выборок в текущем блоке изображений. Например, при условии, что две пиксельных выборки представляют собой верхнюю левую пиксельную выборку и верхнюю правую пиксельную выборку текущего блока изображений (vx₂,vy₂) может представлять собой нижнюю левую пиксельную выборку или центральную пиксельную выборку текущего блока изображений. В качестве другого примера, при условии, что две пиксельных выборки представляют собой верхнюю левую пиксельную выборку и нижнюю левую пиксельную выборку текущего блока изображений, (vx₂,vy₂)может представлять собой верхнюю правую пиксельную выборку или центральную пиксельную выборку текущего блока изображений.

[0185] Когда пиксельная выборка представляет собой пиксельный блок, включающий в себя несколько пикселов, координаты пиксельной выборки могут представлять собой координаты любого пиксела в пиксельной выборке, или координаты пиксельной выборки могут представлять собой координаты указанного пиксела в пиксельной выборке (например, координаты пиксельной выборки могут представлять собой координаты верхнего левого пиксела или нижнего левого пикселя, или верхнего правого пикселя, или центрального пиксела в пиксельной выборке).

[0186] Очевидно, что для каждого блока изображений в текущем видеокадре, пиксельное значение может предсказываться в режиме, аналогичном режиму предсказания пиксельных значений, соответствующему текущему блоку изображений. Безусловно, для некоторых блоков изображений в текущем видеокадре, пиксельное значение также может предсказываться в режиме, отличающемся от режима предсказания пиксельных значений, соответствующего текущему блоку изображений.

[0187] Для лучшего понимания и реализации вышеприведенного решения варианта осуществления настоящего изобретения, далее используются конкретные сценарии применения для дополнительного описания.

[0188] Ссылаясь на фиг. 2-a, фиг. 2-a является блок-схемой последовательности операций другого способа предсказания изображений согласно другому варианту осуществления настоящего изобретения. Этот вариант осуществления описывается в основном посредством использования способа предсказания изображений, реализованного в устройстве кодирования видео, в качестве примера. Как показано в качестве примера на фиг. 2-a, другой способ предсказания изображений, предоставленный посредством другого варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0189] S201. Устройство кодирования видео определяет две пиксельных выборки в текущем блоке изображений.

[0190] В этом варианте осуществления, главным образом используется следующий пример: Две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений. Например, две пиксельных выборки включают в себя верхнюю левую пиксельную выборку и верхнюю правую пиксельную выборку текущего блока изображений. Сценарии, в которых две пиксельных выборки представляют собой другие пиксельные выборки текущего блока изображений, могут быть выведены аналогичным образом.

[0191] Верхняя левая пиксельная выборка текущего блока изображений может представлять собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений; нижняя левая пиксельная выборка текущего блока изображений представляет собой нижнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю левую вершину текущего блока изображений; верхняя правая пиксельная выборка текущего блока изображений представляет собой верхнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю правую вершину текущего блока изображений; и центральная пиксельная выборка a1 текущего блока изображений представляет собой центральный пиксел текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя центральный пиксел текущего блока изображений.

[0192] Если пиксельная выборка представляет собой пиксельный блок, размер пиксельного блока, например, составляет 2*2, 1*2, 4*2, 4*4 или другой размер.

[0193] S202. Устройство кодирования видео определяет набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок.

[0194] Набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения.

[0195] Пиксельная выборка, упомянутая в каждом варианте осуществления настоящего изобретения, может представлять собой пиксел или пиксельный блок, включающий в себя, по меньшей мере, два пиксела.

[0196] Например, как показано на фиг. 2-b и фиг. 2-c, набор S1 возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, может включать в себя единицы информации движения x1 пиксельных выборок. X1 пиксельных выборок включают в себя, по меньшей мере, одно из пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений, блока C изображений, пространственно смежного с левым краем текущего блока изображений, блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, или блока B изображений, пространственно смежного с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений. Например, сначала могут получаться единица информации движения блока C изображений, пространственно смежного с левым краем текущего блока изображений, единица информации движения блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, и единица информации движения блока B изображений, пространственно смежного с верхним краем текущего блока изображений, и полученная единица информации движения блока C изображений, пространственно смежного с левым краем текущего блока изображений, единица информации движения блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, и единица информации движения блока B изображений, пространственно смежного с верхним краем текущего блока изображений, добавляются в набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений. Если часть или все из единицы информации движения блока C изображений, пространственно смежного с левым краем текущего блока изображений, единицы информации движения блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, и единицы информации движения блока B изображений, пространственно смежного с верхним краем текущего блока изображений, являются идентичными, обработка дедупликации дополнительно выполняется для набора S1 возможных вариантов единиц информации движения (в этом случае, количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения после обработки дедупликации может быть равно 1 или 2). Если единица информации движения пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, является идентичной единице информации движения в наборе S1 возможных вариантов единиц информации движения после обработки дедупликации, нулевая единица информации движения может добавляться в набор S1 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения не станет равно 3. Помимо этого, если единица информации движения пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, отличается от любой единицы информации движения в наборе S1 возможных вариантов единиц информации движения после обработки дедупликации, единица информации движения пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, добавляется в набор S1 возможных вариантов единиц информации движения после обработки дедупликации. Если количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения по-прежнему меньше 3 в этом случае, нулевая единица информации движения может добавляться в набор S1 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения не станет равно 3.

[0197] Если видеокадр, которому принадлежит текущий блок изображений, представляет собой прямой предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S1 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, но может не включать в себя нулевой вектор движения, направление предсказания которого является обратным. Если видеокадр, которому принадлежит текущий блок изображений, представляет собой обратный предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S1 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является обратным, но может не включать в себя нулевой вектор движения, направление предсказания которого является прямым. Помимо этого, если видеокадр, которому принадлежит текущий блок изображений, представляет собой кадр двунаправленного предсказания, нулевая единица информации движения, добавляемая в набор S1 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, и нулевой вектор движения, направление предсказания которого является обратным. Индексы опорных кадров, соответствующие векторам движения в различных нулевых единицах информации движения, добавляемых в набор S1 возможных вариантов единиц информации движения, могут отличаться, и соответствующие индексы опорных кадров могут составлять, например, 0, 1, 2, 3 или другое значение.

[0198] Аналогично, например, как показано на фиг. 2-b и фиг. 2-c, набор S2 возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, может включать в себя единицы информации движения x2 блоков изображений. X2 блоков изображений могут включать в себя, по меньшей мере, одно из пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений, блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, или блока D изображений, пространственно смежного с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений. Например, сначала могут получаться единица информации движения блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, и единица информации движения блока D изображений, пространственно смежного с верхним краем текущего блока изображений, и полученная единица информации движения блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, и единица информации движения блока D изображений, пространственно смежного с верхним краем текущего блока изображений, добавляются в набор S2 возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений. Если единица информации движения блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, является идентичной единице информации движения блока D изображений, пространственно смежного с верхним краем текущего блока изображений, обработка дедупликации может выполняться для набора S2 возможных вариантов единиц информации движения (в этом случае, количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения после обработки дедупликации равно 1). Если единица информации движения пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, является идентичной единице информации движения в наборе S2 возможных вариантов единиц информации движения после обработки дедупликации, нулевая единица информации движения дополнительно может добавляться в набор S2 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения не станет равно 2. Помимо этого, если единица информации движения пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, отличается от любой единицы информации движения в наборе S2 возможных вариантов единиц информации движения после обработки дедупликации, единица информации движения пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, может добавляться в набор S2 возможных вариантов единиц информации движения после обработки дедупликации. Если количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения по-прежнему меньше 2 в этом случае, нулевая единица информации движения дополнительно добавляется в набор S2 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения не станет равно 2.

[0199] Если видеокадр, которому принадлежит текущий блок изображений, представляет собой прямой предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S2 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, но может не включать в себя нулевой вектор движения, направление предсказания которого является обратным. Если видеокадр, которому принадлежит текущий блок изображений, представляет собой обратный предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S2 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является обратным, но может не включать в себя нулевой вектор движения, направление предсказания которого является прямым. Помимо этого, если видеокадр, которому принадлежит текущий блок изображений, представляет собой кадр двунаправленного предсказания, нулевая единица информации движения, добавляемая в набор S2 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, и нулевой вектор движения, направление предсказания которого является обратным. Индексы опорных кадров, соответствующие векторам движения в различных нулевых единицах информации движения, добавляемых в набор S2 возможных вариантов единиц информации движения, могут отличаться, и соответствующие индексы опорных кадров могут составлять, например, 0, 1, 2, 3 или другое значение.

[0200] Аналогично, например, как показано на фиг. 2-b и фиг. 2-c, набор S3 возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений, может включать в себя единицы информации движения x3 блоков изображений. X3 блоков изображений могут включать в себя, по меньшей мере, одно из пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений, блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, или блока F изображений, пространственно смежного с левым краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений. Например, сначала получаются единица информации движения блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, и единица информации движения блока F изображений, пространственно смежного с левым краем текущего блока изображений, и полученная единица информации движения блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, и единица информации движения блока F изображений, пространственно смежного с левым краем текущего блока изображений, могут добавляться в набор S3 возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений. Если единица информации движения блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, является идентичной единице информации движения блока F изображений, пространственно смежного с левым краем текущего блока изображений, обработка дедупликации выполняется для набора S3 возможных вариантов единиц информации движения (в этом случае, количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения после обработки дедупликации равно 1). Если единица информации движения пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, является идентичной единице информации движения в наборе S3 возможных вариантов единиц информации движения после обработки дедупликации, нулевая единица информации движения дополнительно может добавляться в набор S3 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения не станет равно 2. Помимо этого, если единица информации движения пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, отличается от любой единицы информации движения в наборе S3 возможных вариантов единиц информации движения после обработки дедупликации, единица информации движения пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, может добавляться в набор S3 возможных вариантов единиц информации движения после обработки дедупликации. Если количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения по-прежнему меньше 2 в этом случае, нулевая единица информации движения дополнительно добавляется в набор S3 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения не станет равно 2.

[0201] Если видеокадр, которому принадлежит текущий блок изображений, представляет собой прямой предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S3 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, но может не включать в себя нулевой вектор движения, направление предсказания которого является обратным. Если видеокадр, которому принадлежит текущий блок изображений, представляет собой обратный предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S3 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является обратным, но может не включать в себя нулевой вектор движения, направление предсказания которого является прямым. Помимо этого, если видеокадр, которому принадлежит текущий блок изображений, представляет собой кадр двунаправленного предсказания, нулевая единица информации движения, добавляемая в набор S3 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, и нулевой вектор движения, направление предсказания которого является обратным. Индексы опорных кадров, соответствующие векторам движения в различных нулевых единицах информации движения, добавляемых в набор S3 возможных вариантов единиц информации движения, могут отличаться, и соответствующие индексы опорных кадров могут составлять, например, 0, 1, 2, 3 или другое значение.

[0202] То, что две единицы информации движения отличаются, может означать то, что векторы движения, включенные в две единицы информации движения, отличаются, или то, что направления предсказания, соответствующие векторам движения, включенным в две единицы информации движения, отличаются, или то, что индексы опорных кадров, соответствующие векторам движения, включенным в две единицы информации движения, отличаются. То, что две единицы информации движения являются идентичными, может означать то, что векторы движения, включенные в две единицы информации движения, являются идентичными, и то, что направления предсказания, соответствующие векторам движения, включенным в две единицы информации движения, являются идентичными, и то, индексы опорных кадров, соответствующие векторам движения, включенным в две единицы информации движения, являются идентичными.

[0203] Очевидно, что для сценария, в котором существует большее число пиксельных выборок, набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке, может получаться аналогичным образом.

[0204] Например, как показано на фиг. 2-d, две пиксельных выборки могут включать в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений. Верхняя левая пиксельная выборка текущего блока изображений представляет собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений; нижняя левая пиксельная выборка текущего блока изображений представляет собой нижнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю левую вершину текущего блока изображений; верхняя правая пиксельная выборка текущего блока изображений представляет собой верхнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю правую вершину текущего блока изображений; и центральная пиксельная выборка a1 текущего блока изображений представляет собой центральный пиксел текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя центральный пиксел текущего блока изображений.

[0205] S203. Устройство кодирования видео определяет N возможных вариантов наборов объединенных единиц информации движения на основе набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок. Каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0206] Очевидно, что при условии, что возможный вариант набора объединенных единиц информации движения определяется на основе набора S1 возможных вариантов единиц информации движения (при условии, что включены три единицы информации движения) и набора S2 возможных вариантов единиц информации движения (при условии, что включены две единицы информации движения), в теории, могут определяться 3*2=6 начальных возможных вариантов наборов объединенных единиц информации движения. Тем не менее, чтобы повышать доступность, например, по меньшей мере, одно из первого условия, второго условия, третьего условия, четвертого условия или пятого условия может использоваться для того, чтобы отсеивать N возможных вариантов наборов объединенных единиц информации движения из шести начальных возможных вариантов наборов объединенных единиц информации движения. Если количества единиц информации движения, включенные в набор S1 возможных вариантов единиц информации движения и набор S2 возможных вариантов единиц информации движения, не ограничены вышеприведенными примерами, количество начальных возможных вариантов наборов объединенных единиц информации движения не обязательно составляет шесть.

[0207] Для получения дополнительной информации в отношении ограничений первого условия, второго условия, третьего условия, четвертого условия и пятого условия, следует обратиться к описаниям примеров в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе. Безусловно, N возможных вариантов наборов объединенных единиц информации движения, например, дополнительно могут удовлетворять другим условиям, которые не проиллюстрированы.

[0208] В конкретном процессе реализации, например, по меньшей мере, одно из первого условия, второго условия или третьего условия может сначала использоваться для того, чтобы выполнять отсеивание для начальных возможных вариантов наборов объединенных единиц информации движения, и N01 возможных вариантов наборов объединенных единиц информации движения отсеиваются из начальных возможных вариантов наборов объединенных единиц информации движения, затем обработка масштабирования выполняется для N01 возможных вариантов наборов объединенных единиц информации движения, и после этого, по меньшей мере, одно из четвертого условия или пятого условия используется для того, чтобы отсеивать N возможных вариантов наборов объединенных единиц информации движения из N01 возможных вариантов наборов объединенных единиц информации движения. Безусловно, отсеивание может выполняться для начальных возможных вариантов наборов объединенных единиц информации движения посредством непосредственного использования, по меньшей мере, одного из первого условия, второго условия или третьего условия без обращения к четвертому условию и пятому условию, и N возможных вариантов наборов объединенных единиц информации движения отсеиваются из начальных возможных вариантов наборов объединенных единиц информации движения.

[0209] Очевидно, что вектор движения при кодировании или декодировании видео отражает значение смещения объекта в одном направлении (направлении предсказываения) относительно идентичного времени (идентичное время соответствует идентичному опорному кадру). Следовательно, когда единицы информации движения различных пиксельных выборок соответствуют различным направлениям предсказания и/или соответствуют различным индексам опорных кадров, смещение движения каждого пиксела или пиксельного блока текущего блока изображений относительно опорного кадра не может непосредственно получаться. Тем не менее, когда пиксельные выборки соответствуют идентичному направлению предсказания и соответствуют идентичному индексу опорного кадра, вектор движения каждого пиксела или пиксельного блока в блоке изображений может получаться посредством использования комбинации объединенных векторов движения.

[0210] Следовательно, когда единицы информации движения различных пиксельных выборок в возможном варианте набора объединенных единиц информации движения соответствуют различным направлениям предсказания и/или соответствуют различным индексам опорных кадров, обработка масштабирования может выполняться для возможного варианта набора объединенных единиц информации движения. Обработка масштабирования, выполняемая для возможного варианта набора объединенных единиц информации движения, может быть связана с модификацией, добавлением и/или удалением и т.п. вектора движения в одной или более единиц информации движения в возможном варианте набора объединенных единиц информации движения.

[0211] Например, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения может включать в себя: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнение обработки масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

[0212] S204. Устройство кодирования видео определяет, из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0213] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство кодирования видео дополнительно может записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов. Соответственно, устройство декодирования видео определяет, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0214] Необязательно, в некоторых возможных реализациях настоящего изобретения, то, что устройство кодирования видео определяет из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, может включать в себя: определение, из N возможных вариантов наборов объединенных единиц информации движения, на основе искажения или функции затрат на искажение в зависимости от скорости передачи, набора i объединенных единиц информации движения, включающего в себя две единицы информации движения.

[0215] Необязательно, функция затрат на искажение в зависимости от скорости передачи, соответствующая набору i объединенных единиц информации движения, ниже или равна функции затрат на искажение в зависимости от скорости передачи, соответствующей любому из N возможных вариантов наборов объединенных единиц информации движения, отличному от набора i объединенных единиц информации движения.

[0216] Необязательно, искажение, соответствующее набору i объединенных единиц информации движения, меньше или равно искажению, соответствующему любому из N возможных вариантов наборов объединенных единиц информации движения, отличному от набора i объединенных единиц информации движения.

[0217] Функция затрат на искажение в зависимости от скорости передачи, соответствующая возможному варианту набора объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения (например, набору i объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения), например, может представлять собой функцию затрат на искажение в зависимости от скорости передачи, соответствующую предсказываемому пиксельному значению блока изображений (например, текущего блока изображений), полученного посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения).

[0218] Искажение, соответствующее возможному варианту набора объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения (например, набору i объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения), например, может представлять собой искажение между исходным пиксельным значением блока изображений (например, текущего блока изображений) и предсказываемым пиксельным значением блока изображений, полученным посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения) (а именно, искажение между исходным пиксельным значением и предсказываемым пиксельным значением блока изображений).

[0219] В некоторых возможных реализациях настоящего изобретения, искажение между исходным пиксельным значением блока изображений (например, текущего блока изображений) и предсказываемым пиксельным значением блока изображений, полученным посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения), может представлять собой, в частности, например, сумму квадратичных разностей (SSD) или сумму абсолютных разностей (SAD), или сумму разностей между исходным пиксельным значением блока изображений (например, текущего блока изображений) и предсказываемым пиксельным значением блока изображений, полученным посредством предсказания пиксельного значения блока изображений посредством использования возможного варианта набора объединенных единиц информации движения (например, набора i объединенных единиц информации движения), либо другой параметр искажения, который может измерять искажение.

[0220] Дополнительно, чтобы дополнительно уменьшать вычислительную сложность, когда N превышает n1, n1 возможных вариантов наборов объединенных единиц информации движения могут отсеиваться из N возможных вариантов наборов объединенных единиц информации движения, и набор i объединенных единиц информации движения, включающий в себя две единицы информации движения определяется из n1 возможных вариантов наборов объединенных единиц информации движения на основе искажения или функции затрат на искажение в зависимости от скорости передачи. D(V), соответствующий любому из n1 возможных вариантов наборов объединенных единиц информации движения, меньше или равен D(V), соответствующему любому из N возможных вариантов наборов объединенных единиц информации движения, отличному от n1 возможных вариантов наборов объединенных единиц информации движения, причем n1, например, составляет 3, 4, 5, 6 или другое значение.

[0221] Дополнительно, n1 возможных вариантов наборов объединенных единиц информации движения или идентификаторы n1 возможных вариантов наборов объединенных единиц информации движения могут добавляться в список возможных вариантов наборов объединенных единиц информации движения. Если N меньше или равен n1, N возможных вариантов наборов объединенных единиц информации движения или идентификаторы N возможных вариантов наборов объединенных единиц информации движения могут добавляться в очередь возможных вариантов наборов объединенных единиц информации движения. Возможные варианты наборов объединенных единиц информации движения в очереди возможных вариантов наборов объединенных единиц информации движения могут размещаться в порядке возрастания или порядке убывания, например, согласно значению D(V).

[0222] Например, параметр D(V) евклидова расстояния любого (например, набора i объединенных единиц информации движения) из N возможных вариантов наборов объединенных единиц информации движения может вычисляться следующим образом:

, где:

указывает горизонтальный компонент вектора движения, указывает вертикальный компонент вектора движения, и являются двумя векторами движения двух пиксельных выборок, включенных в возможный вариант набора объединенных единиц информации движения в N возможных вариантов наборов объединенных единиц информации движения, вектор движения указывает вектор движения другой пиксельной выборки текущего блока изображений, и другая пиксельная выборка отличается от двух пиксельных выборок. Например, как показано на фиг. 2-e, и указывают векторы движения верхней левой пиксельной выборки и верхнюю правую пиксельную выборку текущего блока изображений, и вектор движения указывает вектор движения нижней левой пиксельной выборки текущего блока изображений. Безусловно, вектор движения также может указывать вектор движения центральной пиксельной выборки или любой другой пиксельной выборки текущего блока изображений.

[0223] Необязательно, или , или , или .

[0224] Дополнительно, очередь возможных вариантов наборов объединенных единиц информации движения может получаться посредством сортировки значений D(V) N возможных вариантов наборов объединенных единиц информации движения в порядке возрастания или порядке убывания. Наборы объединенных единиц информации движения в очереди возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и индекс может использоваться для того, чтобы указывать набор объединенных единиц информации движения в очереди возможных вариантов наборов объединенных единиц информации движения.

[0225] S205. Устройство кодирования видео предсказывает вектор движения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0226] Предполагается то, что размер текущего блока изображений составляет w x h, и то, что w равен или не равен h.

[0227] Предполагается то, что координаты двух пиксельных выборок представляют собой (0,0) и (w,0). В данном документе, например, координаты пиксела в верхнем левом углу пиксельной выборки участвуют в вычислении. Ссылаясь на фиг. 2-e, фиг. 2-e показывает координаты четырех вершин текущего блока изображений. Ссылаясь на фиг. 2-f и фиг. 2-g, фиг. 2-f и фиг. 2-g показывают принципиальные схемы аффинного движения.

[0228] Векторы движения двух пиксельных выборок представляют собой (vx₀,vy₀) и (vx₁,vy₁), соответственно. Например, координаты и векторы движения двух пиксельных выборок подставляются в следующую модель аффинного движения, и может вычисляться вектор движения любого пиксела в текущем блоке x изображений:

(формула 1)

[0229] Векторы движения двух пиксельных выборок представляют собой (vx₀,vy₀) и (vx₁,vy₁), соответственно, vx и vy являются, соответственно, горизонтальным компонентом (vx) и вертикальным компонентом (vy) вектора движения пиксельной выборки, координаты которой представляют собой (x, y) в текущем блоке изображений, и w является длиной или шириной текущего блока изображений.

[0230] Дополнительно, устройство кодирования видео может предсказывать пиксельное значение текущего блока изображений на основе вычисленного вектора движения каждого пиксела или каждого пиксельного блока текущего блока изображений. Устройство кодирования видео может получать остаток предсказания текущего блока изображений посредством использования исходного пиксельного значения текущего блока изображений и предсказываемого пиксельного значения текущего блока изображений, который получается посредством предсказания пиксельного значения текущего блока изображений. Устройство кодирования видео может записывать остаток предсказания текущего блока изображений в поток видеобитов.

[0231] Можно выяснить, что в техническом решении этого варианта осуществления, устройство кодирования видео предсказывает пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Поскольку диапазон выбора набора i объединенных единиц информации движения становится относительно небольшим, механизм, используемый в обычной технологии для отсеивания единиц информации движения нескольких пиксельных выборок только посредством выполнения огромного объема вычислений во всех возможных наборах возможных вариантов единиц информации движения нескольких пиксельных выборок, исключается. Это помогает повышать эффективность кодирования, также помогает уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения, дополнительно позволяет вводить модель аффинного движения в стандарт кодирования видео, и поскольку модель аффинного движения вводится, помогает более точно описывать движение объекта, и в силу этого помогает повышать точность предсказания. Поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и также помогает уменьшать информацию аффинных параметров или количество разностей векторов движения и т.п., передаваемые посредством кодера.

[0232] Далее проиллюстрирован процесс извлечения модели аффинного движения, показанной в формуле 1. Например, модель вращательного движения может использоваться для того, чтобы извлекать модель аффинного движения.

[0233] Например, вращательное движение показано в качестве примера на фиг. 2-h или фиг. 2-i.

[0234] Модель вращательного движения показана в формуле 2, где (x',y') являются координатами, соответствующими пикселу, координаты которого являются (x,y) в опорном кадре, является углом поворота, и (a₀,a₁) являются компонентами перемещения в пространстве. Если коэффициент преобразования известен, вектор (vx,vy) движения пиксела (x,y) может получаться:

(формула 2)

[0235] Используемая вращательная матрица представляет собой.

[0236] На основе вращения, если изменение масштаба выполняется посредством использования коэффициента , получается следующая упрощенная модель аффинного движения, с тем чтобы не допускать треугольного вычисления во вращательном движении:

[0237] Это помогает уменьшать вычислительную сложность и может упрощать процесс вычисления вектора движения каждого пиксела. Помимо этого, аналогично общей модели аффинного движения, эта модель может применяться к комплексным сценариям движения, таким как вращение и масштабирование. Упрощенная модель аффинного движения может описываться в формуле 3. По сравнению с общей моделью аффинного движения, только четыре параметра могут требоваться для выражения упрощенной модели аффинного движения:

(формула 3)

[0238] Для блока изображений (например, ), размер которого составляет , правый край и нижний край блока изображений отдельно расширяются на одну строку, чтобы получать вершины, координаты которых составляют (0,0) и (w,0), и получаются векторы движения (vx₀,vy₀) и (vx₁,vy₁) вершин, координаты которых составляют (0,0) и (w,0). Две вершины используются в качестве пиксельных выборок (безусловно, другой пиксел также может использоваться в качестве опорной пиксельной выборки, например, центральной пиксельной выборки), координаты и векторы движения пиксельных выборок подставляются в формулу 3, и формула 1 может извлекаться:

(формула 1)

где

[0239] Векторы движения двух пиксельных выборок представляют собой (vx₀,vy₀) и (vx₁,vy₁), соответственно, vx является горизонтальным компонентом вектора движения пиксельной выборки, координаты которой представляют собой (x, y) в текущем блоке изображений, vy является вертикальным компонентом вектора движения пиксельной выборки, координаты которой представляют собой (x, y) в текущем блоке изображений, и w является длиной или шириной текущего блока изображений.

[0240] Очевидно, что вышеприведенный процесс извлечения показывает то, что формула 1 имеет относительно высокую готовность. При практическом использовании обнаружено, что поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и уменьшать информацию аффинных параметров или количество разностей векторов движения, передаваемое во время кодирования.

[0241] Ссылаясь на фиг. 3, фиг. 3 является блок-схемой последовательности операций другого способа предсказания изображений согласно другому варианту осуществления настоящего изобретения. Этот вариант осуществления описывается в основном посредством использования способа предсказания изображений, реализованного в устройстве декодирования видео, в качестве примера. Как показано в качестве примера на фиг. 3, другой способ предсказания изображений, предоставленный посредством другого варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0242] S301. Устройство декодирования видео определяет две пиксельных выборки в текущем блоке изображений.

[0243] В этом варианте осуществления, главным образом используется следующий пример: Две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений. Например, две пиксельных выборки включают в себя верхнюю левую пиксельную выборку и верхнюю правую пиксельную выборку текущего блока изображений. Сценарии, в которых две пиксельных выборки представляют собой другие пиксельные выборки текущего блока изображений, могут быть выведены аналогичным образом.

[0244] Верхняя левая пиксельная выборка текущего блока изображений может представлять собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений; нижняя левая пиксельная выборка текущего блока изображений представляет собой нижнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю левую вершину текущего блока изображений; верхняя правая пиксельная выборка текущего блока изображений представляет собой верхнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю правую вершину текущего блока изображений; и центральная пиксельная выборка a1 текущего блока изображений представляет собой центральный пиксел текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя центральный пиксел текущего блока изображений.

[0245] Если пиксельная выборка представляет собой пиксельный блок, размер пиксельного блока, например, составляет 2*2, 1*2, 4*2, 4*4 или другой размер.

[0246] S302. Устройство декодирования видео определяет набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок.

[0247] Набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения.

[0248] Пиксельная выборка, упомянутая в каждом варианте осуществления настоящего изобретения, может представлять собой пиксел или пиксельный блок, включающий в себя, по меньшей мере, два пиксела.

[0249] Например, как показано на фиг. 2-b и фиг. 2-c, набор S1 возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, может включать в себя единицы информации движения x1 пиксельных выборок. X1 пиксельных выборок включают в себя, по меньшей мере, одно из пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений, блока C изображений, пространственно смежного с левым краем текущего блока изображений, блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, или блока B изображений, пространственно смежного с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений. Например, сначала могут получаться единица информации движения блока C изображений, пространственно смежного с левым краем текущего блока изображений, единица информации движения блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, и единица информации движения блока B изображений, пространственно смежного с верхним краем текущего блока изображений, и полученная единица информации движения блока C изображений, пространственно смежного с левым краем текущего блока изображений, единица информации движения блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, и единица информации движения блока B изображений, пространственно смежного с верхним краем текущего блока изображений, добавляются в набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений. Если часть или все из единицы информации движения блока C изображений, пространственно смежного с левым краем текущего блока изображений, единицы информации движения блока A изображений, пространственно смежного с верхним левым углом текущего блока изображений, и единицы информации движения блока B изображений, пространственно смежного с верхним краем текущего блока изображений, являются идентичными, обработка дедупликации дополнительно выполняется для набора S1 возможных вариантов единиц информации движения (в этом случае, количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения после обработки дедупликации может быть равно 1 или 2). Если единица информации движения пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, является идентичной единице информации движения в наборе S1 возможных вариантов единиц информации движения после обработки дедупликации, нулевая единица информации движения может добавляться в набор S1 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения не станет равно 3. Помимо этого, если единица информации движения пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, отличается от любой единицы информации движения в наборе S1 возможных вариантов единиц информации движения после обработки дедупликации, единица информации движения пиксельной выборки Col-LT, которая имеет местоположение, идентичное местоположению верхней левой пиксельной выборки LT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, добавляется в набор S1 возможных вариантов единиц информации движения после обработки дедупликации. Если количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения по-прежнему меньше 3 в этом случае, нулевая единица информации движения может добавляться в набор S1 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S1 возможных вариантов единиц информации движения не станет равно 3.

[0250] Если видеокадр, которому принадлежит текущий блок изображений, представляет собой прямой предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S1 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, но может не включать в себя нулевой вектор движения, направление предсказания которого является обратным. Если видеокадр, которому принадлежит текущий блок изображений, представляет собой обратный предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S1 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является обратным, но может не включать в себя нулевой вектор движения, направление предсказания которого является прямым. Помимо этого, если видеокадр, которому принадлежит текущий блок изображений, представляет собой кадр двунаправленного предсказания, нулевая единица информации движения, добавляемая в набор S1 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, и нулевой вектор движения, направление предсказания которого является обратным. Индексы опорных кадров, соответствующие векторам движения в различных нулевых единицах информации движения, добавляемых в набор S1 возможных вариантов единиц информации движения, могут отличаться, и соответствующие индексы опорных кадров могут составлять, например, 0, 1, 2, 3 или другое значение.

[0251] Аналогично, например, как показано на фиг. 2-b и фиг. 2-c, набор S2 возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, может включать в себя единицы информации движения x2 блоков изображений. X2 блоков изображений могут включать в себя, по меньшей мере, одно из пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений, блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, или блока D изображений, пространственно смежного с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений. Например, сначала могут получаться единица информации движения блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, и единица информации движения блока D изображений, пространственно смежного с верхним краем текущего блока изображений, и полученная единица информации движения блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, и единица информации движения блока D изображений, пространственно смежного с верхним краем текущего блока изображений, добавляются в набор S2 возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений. Если единица информации движения блока E изображений, пространственно смежного с верхним правым углом текущего блока изображений, является идентичной единице информации движения блока D изображений, пространственно смежного с верхним краем текущего блока изображений, обработка дедупликации может выполняться для набора S2 возможных вариантов единиц информации движения (в этом случае, количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения после обработки дедупликации равно 1). Если единица информации движения пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, является идентичной единице информации движения в наборе S2 возможных вариантов единиц информации движения после обработки дедупликации, нулевая единица информации движения дополнительно может добавляться в набор S2 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения не станет равно 2. Помимо этого, если единица информации движения пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, отличается от любой единицы информации движения в наборе S2 возможных вариантов единиц информации движения после обработки дедупликации, единица информации движения пиксельной выборки Col-RT, которая имеет местоположение, идентичное местоположению верхней правой пиксельной выборки RT текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, может добавляться в набор S2 возможных вариантов единиц информации движения после обработки дедупликации. Если количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения по-прежнему меньше 2 в этом случае, нулевая единица информации движения дополнительно добавляется в набор S2 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S2 возможных вариантов единиц информации движения не станет равно 2.

[0252] Если видеокадр, которому принадлежит текущий блок изображений, представляет собой прямой предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S2 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, но может не включать в себя нулевой вектор движения, направление предсказания которого является обратным. Если видеокадр, которому принадлежит текущий блок изображений, представляет собой обратный предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S2 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является обратным, но может не включать в себя нулевой вектор движения, направление предсказания которого является прямым. Помимо этого, если видеокадр, которому принадлежит текущий блок изображений, представляет собой кадр двунаправленного предсказания, нулевая единица информации движения, добавляемая в набор S2 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, и нулевой вектор движения, направление предсказания которого является обратным. Индексы опорных кадров, соответствующие векторам движения в различных нулевых единицах информации движения, добавляемых в набор S2 возможных вариантов единиц информации движения, могут отличаться, и соответствующие индексы опорных кадров могут составлять, например, 0, 1, 2, 3 или другое значение.

[0253] Аналогично, например, как показано на фиг. 2-b и фиг. 2-c, набор S3 возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений, может включать в себя единицы информации движения x3 блоков изображений. X3 блоков изображений могут включать в себя, по меньшей мере, одно из пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений, блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, или блока F изображений, пространственно смежного с левым краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений. Например, сначала получаются единица информации движения блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, и единица информации движения блока F изображений, пространственно смежного с левым краем текущего блока изображений, и полученная единица информации движения блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, и единица информации движения блока F изображений, пространственно смежного с левым краем текущего блока изображений, могут добавляться в набор S3 возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений. Если единица информации движения блока G изображений, пространственно смежного с нижним левым углом текущего блока изображений, является идентичной единице информации движения блока F изображений, пространственно смежного с левым краем текущего блока изображений, обработка дедупликации выполняется для набора S3 возможных вариантов единиц информации движения (в этом случае, количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения после обработки дедупликации равно 1). Если единица информации движения пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, является идентичной единице информации движения в наборе S3 возможных вариантов единиц информации движения после обработки дедупликации, нулевая единица информации движения дополнительно может добавляться в набор S3 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения не станет равно 2. Помимо этого, если единица информации движения пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, отличается от любой единицы информации движения в наборе S3 возможных вариантов единиц информации движения после обработки дедупликации, единица информации движения пиксельной выборки Col-LB, которая имеет местоположение, идентичное местоположению нижней левой пиксельной выборки LB текущего блока изображений в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений, может добавляться в набор S3 возможных вариантов единиц информации движения после обработки дедупликации. Если количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения по-прежнему меньше 2 в этом случае, нулевая единица информации движения дополнительно добавляется в набор S3 возможных вариантов единиц информации движения до тех пор, пока количество единиц информации движения в наборе S3 возможных вариантов единиц информации движения не станет равно 2.

[0254] Если видеокадр, которому принадлежит текущий блок изображений, представляет собой прямой предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S3 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, но может не включать в себя нулевой вектор движения, направление предсказания которого является обратным. Если видеокадр, которому принадлежит текущий блок изображений, представляет собой обратный предсказываемый кадр, нулевая единица информации движения, добавляемая в набор S3 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является обратным, но может не включать в себя нулевой вектор движения, направление предсказания которого является прямым. Помимо этого, если видеокадр, которому принадлежит текущий блок изображений, представляет собой кадр двунаправленного предсказания, нулевая единица информации движения, добавляемая в набор S3 возможных вариантов единиц информации движения, включает в себя нулевой вектор движения, направление предсказания которого является прямым, и нулевой вектор движения, направление предсказания которого является обратным. Индексы опорных кадров, соответствующие векторам движения в различных нулевых единицах информации движения, добавляемых в набор S3 возможных вариантов единиц информации движения, могут отличаться, и соответствующие индексы опорных кадров могут составлять, например, 0, 1, 2, 3 или другое значение.

[0255] То, что две единицы информации движения отличаются, может означать то, что векторы движения, включенные в две единицы информации движения, отличаются, или то, что направления предсказания, соответствующие векторам движения, включенным в две единицы информации движения, отличаются, или то, что индексы опорных кадров, соответствующие векторам движения, включенным в две единицы информации движения, отличаются. То, что две единицы информации движения являются идентичными, может означать то, что векторы движения, включенные в две единицы информации движения, являются идентичными, и то, что направления предсказания, соответствующие векторам движения, включенным в две единицы информации движения, являются идентичными, и то, индексы опорных кадров, соответствующие векторам движения, включенным в две единицы информации движения, являются идентичными.

[0256] Очевидно, что для сценария, в котором существует большее число пиксельных выборок, набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке, может получаться аналогичным образом.

[0257] Например, как показано на фиг. 2-d, две пиксельных выборки могут включать в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений. Верхняя левая пиксельная выборка текущего блока изображений представляет собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений; нижняя левая пиксельная выборка текущего блока изображений представляет собой нижнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю левую вершину текущего блока изображений; верхняя правая пиксельная выборка текущего блока изображений представляет собой верхнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю правую вершину текущего блока изображений; и центральная пиксельная выборка a1 текущего блока изображений представляет собой центральный пиксел текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя центральный пиксел текущего блока изображений.

[0258] S303. Устройство декодирования видео определяет N возможных вариантов наборов объединенных единиц информации движения на основе набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок. Каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0259] Очевидно, что при условии, что возможный вариант набора объединенных единиц информации движения определяется на основе набора S1 возможных вариантов единиц информации движения (при условии, что включены три единицы информации движения) и набора S2 возможных вариантов единиц информации движения (при условии, что включены две единицы информации движения), в теории, могут определяться 3*2=6 начальных возможных вариантов наборов объединенных единиц информации движения. Тем не менее, чтобы повышать доступность, например, по меньшей мере, одно из первого условия, второго условия, третьего условия, четвертого условия или пятого условия может использоваться для того, чтобы отсеивать N возможных вариантов наборов объединенных единиц информации движения из шести начальных возможных вариантов наборов объединенных единиц информации движения. Если количества единиц информации движения, включенные в набор S1 возможных вариантов единиц информации движения и набор S2 возможных вариантов единиц информации движения, не ограничены вышеприведенными примерами, количество начальных возможных вариантов наборов объединенных единиц информации движения не обязательно составляет шесть.

[0260] Для получения дополнительной информации в отношении ограничений первого условия, второго условия, третьего условия, четвертого условия и пятого условия, следует обратиться к описаниям примеров в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе. Безусловно, N возможных вариантов наборов объединенных единиц информации движения, например, дополнительно могут удовлетворять другим условиям, которые не проиллюстрированы.

[0261] В конкретном процессе реализации, например, по меньшей мере, одно из первого условия, второго условия или третьего условия может сначала использоваться для того, чтобы выполнять отсеивание для начальных возможных вариантов наборов объединенных единиц информации движения, и N01 возможных вариантов наборов объединенных единиц информации движения отсеиваются из начальных возможных вариантов наборов объединенных единиц информации движения, затем обработка масштабирования выполняется для N01 возможных вариантов наборов объединенных единиц информации движения, и после этого, по меньшей мере, одно из четвертого условия или пятого условия используется для того, чтобы отсеивать N возможных вариантов наборов объединенных единиц информации движения из N01 возможных вариантов наборов объединенных единиц информации движения. Безусловно, отсеивание может выполняться для начальных возможных вариантов наборов объединенных единиц информации движения посредством непосредственного использования, по меньшей мере, одного из первого условия, второго условия или третьего условия без обращения к четвертому условию и пятому условию, и N возможных вариантов наборов объединенных единиц информации движения отсеиваются из начальных возможных вариантов наборов объединенных единиц информации движения.

[0262] Очевидно, что вектор движения при кодировании или декодировании видео отражает значение смещения объекта в одном направлении (направлении предсказываения) относительно идентичного времени (идентичное время соответствует идентичному опорному кадру). Следовательно, когда единицы информации движения различных пиксельных выборок соответствуют различным направлениям предсказания и/или соответствуют различным индексам опорных кадров, смещение движения каждого пиксела или пиксельного блока текущего блока изображений относительно опорного кадра не может непосредственно получаться. Тем не менее, когда пиксельные выборки соответствуют идентичному направлению предсказания и соответствуют идентичному индексу опорного кадра, вектор движения каждого пиксела или пиксельного блока в блоке изображений может получаться посредством использования комбинации объединенных векторов движения.

[0263] Следовательно, когда единицы информации движения различных пиксельных выборок в возможном варианте набора объединенных единиц информации движения соответствуют различным направлениям предсказания и/или соответствуют различным индексам опорных кадров, обработка масштабирования может выполняться для возможного варианта набора объединенных единиц информации движения. Обработка масштабирования, выполняемая для возможного варианта набора объединенных единиц информации движения, может быть связана с модификацией, добавлением и/или удалением и т.п. вектора движения в одной или более единиц информации движения в возможном варианте набора объединенных единиц информации движения.

[0264] Например, в некоторых возможных реализациях настоящего изобретения, предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения может включать в себя: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнение обработки масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказание пиксельного значения текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

[0265] S304. Устройство декодирования видео выполняет обработку декодирования для потока видеобитов, чтобы получать идентификатор набора i объединенных единиц информации движения и остаток предсказания текущего блока изображений, и определяет, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора набора i объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0266] Соответственно, устройство кодирования видео может записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов.

[0267] S305. Устройство декодирования видео предсказывает вектор движения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0268] Например, устройство декодирования видео может сначала выполнять обработку оценки движения для вектора движения в наборе i объединенных единиц информации движения, чтобы получать набор i объединенных единиц информации движения с оценкой движения, и устройство декодирования видео предсказывает вектор движения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения с оценкой движения.

[0269] Предполагается то, что размер текущего блока изображений составляет w x h, и то, что w равен или не равен h.

[0270] Предполагается то, что координаты двух пиксельных выборок представляют собой (0,0) и (w,0). В данном документе, например, координаты пиксела в верхнем левом углу пиксельной выборки участвуют в вычислении. Ссылаясь на фиг. 2-e, фиг. 2-e показывает координаты четырех вершин текущего блока изображений.

[0271] Векторы движения двух пиксельных выборок представляют собой (vx₀,vy₀) и (vx₁,vy₁), соответственно. Координаты и векторы движения двух пиксельных выборок подставляются в следующую модель аффинного движения, и может вычисляться вектор движения любого пиксела в текущем блоке x изображений:

(формула 1)

[0272] Векторы движения двух пиксельных выборок представляют собой (vx₀,vy₀) и (vx₁,vy₁), соответственно, vx и vy являются, соответственно, горизонтальным компонентом (vx) и вертикальным компонентом (vy) вектора движения пиксельной выборки, координаты которой представляют собой (x, y) в текущем блоке изображений, и w в формуле 1 является длиной или шириной текущего блока изображений.

[0273] S306. Устройство декодирования видео предсказывает пиксельное значение текущего блока изображений на основе вычисленного вектора движения каждого пиксела или каждого пиксельного блока текущего блока изображений, чтобы получать предсказываемое пиксельное значение текущего блока изображений.

[0274] S307. Устройство декодирования видео восстанавливает текущий блок изображений посредством использования предсказываемого пиксельного значения текущего блока изображений и остатка предсказания текущего блока изображений.

[0275] Можно выяснить, что в техническом решении этого варианта осуществления, устройство декодирования видео предсказывает пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Поскольку диапазон выбора набора i объединенных единиц информации движения становится относительно небольшим, механизм, используемый в обычной технологии для отсеивания единиц информации движения нескольких пиксельных выборок только посредством выполнения огромного объема вычислений во всех возможных наборах возможных вариантов единиц информации движения нескольких пиксельных выборок, исключается. Это помогает повышать эффективность кодирования, также помогает уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения, дополнительно позволяет вводить модель аффинного движения в стандарт кодирования видео, и поскольку модель аффинного движения вводится, помогает более точно описывать движение объекта, и в силу этого помогает повышать точность предсказания. Поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и также помогает уменьшать информацию аффинных параметров или количество разностей векторов движения и т.п., передаваемые посредством кодера.

[0276] Далее дополнительно предоставлены связанные устройства для реализации вышеприведенных решений.

[0277] Ссылаясь на фиг. 4, вариант осуществления настоящего изобретения дополнительно предоставляет устройство 400 предсказания изображений. Устройство может включать в себя:

первый модуль 410 определения, выполненный с возможностью: определять две пиксельных выборки в текущем блоке изображений и определять набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок, причем набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения;

второй модуль 420 определения, выполненный с возможностью определять набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем:

модуль 430 предсказания, выполненный с возможностью предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0278] Необязательно, в некоторых возможных реализациях настоящего изобретения, второй модуль 420 определения, в частности, может быть выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, N является положительным целым числом, N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0279] Необязательно, в некоторых возможных реализациях настоящего изобретения, N возможных вариантов наборов объединенных единиц информации движения удовлетворяют, по меньшей мере, одному из первого условия, второго условия, третьего условия, четвертого условия или пятого условия, причем:

пятое условие включает в себя то, что абсолютное значение разности между вертикальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению вертикального компонента, или то, что абсолютное значение разности между вертикальным компонентом вектора движения одной единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения и вертикальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению вертикального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок.

[0280] Необязательно, в некоторых возможных реализациях настоящего изобретения, две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений, причем:

[0281] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x1 пиксельных выборок, причем x1 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений, и x1 является положительным целым числом, причем:

[0282] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x2 пиксельных выборок, причем x2 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней правой пиксельной выборкой текущего блока изображений, и x2 является положительным целым числом, причем:

[0283] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x3 пиксельных выборок, причем x3 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с нижней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с нижней левой пиксельной выборкой текущего блока изображений, и x3 является положительным целым числом, причем:

[0284] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий центральной пиксельной выборке a1 текущего блока изображений, включает в себя единицы информации движения x5 пиксельных выборок, и одна из x5 пиксельных выборок представляет собой пиксельную выборку a2, причем:

[0285] Необязательно, в некоторых возможных реализациях настоящего изобретения, модуль 430 предсказания, в частности, выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

модуль 430 предсказания, в частности, выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, отличается от индекса прямого опорного кадра текущего блока изображений, и индекс опорного кадра, соответствующего вектору движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, отличается от индекса обратного опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, понижающе масштабируется в прямой опорный кадр текущего блока изображений, и так что вектор движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, понижающе масштабируется в обратный опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения.

[0286] Необязательно, в некоторых возможных реализациях настоящего изобретения, модуль 430 предсказания, в частности, выполнен с возможностью: получать вектор движения каждого пиксела в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления; или

модуль 430 предсказания, в частности, выполнен с возможностью: получать вектор движения каждого пиксельного блока в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0287] Необязательно, в некоторых возможных реализациях настоящего изобретения, модуль 430 предсказания, в частности, может быть выполнен с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений, причем векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения.

[0288] Необязательно, в некоторых возможных реализациях настоящего изобретения, коэффициент горизонтальных координат горизонтальных компонентов векторов движения двух пиксельных выборок равен коэффициенту вертикальных координат вертикальных компонентов векторов движения, и коэффициент вертикальных координат горизонтальных компонентов векторов движения двух пиксельных выборок является противоположным коэффициенту горизонтальных координат вертикальных компонентов векторов движения.

[0289] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения может быть в следующей форме:

, где:

[0290] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство предсказания изображений применяется к устройству кодирования видео, или устройство предсказания изображений применяется к устройству декодирования видео.

[0291] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству декодирования видео, второй модуль 420 определения, в частности, может быть выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0292] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству декодирования видео:

[0293] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству кодирования видео, модуль 430 предсказания дополнительно выполнен с возможностью: получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, получать разности векторов движения двух пиксельных выборок согласно предикторам векторов движения двух пиксельных выборок и записывать разности векторов движения двух пиксельных выборок в поток видеобитов.

[0294] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству кодирования видео, устройство дополнительно включает в себя модуль кодирования, выполненный с возможностью записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов.

[0295] Очевидно, что функции функциональных блоков устройства 400 предсказания изображений в этом варианте осуществления могут быть, в частности, реализованы согласно способу в вышеприведенном варианте осуществления способа. Для получения сведений по конкретному процессу реализации, следует обратиться к связанному описанию в вышеприведенном варианте осуществления способа. Подробности не описываются повторно в данном документе. Устройство 400 предсказания изображений может представлять собой любое устройство, которое должно выводить и воспроизводить видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер или мобильный телефон.

[0296] Можно выяснить, что в техническом решении, предоставленном посредством этого варианта осуществления, устройство 400 предсказания изображений предсказывает пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Поскольку диапазон выбора набора i объединенных единиц информации движения становится относительно небольшим, механизм, используемый в обычной технологии для отсеивания единиц информации движения нескольких пиксельных выборок только посредством выполнения огромного объема вычислений во всех возможных наборах возможных вариантов единиц информации движения нескольких пиксельных выборок, исключается. Это помогает повышать эффективность кодирования, также помогает уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения, дополнительно позволяет вводить модель аффинного движения в стандарт кодирования видео, и поскольку модель аффинного движения вводится, помогает более точно описывать движение объекта, и в силу этого помогает повышать точность предсказания. Помимо этого, поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и также помогает уменьшать информацию аффинных параметров или количество разностей векторов движения и т.п., передаваемые посредством кодера.

[0297] Ссылаясь на фиг. 5, фиг. 5 является принципиальной схемой устройства схемой устройства 500 предсказания изображений согласно варианту осуществления настоящего изобретения. Устройство 500 предсказания изображений может включать в себя, по меньшей мере, одну шину 501, по меньшей мере, один процессор 502, соединенный с шиной 501 и, по меньшей мере, одно запоминающее устройство 503, соединенное с шиной 501.

[0298] Процессор 502 вызывает, посредством использования шины 501, код или инструкцию, сохраненную в запоминающем устройстве 503, так что процессор 502 выполнен с возможностью: определять две пиксельных выборки в текущем блоке изображений и определять набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок, причем набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения; определять набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, и единица информации движения включает в себя вектор движения, направление предсказания которого является прямым, и/или вектор движения, направление предсказания которого является обратным; и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения.

[0299] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте определения набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, процессор выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения, причем каждая единица информации движения, включенная в каждый из N возможных вариантов наборов объединенных единиц информации движения, выбирается, по меньшей мере, из некоторых совместимых с ограничениями единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок, N является положительным целым числом, N возможных вариантов наборов объединенных единиц информации движения отличаются друг от друга, и каждый из N возможных вариантов наборов объединенных единиц информации движения включает в себя две единицы информации движения.

[0300] Необязательно, в некоторых возможных реализациях настоящего изобретения, N возможных вариантов наборов объединенных единиц информации движения удовлетворяют, по меньшей мере, одному из первого условия, второго условия, третьего условия, четвертого условия или пятого условия, причем:

пятое условие включает в себя то, что абсолютное значение разности между вертикальными компонентами векторов движения двух единиц информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения меньше или равно пороговому значению вертикального компонента, или то, что абсолютное значение разности между вертикальным компонентом вектора движения одной единицы информации движения в любом из N возможных вариантов наборов объединенных единиц информации движения и вертикальным компонентом вектора движения пиксельной выборки Z меньше или равно пороговому значению вертикального компонента, причем пиксельная выборка Z в текущем блоке изображений отличается от любой из двух пиксельных выборок.

[0301] Необязательно, в некоторых возможных реализациях настоящего изобретения, две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений, причем:

[0302] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий верхней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x1 пиксельных выборок, причем x1 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней левой пиксельной выборкой текущего блока изображений, и x1 является положительным целым числом, причем:

[0303] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий верхней правой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x2 пиксельных выборок, причем x2 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с верхней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с верхней правой пиксельной выборкой текущего блока изображений, и x2 является положительным целым числом, причем:

[0304] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий нижней левой пиксельной выборке текущего блока изображений, включает в себя единицы информации движения x3 пиксельных выборок, причем x3 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с нижней левой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с нижней левой пиксельной выборкой текущего блока изображений, и x3 является положительным целым числом, причем:

[0305] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий центральной пиксельной выборке a1 текущего блока изображений, включает в себя единицы информации движения x5 пиксельных выборок, и одна из x5 пиксельных выборок представляет собой пиксельную выборку a2, причем:

[0306] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор 502 выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, отличается от индекса опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого представляет собой первое направление предсказания в наборе i объединенных единиц информации движения, понижающе масштабируется в опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения, причем первое направление предсказания является прямым или обратным; или

в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор 502 выполнен с возможностью: когда индекс опорного кадра, соответствующий вектору движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, отличается от индекса прямого опорного кадра текущего блока изображений, и индекс опорного кадра, соответствующего вектору движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, отличается от индекса обратного опорного кадра текущего блока изображений, выполнять обработку масштабирования для набора i объединенных единиц информации движения, так что вектор движения, направление предсказания которого является прямым в наборе i объединенных единиц информации движения, понижающе масштабируется в прямой опорный кадр текущего блока изображений, и так что вектор движения, направление предсказания которого является обратным в наборе i объединенных единиц информации движения, понижающе масштабируется в обратный опорный кадр текущего блока изображений, и предсказывать пиксельное значение текущего блока изображений посредством использования модели аффинного движения и масштабированного набора i объединенных единиц информации движения.

[0307] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор 502 выполнен с возможностью: получать вектор движения каждого пиксела в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления; или

в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор 502 выполнен с возможностью: получать вектор движения каждого пиксельного блока в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения и определять предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0308] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте предсказания пиксельного значения текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, процессор 502 выполнен с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к длине или ширине текущего блока изображений, причем векторы движения двух пиксельных выборок получаются на основе векторов движения двух единиц информации движения в наборе i объединенных единиц информации движения.

[0309] Необязательно, в некоторых возможных реализациях настоящего изобретения, коэффициент горизонтальных координат горизонтальных компонентов векторов движения двух пиксельных выборок равен коэффициенту вертикальных координат вертикальных компонентов векторов движения, и коэффициент вертикальных координат горизонтальных компонентов векторов движения двух пиксельных выборок является противоположным коэффициенту горизонтальных координат вертикальных компонентов векторов движения.

[0310] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения может быть в следующей форме:

, где:

[0311] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство предсказания изображений применяется к устройству кодирования видео, или устройство предсказания изображений применяется к устройству декодирования видео.

[0312] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству декодирования видео в аспекте определения набора i объединенных единиц информации движения, включающего в себя две единицы информации движения, процессор 502 выполнен с возможностью определять, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0313] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству декодирования видео, процессор 502 дополнительно выполнен с возможностью: декодировать поток видеобитов, чтобы получать разности векторов движения двух пиксельных выборок, получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, и получать векторы движения двух пиксельных выборок отдельно на основе предикторов векторов движения двух пиксельных выборок и разностей векторов движения двух пиксельных выборок.

[0314] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству кодирования видео, процессор 502 дополнительно выполнен с возможностью: получать предикторы векторов движения двух пиксельных выборок посредством использования векторов движения пиксельных выборок, пространственно смежных или смежных во времени с двумя пиксельными выборками, получать разности векторов движения двух пиксельных выборок согласно предикторам векторов движения двух пиксельных выборок и записывать разности векторов движения двух пиксельных выборок в поток видеобитов.

[0315] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство предсказания изображений применяется к устройству кодирования видео, процессор 502 дополнительно выполнен с возможностью записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов.

[0316] Очевидно, что функции функциональных блоков устройства 500 предсказания изображений в этом варианте осуществления могут быть, в частности, реализованы согласно способу в вышеприведенном варианте осуществления способа. Для получения сведений по конкретному процессу реализации, следует обратиться к связанному описанию в вышеприведенном варианте осуществления способа. Подробности не описываются повторно в данном документе. Устройство 500 предсказания изображений может представлять собой любое устройство, которое должно выводить и воспроизводить видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер или мобильный телефон.

[0317] Можно выяснить, что в техническом решении, предоставленном посредством этого варианта осуществления, устройство 500 предсказания изображений предсказывает пиксельное значение текущего блока изображений посредством использования модели аффинного движения и набора i объединенных единиц информации движения, причем каждая единица информации движения в наборе i объединенных единиц информации движения выбирается, по меньшей мере, из некоторых единиц информации движения в наборе возможных вариантов единиц информации движения, соответствующем каждой из двух пиксельных выборок. Поскольку диапазон выбора набора i объединенных единиц информации движения становится относительно небольшим, механизм, используемый в обычной технологии для отсеивания единиц информации движения нескольких пиксельных выборок только посредством выполнения огромного объема вычислений во всех возможных наборах возможных вариантов единиц информации движения нескольких пиксельных выборок, исключается. Это помогает повышать эффективность кодирования, также помогает уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения, дополнительно позволяет вводить модель аффинного движения в стандарт кодирования видео, и поскольку модель аффинного движения вводится, помогает более точно описывать движение объекта, и в силу этого помогает повышать точность предсказания. Помимо этого, поскольку количество опорных пиксельных выборок может составлять два, это помогает дополнительно уменьшать вычислительную сложность предсказания изображений, выполняемого на основе модели аффинного движения после того, как модель аффинного движения вводится, и также помогает уменьшать информацию аффинных параметров или количество разностей векторов движения и т.п., передаваемые посредством кодера.

[0318] Вариант осуществления настоящего изобретения дополнительно предоставляет компьютерный носитель хранения данных. Компьютерный носитель хранения данных может сохранять программу, и когда программа выполняется, по меньшей мере, некоторые или все этапы любого способа предсказания изображений в вышеприведенных вариантах осуществления способа могут выполняться.

[0319] Ссылаясь на фиг. 6, фиг. 6 является блок-схемой последовательности операций способа обработки изображений согласно варианту осуществления настоящего изобретения. Как показано в качестве примера на фиг. 6, способ обработки изображений, предоставленный посредством варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0320] S601. Получение кортежа из 2 элементов вектора движения текущего блока изображений.

[0321] Кортеж из 2 элементов вектора движения может включать в себя векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений. Пиксельная выборка, упомянутая в каждом варианте осуществления настоящего изобретения, может представлять собой пиксел или пиксельный блок, включающий в себя, по меньшей мере, два пиксела.

[0322] Вектор движения, упомянутый в каждом варианте осуществления настоящего изобретения, может представлять собой прямой вектор движения или может представлять собой обратный вектор движения. Направления векторов движения в кортеже из 2 элементов вектора движения могут быть идентичными.

[0323] Текущий блок изображений может представлять собой текущий блок кодирования или текущий блок декодирования.

[0324] Кортеж из 2 элементов вектора движения может включать в себя векторы движения двух пиксельных выборок в вышеприведенном варианте осуществления или может включать в себя один вектор движения каждой единицы информации движения в наборе i объединенных единиц информации движения в вышеприведенном варианте осуществления, или может включать в себя один вектор движения каждой единицы информации движения в масштабированном наборе i объединенных единиц информации движения в вышеприведенном варианте осуществления, или может включать в себя один вектор движения каждой единицы информации движения в наборе i объединенных единиц информации движения с оценкой движения в вышеприведенном варианте осуществления, или может представлять собой кортеж из 2 элементов вектора движения, полученный посредством выполнения итеративного обновления посредством использования вектора движения каждой единицы информации движения в наборе i объединенных единиц информации движения в вышеприведенном варианте осуществления в качестве предсказываемого значения. Для получения дополнительной информации по векторам движения двух пиксельных выборок, набору i объединенных единиц информации движения, масштабированного набору i объединенных единиц информации движения и набору i объединенных единиц информации движения с оценкой движения, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе. Набор i объединенных единиц информации движения в вышеприведенном варианте осуществления может включать в себя векторы движения и также может включать в себя направления векторов движения или индексы опорных кадров, соответствующие векторам движения, но кортеж из 2 элементов вектора движения в этом варианте осуществления настоящего изобретения включает в себя только векторы движения.

[0325] Две пиксельных выборки могут включать в себя две пиксельных выборки в верхней левой пиксельной выборке, пиксельную выборку в правой области, пиксельную выборку в нижней области и пиксельную выборку в нижней правой области текущего блока изображений.

[0326] Верхняя левая пиксельная выборка текущего блока изображений может представлять собой верхнюю левую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя верхнюю левую вершину текущего блока изображений. При кодировании и декодировании видео, значения координат верхней левой пиксельной выборки могут составлять (0, 0) по умолчанию.

[0327] Пиксельная выборка в нижней области текущего блока изображений может представлять собой пиксел или пиксельный блок ниже верхней левой пиксельной выборки текущего блока изображений. Вертикальная координата пиксельной выборки в нижней области превышает вертикальную координату верхней левой пиксельной выборки. Пиксельная выборка в нижней области может включать в себя нижнюю левую пиксельную выборку в вышеприведенном варианте осуществления. Горизонтальная координата пиксельной выборки в нижней области может быть идентичной горизонтальной координате верхней левой пиксельной выборки, или разность между горизонтальной координатой пиксельной выборки в нижней области и горизонтальной координатой верхней левой пиксельной выборки может составлять n пикселов по высоте, где n является положительным целым числом, меньшим 3.

[0328] Пиксельная выборка в правой области текущего блока изображений может представлять собой пиксел или пиксельный блок справа от верхней левой пиксельной выборки текущего блока изображений. Горизонтальная координата пиксельной выборки в правой области превышает горизонтальную координату верхней левой пиксельной выборки. Пиксельная выборка в правой области может включать в себя верхнюю правую пиксельную выборку в вышеприведенном варианте осуществления. Вертикальная координата пиксельной выборки в правой области может быть идентичной вертикальной координате верхней левой пиксельной выборки, или разность между вертикальной координатой пиксельной выборки в правой области и вертикальной координатой верхней левой пиксельной выборки может составлять n пикселов по ширине, где n является положительным целым числом, меньшим 3.

[0329] Пиксельная выборка в нижней правой области текущего блока изображений может представлять собой пиксел или пиксельный блок на нижней правой стороне верхней левой пиксельной выборки текущего блока изображений. Вертикальная координата пиксельной выборки в нижней правой области превышает вертикальную координату верхней левой пиксельной выборки, и горизонтальная координата пиксельной выборки в нижней правой области превышает горизонтальную координату верхней левой пиксельной выборки. Пиксельная выборка в нижней правой области может включать в себя центральную пиксельную выборку a1 в вышеприведенном варианте осуществления и дополнительно может включать в себя нижнюю правую пиксельную выборку. Нижняя правая пиксельная выборка текущего блока изображений может представлять собой нижнюю правую вершину текущего блока изображений или пиксельного блока в текущем блоке изображений, включающего в себя нижнюю правую вершину текущего блока изображений.

[0330] Если пиксельная выборка представляет собой пиксельный блок, размер пиксельного блока, например, составляет 2*2, 1*2, 4*2, 4*4 или другой размер.

[0331] Для получения дополнительной информации по верхней левой пиксельной выборке, верхней правой пиксельной выборке, нижней левой пиксельной выборке и центральной пиксельной выборке a1 текущего блока изображений, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0332] Две пиксельных выборки также могут представлять собой две пиксельных выборки в вышеприведенном варианте осуществления. Для получения дополнительной информации по двум пиксельным выборкам, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0333] S602. Получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения.

[0334] Вектор движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления, может представлять собой любое из следующего: вектор движения каждого пиксела в текущем блоке изображений, вектор движения каждого пиксельного блока в текущем блоке изображений или вектор движения любой пиксельной выборки в текущем блоке изображений в вышеприведенном варианте осуществления. Для получения дополнительной информации по вектору движения каждого пиксела в текущем блоке изображений, вектору движения каждого пиксельного блока в текущем блоке изображений и вектору движения любой пиксельной выборки в текущем блоке изображений в вышеприведенном варианте осуществления, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0335] Модель аффинного движения может иметь следующую форму:

, где:

[0336] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0337] Необязательно, в некоторых возможных реализациях настоящего изобретения, квадратичная сумма коэффициента горизонтальных координат горизонтального компонента модели аффинного движения и коэффициента вертикальных координат горизонтального компонента модели аффинного движения не равна 1. Альтернативно, в некоторых возможных реализациях настоящего изобретения, квадратичная сумма коэффициента вертикальных координат вертикального компонента модели аффинного движения и коэффициента горизонтальных координат вертикального компонента модели аффинного движения не равна 1.

[0338] Необязательно, в некоторых возможных реализациях настоящего изобретения, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения может включать в себя: получение значений коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0339] Необязательно, в некоторых возможных реализациях настоящего изобретения, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения может включать в себя: получение значений коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0340] Альтернативно, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения может включать в себя: получение значений коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0341] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

(vx₀,vy₀) является вектором движения верхней левой пиксельной выборки, (vx₁,vy₁) является вектором движения пиксельной выборки в правой области, и w является расстоянием между двумя пиксельными выборками, или w может быть разностью между горизонтальной координатой пиксельной выборки в правой области и горизонтальной координатой верхней левой пиксельной выборки.

[0342] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

(vx₀,vy₀) является вектором движения верхней левой пиксельной выборки, (vx₂,vy₂) является вектором движения пиксельной выборки в нижней области, и h является расстоянием между двумя пиксельными выборками, или h может быть разностью между вертикальной координатой пиксельной выборки в нижней области и вертикальной координатой верхней левой пиксельной выборки.

[0343] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0344] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки представляют собой любые две пиксельных выборки в видеокадре, которому принадлежит текущий блок изображений, модель аффинного движения, в частности, заключается в следующем:

, где:

(x₄, y₄) являются координатами одной пиксельной выборки в двух пиксельных выборках, (vx₄, vy₄) является вектором движения пиксельной выборки, координаты которой составляют (x₄, y₄), (x₅, y₅) являются координатами другой пиксельной выборки в двух пиксельных выборках и (vx₅, vy₅) является вектором движения другой пиксельной выборки, координаты которой составляют (x₅, y₅).

[0345] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ обработки изображений применяется к отслеживанию изображений, после того, как вектор движения любой пиксельной выборки в текущем блоке изображений получается посредством вычисления, соответствующее местоположение, соответствующее любой пиксельной выборке, в кадре, соответствующем вектору движения любой пиксельной выборки, дополнительно может определяться посредством использования местоположения любой пиксельной выборки в текущем блоке изображений и вектора движения любой пиксельной выборки.

[0346] Дополнительно, блок изображений, соответствующий текущему блоку изображений, в соответствующем кадре получается согласно соответствующему местоположению, соответствующий блок изображений сравнивается с текущим блоком изображений, сумма квадратичных разностей или сумма абсолютных разностей между двумя блоками изображений вычисляется, и ошибка сопоставления между двумя блоками изображений измеряется для оценки точности отслеживания изображений текущего блока изображений.

[0347] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ обработки изображений применяется к предсказанию изображений, после того, как вектор движения любой пиксельной выборки в текущем блоке изображений получается посредством вычисления, предсказываемое пиксельное значение пиксела любой пиксельной выборки в текущем блоке изображений дополнительно может определяться посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления. Вектор движения любой пиксельной выборки в текущем блоке изображений может представлять собой вектор движения любого пиксела в текущем блоке изображений, и процесс может заключаться в следующем: определение предсказываемого пиксельного значения каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления. Вектор движения любой пиксельной выборки в текущем блоке изображений также может представлять собой вектор движения любого пиксельного блока в текущем блоке изображений, и процесс может заключаться в следующем: определение предсказываемого пиксельного значения каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0348] В ходе теста обнаружено, что выполнение вычисления векторов движения посредством использования пиксельного блока в текущем блоке изображений в качестве степени детализации помогает значительно уменьшать вычислительную сложность, если вектор движения каждого пиксельного блока в текущем блоке изображений получается посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения, и затем предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений определяется посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0349] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ обработки изображений применяется к процессу кодирования видео, способ дополнительно может включать в себя: выполнение кодирования с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0350] В частности, процесс может заключаться в следующем: определение предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления; и выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, с тем чтобы получать пиксельное значение восстановления любой пиксельной выборки.

[0351] Альтернативно, процесс может заключаться в следующем: определение предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления; и выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, получения остатка предсказания любой пиксельной выборки посредством использования пиксельного значения пиксела любой пиксельной выборки, полученного посредством выполнения предсказания с компенсацией движения, и фактического пиксельного значения пиксела любой пиксельной выборки и кодирования остатка предсказания любой пиксельной выборки в поток битов.

[0352] Альтернативно, после того, как остаток предсказания любой пиксельной выборки получается, аналогичный способ используется для того, чтобы получать остатки предсказания других пиксельных выборок, требуемых посредством остатка предсказания текущего блока изображений, так что получается остаток предсказания текущего блока изображений. Затем остаток предсказания текущего блока изображений кодируется в поток битов. Фактическое пиксельное значение также может упоминаться как исходное пиксельное значение.

[0353] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ обработки изображений применяется к процессу декодирования видео, способ дополнительно включает в себя: выполнение декодирования с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления, и получение пиксельного значения восстановления любой пиксельной выборки.

[0354] В частности, процесс может заключаться в следующем: определение предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления; и выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, с тем чтобы получать пиксельное значение восстановления любой пиксельной выборки.

[0355] Альтернативно, процесс может заключаться в следующем: определение предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления; и выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки и декодирования потока битов, чтобы получать остаток предсказания любой пиксельной выборки или декодирования потока битов, чтобы получать остаток предсказания текущего блока изображений, с тем чтобы получать остаток предсказания любой пиксельной выборки, и получения пиксельного значения восстановления любой пиксельной выборки со ссылкой на пиксельное значение, которое имеет пиксел любой пиксельной выборки и получается посредством выполнения предсказания с компенсацией движения.

[0356] Очевидно, что обработка изображений может выполняться для каждого блока изображений в текущем видеокадре в режиме, аналогичном режиму обработки изображений, соответствующему текущему блоку изображений. Безусловно, обработка изображений может выполняться для некоторых блоков изображений в текущем видеокадре в режиме, отличающемся от режима обработки изображений, соответствующего текущему блоку изображений.

[0357] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, модель аффинного движения на основе вращения и движения с масштабированием составляется посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в техническое решение, оценка векторов движения может выполняться на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве согласно техническому решению, так что оценка векторов движения является более точной.

[0358] Для лучшего понимания и реализации вышеприведенного решения вариантов осуществления настоящего изобретения, далее используются конкретные сценарии применения для дополнительного описания.

[0359] Ссылаясь на фиг. 7, фиг. 7 является блок-схемой последовательности операций другого способа обработки изображений согласно другому варианту осуществления настоящего изобретения. Этот вариант осуществления описывается в основном посредством использования способа обработки изображений, реализованного в устройстве кодирования видео, в качестве примера. Как показано в качестве примера на фиг. 7, другой способ обработки изображений, предоставленный посредством другого варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0360] S701. Устройство кодирования видео определяет две пиксельных выборки в текущем блоке изображений.

[0361] Две пиксельных выборки могут включать в себя две пиксельных выборки в верхней левой пиксельной выборке, пиксельную выборку в правой области, пиксельную выборку в нижней области и пиксельную выборку в нижней правой области текущего блока изображений. Для получения сведений по существенному содержимому верхней левой пиксельной выборки, пиксельной выборки в правой области, пиксельной выборки в нижней области и пиксельной выборки в нижней правой области текущего блока изображений, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0362] S702. Устройство кодирования видео определяет набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок.

[0363] Набор возможных вариантов единиц информации движения, соответствующий каждой пиксельной выборке, включает в себя, по меньшей мере, один возможный вариант единицы информации движения.

[0364] Пиксельная выборка, упомянутая в каждом варианте осуществления настоящего изобретения, может представлять собой пиксел или пиксельный блок, включающий в себя, по меньшей мере, два пиксела.

[0365] Необязательно, в некоторых возможных реализациях настоящего изобретения, для получения подробных сведений по набору возможных вариантов единиц информации движения, соответствующему верхней левой пиксельной выборке текущего блока изображений, и способу для формирования соответствующего набора возможных вариантов единиц информации движения, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0366] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке в правой области текущего блока изображений, включает в себя единицы информации движения x6 пиксельных выборок. X6 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с пиксельной выборкой в правой области текущего блока изображений и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с пиксельной выборкой в правой области текущего блока изображений, и x6 является положительным целым числом.

[0367] Например, x6 может составлять, например, 1, 2, 3, 4, 5, 6 или другое значение.

[0368] Например, x6 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению пиксельной выборки в правой области текущего блока изображений, пиксельной выборке, пространственно смежной с правым краем текущего блока изображений, пиксельной выборки, пространственно смежной с верхним правым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с верхним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0369] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке в нижней области текущего блока изображений, включает в себя единицы информации движения x7 пиксельных выборок. X7 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с пиксельной выборкой в нижней области текущего блока изображений и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с пиксельной выборкой в нижней области текущего блока изображений, и x7 является положительным целым числом.

[0370] Например, x7 может составлять, например, 1, 2, 3, 4, 5, 6 или другое значение.

[0371] Например, x7 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению пиксельной выборки в нижней области текущего блока изображений, пиксельной выборки, пространственно смежной с левым краем текущего блока изображений, пиксельной выборки, пространственно смежной с нижним левым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с нижним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0372] Необязательно, в некоторых возможных реализациях настоящего изобретения, набор возможных вариантов единиц информации движения, соответствующий пиксельной выборке в нижней правой области текущего блока изображений, включает в себя единицы информации движения x8 пиксельных выборок. X8 пиксельных выборок включают в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с пиксельной выборкой в нижней правой области текущего блока изображений и/или, по меньшей мере, одну пиксельную выборку, смежную во времени с пиксельной выборкой в нижней правой области текущего блока изображений, и x8 является положительным целым числом.

[0373] Например, x8 может составлять, например, 1, 2, 3, 4, 5, 6 или другое значение.

[0374] Например, x8 пиксельных выборок включают в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению пиксельной выборки в нижней правой области текущего блока изображений, пиксельной выборке, пространственно смежной с правым краем текущего блока изображений, пиксельной выборки, пространственно смежной с нижним правым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с нижним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0375] Возможный вариант набора единиц информации движения, соответствующий нижней правой пиксельной выборке, включенной в пиксельную выборку в нижней правой области, включает в себя, по меньшей мере, одну пиксельную выборку, пространственно смежную с нижней правой пиксельной выборкой текущего блока изображений, и/или, по меньшей мере, одна пиксельная выборка, смежная во времени с нижней правой пиксельной выборкой текущего блока изображений, например, может включать в себя, по меньшей мере, одну из пиксельной выборки, которая имеет местоположение, идентичное местоположению нижней правой пиксельной выборки текущего блока изображений, пиксельной выборки, пространственно смежной с правым краем текущего блока изображений, пиксельной выборки, пространственно смежной с нижним правым углом текущего блока изображений, или пиксельной выборки, пространственно смежной с нижним краем текущего блока изображений, в видеокадре, смежном во времени с видеокадром, которому принадлежит текущий блок изображений.

[0376] Для получения сведений по наборам возможных вариантов единиц информации движения, соответствующих нижней левой пиксельной выборке, верхней правой пиксельной выборке и центральной пиксельной выборке a1, которые включены в пиксельные выборки, и способам для формирования соответствующих наборов возможных вариантов единиц информации движения, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0377] Аналогично, для получения сведений по способам для формирования наборов возможных вариантов единиц информации движения, соответствующих пиксельной выборке в правой области, пиксельной выборке в нижней области, пиксельной выборке в нижней правой области и нижней правой пиксельной выборке, включенной в пиксельную выборку в нижней правой области, следует обратиться способу для формирования набора возможных вариантов единиц информации движения, соответствующего нижней левой пиксельной выборке, верхней правой пиксельной выборке или центральной пиксельной выборке a1. Подробности не описываются повторно в данном документе.

[0378] S703. Устройство кодирования видео определяет N возможных вариантов наборов объединенных единиц информации движения на основе набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок.

[0379] Для получения дополнительной информации по S703, следует обратиться к подробному описанию на S203 в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0380] S704. Устройство кодирования видео определяет, из N возможных вариантов наборов объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0381] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство кодирования видео дополнительно может записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов. Соответственно, устройство декодирования видео определяет, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора, который имеет набор i объединенных единиц информации движения и получается из потока видеобитов, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения. Идентификатор набора i объединенных единиц информации движения может представлять собой любую информацию, которая может идентифицировать набор i объединенных единиц информации движения. Например, идентификатор набора i объединенных единиц информации движения может представлять собой индекс набора i объединенных единиц информации движения в списке наборов объединенных единиц информации движения.

[0382] Помимо этого, для получения подробных сведений S704, следует обратиться к подробному описанию на S204 в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0383] S705. Устройство кодирования видео получает кортеж из 2 элементов вектора движения посредством использования набора i объединенных единиц информации движения.

[0384] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство кодирования видео может использовать два вектора движения в наборе i объединенных информационных единиц текущего блока изображений в качестве предикторов векторов движения и в качестве начальных значений, чтобы выполнять поиск двух векторов движения в кортеже из 2 элементов вектора движения, чтобы выполнять упрощенный поиск аффинного движения. Процесс поиска кратко описывается следующим образом: использование предикторов векторов движения в качестве начальных значений и выполнение итеративного обновления; и когда количество итеративных обновлений достигает указанного количества, либо ошибки сопоставления между предсказываемым значением текущего блока изображений, которое получается согласно двум векторам движения, полученным посредством выполнения итеративного обновления, и исходным значением текущего блока изображений меньше указанного порогового значения, использование двух векторов движения, полученных посредством выполнения итеративного обновления, в качестве кортежа из 2 элементов вектора движения.

[0385] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство кодирования видео дополнительно может получать остаток предсказания векторов движения двух пиксельных выборок посредством использования двух векторов движения в наборе i объединенных информационных единиц текущего блока изображений и двух векторов движения в кортеже из 2 элементов вектора движения, а именно, разность между вектором движения, соответствующим каждому вектору движения в наборе i объединенных информационных единиц текущего блока изображений в кортеже из 2 элементов вектора движения, и каждым вектором движения в наборе i объединенных информационных единиц текущего блока изображений и кодирует предсказываемые разности векторов движения двух пиксельных выборок.

[0386] S706. Устройство кодирования видео получает вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения.

[0387] Вектор движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления, может представлять собой любое из следующего: вектор движения каждого пиксела в текущем блоке изображений, вектор движения каждого пиксельного блока в текущем блоке изображений или вектор движения любой пиксельной выборки в текущем блоке изображений в вышеприведенном варианте осуществления. Для получения деталей относительно вектора движения каждого пиксела в текущем блоке изображений, вектора движения каждого пиксельного блока в текущем блоке изображений и вектора движения любой пиксельной выборки в текущем блоке изображений в вышеприведенном варианте осуществления, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0388] Модель аффинного движения может иметь следующую форму:

, где:

[0389] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0390] Необязательно, в некоторых возможных реализациях настоящего изобретения, квадратичная сумма коэффициента горизонтальных координат горизонтального компонента модели аффинного движения и коэффициента вертикальных координат горизонтального компонента модели аффинного движения не равна 1. Альтернативно, в некоторых возможных реализациях настоящего изобретения, квадратичная сумма коэффициента вертикальных координат вертикального компонента модели аффинного движения и коэффициента горизонтальных координат вертикального компонента модели аффинного движения не равна 1.

[0391] Необязательно, в некоторых возможных реализациях настоящего изобретения, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения может включать в себя: получение значений коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0392] Необязательно, в некоторых возможных реализациях настоящего изобретения, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения может включать в себя: получение значений коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0393] Альтернативно, получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения может включать в себя: получение значений коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0394] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0395] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0396] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0397] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки представляют собой любые две пиксельных выборки в видеокадре, которому принадлежит текущий блок изображений, модель аффинного движения, в частности, заключается в следующем:

, где:

[0398] Очевидно, что обработка изображений может выполняться для каждого блока изображений в текущем видеокадре в режиме, аналогичном режиму обработки изображений, соответствующему текущему блоку изображений. Безусловно, обработка изображений может выполняться для некоторых блоков изображений в текущем видеокадре в режиме, отличающемся от режима обработки изображений, соответствующего текущему блоку изображений.

[0399] S707. Устройство кодирования видео определяет предсказываемое пиксельное значение пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0400] В процессе предсказания индексы опорных кадров, соответствующие векторам движения любых различных пиксельных выборок в текущем блоке изображений, могут быть идентичными и могут представлять собой индексы опорных кадров, соответствующие векторам движения в наборе i объединенных информационных единиц.

[0401] Необязательно, в некоторых возможных реализациях настоящего изобретения, вектор движения любой пиксельной выборки в текущем блоке изображений может представлять собой вектор движения любого пиксела в текущем блоке изображений, и процесс может заключаться в следующем: определение предсказываемого пиксельного значения каждого пиксела в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксел в текущем блоке изображений и получается посредством вычисления.

[0402] Необязательно, в некоторых возможных реализациях настоящего изобретения, вектор движения любой пиксельной выборки в текущем блоке изображений также может представлять собой вектор движения любого пиксельного блока в текущем блоке изображений, и процесс может заключаться в следующем: определение предсказываемого пиксельного значения каждого пиксела в каждом пиксельном блоке в текущем блоке изображений посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0403] В ходе теста обнаружено, что выполнение вычисления векторов движения посредством использования пиксельного блока в текущем блоке изображений в качестве степени детализации помогает значительно уменьшать вычислительную сложность, если вектор движения каждого пиксельного блока в текущем блоке изображений получается посредством вычисления посредством использования модели аффинного движения и набора i объединенных единиц информации движения, и затем предсказываемое пиксельное значение каждого пиксела в каждом пиксельном блоке в текущем блоке изображений определяется посредством использования вектора движения, который имеет каждый пиксельный блок в текущем блоке изображений и получается посредством вычисления.

[0404] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда способ обработки изображений применяется к процессу кодирования видео, способ дополнительно может включать в себя: выполнение кодирования с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0405] В частности, процесс может заключаться в следующем: определение предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления; и выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, с тем чтобы получать пиксельное значение восстановления любой пиксельной выборки; или определение предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления; и выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, получения остатка предсказания любой пиксельной выборки посредством использования пиксельного значения пиксела любой пиксельной выборки, полученного посредством выполнения предсказания с компенсацией движения, и фактического пиксельного значения пиксела любой пиксельной выборки и кодирования остатка предсказания в поток битов, причем фактическое пиксельное значение также может упоминаться как исходное пиксельное значение.

[0406] Очевидно, что обработка изображений может выполняться для каждого блока изображений в текущем видеокадре в режиме, аналогичном режиму обработки изображений, соответствующему текущему блоку изображений. Безусловно, обработка изображений может выполняться для некоторых блоков изображений в текущем видеокадре в режиме, отличающемся от режима обработки изображений, соответствующего текущему блоку изображений.

[0407] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, модель аффинного движения на основе вращения и движения с масштабированием составляется посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в техническое решение, оценка векторов движения может выполняться на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве согласно техническому решению, так что оценка векторов движения является более точной.

[0408] Ссылаясь на фиг. 8, фиг. 8 является блок-схемой последовательности операций другого способа обработки изображений согласно другому варианту осуществления настоящего изобретения. Этот вариант осуществления описывается в основном посредством использования способа обработки изображений, реализованного в устройстве декодирования видео, в качестве примера. Как показано в качестве примера на фиг. 8, другой способ обработки изображений, предоставленный посредством другого варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0409] S801. Устройство декодирования видео определяет две пиксельных выборки в текущем блоке изображений.

[0410] Две пиксельных выборки включают в себя две пиксельных выборки в верхней левой пиксельной выборке, пиксельную выборку в правой области, пиксельную выборку в нижней области и пиксельную выборку в нижней правой области текущего блока изображений. Для получения сведений по существенному содержимому верхней левой пиксельной выборки, пиксельной выборки в правой области, пиксельной выборки в нижней области и пиксельной выборки в нижней правой области текущего блока изображений, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0411] S802. Устройство декодирования видео определяет набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок.

[0412] Для получения сведений по конкретному процессу, в котором устройство декодирования видео определяет набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок, на S802, следует обратиться к конкретному процессу, в котором устройство кодирования видео определяет набор возможных вариантов единиц информации движения, соответствующий каждой из двух пиксельных выборок, на S702. Подробности не описываются повторно в данном документе.

[0413] S803. Устройство декодирования видео определяет N возможных вариантов наборов объединенных единиц информации движения на основе набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок.

[0414] Для получения сведений по конкретному процессу, в котором устройство декодирования видео определяет N возможных вариантов наборов объединенных единиц информации движения на основе набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок, на S803, следует обратиться к конкретному процессу, в котором устройство кодирования видео определяет N возможных вариантов наборов объединенных единиц информации движения на основе набора возможных вариантов единиц информации движения, соответствующего каждой из двух пиксельных выборок, на S703. Подробности не описываются повторно в данном документе.

[0415] S804. Устройство декодирования видео выполняет обработку декодирования для потока видеобитов, чтобы получать идентификатор набора i объединенных единиц информации движения и остаток предсказания текущего блока изображений, и определяет, из N возможных вариантов наборов объединенных единиц информации движения, на основе идентификатора набора i объединенных единиц информации движения, набор i объединенных единиц информации движения, включающий в себя две единицы информации движения.

[0416] Соответственно, устройство кодирования видео может записывать идентификатор набора i объединенных единиц информации движения в поток видеобитов.

[0417] S805. Устройство декодирования видео получает кортеж из 2 элементов вектора движения посредством использования набора i объединенных единиц информации движения.

[0418] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство декодирования видео может использовать вектор движения каждой единицы информации движения в наборе i объединенных информационных единиц текущего блока изображений в качестве предсказываемого значения вектора движения, декодировать поток битов, чтобы получать предсказываемые разности векторов движения двух пиксельных выборок в текущем блоке изображений, и добавлять предсказываемую разность векторов движения, соответствующую каждому вектору движения в предикторе вектора движения, в вектор движения в предикторе вектора движения, с тем чтобы получать кортеж из 2 элементов вектора движения, включающий в себя векторы движения двух пиксельных выборок в текущем блоке изображений.

[0419] S806. Устройство декодирования видео получает вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения.

[0420] Для получения сведений по конкретному процессу, в котором устройство декодирования видео получает вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения на S806, следует обратиться к конкретному процессу, в котором устройство кодирования видео получает вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения на S706. Подробности не описываются повторно в данном документе.

[0421] S807. Устройство декодирования видео определяет предсказываемое пиксельное значение пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0422] В процессе предсказания индексы опорных кадров, соответствующие векторам движения любых различных пиксельных выборок в текущем блоке изображений, могут быть идентичными и могут представлять собой индексы опорных кадров, соответствующие векторам движения в наборе i объединенных информационных единиц.

[0423] Для получения сведений по конкретному процессу, в котором устройство декодирования видео определяет предсказываемое пиксельное значение пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления на S807, следует обратиться к конкретному процессу, в котором устройство кодирования видео определяет предсказываемое пиксельное значение пиксела любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления на S707. Подробности не описываются повторно в данном документе.

[0424] S808. Устройство декодирования видео восстанавливает любую пиксельную выборку посредством использования предсказываемого пиксельного значения любой пиксельной выборки в текущем блоке изображений и остатка предсказания, который имеет любую пиксельную выборку в текущем блоке изображений и получается из потока битов.

[0425] В частности, процесс может заключаться в следующем: выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, с тем чтобы получать пиксельное значение восстановления любой пиксельной выборки; или выполнение предсказания с компенсацией движения для любой пиксельной выборки посредством использования предсказываемого пиксельного значения пиксела любой пиксельной выборки, декодирования потока битов, чтобы получать остаток предсказания любой пиксельной выборки, и получения пиксельного значения восстановления любой пиксельной выборки со ссылкой на пиксельное значение, которое имеет пиксел любой пиксельной выборки и получается посредством выполнения предсказания с компенсацией движения.

[0426] Очевидно, что обработка изображений может выполняться для каждого блока изображений в текущем видеокадре в режиме, аналогичном режиму обработки изображений, соответствующему текущему блоку изображений. Безусловно, обработка изображений может выполняться для некоторых блоков изображений в текущем видеокадре в режиме, отличающемся от режима обработки изображений, соответствующего текущему блоку изображений.

[0427] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, модель аффинного движения на основе вращения и движения с масштабированием составляется посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в техническое решение, оценка векторов движения может выполняться на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве согласно техническому решению, так что оценка векторов движения является более точной.

[0428] Далее дополнительно предоставлены связанные устройства для реализации вышеприведенных решений.

[0429] Ссылаясь на фиг. 9, вариант осуществления настоящего изобретения дополнительно предоставляет устройство 900 обработки изображений. Устройство может включать в себя:

модуль 910 получения, выполненный с возможностью получать кортеж из 2 элементов вектора движения текущего блока изображений, причем кортеж из 2 элементов вектора движения включает в себя векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и

вычислительный модуль 920, выполненный с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, полученного посредством модуля 910 получения, причем:

модель аффинного движения может иметь следующую форму:

, где:

[0430] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0431] Необязательно, в некоторых возможных реализациях настоящего изобретения, вычислительный модуль 920, в частности, может быть выполнен с возможностью: получать значения коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0432] Необязательно, в некоторых возможных реализациях настоящего изобретения, вычислительный модуль 920, в частности, может быть выполнен с возможностью: получать значения коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0433] Необязательно, в некоторых возможных реализациях настоящего изобретения, вычислительный модуль 920, в частности, может быть выполнен с возможностью: получать значения коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0434] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0435] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0436] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

, где:

[0437] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство 900 обработки изображений применяется к устройству кодирования видео, или устройство предсказания изображений применяется к устройству декодирования видео.

[0438] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство 900 обработки изображений применяется к устройству кодирования видео, устройство дополнительно включает в себя модуль кодирования, выполненный с возможностью выполнять кодирование с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычислительного модуля 920 посредством вычисления.

[0439] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство 900 обработки изображений применяется к устройству кодирования видео, устройство дополнительно включает в себя модуль декодирования, выполненный с возможностью выполнять декодирование с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычислительного модуля 920 посредством вычисления, и получать пиксельное значение восстановления любой пиксельной выборки.

[0440] Следует отметить, что устройство 900 обработки изображений в этом варианте осуществления дополнительно может включать в себя функциональные блоки в устройстве 400 предсказания изображений; модуль 910 получения и вычислительный модуль 920 в устройстве 900 обработки изображений в этом варианте осуществления могут применяться к модулю 430 предсказания, так что реализуются функции, требуемые посредством модуля 430 предсказания. Для получения сведений по подробному описанию каждого функционального блока в устройстве 400 предсказания изображений, следует обратиться к подробному описанию в вышеприведенном варианте осуществления. Подробности не описываются повторно в данном документе.

[0441] Очевидно, что функции функциональных блоков устройства 900 обработки изображений в этом варианте осуществления, в частности, могут реализовываться согласно способу в вышеприведенном варианте осуществления способа. Для получения сведений по конкретному процессу реализации, следует обратиться к связанному описанию в вышеприведенном варианте осуществления способа. Подробности не описываются повторно в данном документе. Устройство 900 обработки изображений может представлять собой любое устройство, которое должно выводить и воспроизводить видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер или мобильный телефон.

[0442] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, устройство 900 обработки изображений составляет модель аффинного движения на основе вращения и движения с масштабированием посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в устройство 900 обработки изображений, устройство 900 обработки изображений может выполнять оценку векторов движения на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве, так что оценка векторов движения является более точной.

[0443] Ссылаясь на фиг. 10, фиг. 10 является принципиальной схемой устройства 1000 обработки изображений согласно варианту осуществления настоящего изобретения. Устройство 1000 обработки изображений может включать в себя, по меньшей мере, одну шину 1001, по меньшей мере, один процессор 1002, соединенный с шиной 1001 и, по меньшей мере, одно запоминающее устройство 1003, соединенное с шиной 1001.

[0444] Процессор 1002 вызывает, посредством использования шины 1001, код или инструкцию, сохраненную в запоминающем устройстве 1003, так что процессор 1002 выполнен с возможностью: получать кортеж из 2 элементов вектора движения текущего блока изображений, причем кортеж из 2 элементов вектора движения включает в себя векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения.

[0445] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения может иметь следующую форму:

, где:

[0446] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения дополнительно включает в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0447] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, процессор 1002 может быть выполнен с возможностью: получать значения коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0448] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, процессор 1002 может быть выполнен с возможностью: получать значения коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0449] Необязательно, в некоторых возможных реализациях настоящего изобретения, в аспекте получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, процессор 1002 может быть выполнен с возможностью: получать значения коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

[0450] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, может заключаться в следующем:

, где:

[0451] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, может заключаться в следующем:

, где:

[0452] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда две пиксельных выборки включают в себя верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, может заключаться в следующем:

, где:

[0453] Необязательно, в некоторых возможных реализациях настоящего изобретения, устройство 1000 обработки изображений применяется к устройству кодирования видео, или устройство предсказания изображений применяется к устройству декодирования видео.

[0454] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство обработки изображений применяется к устройству кодирования видео, процессор 1002 дополнительно выполнен с возможностью: после получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования модели аффинного движения и кортежа из 2 элементов вектора движения, выполнять кодирование с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

[0455] Необязательно, в некоторых возможных реализациях настоящего изобретения, когда устройство обработки изображений применяется к устройству декодирования видео, процессор 1002 дополнительно выполнен с возможностью: после определения предсказываемого пиксельного значения пиксела любой пиксельной выборки в текущем блоке изображений выполнять декодирование с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления, и получать пиксельное значение восстановления любой пиксельной выборки.

[0456] Очевидно, что функции функциональных блоков устройства 1000 обработки изображений в этом варианте осуществления, в частности, могут реализовываться согласно способу в вышеприведенном варианте осуществления способа. Для получения сведений по конкретному процессу реализации, следует обратиться к связанному описанию в вышеприведенном варианте осуществления способа. Подробности не описываются повторно в данном документе. Устройство 1000 обработки изображений может представлять собой любое устройство, которое должно выводить и воспроизводить видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер или мобильный телефон.

[0457] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, устройство 1000 обработки изображений составляет модель аффинного движения на основе вращения и движения с масштабированием посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в устройство 1000 обработки изображений, устройство 1000 обработки изображений может выполнять оценку векторов движения на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве, так что оценка векторов движения является более точной.

[0458] Вариант осуществления настоящего изобретения дополнительно предоставляет компьютерный носитель хранения данных. Компьютерный носитель хранения данных может сохранять программу, и когда программа выполняется, по меньшей мере, некоторые или все этапы любого способа обработки изображений в вышеприведенных вариантах осуществления способа могут выполняться.

[0459] В вышеприведенных вариантах осуществления, описание каждого варианта осуществления имеет соответствующую нацеленность. Для получения сведений по части, которая не описывается подробно в варианте осуществления, следует обратиться к связанным описаниям в других вариантах осуществления.

[0460] Ссылаясь на фиг. 11, фиг. 11 является блок-схемой последовательности операций другого способа обработки изображений согласно другому варианту осуществления настоящего изобретения. Как показано в качестве примера на фиг. 11, другой способ обработки изображений, предоставленный посредством другого варианта осуществления настоящего изобретения, может включать в себя следующие этапы.

[0461] S1101. Получение коэффициентов модели аффинного движения и получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования коэффициентов модели аффинного движения и модели аффинного движения.

[0462] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения может иметь следующую форму:

, где:

в уравнении , a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения, и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; и в уравнении , a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения, и коэффициенты модели аффинного движения могут включать в себя a и b.

[0463] Необязательно, в некоторых возможных реализациях настоящего изобретения, коэффициенты модели аффинного движения дополнительно могут включать в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0464] S1102. Определение предсказываемого пиксельного значения пиксела любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычисления.

[0465] Для получения сведений по подробному описанию в этом варианте осуществления, следует обратиться к связанному описанию в вышеприведенном варианте осуществления.

[0466] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, модель аффинного движения на основе вращения и движения с масштабированием составляется посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в техническое решение, оценка векторов движения может выполняться на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве согласно техническому решению, так что оценка векторов движения является более точной.

[0467] Ссылаясь на фиг. 12, вариант осуществления настоящего изобретения дополнительно предоставляет устройство 1200 обработки изображений. Устройство может включать в себя:

модуль 1210 получения, выполненный с возможностью получать коэффициенты модели аффинного движения;

вычислительный модуль 1220, выполненный с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования коэффициентов модели аффинного движения, которые получаются посредством модуля 1210 получения, и модели аффинного движения; и

модуль 1230 предсказания, выполненный с возможностью определять предсказываемое пиксельное значение пиксела любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычислительного модуля 1220 посредством вычисления.

[0468] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения может иметь следующую форму:

, где:

в уравнении , a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения, и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; и в уравнении , a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения, и коэффициенты модели аффинного движения могут включать в себя a и b.

[0469] Необязательно, в некоторых возможных реализациях настоящего изобретения, коэффициенты модели аффинного движения дополнительно могут включать в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0470] Для получения сведений по подробному описанию в этом варианте осуществления, следует обратиться к связанному описанию в вышеприведенном варианте осуществления.

[0471] Очевидно, что функции функциональных блоков устройства 1200 обработки изображений в этом варианте осуществления, в частности, могут реализовываться согласно способу в вышеприведенном варианте осуществления способа. Для получения сведений по конкретному процессу реализации, следует обратиться к связанному описанию в вышеприведенном варианте осуществления способа. Подробности не описываются повторно в данном документе. Устройство 1200 обработки изображений может представлять собой любое устройство, которое должно выводить и воспроизводить видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер или мобильный телефон.

[0472] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, устройство 1200 обработки изображений составляет модель аффинного движения на основе вращения и движения с масштабированием посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в устройство 1200 обработки изображений, устройство 1200 обработки изображений может выполнять оценку векторов движения на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве, так что оценка векторов движения является более точной.

[0473] Ссылаясь на фиг. 13, фиг. 13 является принципиальной схемой устройства 1300 обработки изображений согласно варианту осуществления настоящего изобретения. Устройство 1300 обработки изображений может включать в себя, по меньшей мере, одну шину 1301, по меньшей мере, один процессор 1302, соединенный с шиной 1301 и, по меньшей мере, одно запоминающее устройство 1303, соединенное с шиной 1301.

[0474] Процессор 1302 вызывает, посредством использования шины 1301, код или инструкцию, сохраненную в запоминающем устройстве 1303, так что процессор 1302 выполнен с возможностью: получать коэффициенты модели аффинного движения и получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления посредством использования коэффициентов модели аффинного движения и модели аффинного движения; и определять предсказываемое пиксельное значение пиксела любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычисления.

[0475] Необязательно, в некоторых возможных реализациях настоящего изобретения, модель аффинного движения может иметь следующую форму:

, где:

в уравнении , a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения, и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; и в уравнении , a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения, и коэффициенты модели аффинного движения могут включать в себя a и b.

[0476] Необязательно, в некоторых возможных реализациях настоящего изобретения, коэффициенты модели аффинного движения дополнительно могут включать в себя коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

[0477] Для получения сведений по подробному описанию в этом варианте осуществления, следует обратиться к связанному описанию в вышеприведенном варианте осуществления.

[0478] Очевидно, что функции функциональных блоков устройства 1300 обработки изображений в этом варианте осуществления могут быть, в частности, реализованы согласно способу в вышеприведенном варианте осуществления способа. Для получения сведений по конкретному процессу реализации, следует обратиться к связанному описанию в вышеприведенном варианте осуществления способа. Подробности не описываются повторно в данном документе. Устройство 1300 обработки изображений может представлять собой любое устройство, которое должно выводить и воспроизводить видео, например, такое устройство, как ноутбук, планшетный компьютер, персональный компьютер или мобильный телефон.

[0479] В техническом решении, предоставленном посредством этого варианта осуществления настоящего изобретения, устройство 1300 обработки изображений составляет модель аффинного движения на основе вращения и движения с масштабированием посредством использования только двух параметров. Это не только уменьшает вычислительную сложность, но также и повышает точность оценки векторов движения. После того, как два коэффициента сдвига вводятся в устройство 1300 обработки изображений, устройство 1300 обработки изображений может выполнять оценку векторов движения на основе смешанного движения из вращения, движения с масштабированием и поступательного движения в пространстве, так что оценка векторов движения является более точной.

[0480] Вариант осуществления настоящего изобретения дополнительно предоставляет компьютерный носитель хранения данных. Компьютерный носитель хранения данных может сохранять программу, и когда программа выполняется, по меньшей мере, некоторые или все этапы любого способа обработки изображений в вышеприведенных вариантах осуществления способа могут выполняться.

[0481] В вышеприведенных вариантах осуществления, описание каждого варианта осуществления имеет соответствующую нацеленность. Для получения сведений по части, которая не описывается подробно в варианте осуществления, следует обратиться к связанным описаниям в других вариантах осуществления.

[0482] Следует отметить, что для краткости описания, вышеприведенные варианты осуществления способа выражаются как последовательность действий. Тем не менее, специалисты в данной области техники должны принимать во внимание, что настоящее изобретение не ограничено описанной последовательностью действий, поскольку согласно настоящему изобретению, некоторые этапы могут выполняться в других последовательностях или выполняться одновременно. Помимо этого, специалисты в данной области техники должны также принимать во внимание, что все варианты осуществления, приведенные в подробном описании, являются примерными вариантами осуществления, и связанные действия и модули не должны быть обязательными для настоящего изобретения.

[0483] В нескольких вариантах осуществления, предоставленных в настоящей заявке, следует понимать, что раскрытое устройство может реализовываться другими способами. Например, описанный вариант осуществления устройства является просто примером. Например, разделение на блоки является просто разделением по логическим функциям и может быть другим разделением в фактической реализации. Например, множество блоков или компонентов могут быть комбинированы или интегрированы в другую систему, либо некоторые признаки могут игнорироваться или не выполняться. Помимо этого, отображаемые или поясненные взаимные связи либо прямые связи, либо подключения связи могут быть реализованы посредством некоторых интерфейсов. Косвенные связи или подключения связи между устройствами или блоками могут быть реализованы в электронных, механических или других формах.

[0484] Блоки, описанные в качестве отдельных частей, могут быть или не быть физически отдельными, и части, отображаемые в качестве блоков, могут быть или не быть физическими блоками, могут быть расположены в одном местоположении либо могут быть распределены по множеству сетевых блоков. Некоторые или все из блоков могут быть выбраны согласно фактическим требованиям для достижения целей решений вариантов осуществления.

[0485] Помимо этого, функциональные блоки в вариантах осуществления настоящего изобретения могут быть интегрированы в один процессор, либо каждый из блоков может существовать отдельно физически, либо два или более блоков интегрируются в один блок. Интегрированный блок может быть реализован в форме аппаратных средств или может быть реализован в форме программного функционального блока.

[0486] Когда вышеприведенный интегрированный блок реализован в форме программного функционального блока и продается либо используется в качестве независимого продукта, интегрированный блок может быть сохранен на считываемом компьютером носителе хранения данных. На основе такого понимания, технические решения настоящего изобретения по существу или их часть, вносящая усовершенствование в предшествующий уровень техники, либо все или некоторые технические решения могут быть реализованы в форме программного продукта. Программный продукт сохраняется на носителе хранения данных и включает в себя несколько инструкций для инструктирования компьютерному устройству (который может представлять собой персональный компьютер, сервер или сетевое устройство и, в частности, может представлять собой процессор в компьютерном устройстве) выполнять все или некоторые этапы вышеприведенных способов, описанных в вариантах осуществления настоящего изобретения. Вышеуказанный носитель хранения данных включает в себя: любой носитель, который может сохранять программный код, к примеру, USB-флэш-накопитель, съемный жесткий диск, магнитный диск, оптический диск, постоянное запоминающее устройство (ROM, Read-Only Memory) или оперативное запоминающее устройство (RAM, Random Access Memory).

[0487] Вышеприведенные варианты осуществления предназначаются просто для описания технических решений настоящего изобретения, а не для ограничения настоящего изобретения. Хотя настоящее изобретение подробно описывается со ссылкой на вышеприведенные варианты осуществления, специалисты в данной области техники должны понимать, что они при этом могут выполнять модификации технических решений, описанного в вышеприведенных вариантах осуществления, или выполнять эквивалентные замены некоторых их технических признаков, без отступления от объема технических решений вариантов осуществления настоящего изобретения.

1. Способ обработки изображений, содержащий этапы, на которых:

получают кортеж из двух элементов вектора движения текущего блока изображений, при этом кортеж из двух элементов вектора движения содержит векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и

получают вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения, при этом

модель аффинного движения имеет следующую форму:

где (x, y) являются координатами любой пиксельной выборки, vx является горизонтальным компонентом вектора движения любой пиксельной выборки и vy является вертикальным компонентом вектора движения любой пиксельной выборки; и

в уравнении a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения, а в уравнении a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения и -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения.

2. Способ по п. 1, в котором модель аффинного движения дополнительно содержит коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

3. Способ по п. 1 или 2, в котором получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения содержит этапы, на которых:

получают значения коэффициентов модели аффинного движения посредством использования векторов движения двух пиксельных выборок и местоположений двух пиксельных выборок; и

получают вектор движения любой пиксельной выборки в текущем блоке изображений посредством использования модели аффинного движения и значений коэффициентов модели аффинного движения.

4. Способ по п. 1 или 2, в котором получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения содержит этапы, на которых:

получают значения коэффициентов модели аффинного движения посредством использования отношения разности между горизонтальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками и отношения разности между вертикальными компонентами векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками; и

5. Способ по п. 1 или 2, в котором получение вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения содержит этапы, на которых:

получают значение коэффициентов модели аффинного движения посредством использования отношения взвешенной суммы компонентов векторов движения двух пиксельных выборок к расстоянию между двумя пиксельными выборками или к квадрату расстояния между двумя пиксельными выборками; и

6. Способ по п. 1 или 2, в котором, когда две пиксельные выборки содержат верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

где (vx₀, vy₀) является вектором движения верхней левой пиксельной выборки, (vx₁, vy₁) является вектором движения пиксельной выборки в правой области и w является расстоянием между двумя пиксельными выборками.

7. Способ по п. 1 или 2, в котором, когда две пиксельные выборки содержат верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

где (vx₀, vy₀) является вектором движения верхней левой пиксельной выборки, (vx₂, vy₂) является вектором движения пиксельной выборки в нижней области и h является расстоянием между двумя пиксельными выборками.

8. Способ по п. 1 или 2, в котором, когда две пиксельные выборки содержат верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

где (vx₀, vy₀) является вектором движения верхней левой пиксельной выборки, (vx₃, vy₃) является вектором движения пиксельной выборки в нижней правой области, является расстоянием в вертикальном направлении между двумя пиксельными выборками, является расстоянием в горизонтальном направлении между двумя пиксельными выборками и является квадратом расстояния между двумя пиксельными выборками.

9. Способ по п. 1 или 2, в котором, после получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения, способ дополнительно содержит этап, на котором

выполняют кодирование с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычисления.

10. Способ по п. 1 или 2, в котором, после получения вектора движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения, способ дополнительно содержит этап, на котором

выполняют декодирование с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений, чтобы получать пиксельное значение восстановления любой пиксельной выборки.

11. Устройство обработки изображений, при этом устройство содержит:

модуль получения, выполненный с возможностью получать кортеж из двух элементов вектора движения текущего блока изображений, при этом кортеж из двух элементов вектора движения содержит векторы движения двух пиксельных выборок в видеокадре, которому принадлежит текущий блок изображений; и

вычислительный модуль, выполненный с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием модели аффинного движения и кортежа из двух элементов вектора движения, полученного посредством модуля получения, при этом

модель аффинного движения имеет следующую форму:

12. Устройство по п. 11, в котором модель аффинного движения дополнительно содержит коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

13. Устройство по п. 11 или 12, в котором вычислительный модуль, в частности, выполнен с возможностью:

14. Устройство по п. 11 или 12, в котором вычислительный модуль, в частности, выполнен с возможностью:

15. Устройство по п. 11 или 12, в котором вычислительный модуль, в частности, выполнен с возможностью:

16. Устройство по п. 11 или 12, в котором, когда две пиксельные выборки содержат верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в правой области справа от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

17. Устройство по п. 11 или 12, в котором, когда две пиксельные выборки содержат верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней области ниже верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

18. Устройство по п. 11 или 12, в котором, когда две пиксельные выборки содержат верхнюю левую пиксельную выборку текущего блока изображений и пиксельную выборку в нижней правой области с нижней правой стороны от верхней левой пиксельной выборки, модель аффинного движения, в частности, заключается в следующем:

19. Устройство по п. 11 или 12, при этом, когда устройство обработки изображений применяется к устройству кодирования видео, устройство дополнительно содержит модуль кодирования, выполненный с возможностью выполнять кодирование с предсказанием с компенсацией движения для любой пиксельной выборки в текущем блоке изображений посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычислительного модуля посредством вычисления.

20. Устройство по п. 11 или 12, при этом, когда устройство обработки изображений применяется к устройству декодирования видео, устройство дополнительно содержит модуль декодирования, выполненный с возможностью выполнять декодирование с компенсацией движения для любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку в текущем блоке изображений и получается посредством вычислительного модуля посредством вычисления, чтобы получать пиксельное значение восстановления любой пиксельной выборки.

21. Способ обработки изображений, содержащий этапы, на которых:

получают коэффициенты модели аффинного движения и получают вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием коэффициентов модели аффинного движения и модели аффинного движения; и

определяют предсказываемое пиксельное значение пикселя любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычисления, при этом

модель аффинного движения имеет следующую форму:

в уравнении a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения, а в уравнении a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения и коэффициенты модели аффинного движения содержат a и b; и

коэффициенты модели аффинного движения дополнительно содержат коэффициент c горизонтального сдвига горизонтального компонента модели аффинного движения и коэффициент d вертикального сдвига вертикального компонента модели аффинного движения, и в силу этого модель аффинного движения имеет следующую форму:

22. Устройство обработки изображений, содержащее:

модуль получения, выполненный с возможностью получать коэффициенты модели аффинного движения;

вычислительный модуль, выполненный с возможностью получать вектор движения любой пиксельной выборки в текущем блоке изображений посредством вычисления с использованием коэффициентов модели аффинного движения, которые получаются посредством модуля получения, и модели аффинного движения; и

модуль предсказания, выполненный с возможностью определять предсказываемое пиксельное значение пикселя любой пиксельной выборки посредством использования вектора движения, который имеет любую пиксельную выборку и получается посредством вычислительного модуля посредством вычисления, при этом

модель аффинного движения имеет следующую форму:

в уравнении a является коэффициентом горизонтальных координат горизонтального компонента модели аффинного движения и b является коэффициентом вертикальных координат горизонтального компонента модели аффинного движения; а в уравнении a является коэффициентом вертикальных координат вертикального компонента модели аффинного движения, -b является коэффициентом горизонтальных координат вертикального компонента модели аффинного движения и коэффициенты модели аффинного движения содержат a и b; и

Изобретение относится к области замены рекламы в трансляции потокового видео. Технический результат – обеспечение автоматической замены рекламы для видео по запросу, повышение устойчивости против приложений, блокирующих показ рекламы, а также сокращение задержек трансляции.

Способ и система построения цифрового отпечатка видеоконтента // 2671304

Изобретение относится к области вычислительной техники. Техническим результатом является построение цифрового отпечатка видеоконтента при инвариантности относительно преобразований растяжений-сжатий видеопотока; устойчивости к локальным зашумлениям и выбросам при создании цифрового отпечатка фрагмента видеоконтента, повышении скорости создания цифрового отпечатка фрагмента видеоконтента и уменьшении количества потребляемых ресурсов вычислительного средства, требуемых для построения цифрового отпечатка.

Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений // 2670782

Изобретение относится к области кодирования изображений. Технический результат заключается в усовершенствовании кодирования изображений HDR за счет выбора подходящих функций на оси яркости.

Устройство связи, способ связи и компьютерная программа // 2670599

Изобретение относится к устройству связи для передачи/приема несжатых данных изображения, передаваемых цифровым интерфейсом, таким как мультимедийный интерфейс высокой четкости (HDMI).

Способы и устройство сжатия изображений. способ и устройство восстановления изображений // 2669874

Изобретение относится области сжатия и восстановления видеоизображений с целью их хранения и передачи. Технический результат - четырехкратное сжатие видеопоследовательности за счет двукратного уменьшения пиксельного размера и разрешающей способности видеокадров по горизонтальной и вертикальной пространственным координатам, а также восстановление пиксельного размера и разрешающей способности сжатых видеокадров за счет двукратного увеличения пиксельного размера сжатых видеокадров.

Устройство и способ декодирования изображения // 2669685

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности более точного распознавания рабочих характеристик, необходимых для декодирования.

Широковещательное приемное устройство и способ для предоставления услуги обзорного контента // 2669574

Изобретение относится к широковещательному приемному устройству и способу для предоставления услуги обзорного контента для связанного со спортом контента. Технический результат заключается в обеспечении предоставления услуги обзорного контента для воспроизведения по меньшей мере одного из контента, воспроизводимого широковещательным приемным устройством, и обзорного контента.

Способ кодирования видео и устройство кодирования видео и способ декодирования видео и устройство декодирования видео, которые выполняют деблокирующую фильтрацию на основании единиц кодирования древовидной структуры // 2669514

Изобретение относится к кодированию и декодированию видео. Техническим результатом является повышение качества сжатого и восстановленного видео путем удаления деблокирующего эффекта из сжатого и восстановленного видео на основе единицы кодирования древовидной структуры.

Устройство связи, способ связи и компьютерная программа // 2669431

Изобретение относится к устройству связи для передачи/приема несжатых данных изображения, передаваемых через цифровой интерфейс, такой как мультимедийный интерфейс высокой четкости (HDMI).

Способ автоматического формирования персонализированного видеоролика // 2669209

Изобретение относится к области обработки контента. Технический результат заключается в уменьшении времени формирования персонализированного видеоролика.

Устройство кодирования изображения, способ кодирования изображения и программа, а также устройство декодирования изображения, способ декодирования изображения и программа // 2668727

Изобретение относится к области кодирования и декодирования изображений. Технический результат – обеспечение возможности управления качеством изображения в процессе кодирования или декодирования изображения.

Способ и оборудование для кодирования и декодирования видеосигналов // 2668723

Изобретение относится к области кодирования цифровых данных. Технический результат – повышение эффективности кодирования, основанного на палитре.

Устройство декодирования изображения, способ декодирования изображения и долговременный считываемый компьютером носитель записи // 2668390

Изобретение относится к области декодирования изображений. Технический результат - повышение эффективности декодирования изображений.

Устройство обработки изображения и способ обработки изображения // 2667719

Изобретение относится к области обработки изображений. Технический результат – повышение эффективности кодирования изображений за счет повторного использования параметров квантования на разных уровнях.

Кодирование массива выборок для низкой задержки // 2666628

Изобретение относится к средствам для кодирования массива выборок. Технический результат заключается в уменьшении задержки при кодировании массива выборок.

Способ и устройство для определения опорных изображений для внешнего предсказания // 2666233

Изобретение относится к области кодирования и декодирования видео. Технический результат – повышение эффективности декодирования видео.

Устройство и способ обработки изображений // 2665885

Изобретение относится к области обработки изображений. Технический результат – повышение эффективности кодирования изображений.

Устройство кодирования изображения и способ, и устройство декодирования изображения и способ // 2665284

Изобретение относится к области кодирования и декодирования изображений. Технический результат – обеспечение понижения нагрузки при декодировании изображения посредством предотвращения числа доступов к памяти, за счет указания конкретной области из множества областей базового уровня в информации управления.

Способ и устройство кодирования изображений // 2662922

Изобретение относится к области кодирования/декодирования изображений. Технический результат – повышение эффективности кодирования/декодирования изображений.

Способ и устройство для кодирования видео, а также способ и устройство для декодирования видео, сопровождаемого внутренним прогнозированием // 2660640

Изобретение относится к области декодирования видео. Технический результат – повышение эффективности декодирования видео за счет понижения сложности синтаксического анализа.

Способ определения модуля продольной упругости стенки кровеносного сосуда на основе эндоскопической оптической когерентной томографии // 2669732

Изобретение относится к области измерений для диагностических целей, в частности к способам оценки состояния сердечно-сосудистой системы, и может быть использовано для определения модуля продольной упругости стенки кровеносного сосуда на основе эндоскопической оптической когерентной томографии.