Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы

Изобретение относится к области масштабируемого кодирования видеоинформации. Техническим результатом является повышение эффективности масштабируемого кодирования. Предложен способ масштабируемого кодирования видеоинформации, который вычисляет весовой коэффициент и указывает изменение яркости между кодируемой целевой областью изображения и областью опорного изображения в вышележащем слое, вычисляет вектор движения и формирует сигнал предсказания путем применения весового коэффициента к декодированному сигналу области опорного изображения, указанной вектором движения, и выполнения компенсации движения. При этом если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, способ идентифицирует область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, и принятия результата применения в качестве DC компонента непосредственно нижележащей области изображения. 6 н. и 20 з.п. ф-лы, 24 ил., 2 табл.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу масштабируемого кодирования видеоинформации и устройству для него, которые масштабируемым образом кодируют видеоизображение, яркость которого изменяется во времени, к способу масштабируемого декодирования видеоинформации и устройству для него, которые декодируют кодированные данные, которые кодировались посредством масштабируемого кодирования видеоинформации, к программе масштабируемого кодирования видеоинформации, используемой в реализации способа масштабируемого кодирования видеоинформации, к машиночитаемому носителю записи, на котором программа хранится, к программе масштабируемого декодирования видеоинформации, используемой в реализации способа масштабируемого декодирования видеоинформации, и к машиночитаемому носителю записи, на котором программа хранится.

Испрашивается приоритет по заявке на патент Японии за номером 2007-277224, поданной 25 октября 2007 г., содержание которой включено в настоящий документ путем ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

В обычных способах кодирования видеоинформации предсказание движения выполняется поблочным сравнением на основе минимизации разности в значениях пикселов между кадрами, таким образом расширяя параметры кодирования. Однако для изображения, такого как постепенно изменяющееся изображение, яркость которого изменяется во времени, остаточный сигнал предсказания в предсказании движения возрастает на величину, эквивалентную изменению яркости, и параметры кодирования таким образом ухудшаются.

Соответственно, в стандарте H.264/AVC, показанном в непатентном документе 1, выполняется взвешенное предсказание движения путем адаптивного применения весового коэффициента к опорному изображению для предсказания движения. Это взвешенное предсказание движения формирует опорный сигнал предсказания со скорректированным временным изменением яркости, таким образом расширяя параметры кодирования.

Стандарт H.264/AVC включает в себя два способа для взвешенного предсказания движения: явный режим, который кодирует весовой коэффициент, используемый в коррекции яркости, и передает его, и неявный режим, который вместо передачи весового коэффициента использует информацию опорного кадра, чтобы неявно создавать одинаковый весовой коэффициент в кодере и декодере.

В Таблице 1 показаны категория и способы предсказания для взвешенного предсказания движения в серии макроблоков P-плоскости (однонаправленного предсказания) и серии макроблоков B-плоскости (двунаправленного предсказания).

Таблица 1 Категории и способы взвешенного предсказания движения в стандарте H.264/AVC
Тип	Категория предсказания	Сигнал предсказания	Передача коэффициента
P-серия			Передавать (Явный)
B-серия	Предсказание L0/L1	(Предсказание L0) (Предсказание L1)	Передавать (Явный)
	Двунаправленное предсказание		Передавать (Явный)
	Вычислить w0 и w1 в соответствии с расстоянием от опорного изображения (Неявный)

В Таблице 1 z является сигналом взвешенного предсказания движения, r₀ и r₁ являются опорными сигналами взвешенного предсказания движения, w₀, w₁, d₀ и d₁ являются весовыми коэффициентами. Переключение взвешенного предсказания движения и выбор режима передачи весового коэффициента выполняются в единицах серий макроблоков («слайсов»).

На Фиг. 20 показана пояснительная схема взвешенного предсказания движения (неявный режим) в стандарте H.264/AVC. Неявный режим используется только для двунаправленного предсказания в B-сериях макроблоков. При условии, что изменение яркости в кодируемом целевом кадре и двух опорных кадрах является линейным, пропорциональные коэффициенты w₀ и w₁ вычисляются в соответствии с расстоянием от опорных кадров. Коэффициент смещения d установлен в 0.

Хотя в примере по Фиг. 20 пропорциональные коэффициенты вычисляются согласно внутреннему разделению в соответствии с расстояниями от опорных кадров, вычисление согласно внешнему разделению может выполняться таким же образом.

Способ масштабируемого расширения (JSVC) в стандарте H.264/AVC, представленный в непатентном документе 2, был стандартизирован группой JVT, которая является совместной группой Международной организации по стандартизации (ISO) и сектора телекоммуникаций Международного Союза электросвязи (МСЭ-Т, ITU-T), и в настоящее время использует такое же взвешенное предсказание движения как стандарт H.264/AVC, упомянутый выше. Ссылающийся на JSVC кодер JSVM, представленный в непатентном документе 3, также использует взвешенное предсказание движения, показанное в Таблице 1.

Одна известная технология для выявления общего изменения яркости видеоизображения и выполнения компенсации яркости раскрыта в Патентном документе 1. Технология, раскрытая в Патентном документе 1, использует величину полного изменения яркости всего экрана, и флажок, указывающий определение того, компенсировать ли изменение яркости в каждой малой области, и может использоваться в случаях, где изменение яркости является неоднородным в пределах экрана.

Непатентный документ 1: ITU-T: ”Advanced video coding for generic audiovisual services”, ITU-T Rec. H.264, p. 129-132, May, 2003, (Усовершенствованное кодирование видеоинформации для аудиовизуальных услуг, рекомендации ITU-T по H.264, с.129-132, Май 2003).

Непатентный документ 2: T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz и M.Wien: ”Joint Draft 8 of SVC”, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U201, pp. 166-170, October, 2006, (Изменения к совместному проекту 8 по SVC, документ ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-U201, с. 166-170, октябрь 2006).

Непатентный документ 3: J.Reichel, H.Schwarz и M.Wien: ”Joint Scalable Video Model JSVM-8”, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, October, 2006, (Объединенная масштабируемая модель видеоинформации JSVM-8, документ ISO/IEC JTC1/SC29/WG11 и ITU-T SG16 Q.6, JVT-U202, октябрь 2006).

Патентный документ 1: публикация нерассмотренной заявки на патент Японии, Первая публикация номер H10-32824.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Техническая задача изобретения

Взвешенное предсказание движения в стандарте H.264/AVC выполняется в единицах серий макроблоков. Следовательно, в случаях, если имеется изменение яркости в части серии макроблоков и где изменение яркости является неоднородным в пределах серии макроблоков, ухудшаются параметры предсказания для взвешенного предсказания движения. Примером является изменение яркости, вызванное тенью движущегося объекта и тому подобным. Поскольку JSVC наследует взвешенное предсказание движения стандарта H.264/AVC, оно сталкивается с такой же проблемой.

Если предпринимается попытка выполнить взвешенное предсказание движения согласно вычислению весового коэффициента в единицах меньше серий макроблоков, например, в макроблоках, необходимый для весового коэффициента объем кодирования в явном режиме будет чрезвычайно большим. В таких случаях весовой коэффициент предпочтительно вычисляют в неявном режиме. Однако, как пояснено выше, неявный режим для взвешенного предсказания движения в стандарте H.264/AVC ограничен двунаправленным предсказанием в B сериях.

Кроме того, поскольку весовой коэффициент, вычисляемый в неявном режиме во взвешенном предсказании движения, основан на условии, что изменение яркости между кодируемым целевым кадром и двумя опорными кадрами является линейным, тогда как является нелинейным временное изменение яркости по этим трем кадрам, становится невозможным вычислять соответствующий весовой коэффициент, и параметры предсказания ухудшаются. Примеры включают плавно изменяющееся изображение, где яркость изменяется нелинейно, изображение, которое содержит флеш-анимацию, и т.д.

Поскольку взвешенное предсказание движения в JSVC непосредственно использует взвешенное предсказание движения по H.264/AVC, оно сталкивается с той же проблемой.

В технологии, раскрытой в Патентном документе 1, информация флажка должна передаваться для каждой малой области, приводя к проблеме ухудшающихся параметров кодирования. Кроме того, поскольку изменение яркости нельзя компенсировать в малых областях, где имеется большая величина изменения яркости в малой области, и она отклоняется от величины полного изменения яркости, этот момент также ведет к проблеме ухудшающихся параметров кодирования.

Настоящее изобретение было выполнено ввиду этих обстоятельств и имеет своей задачей создание, в пространственном масштабируемом кодировании, включающем в себя базовый слой, имеющий низшую пространственную разрешающую способность, и один или несколько слоев расширения, имеющих более высокую пространственную разрешающую способность, способа построения масштабируемых кодера и декодера, которые формируют весовой коэффициент для взвешенного предсказания движения на основании информации, относящейся к временному изменению яркости между декодированным сигналом для опорного кадра для предсказания движения и декодированным сигналом для непосредственно нижележащего слоя из кодируемого целевого кадра, и, без передачи информации весового коэффициента, выполняют взвешенное предсказание движения, используя одинаковый весовой коэффициент в кодере и декодере.

Средства для решения технической задачи изобретения

(1) Конфигурация устройства масштабируемого кодирования видеоинформации по изобретению

Для решения вышеупомянутых задач устройство масштабируемого кодирования видеоинформации по настоящему изобретению использует конфигурацию, которая вычисляет весовой коэффициент, включающий в себя пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между кодируемой целевой областью изображения и областью опорного изображения в вышележащем слое, вычисляет вектор движения путем применения весового коэффициента к сигналу изображения области опорного изображения в качестве объекта поиска и выполнения оценивания движения и формирует сигнал предсказания путем применения весового коэффициента к декодированному сигналу области опорного изображения, указанной вектором движения, и выполнения компенсации движения. Устройство масштабируемого кодирования видеоинформации включает в себя:

(i) устройство определения, которое на основании информации кодирования относительно непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения, определяет структуру данных для весового коэффициента, и (ii) устройство вычисления, которое, если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, идентифицирует область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения по отношению к DC (прямой текущий) компоненту области изображения в вышележащем слое, который присутствует пространственно в той же позиции, как и область опорного изображения непосредственно нижележащего слоя, и принимая результат применения в качестве DC компонента непосредственно нижележащей области изображения.

Если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента, используя коррекцию с пропорциональным коэффициентом, имеются случаи, где устройство определения принимает решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента и принимает решение использовать нуль в качестве коэффициента смещения, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента, используя коррекцию с коэффициентом смещения, имеются случаи, где устройство определения принимает решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимает решение использовать 1 в качестве пропорционального коэффициента, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеются две области опорного изображения, имеются случаи, где устройство определения принимает решение использовать значение, вычисляемое в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, принимает решение использовать значение, вычисляемое в качестве коэффициента смещения, вычитая значение, полученное умножением каждого DC компонента для двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения, и определяет структуру данных для весового коэффициента таким образом.

При использовании этой конфигурации, при попытке повысить точность путем учета остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, вычислительное устройство может (i) суммировать DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения со значением, получаемым путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения для DC компонента области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, как и область опорного изображения непосредственно нижележащего слоя, и (ii), принимает результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

В использовании этой конфигурации, если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, вычислительное устройство может вычислять DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и на основании таковых вычисленных DC компонентов и областей для соответственных малых областей может вычислять DC компонент, рассматриваемый в качестве релевантного DC компонента.

Способ масштабируемого кодирования видеоинформации по изобретению, реализуемый посредством функций устройств обработки, описанных выше, может также осуществляться посредством компьютерной программы. Компьютерная программа хранится в надлежащем машиночитаемом носителе записи или поставляется по сети, и, при реализации изобретения, программа устанавливается и приводится в действие в устройстве управления, таком как центральный процессор (ЦП, CPU), посредством чего изобретение реализуется.

(2) Конфигурация устройства масштабируемого декодирования видеоинформации по изобретению

Для достижения вышеупомянутых целей устройство масштабируемого декодирования видеоинформации по изобретению использует конфигурацию, которая вычисляет весовой коэффициент, включающий пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между декодируемой целевой областью изображения и областью опорного изображения, указываемую декодированным вектором движения в вышележащем слое, и выполняет компенсацию движения путем применения весового коэффициента к декодированному сигналу области опорного изображения, указываемую декодированным вектором движения, и таким образом формирует сигнал предсказания. Устройство масштабируемого декодирования видеоинформации включает в состав:

(i) устройство определения, которое на основании информации кодирования для непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения, определяет структуру данных для весового коэффициента, и

(ii) вычислительное устройство, которое, если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, идентифицирует область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения по отношению к DC (прямой текущий) компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и принимая результат применения в качестве DC компонента непосредственно нижележащей области изображения.

Если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента, используя коррекцию с пропорциональным коэффициентом, имеются случаи, где устройство определения принимает решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента, и принимает решение использовать нуль в качестве коэффициента смещения, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеется одна область опорного изображения и устройство определения применяет способ вычисления весового коэффициента с использованием коррекции с коэффициентом смещения, имеются случаи, где устройство определения принимает решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимает решение использовать 1 в качестве пропорционального коэффициента, и определяет структуру данных для весового коэффициента таким образом.

Кроме того, если имеются две области опорного изображения, имеются случаи, где устройство определения принимает решение использовать значение, вычисленное в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, принимает решение использовать значение, вычисленное в виде коэффициента смещения, вычитая значение, которое получено умножением каждого DC компонента двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения, и определяет структуру данных для весового коэффициента таким образом.

В использовании этой конфигурации, при попытке повысить точность путем учета остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, вычислительное устройство может (i) суммировать DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, со значением, полученным путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и (ii) принимает результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

В использовании этой конфигурации, если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, вычислительное устройство может вычислять DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и на основании таких вычисленных DC компонентов и областей для соответственных малых областей может вычислять DC компонент, рассматриваемый в качестве релевантного DC компонента.

Способ масштабируемого декодирования видеоинформации по изобретению, реализуемый посредством функций устройств обработки, описанных выше, может также осуществляться посредством компьютерной программы. Компьютерная программа хранится в надлежащем машиночитаемом носителе записи или поставляется по сети, и, при реализации изобретения, программа устанавливается и приводится в действие в устройстве управления, таком как ЦП, посредством чего изобретение реализуется.

Результаты изобретения

В соответствии с настоящим изобретением, даже когда яркость изменяется в части изображения из-за тени движущегося объекта или подобного, становится возможным уменьшить машинную память и время вычисления, требуемые для процесса декодирования, при этом выполняя высокоточное взвешенное предсказание движения в неявном режиме, который не осуществляет передачу весового коэффициента.

Также в соответствии с настоящим изобретением, даже в однонаправленном предсказании, таком как предсказания L0/L1 в P-серии макроблоков и B-серии макроблоков, которое до настоящего времени допускало только явный режим, затем становится возможным уменьшить машинную память и время вычисления, требуемые для процесса декодирования, выполняя при этом высокоточное взвешенное предсказание движения в неявном режиме, который не передает весовой коэффициент.

Также в соответствии с настоящим изобретением, даже в изображениях, имеющих нелинейное изменение яркости между кодируемым/декодируемым целевым кадром и множеством опорных кадров предсказания, таких как изображения, включающие в себя флеш-анимацию и нелинейно изменяющиеся изображения, тогда становится возможным уменьшить машинную память и время вычисления, требуемые для процесса декодирования, выполняя при этом высокоточное взвешенное предсказание движения в неявном режиме, который не передает весовой коэффициент.

Вследствие таких улучшений в параметрах взвешенного предсказания движения, согласно изобретению, ожидается повышенная эффективность кодирования.

КРАТКИЙ ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

Фиг.1A - пояснительная схема изменения яркости между кадрами.

Фиг.1B - схема примера ухудшающихся параметров предсказания.

Фиг.1C - пояснительное схематическое представление изобретения.

Фиг.2 - пояснительная схема целевого кадра коррекции и скорректированного кадра.

Фиг.3 - пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.4A - пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.4B - аналогичным образом, пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.4C - аналогичным образом, пояснительная схема способа вычисления весового коэффициента в изобретении по заявке на патент Японии за номером 2007-174161.

Фиг.5 - пояснительное схематическое представление изобретения.

Фиг.6 - аналогичным образом, пояснительное схематическое представление изобретения.

Фиг.7 - пояснительная схема результатов испытаний относительно испытания, выполненного для проверки эффективности изобретения.

Фиг.8 - блок-схема варианта осуществления процесса кодирования согласно изобретению.

Фиг.9 - блок-схема варианта осуществления процесса декодирования согласно изобретению.

Фиг.10 - блок-схема варианта осуществления процесса взвешенного оценивания движения согласно изобретению.

Фиг.11 - блок-схема варианта осуществления процесса взвешенной компенсации движения согласно изобретению.

Фиг.12 - блок-схема варианта осуществления процесса вычисления весового коэффициента согласно изобретению.

Фиг.13 - блок-схема варианта осуществления процесса оценивания DC компонента непосредственно нижележащего блока согласно изобретению.

Фиг.14 - схема конфигурации для варианта осуществления устройства кодирования согласно изобретению.

Фиг.15 - схема конфигурации для варианта осуществления устройства декодирования согласно изобретению.

Фиг.16 - схема конфигурации для варианта осуществления блока взвешенной оценки движения согласно изобретению.

Фиг.17 - схема конфигурации для варианта осуществления компенсатора движения с взвешиванием согласно изобретению.

Фиг.18 - схема конфигурации для варианта осуществления вычислителя весового коэффициента согласно изобретению.

Фиг.19 - схема конфигурации для варианта осуществления блока оценки DC компонента непосредственно нижележащего блока согласно изобретению.

Фиг.20 - пояснительная схема взвешенного предсказания движения в стандарте H.264/AVC.

Позиционные обозначения

101 - блок определения способа предсказания

102 - внутренний предсказатель

103 - предсказатель движения без взвешивания

104 - межслойный предсказатель

105 - блок взвешенной оценки движения

106 - компенсатор движения с взвешиванием

107 - формирователь остаточного сигнала предсказания

108 - кодер остаточного сигнала предсказания

109 - декодер

110 - блок хранения декодированного сигнала релевантного слоя расширения

111 - блок хранения информации кодирования непосредственно нижележащего слоя

201 - декодер режима предсказания

202 - блок хранения режима предсказания

203 - блок определения способа предсказания

204 - внутренний предсказатель

205 - предсказатель движения без взвешивания

206 - межслойный предсказатель

207 - декодер информации вектора движения

208 - блок хранения информации вектора движения

209 - компенсатор движения с взвешиванием

210 - блок хранения информации кодирования непосредственно нижележащего слоя

211 - декодер остаточного сигнала

212 - блок хранения остаточного сигнала

213 - формирователь декодированного сигнала

214 - блок хранения декодированного сигнала релевантного слоя расширения

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Во-первых, будет пояснено краткое описание настоящего изобретения.

В этом пояснении, для удобства, области изображения обозначены в виде прямоугольников и DC (прямой текущей) компоненты областей изображения обозначены средними значениями.

Неявный режим является способом неявного вычисления весового коэффициента, требуемого во взвешенном предсказании движения, без передачи дополнительной информации кодирования. При условии, что вычисленный весовой коэффициент адекватно представляет изменчивость яркости, он является замечательно эффективным способом. Однако, если вычисленный весовой коэффициент отклоняется от изменчивости яркости, параметры предсказания ухудшаются.

Как показано на Фиг.1A, в случае изображений с нелинейным плавным изменением или изображений флеш-анимации, изменчивость яркости между кадрами является нелинейной.

В таких случаях, если линейное предсказание выполняется с использованием только весового коэффициента для опорного сигнала предсказания, как показано на Фиг.1B, параметры предсказания будут ухудшаться.

Соответственно, во взвешенном предсказании движения в двунаправленном предсказании обеспечивается коэффициент смещения d, тогда как в неявном режиме JVSC, поскольку этот коэффициент смещения установлен в нуль, сама величина расхождения выражается в виде остаточного сигнала предсказания.

С другой стороны, если s^mn представляет исходный сигнал с координатами (m,n) в кодируемом целевом блоке размером M·N, то y₀ ^mn и y₁ ^mn представляют декодированные сигналы с координатами (m,n) в двух опорных блоках в двунаправленном предсказании, и кодируемому целевому блоку назначается весовой коэффициент (w₀,w₁,d), разностью «e» между сигналом взвешенного предсказания движения, вычисленным с использованием весового коэффициента (w₀,w₁,d), и исходным сигналом является:

e^mn=s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d),

и таким образом полной энергией E для разности предсказания e^mn в кодируемом целевом блоке является:

E=Σ_mΣ_n(s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d))².

Если w₀ и w₁ применяются таким же образом, как на Фиг.20, коэффициент смещения d, чтобы минимизировать полную энергию E, может быть определен посредством решения «E/d=0» и определения:

d=<s>-w₀<y₀>-w₁<y₁>

<s>: среднее значение исходного сигнала кодируемого целевого блока

<y₀>: среднее значение декодированного сигнала опорного блока

<y₁>: среднее значение декодированного сигнала опорного блока.

Однако декодер не может осуществлять ссылку на исходный сигнал. Соответственно, настоящее изобретение сосредоточивается на возможности сохранения межслойного среднего значения. Как показано на Фиг.1C, вместо среднего значения <s> исходного сигнала изобретение использует среднее значение <x> декодированного сигнала для блока (непосредственно нижележащего блока), который присутствует пространственно в той же позиции, как таковая для кодируемого целевого блока в непосредственно нижележащем слое, и определяет коэффициент смещения d в виде:

d≈<x>-w₀<y₀>-w₁<y₁>

Однако, чтобы определить среднее значение <x> декодированного сигнала непосредственно нижележащего блока, присутствующего пространственно в той же позиции, как и таковая кодируемого целевого блока в непосредственно нижележащем слое, должны декодироваться все декодированные сигналы непосредственно нижележащего слоя. Это требует большого объема машинной памяти и длительного времени вычислений.

В настоящем изобретении, во взвешенном предсказании движения в двунаправленном предсказании, при определении величины смещения в соответствии с уравнением вычисления

d≈<x>-w₀<y₀>-w₁<y₁>

идентифицируется опорный блок непосредственно нижележащего слоя, который является непосредственно нижележащим блоком, используемым в качестве ссылки при предсказании для предсказания движения, и <x> определяется путем получения результата применения весового коэффициента, который непосредственно нижележащий блок использовал во взвешенном предсказании движения, к среднему значению декодированных сигналов для блока в вышележащем слое, присутствующим пространственно в той же позиции, как таковая для опорного блока непосредственно нижележащего слоя, и принятия в качестве результата среднего значения декодированных сигналов непосредственно нижележащего блока.

Опорный блок непосредственно нижележащего слоя, который непосредственно нижележащий блок использовал при предсказании в качестве адресата ссылки для предсказания движения, может быть идентифицирован без декодирования всех сигналов непосредственно нижележащего слоя, путем декодирования части информации, такой как вектор движения или подобное. Следовательно, в соответствии с настоящим изобретением, нет проблемы необходимости машинной памяти большой емкости и длительного времени вычислений.

Весовые коэффициенты w₀ и w₁ могут быть определены на стороне декодирования путем их вычисления в соответствии с межкадровым расстоянием между кодируемым целевым блоком и каждым опорным блоком. Кроме того, коэффициент d смещения также может определяться на стороне декодирования путем его вычисления, исходя из декодированного сигнала. Следовательно, согласно изобретению, нет необходимости передавать весовые коэффициенты на сторону декодирования.

Следовательно, согласно изобретению, во взвешенном предсказании движения в двунаправленном предсказании, даже когда яркость между кадрами изменяется нелинейно при выполнении неявного режима, высокоточное взвешенное предсказание движения может достигаться при небольшой машинной памяти и за короткое время.

Техническая идея изобретения может также применяться во взвешенном предсказании движения в однонаправленном предсказании.

То есть, во взвешенном предсказании движения в однонаправленном предсказании:

(i) в качестве пропорционального коэффициента используется отношение между средним значением для декодированного сигнала опорного блока и средним значением исходного сигнала для кодируемого целевого блока, и используется нулевой коэффициент смещения; или

(ii) в качестве коэффициента смещения используется разность между средним значением декодированного сигнала опорного блока и средним значением декодированного сигнала для кодируемого целевого блока, и в качестве пропорционального коэффициента используется 1.

Однако декодер не может осуществлять ссылку на исходный сигнал. Соответственно, настоящее изобретение рассматривает возможность сохранения межслойного среднего значения и, вместо среднего значения исходного сигнала для кодируемого целевого блока, использует среднее значение декодированного сигнала непосредственно нижележащего блока, чтобы определять отношение и разность, упомянутые выше.

Однако, чтобы определить среднее значение декодированного сигнала непосредственно нижележащего блока, должны декодироваться все декодированные сигналы непосредственно нижележащего слоя. Это требует машинной памяти большой емкости и длительного времени вычислений.

Соответственно в изобретении, в однонаправленном взвешенном предсказании движения, идентифицируется опорный блок непосредственно нижележащего слоя, каковой непосредственно нижележащий блок использовался в качестве опорного объекта предсказания для предсказания движения, и вычисляются вышеупомянутое отношение и разность путем получения результата применения весового коэффициента, который непосредственно нижележащий блок использовал во взвешенном предсказании движения, к среднему значению декодированных сигналов для блока в вышележащем слое, присутствующему пространственно в той же позиции, как таковой опорный блок непосредственно нижележащего слоя, и принятия в качестве результата среднего значения декодированных сигналов непосредственно нижележащего блока.

Опорный блок непосредственно нижележащего слоя, который непосредственно нижележащий блок использовал в качестве опорного объекта предсказания для предсказания движения, может быть идентифицирован без декодирования всех сигналов непосредственно нижележащего слоя путем декодирования части информации, такой как вектор движения. Следовательно, согласно изобретению, отсутствуют проблемы необходимости машинной памяти большой емкости и длительного времени вычислений.

Это дает возможность определения весовых коэффициентов на стороне декодирования, путем их вычисления, исходя из декодированного сигнала, и следовательно, согласно изобретению, нет необходимости передавать весовые коэффициенты на сторону декодирования.

Следовательно, согласно изобретению, во взвешенном предсказании движения в однонаправленном предсказании, даже если яркость между кадрами изменяется нелинейно при выполнении неявного режима, может достигаться высокоточное взвешенное предсказание движения при малой емкости машинной памяти и за короткое время.

Затем изобретение будет пояснено подробно со ссылкой на примерные варианты осуществления.

Как упомянуто ранее, взвешенное предсказание движения в стандарте H.264/AVC выполняется в единицах серий макроблоков. Следовательно, если имеется изменчивость яркости в части серии макроблоков или если изменчивость яркости является неоднородной в пределах серии макроблоков, параметры для взвешенного предсказания движения ухудшаются. Примером является изменчивость яркости, вызванная тенью движущегося объекта. Поскольку JSVC унаследует взвешенное предсказание движения по стандарту H.264/AVC, оно сталкивается с той же проблемой.

Если предпринимается попытка выполнения взвешенного предсказания движения путем вычисления весовых коэффициентов в единицах меньше серии макроблоков, например, в макроблоках, необходимый для весового коэффициента объем кодирования в явном режиме будет чрезвычайно большим. В таких случаях весовые коэффициенты предпочтительно вычисляются в неявном режиме. Однако, как пояснено выше, неявный режим взвешенного предсказания движения в стандарте H.264/AVC ограничен двунаправленным предсказанием в B-сериях макроблоков.

Кроме того, поскольку весовой коэффициент, вычисленный в неявном режиме во взвешенном предсказании движения, основывается на условии, что изменчивость яркости по кадру кодируемого целевого кадра и двум опорным кадрам является линейной, когда временная изменчивость яркости по этим трем кадрам является нелинейной, становится невозможным вычислять надлежащий весовой коэффициент, и параметры предсказания ухудшаются. Примеры включают плавно изменяющееся изображение, где яркость изменяется нелинейно, изображение, которое содержит флеш-анимацию, и т.д. Поскольку взвешенное предсказание движения в JSVC реализует взвешенное предсказание движения по H.264/AVC без какой-либо модификации, оно сталкивается с той же проблемой.

Ввиду таких обстоятельств, изобретатели предварительно подали заявку на патент Японии за номером 2007-174161 (поданную 2 июля 2007 г.) на новое изобретение, которое может решить эти проблемы.

В изобретении по заявке за номером JP 2007-174161 вычисляют весовой коэффициент, используя декодированный сигнал непосредственно нижележащего слоя для кодируемого целевого кадра.

Затем будет пояснен способ вычисления весового коэффициента, предложенный согласно изобретению, по заявке за номером JP 2007-174161.

Изобретение по заявке за номером JP 2007-174161, использует нижеследующую процедуру, чтобы вычислять весовой коэффициент для использования во взвешенном оценивании движения и взвешенной компенсации движения для масштабируемого кодирования.

В обычном неявном режиме временная изменчивость яркости оценивается посредством интерполяции или экстраполяции внутри одного слоя в соответствии с расстоянием от опорного кадра и вычисляется весовой коэффициент.

В изобретении (заявка на патент Японии за номером 2007-174161) временная изменчивость яркости оценивается более точно путем использования информации, относящейся к декодированному сигналу непосредственно нижележащего слоя относительно слоя, подлежащего кодированию/декодированию.

Будут пояснены символы, используемые в пояснении процедуры.

Пусть f является целевым кадром процесса кодирования/декодирования (в дальнейшем, целевой кадр коррекции) слоя расширения, f₀ является опорным кадром взвешенного оценивания/коррекции движения (в дальнейшем, скорректированный кадр) в P-серии макроблоков или B-серии макроблоков предсказании в слое l0 и f₁ является скорректированным кадром предсказания L1 в B-серии макроблоков. Кадр в непосредственно нижележащем слое в то же время в качестве целевого кадра f коррекции обозначается «g».

Значение сигнала предсказания, вставленное с координатами (i,j) целевого блока процесса кодирования/декодирования (в дальнейшем, целевой блок коррекции) в кадр f, обозначается в виде z(i,j), и значение декодированного сигнала с координатами (i,j) для опорного блока взвешенной оценки/компенсации движения (в дальнейшем, скорректированный блок) в кадре f₀ обозначено в виде y₀(i,j). Кроме того, значение декодированного сигнала с координатами (i,j) блока в кадре g, присутствующего пространственно в той же позиции, как таковая целевого блока коррекции для кадра f, обозначено в виде x(i,j).

Это показано на Фиг.2. На Фиг.2 показана схема, когда отношением разрешающей способности между релевантным слоем расширения и непосредственно нижележащим слоем является 2:1 и по горизонтальной, и по вертикальной осям. Подобный процесс может выполняться для отношений разрешающей способности, отличных от 2:1.

Пусть Y₀ является значением DC компонента скорректированного блока в кадре f₀, и X является значением DC компонента блока в кадре g, присутствующего пространственно в той же позиции, как и таковая целевого блока коррекции кадра f. В случае Фиг.2 они вычисляются следующим образом.

Формула 1

Способ вычисления весовых коэффициентов в P-серии макроблоков и предсказание L0/L1 в B-серии макроблоков

В однокадровом предсказании, таком как P-серии макроблоков и предсказание L0/L1, выполняемое в B-серии макроблоков, значение сигнала предсказания z(i,j) вычисляется, как изложено ниже.

Для P-серии макроблоков и предсказания L0 в B-серии макроблоков:

z(i,j)=w₀ · y₀(i,j)+d₀.

Для L1 предсказания в B-серии макроблоков:

z(i,j)=w₁ · y₁(i,j)+d₁ (3).

В изобретении (JP 2007-174161) описаны два примера способов вычисления этих весовых коэффициентов w₀ и d₀ или w₁ и d₁.

Нижеследующее пояснение вычисления способов описывает примеры в P-серии макроблоков и L0 предсказания в B-серии макроблоков. Для L1 предсказания в B-серии макроблоков, элементы, относящиеся к кадрам f₀ и g₀, могут быть заменены элементами, относящимися к кадрам f₁ и g₁.

Два способа вычисления основаны на нижеследующем предположении. Поскольку кадр f и кадр g составляет информация одинакового времени, можно ожидать, что их сигналы будут иметь одинаковую яркость. Используя информацию яркости для кадра g, который уже известен, изменчивость яркости целевого кадра f коррекции предсказывается неявно на основании скорректированного кадра f₀.

Способ 1-1: Коррекция с пропорциональным коэффициентом с использованием DC компонента в однокадровом предсказании

В этом способе весовые коэффициенты вычисляются, как изложено ниже.

w₀=X/Y₀ (4)

d₀=0 (5).

Способ 1-2: Коррекция с коэффициентом смещения с использованием DC компонента в однокадровом предсказании

В этом способе весовые коэффициенты вычисляются, как изложено ниже.

w₀=1 (6)

d₀=X-Y₀ (7).

Способ вычисления весового коэффициента в двунаправленном предсказании в B-серии макроблоков

В двунаправленном предсказании в B-серии макроблоков значение сигнала z(i,j) предсказания вычисляется, как изложено ниже.

z(i,j)=w₀ · y₀(i,j)+w₁ · y₁(i,j)+d (8).

В изобретении (JP 2007-174161) весовые коэффициенты w₀, w₁ и d вычисляются, как изложено ниже.

Способ вычисления основан на предположении, что поскольку кадр f и кадр g состоят из информации одинакового времени, их сигналы имеют одинаковую яркость. Используя информацию яркости кадра g, которая уже известна, изменчивость яркости целевого кадра f коррекции предсказывается неявно, исходя из скорректированных кадров f₀ и f₁.

Способ 2-1: коррекция с весовым коэффициентом с использованием блока DC компонента в двунаправленном предсказании

В этом способе весовые коэффициенты вычисляются, как изложено ниже.

w₀=1-w₁ (9)

w₁=t_b/t_d (10)

d=X-w₀ · Y₀-w₁ · Y₁ (11),

где t_b является межкадровым расстоянием от скорректированного кадра f₀ до целевого кадра коррекции, и t_d является межкадровым расстоянием от скорректированного кадра f₀ до скорректированного кадра f₁.

Ниже следует краткое описание способов вычисления весовых коэффициентов, предложенных согласно изобретению, зарегистрированному в виде патента Японии за номером 2007-174161, как описано выше.

Как показано на Фиг.3, пусть B представляет блок кадра в момент времени t в релевантном слое l, и пусть B₀ и B₁, соответственно, представляют опорные блоки для таковых. B₀ и B₁ соответственно относятся к кадру в момент времени t-T₀ и кадру в момент времени t+T₁ в слое l.

Можно предположить, что кадр в момент времени t-T₀ является единственным опорным кадром в однонаправленном предсказании.

Также, пусть B_a является блоком кадра в момент времени t пространственно в той же позиции, как таковая для блока B в непосредственно нижележащем слое l-1. В дальнейшем, B_a называется «непосредственно нижележащий блок».

Пусть R(l,t-T₀,B₀) является DC компонентом декодированного сигнала в опорном блоке B₀, R(l,t+T₁,B₁) является DC компонентом декодированного сигнала в опорном блоке B₁, и пусть R(l-1,t,B_a) является DC компонентом декодированного сигнала в непосредственно нижележащем блоке B_a.

DC компонент каждого блока формируется применением двумерного быстрого преобразования Фурье (БПФ, FFT) или двумерного дискретного косинусного преобразования (ДКП, DCT) к набору пикселов в этом блоке.

Изобретение, зарегистрированное за номером JP 2007-174161, определяет весовые коэффициенты (w₀,d₀) или (w₀,w₁,d) в то же время, как изложено ниже.

Для однонаправленного предсказания:

Коррекция с пропорциональным коэффициентом: Способ коррекции с использованием Формул (4) и (5)

w₀=R(l-1,t,B_a)/R(l,t-T₀,B₀)

d₀=0 (12)

или

Коррекция с коэффициентом смещения: Способ коррекции с использованием Формул (6) и (7)

w₀=1

d₀=R(l-1,t,B_a)/R(l,t-T₀,B₀) (13).

Для двунаправленного предсказания:

Способ коррекции с использованием Формул (9)-(11)

w₀=1-w₁

w₁=T₀/(T₀+T₁)

d=R(l-1,t,B_a)-w₀·R(l,t-T₀,B₀)-w₁·R(l,t+T₁,B₁) (14).

Таким образом, взвешенное предсказание движения в неявном режиме, который не выполняет передачу информации, относящейся к весовым коэффициентам, может быть осуществлено посредством однонаправленного предсказания. Имеются два вида способов для вычисления весовых коэффициентов в однонаправленном предсказании: способ коррекции с пропорциональным коэффициентом, данный в Формуле (12), и способ коррекции с коэффициентом смещения, данный в Формуле (13).

Кроме того, параметры предсказания в неявном режиме в ходе двунаправленного предсказания в стандарте H.264/AVC расширяются приведенным в Формуле (14) образом.

В отношении изобретения в соответствии с Формулой (14), изобретателями опубликовано 'Kazuya Hayase, Yukihiro Bandoh, Seishi Takamura, KazuT0 Kamikura, и Yoshiyuki Yashima: «Weighted Prediction of Spatial Scalable Video Coding using Inter-Layer Correlation» (Взвешенное предсказание пространственного масштабируемого кодирования видеоинформации с использованием межуровневой корреляции», 2007, Шестой Форум по информатике и информационной технологии, с. 253-256, сентябрь 2007 г.).

Будет кратко пояснена коррекция с пропорциональным коэффициентом в однонаправленном предсказании, которое определяет весовые коэффициенты (w₀,d₀) в соответствии с Формулой (12). Как показано на Фиг.4A, в определении весового коэффициента, что w₀ является отношением между DC компонентом α декодированного сигнала в момент времени t-T₀ в слое l и DC компонентом β исходного сигнала в момент времени t в слое l, DC компонент β исходного сигнала в момент времени t в слое l заменяется DC компонентом β' декодированного сигнала в момент времени t в слое l-1 и считают, что результатом будет весовой коэффициент w₀.

Отличительный признак здесь состоит в том, что поскольку весовой коэффициент w₀ может быть вычислен на основании декодированного сигнала, его не требуется передавать на сторону декодирования.

Коррекция относительно коэффициента смещения в однонаправленном предсказании, которое определяет весовые коэффициенты (w₀,d₀) в соответствии с Формулой (13), будет кратко пояснена. Как показано на Фиг.4B, в определении коэффициента смещения d₀, который будет разностью между DC компонентом β исходного сигнала в момент времени t в слое l и DC компонентом декодированного сигнала в момент времени t-T₀ в слое l, DC компонент β исходного сигнала в момент времени t в слое l заменяется DC компонентом β' декодированного сигнала в момент времени t в слое l-1, и считают, что результатом будет коэффициент смещения d₀.

Отличительный признак здесь состоит в том, что поскольку коэффициент смещения d₀ может быть вычислен на основании декодированного сигнала, его не требуется передавать на сторону декодирования.

Коррекция относительно коэффициента смещения в двунаправленном предсказании, которое определяет весовые коэффициенты (w₀,d₀) в соответствии с Формулой (14), будет кратко пояснено. Как показано на Фиг.4C, если α представляет DC компонент декодированного сигнала в момент времени t-T₀ в слое l, β представляет DC компонент исходного сигнала в момент времени t в слое l, и γ представляет DC компонент декодированного сигнала в момент времени t+T₁ в слое l, то в определении коэффициента смещения, что d является «d=β-w₀·a-w₁·γ», DC компонент β исходного сигнала в момент времени t в слое l заменяется DC компонентом β' декодированного сигнала в момент времени t в слое l-1, и считают, что результатом является коэффициент смещения d.

Отличительный признак здесь состоит в том, что поскольку коэффициент смещения d может вычисляться на основании декодированного сигнала, его не требуется передавать на сторону декодирования.

С другой стороны, виды декодирования процессов кодирования, которые образуют многие уровни, таких как JSVC, включают в себя многоконтурное декодирование, которое требует обратной компенсации движения на нижележащем уровне, и одноконтурное декодирование, которое не требует обратной компенсации движения на нижележащем уровне. В целом, процессы декодирования должны быть простыми. По этой причине представляющая большую нагрузку обратная компенсация движения является процессом, который нужно избегать, где только возможно, принимая во внимание, что требуемым является одноконтурное декодирование.

В этом описании «обратная компенсация движения» означает процессы по мере выполнения идентификации декодированного сигнала для блока, указанного вектором движения.

Однако в изобретении, зарегистрированном за номером JP 2007-174161, как показано в Формуле (2), DC компонент R(l-1,t,B_a) декодированного сигнала в непосредственно нижележащем блоке B_a вычисляется после того, как были созданы декодированные сигналы в непосредственно нижележащем слое. Следовательно, процесс декодирования становится некоторым многоконтурным декодированием и остается место для усовершенствования.

Ввиду таких обстоятельств, настоящее изобретение имеет целью установление, в пространственном масштабируемом кодировании, включающем базовый слой и один или несколько слоев расширения, новый способ построения масштабируемого кодера и декодера, который оценивает DC компонент декодированного сигнала в непосредственно нижележащем слое для кодируемого целевого кадра на основании лишь декодированного сигнала для опорного кадра предсказания движения и информации кодирования, относящейся к компенсации движения в непосредственно нижележащем слое, и формирует весовой коэффициент взвешенного предсказания движения на основании взаимосвязей между вычисленным DC компонентом декодированного сигнала непосредственно нижележащего слоя относительно кодируемого целевого кадра и DC компонентом декодированного сигнала опорного кадра предсказания движения, и таким образом выполняет взвешенное предсказание движения, используя одинаковый весовой коэффициент в кодере и декодере без передачи какой-либо информации весового коэффициента.

Будет пояснена процедура для взвешенного предсказания движения по изобретению.

Взвешенное предсказание движения состоит из двух этапов: взвешенного оценивания движения и взвешенной компенсации движения.

Взвешенное оценивание движения означает процесс коррекции изменчивости яркости между (обрабатываемыми) целевыми кадрами процесса и опорным кадром предсказания движения при поиске движения между кадрами, и вывода в виде вектора движения информации движения, выявленной в поиске.

Взвешенная компенсация движения означает процесс считывания информации движения, коррекции изменения яркости по отношению к значению сигнала, указанному вектором движения, и вывода значения скорректированного сигнала в качестве сигнала предсказания в целевом кадре процесса обработки.

В процессе кодирования выявляется вектор движения согласно взвешенному оцениванию движения, считывается вектор движения и выполняется взвешенная компенсация движения. В процессе декодирования вектор движения считывается согласно декодированию информации кодирования и выполняется взвешенная компенсация движения.

Весовые коэффициенты могут вычисляться в произвольных единицах областей изображения. Примеры включают единицы кадров, единицы серий макроблоков, единицы макроблоков, даже единицы меньших блоков, полученных дроблением макроблока, и т.д.

В изобретении, поскольку нет необходимости передавать весовой коэффициент для интересующего уровня, служебные сигналы, требуемые для взвешенного предсказания движения, являются одинаковыми независимо от того, какая единица области изображения используется для вычисления. Следовательно, чем меньше единица области изображения, используемая для вычисления весового коэффициента, тем больше рост параметров взвешенного предсказания движения.

Пояснение продолжится рассмотрением в качестве примера случая, где весовой коэффициент вычисляется в единицах макроблоков. Взвешенное предсказание движения согласно подобному процессу также может выполняться с использованием единиц, отличных от макроблоков. Подобный процесс может выполняться независимо от сигнала, который является целевым, такого как сигнал яркости или сигнал цветности.

Взвешенное оценивание движения

Взвешенное оценивание движения выполняется посредством поиска для каждого макроблока из кодируемого целевого кадра совпадающего макроблока в опорном кадре оценки.

В течение этого поиска, при каждом изменении искомого целевого макроблока, вычисляется весовой коэффициент, указывающий изменчивость яркости между блоками в обоих кадрах, и декодированный сигнал искомого целевого макроблока, который корректировался с этим весовым коэффициентом, используется в качестве сравнительного сигнала для определения совпадения. Макроблок, который определен, что является совпадающим, становится опорным для вектора движения и используется в качестве опорного макроблока в компенсации движения.

Одним примером средства определения соответствия является упомянутое в непатентном документе 1, которое минимизирует оценку Лагранжа между объемом кодирования и искажением кодирования.

Взвешенная компенсация движения

Во взвешенной компенсации движения, во-первых, считывается информация вектора движения, поддерживаемая по каждому целевому макроблоку кодирования/декодирования.

Затем вычисляется весовой коэффициент, который указывает изменение яркости между опорным макроблоком, указанным этим вектором движения, и целевым макроблоком кодирования/декодирования.

Декодированный сигнал опорного макроблока, который скорректирован с весовым коэффициентом, затем используется в качестве сигнала предсказания в целевом макроблоке кодирования/декодирования.

Обработка вычисления весового коэффициента

Весовые коэффициенты для использования в масштабируемом кодировании взвешенного оценивания движения и взвешенной компенсация движения обычно вычисляются согласно нижеследующей процедуре.

Как в изобретении, зарегистрированном за номером JP 2007-174161, для блока, где выполняется однонаправленное предсказание, весовой коэффициент вычисляется по Формуле (12) или Формуле (13), упомянутых ранее, тогда как при выполнении двунаправленного предсказания весовой коэффициент вычисляется по упомянутой ранее Формуле (14).

Однако настоящее изобретение применяет другой способ определения DC компонента декодированного сигнала R(l-1,t,B_a) для непосредственно нижележащего блока, чем таковой в изобретении, зарегистрированном за номером JP 2007-174161.

То есть, хотя изобретение, зарегистрированное за номером JP 2007-174161, получает DC компонент посредством полного декодирования и ортогонального преобразования непосредственно нижележащего слоя, в настоящем изобретении непосредственно нижележащий слой лишь частично декодируется (то есть, предпочтительно уровень декодирования части информации кодирования, чем декодирования, пока не будет декодирован сигнал изображения), и DC компонент затем получают посредством неявного оценивания на основании этой частично декодированной информации и декодированного сигнала для опорного кадра релевантного слоя.

Частичное декодирование устраняет потребность выполнять обратную компенсацию движения и может уменьшать время декодирования.

Будут пояснены символы, используемые в пояснении конкретной процедуры. Как показано на Фиг.5, пусть B является релевантным блоком кадра в момент времени t в слое l.

Пусть B_a является непосредственно нижележащим блоком для блока B в непосредственно нижележащем слое l-1.

Пусть B_b0 и B_b1 являются опорными блоками предсказания движения непосредственно нижележащего блока B_a и пусть полагается, что B_b0 и B_b1 соответственно относятся к кадру в момент времени t-T₀ в слое l и кадру в момент времени t+T₁ в слое l.

Позиции опорных блоков B_b0 и B_b1 в непосредственно нижележащем слое l-1 получают декодированием информации кодирования об индексе опорного кадра и векторе движения, поддерживаемой непосредственно нижележащим блоком B_a.

Также, пусть B_c0 и B_c1 являются блоками в слое l, присутствующими пространственно в тех же позициях, что и опорные блоки B_b0 и B_b1 в непосредственно нижележащем слое l-1. В дальнейшем B_c0 и B_c1 называются «непосредственно вышележащие блоки».

Пусть R(l-1,t,B_a), R(l-1,t-T₀,B_b0), R(l-1,t+T₁,B_b1), R(l,t-T₀,B_c0) и R(l,t+T₁,B_c1), соответственно, являются DC компонентами декодированных сигналов в блоках B_a, B_b0, B_b1, B_c0 и B_c1.

Пусть E(l-1,t,B_a) является DC компонентом остаточного сигнала предсказания, содержащегося непосредственно в нижележащем блоке B_a. DC компонент E(l-1,t,B_a) остаточного сигнала предсказания получают декодированием информации кодирования DC компонента остаточного сигнала предсказания, поддерживаемой непосредственно нижележащим блоком B_a.

При выполнении взвешенного предсказания движения в непосредственно нижележащем слое, пусть (w₀',d₀') будет весовыми коэффициентами между непосредственно нижележащим блоком B_a и опорным блоком B_b0, и пусть (w₁',d₁') будет весовыми коэффициентами между непосредственно нижележащим блоком B_a и опорным блоком B_b1. Эти весовые коэффициенты (w₀',d₀') и (w₁',d₁') получают декодированием информации кодирования весовых коэффициентов, поддерживаемой непосредственно нижележащим блоком B_a.

В настоящем изобретении, хотя нет необходимости кодировать весовой коэффициент для слоя l, наличие необходимости кодировать весовой коэффициент непосредственно нижележащего слоя l-1 зависит от того, имеется ли слой ниже него.

Для удобства в этом пояснении, можно предположить, что весовые коэффициенты (w₀',d₀') и (w₁',d₁') получают путем декодирования информации кодирования весовых коэффициентов, поддерживаемой непосредственно нижележащим блоком B_a.

Затем, в отношении способа предсказания для непосредственно нижележащего блока B_a, будут поясняться различные способы определения DC компонента R(l-1,t,B_a) декодированного сигнала непосредственно нижележащего блока B_a в четырех отдельных случаях: внутреннее предсказание, однонаправленное предсказание в межкадровом предсказании, двунаправленное предсказание в межкадровом предсказании и смесь областей однонаправленного предсказания и областей двунаправленного предсказания в блоке в межкадровом предсказании.

(1) Непосредственно нижележащий блок B_a выполняет внутреннее предсказание

Когда непосредственно нижележащий блок B_a выполняет внутреннее предсказание, и предсказание выполняется с использованием ограниченного внутреннего предсказания, все декодированные сигналы в непосредственно нижележащем блоке B_a могут быть восстановлены без выполнения обратной компенсации движения.

Здесь, «ограниченное внутреннее предсказание» используется в стандарте H.264/AVC, описанном также в непатентном документе 1 и в JSVC, как описано в непатентном документе 2, и является одним видом способа внутреннего предсказания, имеющим ограничение в том, что если нет режима внутреннего предсказания в смежных блоках, блок не может использовать режим внутреннего предсказания.

Используя этот способ, блок, применяющий режим внутреннего предсказания, может восстанавливать декодированные сигналы в блоке внутри кадра, делая ненужной обратную компенсацию движения.

Следовательно, когда непосредственно нижележащий блок B_a выполняет внутреннее предсказание, и предсказание использует ограниченное внутреннее предсказание, все декодированные сигналы в непосредственно нижележащем блоке B_a восстанавливаются просто, и DC компонент вычисляется на основе каждого значения сигнала. Если внутреннее предсказание не использует ограниченное внутреннее предсказание, изобретение не выполняется.

(2) Непосредственно нижележащий блок B_a выполняет межкадровое предсказание с использованием однонаправленного предсказания

Если непосредственно нижележащий блок B_a использует однонаправленное предсказание, DC компонент декодированного сигнала R(l-1,t,B_a) непосредственно нижележащего блока B_a может вычисляться, как изложено ниже.

R(l-1,t,B_a) ≈ w₀' · R(l-1,t-T₀,B_b0)+d₀'+E(l-1,t,B_a) (15).

Однако информация R(l-1,t-T₀,B_b0) не может быть получена без повторного создания всех декодированных сигналов в непосредственно нижележащем слое.

Соответственно, полагая, что:

R(l-1,t-T₀,B_b0)≈R(l-1,t-T₀,B_c0) (16),

DC компонент декодированного сигнала R(l,t-T₀,B_c0) непосредственно вышележащего блока B_c0 (для блока B_b0) в релевантном слое используется в качестве подстановки.

Если только не имеется значительное искажение квантования в DC компонентах декодированного сигнала релевантного слоя и непосредственно нижележащего слоя, предположение относительно Формулы (16) в целом сохраняется.

Если кадр t-T₀ в слое l является опорным кадром релевантного кадра t, декодированные сигналы блока B_c0 были сохранены в буфере предсказания движения.

Следовательно, используя значения, вычисленные по Формуле (16) для вычисления DC компонента декодированного сигнала непосредственно нижележащего блока B_a, весовые коэффициенты могут вычисляться без выполнения обратной компенсации движения в непосредственно нижележащем слое.

Затем в настоящем изобретении R(l-1,t,B_a) оценивается по нижеследующей формуле.

R(l-1,t,B_a) ≈ w₀' · R(l,t-T₀,B_c0)+d₀'+E(l-1,t,B_a) (17).

При этом возможно, что непосредственно нижележащий блок B_a включает в себя множество малых блоков, которые содержат множество векторов движения. Например, если релевантный блок B имеет размер 16×16, размером непосредственно нижележащего блока B_a будет 8×8. JSVC разрешает использование семи размеров блоков: 4×4, 4×8, 8×4, 8×8, 8×16, 16×8 и 16×16.

Следовательно, если непосредственно нижележащий блок B_a имеет размер 8×8, он содержит максимально четыре малых блока.

Когда непосредственно нижележащий блок B_a содержит несколько малых блоков, значение DC компонента декодированного сигнала в каждом малом блоке взвешивается в соответствии с областью соответственного малого блока, и считают, что их общая сумма является DC компонентом декодированного сигнала R(l-1,t,B_a) непосредственно нижележащего блока B_a.

Один пример специальной процедуры вычислений, в случае если непосредственно нижележащий блок включает в себя множество малых блоков, поясняется ниже.

Как показано на Фиг.6, можно предположить, что блок B имеет размер 16×16, и непосредственно нижележащий блок B_a содержит два малых блока размером 4×4 и один малый блок размером 4×8. Эти малые блоки обозначаются B_a ⁰ и B_a ¹ (блоки 4×4) и B_a ² (блок 4×8).

Кроме того, пусть B_b0 ⁰, B_b0 ¹ и B_b0 ² соответственно обозначают опорные блоки для предсказания движения малых блоков B_a ⁰, B_a ¹ и B_a ² и пусть B_c0 ⁰, B_c0 ¹ и B_c0 ² соответственно обозначают непосредственно вышележащие блоки в релевантном слое пространственно в тех же позициях, как таковые для опорных блоков.

Пусть (w₀ ⁰',d₀ ⁰'), (w₀ ¹',d₀ ¹') и (w₀ ²',d₀ ²') являются весовыми коэффициентами, назначенными соответственно для малых блоков B_a ⁰, B_a ¹ и B_a ².

DC компонент декодированного сигнала R(l-1,t,B_a) блока B_a вычисляется, как изложено ниже.

R(l-1,t,B_a)=(1/4) · [w₀ ⁰' · R(l,t-T₀,B_c0 ⁰)

+d₀ ⁰'+E(l-1,t,B_a ⁰)]

+(1/4) · [w₀ ¹' · R(l,t-T₀,B_c0 ¹)

+d₀ ¹'+E(l-1,t,B_a ¹)]

+(1/2) · [w₀ ²' · R(l,t-T₀,B_c0 ²)

+d₀ ²'+E(l-1,t,B_a ²)] (18).

(3) Непосредственно нижележащий блок B_a выполняет межкадровое предсказание с использованием двунаправленного предсказания

Если непосредственно нижележащий блок B_a использует двунаправленное предсказание, его DC компонент декодированного сигнала R(l-1,t,B_a) может вычисляться, как изложено ниже.

R(l-1,t,B_a)≈w₀' · R(l-1,t-T₀,B_b0)

+w₁' · R(l-1,t+T₁,B_b1)

+(1/2) · (d₀'+d₁')+E(l-1,t,B_a) (19).

Однако, подобно однонаправленному предсказанию, информация R(l-1,t-T₀,B_b0) и R(l-1,t+T₁,B_b1) не может быть получена без декодирования всех декодируемых сигналов в непосредственно нижележащем слое.

Соответственно, полагая, что:

R(l-1,t-T₀,B_b0)≈R(l,t-T₀,B_c0)

R(l-1,t+T₁,B_b1)≈R(l,t+T₁,B_c1) (20).

DC компоненты декодированного сигнала R(l,t-T₀,B_c0) и R(l,t+T₁,B_c1) непосредственно вышележащих блоков B_c0 и B_c1 (блоки B_b0 и B_b1) в релевантном слое используются в качестве подстановок.

При условии, что искажение квантования, содержащееся в DC компонентах декодированного сигнала релевантного слоя и непосредственно нижележащего слоя, не является значительным, Формула (20) в целом сохраняется.

Изобретение затем оценивает R(l-1,t,B_a) по нижеследующей формуле.

R(l-1,t,B_a)≈w₀' · R(l,t-T₀,B_c0)

+w₁' · R(l,t+T₁,B_c1)

+(1/2) · (d₀'+d₁')+E(l-1,t,B_a) (21).

Как в однонаправленном предсказании, здесь имеется возможность, что блок B_a включает в себя множество малых блоков и содержит множество векторов движения.

В этом случае, как в однонаправленном предсказании, значения DC компонента каждого из малых блоков являются взвешенными в соответствии с областями малых блоков, и их общая сумма обозначается DC компонентом декодированного сигнала R(l-1,t,B_a) непосредственно нижележащего блока B_a.

Например, можно предположить, что релевантный блок B имеет размер 16×16, и непосредственно нижележащий блок B_a содержит два малых блока размером 4×4 и один малый блок размером 4×8. Эти малые блоки обозначены B_a ⁰, B_a ¹ и B_a ².

Пусть B_b0 ⁰, B_b0 ¹, B_b0 ², B_b1 ⁰, B_b1 ¹ и B_b1 ² являются опорными блоками для двунаправленного предсказания малых блоков B_a ⁰, B_a ¹ и B_a ², соответственно, и пусть B_c0 ⁰, B_c0 ¹, B_c0 ², B_c1 ⁰, B_c1 ¹ и B_c1 ² являются непосредственно вышележащими блоками в релевантном слое пространственно в тех же позициях, как таковые опорные блоки.

Кроме того, пусть (w₀ ⁰',d₀ ⁰'), (w₁ ⁰',d₁ ⁰'), (w₀ ¹',d₀ ¹'), (w₁ ¹',d₁ ¹') и (w₀ ²',d₀ ²'), (w₁ ²',d₁ ²') являются весовыми коэффициентами, назначенными соответственно малым блокам B_a ⁰, B_a ¹ и B_a ².

В этот момент DC компонент декодированного сигнала R(l-1,t,B_a) блока B_a вычисляется, как изложено ниже.

Формула 2

(4) Смесь однонаправленного предсказания и двунаправленного предсказания в непосредственно нижележащем блоке B_a

Множество малых блоков (например, 4×4) в непосредственно нижележащем блоке B_a могут независимо использовать одно предсказание из однонаправленного предсказания и двунаправленного предсказания. При этом можно предположить, что посредством той же процедуры, как в (2) и (3), значение DC компонента декодированного сигнала в каждом малом блоке является взвешенным в соответствии с областью соответственного малого блока, и считают, что их общая сумма является DC компонентом декодированного сигнала R(l-1,t,B_a) блока B_a.

Теперь можно предположить что, как в (2) и (3), в этом примере блок B имеет размер 16×16, и непосредственно нижележащий блок B_a содержит два малых блока размером 4×4 (B_a ⁰ и B_a ¹) и один малый блок размером 4×8 (B_a ²).

B_a ⁰ и B_a ² используют однонаправленное предсказание, тогда как B_a ¹ использует двунаправленное предсказание. B_b0 ⁰ и B_b0 ² соответственно представляют опорные блоки для однонаправленного предсказания в малых блоках B_a ⁰ и B_a ², тогда как B_b0 ¹ и B_b1 ¹ представляют опорные блоки для двунаправленного предсказания в малом блоке B_a ¹.

Пусть B_c0 ⁰, B_c0 ², B_c0 ¹, B_c1 ¹ представляют непосредственно вышележащие блоки в релевантном слое пространственно в тех же позициях, как таковые опорные блоки.

Пусть (w₀ ⁰',d₀ ⁰'), (w₀ ¹',d₀ ¹'), (w₁ ¹',d₁ ¹') и (w₀ ²',d₀ ²') представляют весовые коэффициенты, назначенные соответственно малым блокам B_a ⁰, B_a ¹ и B_a ².

DC компонент декодированного сигнала R(l-1,t,B_a) блока B_a теперь вычисляется, как изложено ниже.

Формула 3

Как описано выше, настоящее изобретение не выполняется, если непосредственно нижележащий блок B_a использует внутреннее предсказание, и предсказание не использует ограниченное внутреннее предсказание. Оно также не выполняется, если декодированные сигналы непосредственно вышележащих блоков B_c0 и B_c1 опорных блоков предсказания B_b0, и B_b1 не сохраняются в буфере предсказания движения.

В случаях, где изобретение не выполняется, кодирование выполняется с использованием другого способа предсказания. Примерами являются взвешенное предсказание движения по JSVC, обычное невзвешенное предсказание движения и внутреннее предсказание.

При выполнении межкадрового предсказания в непосредственно нижележащем слое, если взвешенное предсказание движения в непосредственно нижележащем слое достигает замечательно высокой эффективности, DC компонент E(l-1,t,B_a) остаточного сигнала предсказания для непосредственно нижележащего блока B_a будет близким к нулевому.

В таких случаях DC компонент остаточного сигнала предсказания не должен рассматриваться. Следовательно, его не требуется декодировать, давая возможность, чтобы дополнительно уменьшался объем машинной памяти и вычислений, используемый для декодирования. Следовательно, когда акцент делается на уменьшении объема машинной памяти и вычислений, DC компонент остаточного сигнала предсказания не должен суммироваться.

Теперь следует пояснение испытания, в котором изобретение осуществлено в виде кодера JSVM 8.0 на основе JSVC, чтобы проверить параметры кодирования для взвешенного предсказания (WP), которое выполняет коррекцию с пропорциональным коэффициентом, и WP, которое выполняет коррекцию с коэффициентом смещения в однонаправленном предсказании согласно изобретению.

В этом испытании в кодировании базового слоя использовалось WP по JSVM, принимая во внимание, что WP по изобретению применялся к слою расширения. Проверка параметров оценивалась в соответствии с характеристиками величины искажения при применении WP по JSVM, и при применении WP по изобретению по отношению к слою расширения.

С использованием трех стандартных изображений в JSVC, City (город), Soccer (футбол) и Foreman (мастер) белое линейное изменяющееся изображение было смешано в 33 кадра верхней части каждого изображения.

Были проверены два типа постепенного изменения, постепенное появление/исчезновение изображения, и 33 кадра этой порции смеси постепенного изменения использовались в качестве целевых кадров кодирования.

Изображение формата QCIF («четверть-CIF», общий промежуточный формат) (имеющий размер изображения 144×176 пикселов) со скоростью 30 кадров/с вводилось в основной слой, и изображение формата обмена графическими данными (GIF) (имеющий размер изображения 352×288 пикселов) с 30 кадров/с вводилось в слой расширения; шаблоном изображения являлся IPPP.

Были проверены четыре значения (21, 24, 27 и 30) параметра квантования, и одинаковые значения применялись к базовому слою и слою расширения. Проводился комплексный поиск движения с использованием точности только целого числа.

В Таблице 2 приведены достигнутые выполнением настоящего изобретения значения уменьшения объема кодирования от значений WP по JSVM. Достигалось максимальное уменьшение объема кодирования в 6,38%. В целом, значения уменьшения были больше в постепенно исчезающих изображениях.

Таблица 2 Показатель (%) уменьшения объема кодирования по сравнению с WP JSVM
	Постепенное появление	Постепенное исчезновение
	City	Soccer	Foreman	City	Soccer	Foreman
Коррекция с пропорциональным коэффициентом	-0,40	0,09	-0,13	-2,64	-1,79	-1,11
Коррекция с коэффициентом смещения	-0,34	-0,32	-0,78	-6,38	-3,65	-3,13

Что относится к Фиг.7, пиковое отношение сигнал-шум (по мощности) (PSNR) и скорость передачи битов каждой процедуры были определены в постепенно исчезающем изображении City, которое достигало максимального показателя уменьшения, и они затем сравнивались («Y-PSNR» представляет PSNR для сигнала яркости).

Как видно из Фиг.7, методика по настоящему изобретению может уменьшать объем кодирования независимо от скорости.

При сравнении коррекции с пропорциональным коэффициентом и коррекции с коэффициентом смещения, хотя нет различия между ними в постепенно появляющихся изображениях (не показано), коррекция с коэффициентом смещения является явно более эффективной в постепенно исчезающих изображениях. При проверке параметров WP согласно коррекции с коэффициентом смещения достигала среднего уменьшения объема кодирования в 4,39% в постепенно исчезающих изображениях.

Хотя это испытание иллюстрирует характеристики кодирования в однонаправленном предсказании, ожидается подобное расширение параметров в двунаправленном предсказании.

Варианты осуществления

Затем изобретение будет поясняться подробно в соответствии с вариантами осуществления.

Схема процессов обработки

Вариант осуществления процесса кодирования

Со ссылкой на Фиг.8 будет поясняться вариант осуществления процесса кодирования согласно изобретению.

Поясняемым здесь вариантом осуществления является процесс кодирования, выполняемый в одном макроблоке. Полную информацию кодирования получают обработкой всех макроблоков таким образом.

Этап S101: Выполнить процесс принятия решения по определению, является ли релевантный макроблок в слое расширения целевым макроблоком для взвешенного предсказания движения; если является, выполнить процесс по этапу S103, если это не является, то выполнить процесс по этапу S102.

Этап S102: Сформировать сигнал предсказания в соответствии с информацией режима предсказания для макроблока, выводимого в процессе по этапу S101.

Типы способов предсказания включают: внутреннее предсказание, обычное невзвешенное предсказание движения и межслойное предсказание. Одним примером способа предсказания для каждого из этих способов является способ предсказания в JSVM, описанный в непатентном документе 3.

Этап S103: Считать исходный сигнал релевантного макроблока, декодированный сигнал искомого целевого макроблока (в опорном кадре) и информацию кодирования непосредственно нижележащего слоя, выполнить взвешенную оценку движения, и вывести информацию вектора движения. На Фиг.10 (поясненной далее) этот процесс иллюстрируется подробно.

Этап S104: Считать информацию вектора движения, выводимую в процессе по этапу S103, и информацию кодирования непосредственно нижележащего слоя, выполнить взвешенную компенсацию движения, и вывести сигнал взвешенного предсказания движения. На Фиг.11 (поясненной далее) этот процесс иллюстрируется подробно.

Этап S105: Считать сигнал предсказания, выводимый процессом по этапу S102 или этапу S104, сформировать разностный сигнал между сигналом предсказания и исходным сигналом релевантного макроблока, и кодировать этот разностный сигнал. Одним примером процесса кодирования разностного сигнала является процесс кодирования в JSVM, упомянутый в непатентном документе 3.

Вариант осуществления процесса декодирования

Со ссылкой на Фиг.9 будет поясняться вариант осуществления процесса декодирования согласно изобретению.

Поясняемым здесь вариантом осуществления является процесс декодирования, выполняемый в одном макроблоке. Полный декодированный сигнал формируется обработкой всех макроблоков таким образом.

Этап S201: Считать информацию кодирования, относящуюся к режиму предсказания релевантного макроблока в слое расширения, выполнить процесс декодирования и вывести информацию режима предсказания.

Этап S202: Выполнить процесс принятия решения по определению, является ли релевантный макроблок в слое расширения целевым макроблоком для взвешенного предсказания движения; если «Да», выполнить процесс по этапу S204, если «Нет», выполнить процесс по этапу S203.

Этап S203: Сформировать сигнал предсказания в соответствии с информацией режима предсказания релевантного макроблока, выводимого в процессе по этапу S201. Типы способов предсказания включают в себя внутреннее предсказание, обычное невзвешенное предсказание движения и межслойное предсказание.

Этап S204: Считать информацию кодирования, относящуюся к вектору движения релевантного макроблока, выполнить процесс декодирования и вывести вектор движения.

Этап S205: Считать информацию вектора движения, выводимого в процессе по этапу S204, и информацию кодирования непосредственно нижележащего слоя, выполнить взвешенную компенсацию движения, и вывести сигнал взвешенного предсказания движения. На Фиг.11 (описанной далее) этот процесс иллюстрируется подробно.

Этап S206: Считать сигнал предсказания выводимого на этапе S203 или этапе S205, суммировать его с декодированным остаточным сигналом предсказания, чтобы создать декодированный сигнал, и вывести этот декодированный сигнал.

Подробное пояснение процесса этапа S103

Со ссылкой на Фиг.10 будет подробно поясняться вариант осуществления процесса взвешенного оценивания движения (процесс по этапу S103) согласно изобретению.

Этап S301: Считать информацию кодирования непосредственно нижележащего слоя и декодированного сигнала текущего искомого целевого макроблока, вычислить весовой коэффициент, подлежащий применению к искомому целевому макроблоку, и вывести его. На Фиг.12 (описанной далее) этот процесс иллюстрируется подробно.

Этап S302: Считать весовой коэффициент, выводимый в процессе по этапу S301, определить вес декодированного сигнала текущего искомого целевого макроблока с этим весовым коэффициентом, и вывести взвешенное значение сигнала.

Этап S303: Вычислить оценку кодирования, образуемую объемом кодирования и величиной искажения кодирования между значением сигнала, выводимым в процессе по этапу S302, и исходным сигналом релевантного макроблока, и вывести ее.

Одним примером этой оценки кодирования является оценка Лагранжа между объемом кодирования и искажением кодирования вследствие квадратичной ошибки в JSVM, упомянутым в непатентном документе 3.

Этап S304: Выполнить процесс определения, чтобы определить, был ли выполнен поиск всех макроблоков, подлежащих поиску; если «Да», выполнить процесс по этапу S306, если «Нет», выполнить процесс по этапу S305.

Этап S305: Перевести целевой объект процесса на следующий искомый целевой макроблок.

Этап S306: Считать информацию оценки кодирования, выводимую в процессе по этапу S303, выбрать макроблок, имеющий меньшую оценку кодирования из числа макроблоков, которые были исследованы, и вывести в качестве вектора движения разность позиций координат между этим макроблоком и релевантным макроблоком.

Подробное описание процессов этапа S104 и S205

Со ссылкой на Фиг.11 будет поясняться вариант осуществления процесса взвешенной компенсации движения (процессы этапов S104 и S205) согласно изобретению.

Этап S401: Считать информацию вектора движения релевантного макроблока и вывести ее. Для взвешенной компенсации движения в процессе кодирования, эта информация вектора движения считывается из выводимой взвешенной оценки движения, тогда как для взвешенной компенсации движения в процессе декодирования, она считывается из выводимой информации процесса декодирования вектора движения.

Этап S402: Считать информацию кодирования непосредственно нижележащего слоя и информацию вектора движения, выводимую в процессе по этапу S401, вычислить весовой коэффициент для опорного макроблока, указанного вектором движения, и вывести его. На Фиг.12 (описанной ниже) этот процесс иллюстрируется более подробно.

Этап S403: Считать информацию весового коэффициента, выводимого в процессе по этапу S402, определить вес декодированного сигнала опорного макроблока с этим весовым коэффициентом, и вывести значение взвешенного сигнала.

Подробное пояснение процессов этапа S301 и этапа S402

Со ссылкой на Фиг.12 будет поясняться вариант осуществления процесса вычисления весового коэффициента (процессы этапов S301 и S402) согласно изобретению.

Этап S501: Считать информацию кодирования непосредственно нижележащего слоя, выполнить процесс принятия решения по определению, является ли режим предсказания непосредственно нижележащего блока для релевантного макроблока внутренним предсказанием; если «Да», выполнить процесс по этапу S504; если «Нет», выполнить процесс по этапу S502.

Этап S502: Выполнить процесс принятия решения по определению, хранится ли в буфере предсказания движения декодированный сигнал непосредственно вышележащего блока относительно опорного блока, который является непосредственно нижележащим блоком, на который осуществляется ссылка в предсказании движения; если «Да», выполнить процесс по этапу S503; если «Нет», выполнить процесс по этапу S512.

Этап S503: Считать информацию кодирования непосредственно нижележащего слоя и декодированного сигнала опорного кадра релевантного слоя, оценить значение DC компонента непосредственно нижележащего блока и вывести его. На Фиг.13 (описанной ниже) этот процесс иллюстрируется подробно.

Этап S504: Считать информацию кодирования непосредственно нижележащего слоя, выполнить процесс принятия решения по определению, является ли внутреннее предсказание для непосредственно нижележащего блока релевантного макроблока ограниченным внутренним предсказанием; если «Да», выполнить процесс по этапу S505; если «Нет», выполнить процесс по этапу S512.

Этап S505: Считать информацию кодирования непосредственно нижележащего слоя, выполнить процесс декодирования непосредственно нижележащего блока, восстановить все сигналы в блоке, и вывести в буфер.

Этап S506: Считать декодированный сигнал в непосредственно нижележащем блоке из буфера, вычислить DC компонент декодированного сигнала в непосредственно нижележащем блоке, и вывести на регистр.

Этап S507: Считать информацию режима предсказания релевантного макроблока, выполнить процесс принятия решения по определению, является ли режим предсказания однонаправленным предсказанием; если «Да», выполнить процесс по этапу S508; если «Нет», выполнить процесс по этапу S511.

Этап S508: Выполнить процесс принятия решения по определению, является ли внешне указанный способ вычисления весового коэффициента типом коррекции с пропорциональным коэффициентом; если «Да», выполнить процесс по этапу S509; если «Нет», выполнить процесс по этапу S510.

Здесь, “тип коррекции с пропорциональным коэффициентом” означает способ вычисления весового коэффициента, выполняемый в соответствии с Формулой (12), описанной ранее. В целом, тип коррекции с пропорциональным коэффициентом является наиболее эффективным в белом, постепенно появляющемся изображении и черном постепенно исчезающем изображения. Напротив, тип коррекции с коэффициентом смещения, являющийся способом вычисления весового коэффициента, осуществляемого в соответствии с Формулой (13), описанной ранее, является наиболее эффективным в белом, постепенно исчезающем изображения и черном постепенно появляющемся изображении.

Следовательно, предпочтительно определять эту внешнюю информацию описания, относящуюся к способу вычисления весового коэффициента в соответствии с результатом определения типа постепенного изменения.

Этап S509: Считать значение одного компонента из DC компонента непосредственно нижележащего блока, оцененного в процессе по этапу S503, и DC компонента непосредственно нижележащего блока, вычисленного в процессе по этапу S506, задать отношение между значением этого DC компонента и значением DC компонента опорного блока в качестве пропорционального коэффициента, установить коэффициент смещения в 0, и вывести их. Этот процесс соответствует Формуле (12), описанной выше.

Этап S510: Считать значение одного компонента из DC компонента непосредственно нижележащего блока, оцененного в процессе по этапу S503, и DC компонента непосредственно нижележащего блока, вычисленного в процессе по этапу S506, установить разность между этим значением DC компонента и значением DC компонента опорного блока в качестве коэффициента смещения, задать пропорциональный коэффициент 1, и вывести их. Этот процесс соответствует Формуле (13), описанной выше.

Этап S511: Считать информацию, относящуюся к межкадровому расстоянию между каждым опорным блоком и релевантным блоком, установить их отношение в качестве пропорционального коэффициента, считать значение одного компонента из DC компонента непосредственно нижележащего блока, оцененного в процессе по этапу S503, и DC компонента непосредственно нижележащего блока, вычисленного в процессе по этапу S506, установить разность между этим значением DC компонента и значением, полученным применением пропорционального коэффициента к каждому соответствующему DC компоненту двух опорных блоков, в качестве значения смещения, и вывести его.

Этот процесс соответствует Формуле (14), описанной выше.

Этап S512: Выполнить способ вычисления весового коэффициента, который не ссылается на оценку DC компонента непосредственно нижележащего блока.

Одним возможным примером является способ вычисления весового коэффициента с использованием неявного режима или явного режима в JSVM, упомянутый в непатентном документе 3.

Подробное пояснение процесса этапа S503

Со ссылкой на Фиг.13 будет поясняться вариант осуществления процесса оценивания DC компонента непосредственно нижележащего блока (процесс по этапу S503) согласно изобретению.

Этап S601: Считать информацию кодирования, относящуюся к информации разделения на малые блоки непосредственно нижележащего блока, декодировать ее и идентифицировать структуру разделения малых блоков для непосредственно нижележащего блока.

Этап S602: Считать информацию кодирования, относящуюся к индексу опорного кадра для релевантного малого блока, декодировать ее и записать это в регистр.

Этап S603: Считать информацию кодирования, относящуюся к вектору движения релевантного малого блока, декодировать ее и записать это в регистр.

Этап S604: Считать информацию кодирования, относящуюся к весовому коэффициенту для релевантного малого блока, декодировать ее и записать это в регистр.

Этап S605: Считать информацию кодирования, относящуюся к DC компоненту остаточного сигнала предсказания для релевантного малого блока, декодировать ее и записать это в регистр.

Этап S606: Считать из регистра информацию индекса опорного кадра и вектора движения, выводимых в процессах по этапу S602 и этапу S603, и идентифицировать позицию опорного блока предсказания движения этого малого блока.

Этап S607: Считать декодированный сигнал непосредственно вышележащего блока для опорного блока, идентифицированного в процессе по этапу S606, вычислить DC компонент декодированного сигнала и записать значение DC компонента в регистр.

Этап S608: Считать из регистра значение DC компонента, вычисленное в процессе по этапу S607, взвесить его с весовым коэффициентом, вычисленным в процессе по этапу S604, и записать значение результата в регистр.

Этап S609: Считать из регистра взвешенное значение DC компонента, вычисленное в процессе по этапу S608, суммировать с ним значение DC компонента остаточного сигнала предсказания, вычисленное в процессе по этапу S605, принять, что значение результата будет значением оценки (оцененным значением) DC компонента релевантного блока, и записать его в регистр.

Этап S610: Выполнить процесс принятия решения по определению, были ли завершены процессы оценивания DC компонента для всех малых блоков; если «Да», выполнить процесс по этапу S611; если «Нет», выполнить процесс по этапу S612.

Этап S611: Считать оценку значения DC компонента каждого малого блока, вычисленное в процессе по этапу S609, определить вес оценки значения DC компонента каждого малого блока в соответствии с отношением области между малыми блоками в непосредственно нижележащем блоке, принять взвешенную сумму в качестве значения оценки DC компонента непосредственно нижележащего блока и вывести сумму.

Этап S612: перевести целевой объект процесса на следующий целевой малый блок оценивания DC компонента.

Устройства обработки

Примерный вариант осуществления устройства кодирования

Со ссылкой на Фиг.14 будет поясняться вариант осуществления устройства кодирования согласно изобретению. На Фиг.14 показана схема устройства, которое кодирует один макроблок.

Блок 101 определения способа предсказания: считывает информацию описания определения способа предсказания для релевантного макроблока, и в соответствии с информацией описании переходит на процесс каждого предсказателя.

Блок 101 определения способа предсказания переходит на процесс внутреннего предсказателя 102, если указанным способом предсказания является внутреннее предсказание, на процесс предсказателя 103 движения без взвешивания, если им является обычное невзвешенное предсказание, на процесс межслойного предсказателя 104, если им является межслойное предсказание, и на процесс блока 105 взвешенной оценки движения, если им является взвешенное предсказание движения.

Внутренний предсказатель 102: считывает целевой исходный сигнал и соответствующий декодированный сигнал для кодируемого целевого кадра, выполняет внутреннее предсказание, чтобы сформировать сигнал предсказания, и выводит сигнал предсказания на формирователь 107 остаточного сигнала предсказания. Одним примером способа внутреннего предсказания является способ внутреннего предсказания JSVM, упомянутый в непатентном документе 3.

Предсказатель 103 движения без взвешивания: считывает целевой исходный сигнал кодируемого целевого кадра и целевой декодированный сигнал опорного кадра, выполняет обычное невзвешенное предсказание движения, чтобы сформировать сигнал предсказания, и выводит этот сигнал предсказания на формирователь 107 остаточного сигнала предсказания.

Одним примером обычного способа невзвешенного предсказания движения является обычный способ невзвешенного предсказания движения JSVM, упомянутый в непатентном документе 3.

Межслойный предсказатель 104: считывает, для кодируемого целевого кадра, целевой исходный сигнал и информацию кодирования непосредственно нижележащего слоя, выполняет межслойное предсказание, чтобы сформировать сигнал предсказания, и выводит сигнал предсказания на формирователь 107 остаточного сигнала предсказания.

Одним примером способа межслойного предсказания является способ межслойного предсказания JSVM, упомянутый в непатентном документе 3.

Блок 105 взвешенной оценки движения: считывает, для кодируемого целевого кадра, целевой исходный сигнал, декодированный сигнал опорного кадра, выводимый из блока 110 хранения декодированного сигнала релевантного слоя расширения, и информацию кодирования непосредственно нижележащего слоя, выводимую из блока 111 хранения информации кодирования непосредственно нижележащего слоя, выполняет взвешенную оценку движения, формирует вектор движения и выводит информацию вектора движения на компенсатор 106 движения с взвешиванием. На Фиг.16 (описанной ниже) иллюстрируется подробная конфигурация блока 105 взвешенной оценки движения.

Компенсатор 106 движения с взвешиванием: считывает декодированный сигнал опорного кадра, выводимый от блока 110 хранения декодированного сигнала релевантного слоя расширения, и информацию кодирования непосредственно нижележащего слоя, выводимую из блока 111 хранения информации кодирования непосредственно нижележащего слоя, выполняет взвешенную компенсацию движения, формирует сигнал предсказания и выводит сигнал предсказания на формирователь 107 остаточного сигнала предсказания. На Фиг.17 (описанной ниже) иллюстрируется подробная конфигурация компенсатора 106 движения с взвешиванием.

Формирователь 107 остаточного сигнала предсказания: считывает целевой исходный сигнал кодируемого целевого кадра, и сигнал предсказания, выводимый из внутреннего предсказателя 102, или предсказателя 103 движения без взвешивания, или межслойного предсказателя 104, или компенсатора 106 движения с взвешиванием, формирует разностный сигнал между исходным сигналом и сигналом предсказания и выводит разностный сигнал на кодер 108 остаточного сигнала предсказания.

Кодер 108 остаточного сигнала предсказания: считывает остаточный сигнал предсказания, выводимый из формирователя 107 остаточного сигнала предсказания, выполняет процесс кодирования и выводит результат в качестве информации кодирования.

Информация кодирования одновременно выводится на буфер, чтобы вводить ее на декодер 109.

Одним примером этого процесса кодирования остаточного сигнала предсказания является применение последовательности процессов, включающей в себя ортогональное преобразование, квантование и кодирование с переменной длиной JSVM, упомянутые в непатентном документе 3.

Декодер 109: считывает информацию кодирования из буфера, выполняет процесс декодирования и выводит декодированный сигнал, полученный таким образом, на блок 110 хранения декодированного сигнала релевантного слоя расширения.

Процесс декодирования в соответствии с настоящим изобретением применяется к вышеупомянутому процессу декодирования. На Фиг.15 (описанной далее) иллюстрируется подробная конфигурация устройства декодирования, которое функционирует в качестве декодера 109.

Блок 111 хранения информации кодирования непосредственно нижележащего слоя считывает информацию кодирования непосредственно нижележащего слоя, и выводит ее на буфер.

Вариант осуществления устройства декодирования

Со ссылкой на Фиг.15 будет поясняться вариант осуществления устройства декодирования согласно изобретению. На Фиг.15 показана схема устройства, которое декодирует один макроблок в релевантном слое расширения.

Декодер 201 режима предсказания: считывает информацию кодирования, относящуюся к режиму предсказания для релевантного макроблока, выполняет процесс декодирования для этого и выводит информацию режима предсказания на блок 202 хранения режима предсказания.

Блок 203 определения способа предсказания: считывает информацию режима предсказания из блока 202 хранения режима предсказания и, в соответствии с этой информацией описания, переходит на процесс предсказателя.

Блок 203 определения способа предсказания переходит на процесс внутреннего предсказателя 204, если указанным способом предсказания является внутреннее предсказание, на процесс предсказателя 205 движения без взвешивания, если им является обычное невзвешенное предсказание, на процесс межслойного предсказателя 206, если им является межслойное предсказание, и на процесс декодера 207 информации вектора движения, если им является взвешенное предсказание движения.

Внутренний предсказатель 204: считывает целевой исходный сигнал и соответствующий декодированный целевой кадр кодирования, выполняет внутреннее предсказание, чтобы сформировать сигнал предсказания, и выводит сигнал предсказания на формирователь 213 декодированного сигнала.

Предсказатель 205 движения без взвешивания: считывает целевой исходный сигнал для кодируемого целевого кадра и целевой декодированный сигнал опорного кадра, выполняет обычное невзвешенное предсказание движения, чтобы сформировать сигнал предсказания, и выводит этот сигнал предсказания на формирователь 213 декодированного сигнала.

Межслойный предсказатель 206: считывает, для кодируемого целевого кадра целевой исходный сигнал и информацию кодирования непосредственно нижележащего слоя, выполняет межслойное предсказание, чтобы сформировать сигнал предсказания, и выводит сигнал предсказания на формирователь 213 декодированного сигнала.

Декодер 207 информации вектора движения: считывает информацию кодирования, относящуюся к вектору движения релевантного макроблока, выполняет процесс его декодирования и выводит информацию вектора движения на блок 208 хранения информации вектора движения.

Компенсатор 209 движения с взвешиванием: считывает декодированный сигнал опорного кадра, выводимый из блока 214 хранения декодированного сигнала релевантного слоя расширения, и информацию кодирования непосредственно нижележащего слоя, выводимую из блока 210 хранения информации кодирования непосредственно нижележащего слоя, выполняет взвешенную компенсацию движения, чтобы сформировать сигнал предсказания, и выводит сигнал предсказания на формирователь 213 декодированного сигнала. На Фиг.17 (описанной ниже) иллюстрируется подробная конфигурация компенсатора 209 движения, поддерживающего взвешивание.

Блок 210 хранения информации кодирования непосредственно нижележащего слоя считывает информацию кодирования непосредственно нижележащего слоя, и выводит ее на буфер.

Декодер 211 остаточного сигнала: считывает информацию кодирования, относящуюся к остаточному сигналу релевантного макроблока, выполняет процесс декодирования для этого и выводит остаточный сигнал на блок 212 хранения остаточного сигнала.

Формирователь 213 декодированного сигнала: считывает сигнал предсказания, выводимый из внутреннего предсказателя 204, или предсказателя 205 движения без взвешивания, или межслойного предсказателя 206, или компенсатора 209 движения с взвешиванием, синтезирует его с остаточным сигналом, считанным из блока 212 хранения остаточного сигнала, чтобы сформировать декодированный сигнал, и выводит его.

Формирователь 213 декодированного сигнала одновременно записывает декодированный сигнал в блок 214 хранения декодированного сигнала релевантного слоя расширения.

Подробная конфигурация блока 105 взвешенной оценки движения

Со ссылкой на Фиг.16 будет поясняться вариант осуществления блока 105 взвешенной оценки движения согласно данному изобретению. На Фиг.16 показана схема устройства, которое выполняет взвешенную оценку движения для одного макроблока в релевантном слое расширения.

Блок 301 установки искомого целевого блока: считывает декодированный сигнал опорного кадра в релевантном слое расширения, идентифицирует макроблок, который будет целевым искомым для оценивания движения, и выводит декодированный сигнал для этого макроблока на вычислитель 302 весового коэффициента.

Вычислитель 302 весового коэффициента: считывает декодированный сигнал искомого целевого макроблока, выводимый из блока 301 установки искомого целевого блока, и информацию кодирования непосредственно нижележащего слоя, вычисляет весовой коэффициент, подлежащий применению к искомому целевому макроблоку, и выводит его на блок 303 хранения весового коэффициента.

Формирователь 304 взвешенного сигнала оценки движения: считывает весовой коэффициент из блока 303 хранения весового коэффициента, определяет вес декодированного сигнала искомого целевого макроблока с помощью весового коэффициента и выводит взвешенный сигнал на блок 305 хранения взвешенного сигнала оценки движения.

Вычислитель 306 оценки кодирования: считывает исходный сигнал релевантного макроблока из релевантного буфера, считывает взвешенный сигнал оценки движения из блока 305 хранения взвешенного сигнала оценки движения, вычисляет оценку кодирования, образуемую объемом кодирования и искажением кодирования между сигналом взвешенной оценки движения и исходным сигналом релевантного макроблока, выводит оценку кодирования на блок 307 хранения оценки кодирования и переходит на процесс блока 308 определения завершения поиска. Одним примером этой оценки кодирования является оценка Лагранжа между объемом кодирования и искажением кодирования вследствие квадратичной ошибки в JSVM, упомянутая в непатентном документе 3.

Блок 308 определения завершения поиска: выполняет процесс принятия решения по определению, завершился ли поиск взвешенной оценки движения в релевантном макроблоке внутри опорного кадра для всех кандидатов, указанных в рамках диапазона поиска, и если «Да», то переходит на процесс блока 309 определения опорного блока, тогда как если «Нет», то переходит на процесс блока 301 установки искомого целевого блока.

Блок 309 определения опорного блока: считывает группу данных оценки кодирования для всех искомых целевых макроблоков из блока 307 хранения оценки кодирования, определяет искомый целевой макроблок с низшей оценкой кодирования, который будет опорным блоком, и выводит разность между позициями координат этого опорного блока и релевантного макроблока в качестве информации вектора движения.

Подробная конфигурация поддерживающих взвешивание компенсаторов 106 и 209 движения

Со ссылкой на Фиг.17 будет поясняться вариант осуществления поддерживающих взвешивание компенсаторов движения 106 и 209 согласно данному изобретению. На Фиг.17 показана схема устройства, которое выполняет взвешенную компенсацию движения для одного макроблока в релевантном слое расширения.

Блок 401 установки сигнала опорного блока: считывает декодированный сигнал опорного кадра и информацию вектора движения, идентифицирует макроблок ссылки (справочников) и выводит декодированный сигнал этого макроблока на вычислитель 402 весового коэффициента.

Если поддерживающий взвешивание компенсатор движения установлен внутри устройства кодирования (как в случае компенсатора 106 движения с взвешиванием), информация вектора движения применяется из блока 105 взвешенной оценки движения, тогда как если компенсатор движения с взвешиванием установлен внутри устройства декодирования (как в случае компенсатора 209 движения с взвешиванием), информация вектора движения применяется из декодера 207 информации вектора движения.

Вычислитель 402 весового коэффициента: считывает декодированный сигнал опорного макроблока, выводимый из блока 401 установки сигнала опорного блока, и информацию кодирования непосредственно нижележащего слоя, вычисляет весовой коэффициент, подлежащей выполнению в опорном макроблоке, и выводит его блок 403 хранения весового коэффициента.

Формирователь 404 сигнала взвешенного предсказания движения: считывает весовой коэффициент из блока 403 хранения весового коэффициента, взвешивает декодированный сигнал опорного блока с весовым коэффициентом и выводит взвешенный сигнал на блок 405 хранения взвешенного сигнала предсказания движения.

Подробная конфигурация вычислителей 302 и 402 весового коэффициента

Со ссылкой на Фиг.18 будет поясняться вариант осуществления вычислителей 302 и 402 весового коэффициента согласно данному изобретению. На Фиг.18 показана схема устройства, которое вычисляет весовой коэффициент для одного макроблока в релевантном слое расширения.

Блок 501 определения режима предсказания непосредственно нижележащего блока: считывает информацию кодирования непосредственно нижележащего слоя, выполняет процесс определения режима предсказания непосредственно нижележащего блока для релевантного макроблока, и (i), если режимом предсказания является внутреннее предсказание и предсказание является ограниченным внутренним предсказанием, переходит на процесс декодера 505 сигнала непосредственно нижележащего блока; (ii), если режимом предсказания является внутреннее предсказание и предсказание не является ограниченным внутренним предсказанием, переходит на процесс в вычислителе 512 не-опорного весового коэффициента оценивания DC компонента непосредственно нижележащего блока; (iii), если режимом предсказания является межкадровое предсказание, переходит на процесс обработки в блоке 502 определения буферизации декодированного сигнала непосредственно вышележащего блока, опорного для предсказания непосредственно нижележащего.

Блок 502 определения буферизации декодированного сигнала непосредственно вышележащего блока, опорного для предсказания непосредственно нижележащего: выполняет процесс принятия решения по определению, был ли буферизован декодированный сигнал непосредственно вышележащего блока для опорного блока предсказания, на который ссылается непосредственно нижележащий блок, и если «Да», то переходит на процесс блока 503 оценки DC компонента непосредственно нижележащего блока, тогда как, если «Нет», то переходит на процесс вычислителя 512 весового коэффициента не-опорного оценивания DC компонента непосредственно нижележащего блока.

Блок 503 оценки DC компонента непосредственно нижележащего блока: считывает информацию кодирования непосредственно нижележащего слоя и декодированный сигнал опорного кадра релевантного слоя, оценивает значение для DC компонента непосредственно нижележащего блока, и выводит его на блок 504 хранения оценки DC компонента непосредственно нижележащего блока. На Фиг.19 (описанной ниже) иллюстрируется подробная конфигурация блока 503 оценки DC компонента непосредственно нижележащего блока.

Декодер 505 сигнала непосредственно нижележащего блока: считывает информацию кодирования непосредственно нижележащего слоя, восстанавливает все декодированные сигналы в непосредственно нижележащем блоке и выводит соответствующий декодированный сигнал на вычислитель 506 DC компонента непосредственно нижележащего блока.

Вычислитель 506 DC компонента непосредственно нижележащего блока: считывает декодированный сигнал в непосредственно нижележащем блоке из декодера 505 сигнала непосредственно нижележащего блока, вычисляет DC компонент декодированного сигнала в непосредственно нижележащем блоке и переходит на блок 507 определения режима предсказания релевантного макроблока.

Блок 507 определения режима предсказания релевантного макроблока: считывает информацию режима предсказания релевантного макроблока, выполняет процесс принятия решения по определению, является ли режим предсказания однонаправленным предсказанием, и если «Да», то переходит на процесс блок 508 определения способа вычисления весового коэффициента, тогда как если «Нет», то переходит на процесс вычислителя 509 весового коэффициента двунаправленного предсказания.

Блок 508 определения способа вычисления весового коэффициента: выполняет процесс принятия решения по определению, является ли внешне указанный способ вычисления весового коэффициента типом коррекции с пропорциональным коэффициентом, и если «Да», то переходит на процесс вычислителя 510 весового коэффициента однонаправленного предсказания для типа коррекции с пропорциональным коэффициентом, тогда как если «Нет», то переходит на процесс вычислителя 511 весового коэффициента однонаправленного предсказания для типа коррекции с коэффициентом смещения.

Здесь, “тип коррекции с пропорциональным коэффициентом” означает способ вычисления весового коэффициента, выполняемый в соответствии с описанной выше Формулой (12).

В целом, тип коррекции с пропорциональным коэффициентом является наиболее эффективным в белых постепенно появляющихся изображениях и черных постепенно исчезающих изображениях. Напротив, тип коррекции с коэффициентом смещения, который является способом вычисления весовых коэффициентов, выполняемым в соответствии с описанной ранее Формулой (13), является наиболее эффективным в белых постепенно исчезающих изображениях и черных постепенно появляющихся изображениях.

Следовательно, предпочтительно определять эту внешнюю информацию описания, относящуюся к способу вычисления весового коэффициента в соответствии с результатом определения типа постепенного изменения.

Вычислитель 509 весового коэффициента двунаправленного предсказания: считывает информацию, относящуюся к межкадровому расстоянию для каждого опорного блока и релевантного блока, определяет пропорциональный коэффициент, исходя из соотношения между ними, считывает значение DC компонента непосредственно нижележащего блока из блока 504 хранения оценки DC компонента непосредственно нижележащего блока или из вычислителя 506 DC компонента непосредственно нижележащего блока, и устанавливает разность между этим значением DC компонента и значением, полученным применением пропорционального коэффициента к каждому соответствующему значению DC компонента для двух опорных блоков, в качестве коэффициента смещения.

Этот процесс соответствует Формуле (14), описанной выше.

Вычислитель 510 весового коэффициента однонаправленного предсказания для типа коррекции с пропорциональным коэффициентом: считывает значение DC компонента непосредственно нижележащего блока из блока 504 хранения оценки DC компонента непосредственно нижележащего блока или из вычислителя 506 DC компонента непосредственно нижележащего блока, задает отношение между этим значением DC компонента и значением DC компонента опорного блока в качестве пропорционального коэффициента, устанавливает коэффициент смещения в 0 и выводит результаты. Этот процесс соответствует описанной выше Формуле (12).

Вычислитель 511 весового коэффициента (режима) однонаправленного предсказания для типа коррекции с коэффициентом смещения: считывает значение DC компонента непосредственно нижележащего блока из блока 504 хранения оценки DC компонента непосредственно нижележащего блока или из вычислителя 506 DC компонента непосредственно нижележащего блока, задает разность между этим значением DC компонента и значением DC компонента опорного блока в качестве коэффициента смещения, устанавливает пропорциональный коэффициент в 1 и выводит результаты. Этот процесс соответствует Формуле (13), описанной выше.

Вычислитель 512 весового коэффициента не-опорного оценивания DC компонента непосредственно нижележащего блока: выполняет способ вычисления весового коэффициента, который не использует DC компонент непосредственно нижележащего блока, и выводит результат.

В качестве примера такого процесса может применяться способ вычисления весового коэффициента в явном режиме или неявном режиме в JSVM, упомянутый в непатентном документе 3.

Подробная конфигурация блока 503 оценки DC компонента непосредственно нижележащего блока

Со ссылкой на Фиг.19 будет поясняться вариант осуществления блока 503 оценки DC компонента непосредственно нижележащего блока согласно изобретению. На Фиг.19 показана схема устройства, которое выполняет оценку DC компонента непосредственно нижележащего блока для одного макроблока в релевантном слое расширения.

Декодер 601 информации разделения на малые блоки: считывает информацию кодирования, относящуюся к информации разделения малых блоков в непосредственно нижележащем блоке, выполняет ее декодирование и выводит на блок 602 хранения информации разделения на малые блоки декодированную информацию разделения на малые блоки.

Декодер 603 информации индекса опорного кадра: считывает информацию кодирования, относящуюся к индексу опорного кадра релевантного малого блока, выполняет ее декодирование и выводит декодированную информацию индекса опорного кадра на блок 604 хранения информации индекса опорного кадра.

Декодер 605 информации вектора движения: считывает информацию кодирования, относящуюся к вектору движения релевантного малого блока, выполняет ее декодирование и выводит декодированную информацию вектора движения на блок 606 хранения информации вектора движения.

Декодер 607 информации весового коэффициента: считывает информацию кодирования, относящуюся к весовому коэффициенту релевантного малого блока, выполняет ее декодирование и выводит декодированную информацию весового коэффициента на блок 608 хранения информации весового коэффициента.

Декодер 609 информации DC компонента остаточного сигнала предсказания: считывает информацию кодирования, относящуюся к DC компоненту остаточного сигнала предсказания релевантного малого блока, выполняет ее декодирование и выводит декодированную информацию DC компонента остаточного сигнала предсказания на блок 610 хранения информации DC компонента остаточного сигнала предсказания.

Определитель 611 опорной позиции предсказания релевантного малого блока: считывает декодированный индекс опорного кадра и информацию вектора движения из блока 604 хранения информации индекса опорного кадра и блока 606 хранения информации вектора движения, соответственно, и определяет позицию опорного блока для предсказания движения релевантного малого блока.

Вычислитель 612 DC компонента декодированного сигнала непосредственно вышележащего блока: считывает декодированный сигнал непосредственно вышележащего блока относительно опорного блока, который идентифицирован определителем 611 опорной позиции предсказания релевантного малого блока, вычисляет DC компонент этого декодированного сигнала и выводит результат на блок 613 хранения DC компонента декодированного сигнала непосредственно вышележащего блока.

Блок 614 операций с весовым коэффициентом: считывает DC компонент декодированного сигнала непосредственно вышележащего блока относительно опорного блока из блока 613 хранения DC компонента декодированного сигнала непосредственно вышележащего блока, считывает из блока 608 хранения информации весового коэффициента весовой коэффициент, назначенный релевантному малому блоку, определяет вес DC компонента декодированного сигнала непосредственно вышележащего блока с использованием весового коэффициента и выводит взвешенный DC компонент на сумматор 615 DC компонента остаточного сигнала предсказания.

Сумматор 615 DC компонентов остаточного сигнала предсказания: считывает значение взвешенного DC компонента декодированного сигнала непосредственно вышележащего блока, выводимое из блока 614 операций с весовым коэффициентом, считывает DC компонент декодированного остаточного сигнала предсказания из блока 610 хранения информации DC компонента остаточного сигнала предсказания, суммирует оба вместе и выводит значение результата на блок 616 хранения оценки DC компонента релевантного малого блока.

Блок 617 определения процесса оценки DC компонента малого блока: выполняет процесс принятия решения по определению, был ли процесс оценки DC компонента завершен для всех малых блоков, если «Да», то переходит на вычислитель 618 оценки DC компонента релевантного непосредственно нижележащего блока, тогда как если «Нет», то переходит на блок 619 обновления оценки целевого малого блока.

Вычислитель 618 оценки DC компонента релевантного непосредственно нижележащего блока: считывает оценку DC компонента каждого малого блока из блока 616 хранения оценки DC компонента релевантного малого блока, определяет вес оценки DC компонента каждого малого блока в соответствии с отношением области малых блоков в релевантном непосредственно нижележащем блоке, принимает взвешенную сумму в качестве значения оценки DC компонента релевантного непосредственно нижележащего блока и выводит значение оценки.

Блок 619 обновления оценки целевого малого блока: переводит целевой объект процесса на следующий целевой малый блок оценивания DC компонента.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение может применяться к масштабируемому кодированию видеоинформации и дает возможность выполнения высокоточного взвешенного предсказания движения без передачи весового коэффициента.

1. Способ масштабируемого кодирования видеоинформации, используемый при масштабируемом кодировании видеоинформации, в котором: способ вычисляет весовой коэффициент, который включает в себя пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между кодируемой целевой областью изображения и областью опорного изображения в вышележащем слое, вычисляет вектор движения путем применения весового коэффициента к сигналу изображения для области опорного изображения в качестве искомого целевого объекта и выполнения оценивания движения, и формирует сигнал предсказания путем применения весового коэффициента к декодированному сигналу области опорного изображения, указанной вектором движения, и выполнения компенсации движения; и способ содержит:
этап, на котором определяют структуру данных весового коэффициента на основании информации кодирования относительно непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения; и
этап, на котором, если в непосредственно нижележащей области изображения выполнено межкадровое предсказание в непосредственно нижележащем слое, идентифицируют область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляют весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и путем принятия результата применения в качестве DC компонента непосредственно нижележащей области изображения.

2. Способ масштабируемого кодирования видеоинформации по п.1, в котором: если имеется одна область опорного изображения, на этапе, на котором определяют структуру данных весового коэффициента, принимается решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента, и принимается решение использовать нуль в качестве коэффициента смещения.

3. Способ масштабируемого кодирования видеоинформации по п.1, в котором: если имеется одна область опорного изображения, на этапе, на котором определяют структуру данных весового коэффициента, принимается решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимается решение использовать 1 в качестве пропорционального коэффициента.

4. Способ масштабируемого кодирования видеоинформации по п.1, в котором: если имеются две области опорного изображения, на этапе, на котором определяют структуру данных весового коэффициента, принимается решение использовать значение, вычисляемое в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, и принимается решение использовать значение, вычисляемое в качестве коэффициента смещения путем вычитания значения, получаемого умножением каждого DC компонента из двух областей опорного изображения на соответствующий пропорциональной коэффициент, из DC компонента непосредственно нижележащей области изображения.

5. Способ масштабируемого кодирования видеоинформации по п.1, в котором на этапе, на котором вычисляют весовой коэффициент: суммируют DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, со значением, получаемым применением весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и принимают результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

6. Способ масштабируемого кодирования видеоинформации по п.1, в котором: если предсказание движения для непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, на этапе, на котором вычисляют весовой коэффициент, вычисляют DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и на основании таковых вычисленных DC компонентов и областей соответственных малых областей вычисляют DC компонент, рассматриваемый в качестве релевантного DC компонента.

7. Способ масштабируемого декодирования видеоинформации, используемый при осуществлении масштабируемого декодирования видеоинформации, в котором:
способ вычисляет весовой коэффициент, который включает в себя пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между декодируемой целевой областью изображения и областью опорного изображения, указываемой посредством декодированного вектора движения в вышележащем слое, и выполняет компенсацию движения путем применения весового коэффициента к декодированному сигналу области опорного изображения, указываемой декодированным вектором движения, чтобы сформировать сигнал предсказания; и способ содержит:
этап, на котором определяют структуру данных весового коэффициента на основании информации кодирования непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения; и
этап, на котором, если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, идентифицируют область опорного изображения непосредственно нижележащего слоя, которая использовалась непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляют весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и путем принятия результата применения в качестве DC компонента непосредственно нижележащей области изображения.

8. Способ масштабируемого декодирования видеоинформации по п.7, в котором: если имеется одна область опорного изображения, на этапе, на котором определяют структуру данных весового коэффициента, принимается решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента, и принимается решение использовать нуль в качестве коэффициента смещения.

9. Способ масштабируемого декодирования видеоинформации по п.7, в котором: если имеется одна область опорного изображения, на этапе, на котором определяют структуру данных весового коэффициента, принимается решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимается решение использовать 1 в качестве пропорционального коэффициента.

10. Способ масштабируемого декодирования видеоинформации по п.7, в котором: если имеются две области опорного изображения, на этапе, на котором определяют структуру данных весового коэффициента, принимается решение использовать значение, вычисляемое в виде пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, и принимается решение использовать значение, вычисляемое в качестве коэффициента смещения, путем вычитания значения, получаемого умножением каждого DC компонента из двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения.

11. Способ масштабируемого декодирования видеоинформации по п.7, в котором на этапе, на котором вычисляют весовой коэффициент: суммируют DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, со значением, полученным путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и принимают результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

12. Способ масштабируемого декодирования видеоинформации по п.7, в котором: если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, на этапе, на котором вычисляют весовой коэффициент, вычисляют DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и, на основании таковых вычисленных DC компонентов и областей для соответственных малых областей, вычисляют DC компонент, рассматриваемый в качестве релевантного DC компонента.

13. Устройство масштабируемого кодирования видеоинформации, используемое при осуществлении масштабируемого кодирования видеоинформации, в котором:
устройство вычисляет весовой коэффициент, который включает в себя пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между кодируемой целевой областью изображения и областью опорного изображения в вышележащем слое,
вычисляет вектор движения путем применения весового коэффициента к сигналу изображения для области опорного изображения в качестве искомого целевого объекта и выполнения оценивания движения, и формирует сигнал предсказания путем применения весового коэффициента к декодированному сигналу области опорного изображения, указанной вектором движения, и путем выполнения компенсации движения; и устройство содержит:
устройство, которое определяет структуру данных весового коэффициента на основании информации кодирования непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения; и
устройство, которое, если в непосредственно нижележащей области изображения выполнено межкадровое предсказание в непосредственно нижележащем слое, идентифицирует область опорного изображения непосредственно нижележащего слоя, которое непосредственно нижележащая область изображения использовала в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и путем принятия результата применения в качестве DC компонента непосредственно нижележащей области изображения.

14. Устройство масштабируемого кодирования видеоинформации по п.13, в котором: если имеется одна область опорного изображения, устройство, определяющее структуру данных весового коэффициента, принимает решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента, и принимает решение использовать нуль в качестве коэффициента смещения.

15. Устройство масштабируемого кодирования видеоинформации по п.13, в котором: если имеется одна область опорного изображения, устройство, определяющее структуру данных весового коэффициента, принимает решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимает решение использовать 1 в качестве пропорционального коэффициента.

16. Устройство масштабируемого кодирования видеоинформации по п.13, в котором: если имеются две области опорного изображения, устройство, которое определяет структуру данных весового коэффициента, принимает решение использовать значение, вычисляемое в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, и принимает решение использовать значение, вычисляемое в качестве коэффициента смещения, путем вычитания значения, полученного умножением каждого DC компонента двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения.

17. Устройство масштабируемого кодирования видеоинформации по п.13, в котором устройство, вычисляющее весовой коэффициент: суммирует DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, со значением, получаемым путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и принимает результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

18. Устройство масштабируемого кодирования видеоинформации по п.13, в котором: если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, устройство, вычисляющее весовой коэффициент, вычисляет DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и, на основании таковых вычисленных DC компонентов и областей для соответственных малых областей, вычисляет DC компонент, принимаемый в качестве релевантного DC компонента.

19. Устройство масштабируемого декодирования видеоинформации, используемое при осуществлении масштабируемого декодирования видеоинформации, в котором:
устройство вычисляет весовой коэффициент, который включает в себя пропорциональный коэффициент и коэффициент смещения, и указывает изменение яркости между декодируемой целевой областью изображения и областью опорного изображения, указываемой декодированным вектором движения в вышележащем слое, и выполняет компенсацию движения путем применения весового коэффициента к декодированному сигналу области опорного изображения, указываемой декодированным вектором движения, чтобы сформировать сигнал предсказания; и устройство содержит:
устройство, которое определяет структуру данных весового коэффициента на основании информации кодирования непосредственно нижележащей области изображения в непосредственно нижележащем слое, которая присутствует пространственно в той же позиции, что и кодируемая целевая область изображения; и
устройство, которое, если непосредственно нижележащая область изображения выполняла межкадровое предсказание в непосредственно нижележащем слое, идентифицирует область опорного изображения непосредственно нижележащего слоя, который использовался непосредственно нижележащей областью изображения в качестве ссылки при предсказании для предсказания движения, и вычисляет весовой коэффициент путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и путем принятия результата применения в качестве DC компонента непосредственно нижележащей области изображения.

20. Устройство масштабируемого декодирования видеоинформации по п.19, в котором: если имеется одна область опорного изображения, устройство, которое определяет структуру данных весового коэффициента, принимает решение использовать отношение между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве пропорционального коэффициента, и принимает решение использовать нуль в качестве коэффициента смещения.

21. Устройство масштабируемого декодирования видеоинформации по п.19, в котором: если имеется одна область опорного изображения, устройство, которое определяет структуру данных весового коэффициента, принимает решение использовать разность между DC компонентом области опорного изображения и DC компонентом непосредственно нижележащей области изображения в качестве коэффициента смещения, и принимает решение использовать 1 в качестве пропорционального коэффициента.

22. Устройство масштабируемого декодирования видеоинформации по п.19, в котором: если имеются две области опорного изображения, устройство, которое определяет структуру данных весового коэффициента, принимает решение использовать значение, вычисляемое в качестве пропорционального коэффициента в соответствии с межкадровым расстоянием между кодируемой целевой областью изображения и каждой областью опорного изображения, и принимает решение использовать значение, вычисляемое в качестве коэффициента смещения, путем вычитания значения, получаемого умножением каждого DC компонента из двух областей опорного изображения на соответствующий пропорциональный коэффициент, из DC компонента непосредственно нижележащей области изображения.

23. Устройство масштабируемого декодирования видеоинформации по п.19, в котором устройство, которое вычисляет весовой коэффициент: суммирует DC компонент остаточного сигнала предсказания относительно предсказания движения, формируемого в непосредственно нижележащей области изображения, со значением, получаемым путем применения весового коэффициента, который использовался непосредственно нижележащей областью изображения во взвешенном предсказании движения, к DC компоненту области изображения в вышележащем слое, которая присутствует пространственно в той же позиции, что и область опорного изображения непосредственно нижележащего слоя, и принимает результат суммирования в качестве DC компонента непосредственно нижележащей области изображения.

24. Устройство масштабируемого декодирования видеоинформации по п.19, в котором: если предсказание движения непосредственно нижележащей области изображения выполнялось в малых единицах области, которые меньше непосредственно нижележащей области изображения, устройство, вычисляющее весовой коэффициент, вычисляет DC компонент для каждой малой области, чтобы получить релевантный DC компонент, и, на основании таковых вычисленных DC компонентов и областей для соответственных малых областей, вычисляет DC компонент, принимаемый в качестве релевантного DC компонента.

25. Машиночитаемый носитель записи, который хранит масштабируемую программу кодирования видеоинформации, посредством которой компьютер выполняет способ масштабируемого кодирования видеоинформации в соответствии с п.1.

26. Машиночитаемый носитель записи, который хранит программу масштабируемого декодирования видеоинформации, посредством которой компьютер выполняет способ масштабируемого декодирования видеоинформации в соответствии с п.7.