Способ и устройство для масштабируемого по цветовому пространству видеокодирования и декодирования
Изобретение относится к способу и устройству для масштабируемого по цветовому пространству видеокодирования и декодирования. Техническим результатом является создание способа масштабируемого по цветовому пространству видеокодирования и декодирования, в котором кодер может информировать декодер о положении данных яркости в потоке битов и декодер может преобразовывать цветное изображение в полутоновое изображение при необходимости. Технический результат достигается тем, что последовательно вставляют данные яркости всех макроблоков, содержащихся в секции, в поток битов, последовательно вставляют данные цветности всех макроблоков, содержащихся в секции, в поток битов, после вставленных данных яркости и передают поток битов, который содержит вставленные данные яркости и вставленные данные цветности. 4 н. и 6 з.п. ф-лы, 12 ил.
1. Область техники, к которой относится изобретение
Настоящее изобретение относится к способу и устройству для масштабируемого по цветовому пространству видеокодирования и декодирования, а более конкретно - к способу и устройству для масштабируемого по цветовому пространству видеокодирования и декодирования, которые могут регулировать цветовые компоненты и цветовую насыщенность в соответствии с рабочими характеристиками стороны декодирования.
2. Предшествующий уровень техники
С развитием информационных технологий и технологий связи мультимедийные коммуникации нарастают в дополнение к текстовой связи и речевой связи. Существующие системы, сконцентрированные на текстовой связи, являются недостаточными для удовлетворения желаний различных потребителей, и тем самым возрастают мультимедийные услуги, которые могут приспосабливать различные виды информации, такие как текст, изображения, музыка и другие. Так как мультимедийные данные являются большими по объему, требуются носители информации большой емкости и широкие полосы пропускания для хранения и передачи мультимедийных данных. Соответственно, требуются методы кодирования со сжатием для передачи мультимедийных данных, которые включают в себя текст, изображения и аудиоданные.
Основной принцип сжатия данных заключается в удалении избыточности данных. Данные могут быть сжаты посредством удаления пространственной избыточности, такой как повторение одного и того же цвета или объекта в изображениях, временной избыточности, такой как малое изменение в соседних кадрах движущегося изображения или постоянного повторения звуков в аудиосигнале, и визуальной избыточности (избыточности восприятия), которая касается человеческой нечувствительности к высоким частотам. В общем способе видеокодирования временная избыточность удаляется посредством временной фильтрации на основе компенсации движения, а пространственная избыточность удаляется посредством пространственного преобразования.
Для передачи мультимедиа после того, как удалена избыточность, требуются носители передачи, характеристики которых различаются. Используемые в настоящее время носители передачи имеют различные скорости передачи. Например, сеть связи со сверхвысокой скоростью может передавать несколько десятков мегабит данных в секунду, а сеть мобильной связи имеет скорость передачи 384 килобит в секунду. Для поддержки носителей передачи в такой среде передачи и для передачи мультимедиа со скоростью передачи, подходящей для среды передачи, способ масштабируемого видеокодирования является самым подходящим.
Такой способ масштабируемого кодирования делает возможным регулирование разрешающей способности, скорости кадров, отношения сигнал-шум (SNR) и других параметров видео посредством усечения части предварительно сжатого потока битов в соответствии с условиями среды, такими как битовая скорость передачи, частота ошибок передачи и ресурсы системы. В отношении такого масштабируемого видеокодирования MPEG-21 (Экспертная группа-21 по движущимся изображениям) Часть-13 уже развила работу по стандартизации.
Однако, поскольку существующее масштабируемое видеокодирование не может обеспечивать масштабируемость в цветовом пространстве, даже устройство отображения (дисплея), которое требует полутоновое изображение взамен цветового изображения, должно принимать и декодировать цветовое изображение, что является излишним и неэффективным. Кроме того, неэффективно для устройства отображения, которое не может отображать изображение, имеющее цветовую насыщенность в 24 бита, принимать и декодировать поток битов, закодированный с насыщенностью в 24 бита, и затем производить усечение излишних битов из декодированного потока битов.
Сущность изобретения
Соответственно, настоящее изобретение разработано для решения вышеуказанных проблем, имеющих место в уровне техники, и аспектом настоящего изобретения является обеспечение способа масштабируемого по цветовому пространству видеокодирования и декодирования, в котором кодер может информировать декодер о положении данных яркости в потоке битов, и декодер может преобразовывать цветное изображение в полутоновое изображение при необходимости.
Другим аспектом настоящего изобретения является обеспечение способа масштабируемого по цветовому пространству видеокодирования и декодирования, в котором декодер получает информацию о разрядности цветовой насыщенности от устройства отображения, удаляет биты, которые превышают разрядность цветовой насыщенности, поддерживаемой устройством отображения, и декодирует поток битов.
Дополнительные преимущества, аспекты и признаки настоящего изобретения частично будут установлены далее в описании, которое следует, и частично станут очевидными специалисту в области техники при анализе последующего описания или могут быть выяснены при применении изобретения.
Для реализации этих аспектов обеспечивается способ масштабируемого по цветовому пространству видеокодирования, согласно настоящему изобретению, который включает в себя этапы генерирования коэффициентов преобразования посредством удаления временной избыточности и пространственной избыточности входных видеокадров, квантования коэффициентов преобразования, генерирования потока битов посредством энтропийного кодирования квантованных коэффициентов преобразования и генерирования масштабируемого по цветовому пространству потока битов, который включает в себя поток битов и информацию о положении данных яркости в потоке битов.
Согласно другому аспекту настоящего изобретения обеспечивается способ масштабируемого по цветовому пространству видеодекодирования, который включает в себя этапы увеличения информации о положении данных яркости из потока битов, генерирования второго потока битов, который включает в себя данные движения и данные яркости, посредством усечения данных цветности из потока битов в соответствии с информацией о положении данных яркости и восстановления видеокадров посредством декодирования второго потока битов.
Согласно еще одному аспекту настоящего изобретения обеспечивается способ масштабируемого по цветовому пространству видеокодирования, который включает в себя этапы генерирования коэффициентов преобразования посредством удаления временной избыточности и пространственной избыточности входных видеокадров, квантования коэффициентов преобразования и генерирования потока битов посредством энтропийного кодирования квантованных коэффициентов преобразования, при этом количество битов цветовой насыщенности потока битов увеличивается пропорционально уровню слоя.
Согласно еще одному аспекту настоящего изобретения обеспечивается способ масштабируемого по цветовому пространству видеодекодирования, который включает в себя этапы получения информации о разрядности цветовой насыщенности из устройства отображения, генерирования второго потока битов посредством усечения битов из входного потока битов, которые превышают разрядность цветовой насыщенности в соответствии с информацией о разрядности цветовой насыщенности, и восстановления видеокадров посредством декодирования второго потока битов.
Согласно еще одному аспекту настоящего изобретения обеспечивается масштабируемый по цветовому пространству видеокодер, который включает в себя модуль временного преобразования для удаления временной избыточности входных видеокадров, модуль пространственного преобразования для удаления пространственной избыточности входных видеокадров, модуль квантования для квантования коэффициентов преобразования, сгенерированных модулем временного преобразования и модулем пространственного преобразования, модуль энтропийного кодирования для выполнения энтропийного кодирования квантованных коэффициентов кодирования и модуль генерирования масштабируемого по цветовому пространству потока битов для генерирования масштабируемого по цветовому пространству потока битов, который включает в себя поток битов, сгенерированный модулем энтропийного кодирования, и информацию о положении данных яркости в потоке битов.
Согласно еще одному аспекту настоящего изобретения обеспечивается масштабируемый по цветовому пространству видеодекодер, который включает в себя модуль предварительной обработки (предобработки) потока битов для извлечения информации о положении данных яркости из потока битов и генерирования второго потока битов, который включает в себя данные движения и данные яркости, посредством усечения данных цветности из потока битов в соответствии с информацией о положении, модуль энтропийного декодирования для декодирования второго потока битов, модуль обратного квантования для генерирования коэффициентов преобразования посредством выполнения обратного квантования в отношении декодированного второго потока битов, модуль обратного пространственного преобразования для восстановления остаточного сигнала посредством выполнения обратного пространственного преобразования коэффициентов преобразования и модуль компенсации движения для выполнения компенсации движения в отношении предсказанных кадров в соответствии с данными движения, выданными модулем энтропийного декодирования.
Согласно еще одному аспекту настоящего изобретения обеспечивается масштабируемый по цветовому пространству видеодекодер, который включает в себя модуль предварительной обработки потока битов для получения информации о разрядности цветовой насыщенности от устройства отображения и генерирования второго потока битов посредством усечения битов из входного потока битов, которые превышают разрядность цветовой насыщенности, в соответствии с информацией о разрядности цветовой насыщенности, модуль энтропийного декодирования для декодирования второго потока битов, модуль обратного квантования для генерирования коэффициентов преобразования посредством выполнения обратного квантования в отношении декодированного второго потока битов, модуль обратного пространственного преобразования для восстановления остаточного сигнала посредством выполнения обратного пространственного преобразования в отношении коэффициентов преобразования и модуль компенсации движения для выполнения компенсации движения в отношении предсказанных кадров в соответствии с данными движения, выданными модулем энтропийного декодирования.
Согласно еще одному аспекту настоящего изобретения обеспечивается способ передачи данных секции, которая содержит множество макроблоков, который включает в себя этапы вставки данных яркости всех макроблоков, содержащихся в секции, вставки данных цветности всех макроблоков, содержащихся в секции, преобразования потока битов, который включает в себя данные яркости и данные цветности.
Согласно еще одному аспекту настоящего изобретения обеспечивается способ генерирования видеопоследовательности, которая включает в себя множество секций, содержащих множество макроблоков с данными яркости и данными цветности макроблоков, который включает в себя этапы вставки данных яркости всех макроблоков, включенных в секцию, вставки данных цветности всех макроблоков, включенных в секцию.
Согласно еще одному аспекту настоящего изобретения обеспечивается способ обработки видеопоследовательности, которая передается отдельно от данных яркости или данных цветности множества макроблоков, включенных в секцию, который включает в себя этапы интерпретации данных яркости всех макроблоков, включенных в секцию, интерпретации данных цветности всех макроблоков, включенных в секцию.
Согласно еще одному аспекту настоящего изобретения обеспечивается способ декодирования видеопоследовательности, которая включает в себя основной слой и слой улучшения FGS, который включает в себя этапы интерпретации данных основного слоя, интерпретации данных цветности всех макроблоков, включенных в слой улучшения FGS, интерпретации данных цветности всех макроблоков, комбинирования данных яркости и данных цветности слоя улучшения FGS с данными основного слоя; и декодирования скомбинированных данных.
Указанные выше и другие аспекты, признаки и преимущества настоящего изобретения станут более очевидными из следующего детального описания, взятого вместе с сопровождающими чертежами, на которых:
фиг.1 - примерный вид, показывающий концепцию масштабируемого по цветовому пространству видеокодирования в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.2 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.3 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в многослойной структуре в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.4 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.5 - вид, показывающий структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS в соответствии с другим примерным вариантом осуществления настоящего изобретения;
фиг.6 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеокодера в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.7 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеодекодера в примерном варианте осуществления настоящего изобретения;
фиг.8 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеокодера в структуре слоев FGS в примерном варианте осуществления настоящего изобретения;
фиг.9 - блок-схема, показывающая структуру масштабируемого по цветовому пространству видеодекодера в структуре слоев FGS в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.10 - блок-схема алгоритма, показывающая процесс кодирования в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.11 - блок-схема алгоритма, показывающая процесс масштабируемого по цветовым компонентам видеодекодирования в соответствии с примерным вариантом осуществления настоящего изобретения;
фиг.12 - блок-схема алгоритма, показывающая процесс масштабируемого по цветовой насыщенности видеодекодирования в соответствии с примерным вариантом осуществления настоящего изобретения.
Подробное описание примерных вариантов осуществления
В дальнейшем примерные варианты осуществления настоящего изобретения будут описаны подробно со ссылкой на сопровождающие чертежи. Аспекты и признаки настоящего изобретения и способы для реализации этих аспектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления, подлежащим подробному описанию со ссылками на сопровождающие чертежи. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, но может воплощаться в различных видах. Сущность, определенная в описании, такая как подробная структура и элементы, является ничем иным, как конкретными деталями, обеспеченными для помощи специалисту в данной области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется только в объеме приложенной формулы изобретения. Во всем описании настоящего изобретения одинаковые ссылочные позиции на чертежах используются для одинаковых элементов, встречающихся на различных фигурах.
Фиг.1 иллюстрируется видом, показывающим общее представление масштабируемого по цветовому пространству видеокодирования в соответствии с примерным вариантом осуществления настоящего изобретения.
Система 20 защиты не только отображает видео в реальном времени, но также сохраняет видеоданные для дальнейшего использования. Хранение видеоданных требует большого дискового пространства, и если видеоданные сохраняются в качестве полутонового изображения, а не цветного изображения, дисковое пространство для хранения изображения может быть уменьшено. Соответственно, имеется необходимость в обеспечении функции преобразования цветного изображения в полутоновое изображение в соответствии с требованиями устройства отображения. Эта функция далее называется как «масштабируемость по цветовым компонентам».
С другой стороны, один поток битов, переданный со стороны кодера, может масштабироваться по цветовой насыщенности и передаваться различным клиентам. Обычно мобильный телефон 30 и персональный цифровой секретарь (ПЦС, PDA) 40 обеспечивают цветовые насыщенности ниже, чем компьютеры 50 типа ноутбука и персонального компьютера (ПК, PC) 60. Функция для масштабирования того же потока битов для устройств отображения, которые поддерживают различные цветовые насыщенности, называются «масштабируемость по цветовой насыщенности».
В дальнейшем масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности, описанные выше, называются масштабируемостью по цветовому пространству. Эта масштабируемость по цветовому пространству может выполняться предварительными декодерами или средствами извлечения 11 - 14.
Так как большинство цифровых видеоприложений отображает цветное видео, требуется механизм, который собирает и представляет информацию о цвете. Черно-белое изображение требует только одно число для представления яркости соответствующего пространственного отсчета. В противоположность этому цветное изображение требует по меньшей мере три числа для каждого пикселя для точного представления цвета. Цветовое пространство выбирается для представления яркости и цвета. Цветовое пространство может классифицироваться на цветовое пространство RGB, цветовое пространство YUV и цветовое пространство YCrCb. В цветовом пространстве RGB отсчет цветного изображения представляется тремя числами, которые указывают относительные доли красного, зеленого и синего. Так как эти три цвета одинаково важны в цветовом пространстве RGB, они сохраняются с одинаковым разрешением. Однако человеческая система зрительного восприятия более чувствительна к яркости, чем цветности, и, таким образом, цветное изображение может представляться более эффективно посредством отделения информации о яркости от информации о цвете и представления данных яркости с более высоким разрешением, чем данных цветности.
Цветовое пространство YCrCb и цветовое пространство YUV, которое является модификацией цветового пространства YCrCb, являются популярными способами для эффективного представления цветного изображения с учетом человеческой системы зрительного восприятия, как описано выше. Y указывает компоненту яркости и может вычисляться как взвешенное среднее R, G и B, как в формуле (1):
Y = krR + kgG + kbB (1),
где k - весовой коэффициент.
Информация о цвете может выражаться компонентами яркости, и соответствующие компоненты цветности могут выражаться разностью между R (или G или B) и Y, как в формуле (2).
Cb = B - Y
Cr = R - Y (2)
Cg = G - Y
Соответственно, отделяя компоненту яркости и компоненты цветности друг от друга и кодируя отдельные компоненты, цветной поток битов может преобразовываться в полутоновый поток битов.
Фиг.2 является видом, показывающим структуру масштабируемого по цветовым компонентам потока битов, в котором компонента яркости и компоненты цветности отделяются друг от друга и кодируются в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.2 данные 230 яркости кодируются первыми, а затем кодируются данные 240 цветности. В потоке битов информация о положении данных 230 яркости вставляется в заголовок 210. Информация о положении данных яркости может включать в себя всю длину данных текстуры и длину данных яркости. Кроме того, информация о положении данных яркости может включать в себя любые типы информации, которые указывают положение данных яркости, которые могут усекаться декодером. Информация о положении данных яркости может вставляться в заголовок Группы картинок (GOP), заголовок картинки, заголовок слоя или любое подходящее место в потоке битов.
Декодер может восстанавливать полутоновые видеокадры посредством выделения только компоненты яркости из цветного потока битов. Однако в примерном варианте осуществления настоящего изобретения посредством очень простого выполнения декодера может достигаться масштабируемость по цветовым компонентам, но не может быть масштабируемости по цветовой насыщенности.
Масштабируемость по цветовой насыщенности относится к функции, требуемой декодером устройства отображения, которое не может отображать изображение с разрешением в 24 бита, например, ПЦС или мобильный телефон. Соответственно, декодер должен обеспечивать поток битов, который использует подходящую цветовую насыщенность для соответствующего устройства отображения. Ресурсы, такие как полоса пропускания и время декодирования, тратятся, когда устройство отображения, такое как ПЦС или мобильный телефон, обрабатывает поток битов, имеющий полную цветовую насыщенность.
Масштабируемость по цветовой насыщенности может достигаться посредством предписания декодеру получать информацию от клиента о разрядности цветовой насыщенности, поддерживаемой клиентом, и затем удалять биты, которые превышают разрядность цветовой насыщенности, поддерживаемую клиентом, из потока битов. Воплощение масштабируемости по цветовой насыщенности будет объяснено со ссылкой на фиг.3 и 4.
Фиг.3 является видом, показывающим структуру масштабируемого по цветовому пространству потока битов для обеспечения масштабируемости по цветовым компонентам и масштабируемости по цветовой насыщенности, с помощью многослойной структуры в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.3 масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности обеспечиваются в многослойной структуре. В примерном варианте осуществления настоящего изобретения поток битов включает в себя множество слоев, которые включают в себя данные текстуры, имеющие различные цветовые насыщенности. Конкретно, первый слой может включать в себя данные текстуры, которые поддерживают 12-битовую цветовую насыщенность, второй слой может включать в себя данные текстуры, которые поддерживают 16-битовую цветовую насыщенность, и третий слой может включать в себя 24 бита данных текстуры. Если кодер кодирует и передает данные текстуры, имеющие различные цветовые насыщенности, используя многослойную структуру, декодер получает информацию о масштабируемости по цветовой насыщенности, поддерживаемой устройством отображения, удаляет поток битов слоя, который превышает поддерживаемую разрядность цветовой насыщенности, из принятого потока битов и затем декодирует оставшиеся потоки битов для восстановления видеокадров. Например, если устройство отображения является ПЦС, который поддерживает 16-битовую цветовую насыщенность, декодер удаляет поток битов, соответствующий третьему слою, и декодирует потоки битов, соответствующие первому слою и второму слою, для отображения декодируемых потоков битов.
С другой стороны, поток битов, относящийся к соответствующему слою, включает в себя информацию 310 и 340 положения данных яркости для различения данных 320 и 350 яркости от данных 330 и 360 цветности в соответствующем слое, и тем самым масштабируемость по цветовым компонентам может реализоваться в соответствующем слое. Соответственно, в случае, когда устройство отображения поддерживает 16-битовую цветовую насыщенность и полутоновую шкалу, декодер может восстанавливать видеокадры посредством усечения потока битов, соответствующего третьему слою, и усечения излишних данных 330 и 360 цветности в соответствии с информацией 310 и 340 положения данных яркости первого и второго слоев. Информация о положении данных яркости может вставляться в заголовок GOP, заголовок картинки, заголовок слоя или любое подходящее место в потоке битов. Информация о положении данных яркости может включать в себя всю длину данных текстуры и длину данных яркости. Кроме того, информация о положении данных яркости может включать в себя любые типы информации, которая может указывать положение данных яркости, которые могут усекаться декодером.
В другом варианте осуществления настоящего изобретения структура потока битов, которая может поддерживать масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности, является примерной. Однако, если поддерживается масштабируемость по цветовой насыщенности с помощью многослойной структуры, информация 310 и 340 о положении данных яркости соответствующего слоя может быть опущена.
Фиг.4 является видом, показывающим структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS (масштабируемости качества по SNR) в соответствии с примерным вариантом осуществления настоящего изобретения. На фиг.4 масштабируемость по цветовым компонентам и масштабируемость по цветовой насыщенности обеспечиваются в структуре слоев FGS. Метод FGS используется для реализации масштабируемости по SNR, который используется для декодирования входного видео в два слоя, имеющих одинаковую скорость кадров и разрешение и разные точности квантования. В частности, согласно методике FGS входное видеокодируется в два слоя, т.е. основной слой и слой улучшения, и кодируется остаточный сигнал улучшенного слоя. Согласно методике FGS могут передаваться или не передаваться кодированные сигналы с тем, чтобы предотвратить декодирование кодированных сигналов декодером в соответствии с эффективностью сетевой передачи или состоянием стороны декодирования. Соответственно, данные могут должным образом передаваться в объеме, регулируемом в соответствии с битовой скоростью передачи в сети.
FGS Модели масштабируемого видео (SVM) версии 3.0 реализуется с помощью постепенного уточняемого представления. Масштабируемость SNR в FGS может достигаться посредством обеспечения возможности усечения блоков слоя сетевой абстракции (NAL), созданных в качестве результата кодирования FGS в любом месте. FGS состоит из основного слоя и слоя улучшения FGS. Основной слой создает основные кадры слоя, которые представляют минимальное качество видеосигнала, который может передаваться с наименьшей битовой скоростью передачи, а слой улучшения FGS создает блоки NAL, которые могут надлежащим образом усекаться и передаваться с битовой скоростью, большей, чем наименьшая битовая скорость передачи, или которые могут должным образом усекаться и декодироваться декодером. Слой улучшения FGS преобразует и квантует остаточный сигнал, полученный вычитанием восстановленных кадров, которые были получены в основном слое или нижерасположенном слое улучшения, из начальных кадров для передачи квантованного остаточного сигнала в декодер. Когда слой становится вышерасположенным слоем, масштабируемость по SNR может выполняться созданием более подходящего остатка посредством уменьшения значений параметров квантования.
В этом примерном варианте осуществления настоящего изобретения масштабируемость по цветовой насыщенности реализуется с помощью трех слоев FGS, т.е. первого слоя FGS (основного слоя), второго слоя FGS (первого слоя улучшения FGS) и третьего слоя FGS (второго слоя улучшения FGS).
Обычно в структуре слоев FGS соответствующей SVM 3.0, если количество слоев увеличено на единицу, то количество битов, которые могут использоваться для данных текстуры, также увеличено на единицу. Используя это для увеличения разрядности цветовой насыщенности, второй слой FGS может поддерживать цветовую насыщенность, которая на один бит больше, чем в первом слое FGS, а третий слой FGS может поддерживать цветовую насыщенность, которая на один бит больше, чем второй слой FGS. Если кодер кодирует и передает данные текстуры, имеющие другие цветовые насыщенности, используя структуру слоя FGS, декодер получает информацию о масштабируемости по цветовой насыщенности, поддерживаемой устройством отображения, удаляет поток битов слоя, который превышает поддерживаемую разрядность цветовой насыщенности, из принятых потоков битов и затем декодирует оставшиеся потоки битов для восстановления видеокадров.
В этом примерном варианте осуществления настоящего изобретения поток битов может включать в себя информацию 410 о положении данных яркости для различения данных 420, 440 и 460 яркости во всех слоях FGS от данных 430, 450 и 470 цветности для поддержки масштабируемости по цветовым компонентам. Соответственно, если устройство отображения поддерживает цветовую насыщенность, соответствующую второму слою FGS и полутоновой шкале, декодер может восстанавливать видеокадры посредством усечения потока битов, соответствующего третьему слою, и усечения ненужных данных 430 и 450 цветности в соответствии с информацией 410 о положении данных яркости первого и второго слоев. Информация о положении данных яркости может быть вставлена в заголовок GOP, заголовок картинки, заголовок слоя или любое подходящее место в потоке битов. В примерном варианте осуществления настоящего изобретения информация о положении данных яркости может включать в себя всю длину данных текстуры и длину данных яркости. Кроме того, информация о положении данных яркости может включать в себя любой тип информации, которая может указывать положение данных яркости, которые могут усекаться декодером.
В этом примерном варианте осуществления настоящего изобретения структура потока битов, которая может поддерживать как масштабируемость по цветовым компонентам, так и масштабируемость по цветовой насыщенности, является примерной. Однако если поддерживается только масштабируемость по цветовой насыщенности, используя FGS, то информация 410 о положении данных яркости соответствующего слоя FGS может быть опущена.
Фиг.5 является видом, показывающим структуру масштабируемого по цветовому пространству потока битов в структуре слоев FGS в соответствии с другим примерным вариантом осуществления настоящего изобретения.
В этом примерном варианте осуществления, как показано на фиг.5, поток битов имеет структуру для масштабируемого по цветовому пространству кодирования и декодирования с помощью FGS таким же образом, как и структура по фиг.4. Однако примерный вариант осуществления, как показано на фиг.4, обеспечивает структуру, которая включает в себя данные текстуры, составленные из данных яркости и данных цветности для слоев FGS, в то время как примерный вариант осуществления, как показано на фиг.5, обеспечивает структуру, в которой данные 520 - 540 яркости всех слоев FGS отделены от данных 550 - 570 цветности всех слоев FGS и располагаются в головной части потока битов. В этом примерном варианте осуществления настоящего изобретения масштабируемость по цветовой насыщенности и масштабируемость по цветовым компонентам реализуются с помощью трех слоев FGS, т.е. первого слоя FGS (основного слоя), второго слоя FGS (первого слоя улучшения FGS) и третьего слоя FGS (второго слоя улучшения FGS). Декодер получает информацию о масштабируемости по цветовой насыщенности, поддерживаемой устройством отображения, удаляет поток битов слоя, который превышает поддерживаемую разрядность цветовой насыщенности, из принятых потоков битов и затем декодирует оставшиеся потоки битов для восстановления видеокадров. В частности, в этом примерном варианте осуществления настоящего изобретения поток битов может включать в себя информацию 510 о положении границы между данными 540 яркости и данными 550 цветности для поддержки масштабируемости по цветовым компонентам. В этом случае, так как данные максимальной яркости могут использоваться посредством отказа от данных цветности, может восстанавливаться полутоновое изображение, имеющее высокую четкость.
Фиг.6 является блок-схемой, показывающей структуру масштабируемого по цветовому пространству видеокодера в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.6 масштабируемый по цветовому пространству видеокодер 600 в соответствии с этим примерным вариантом осуществления настоящего изобретения включает в себя модуль 610 временного преобразования, модуль 630 пространственного преобразования, модуль 640 энтропийного кодирования, модуль 650 генерирования масштабируемого по цветовому пространству потока битов, модуль 660 обратного квантования и модуль 670 обратного пространственного преобразования. Модуль 610 временного преобразования может включать в себя модуль 612 оценки движения, модуль 614 компенсации движения и вычитатель 616.
Модуль 612 оценки движения осуществляет оценку движения в отношении имеющегося кадра на основе опорного кадра во входных видеопотоках и получает векторы движения. Алгоритм, который широко используется для оценки движения, является алгоритмом согласования блоков. Этот алгоритм согласования блоков оценивает смещение, которое соответствует минимальной ошибке, в качестве вектора движения, по мере того, как он перемещается на заданный блок движения в размерности пикселя в конкретной области поиска опорного кадра. Для оценки движения может использоваться блок движения, имеющий фиксированный размер, или блок движения, имеющий переменный размер согласно алгоритму иерархического согласования блоков переменного размера (HVSBM). Модуль 612 оценки движения обеспечивает данные движения, такие как векторы движения, полученные в качестве результатов оценки движения, размер блока движения и номер опорного кадра для модуля 640 энтропийного кодирования.
Модуль 614 компенсации движения снижает временную избыточность входного видеокадра. В этом случае модуль 614 компенсации движения создает предсказанный во времени кадр для имеющегося кадра посредством выполнения компенсации движения для опорного кадра с помощью векторов движения, вычисленных в модуле 612 оценки движения.
Вычитатель 616 удаляет временную избыточность видеосигнала посредством вычитания предсказанного во времени кадра из имеющегося кадра.
Модуль 620 пространственного преобразования удаляет избыточность из кадра, из которого временная избыточность удалена вычитателем 616, с помощью способа пространственного преобразования, который поддерживает пространственную масштабируемость. Дискретное косинусное преобразование (ДКП, DCT), вейвлетное преобразование и другие могут использоваться в качестве способа пространственного преобразования. Коэффициенты, полученные в качестве результата пространственного преобразования, называются коэффициентами преобразования. Если ДКП используется как способ пространственного преобразования, итоговые коэффициенты называются коэффициентами ДКП, в то время как, если используется вейвлетное преобразование, итоговые коэффициенты называются вейвлетными коэффициентами.
Модуль 630 квантования квантует коэффициенты преобразования, выданные модулем 620 пространственного преобразования. Квантование означает представление коэффициентов преобразования, которые выражаются как действительные значения, посредством дискретных значений путем деления коэффициентов преобразования на заданные сегменты и последующего подбора дискретных значений для конкретных индексов. В частности, в случае использования вейвлетного преобразования в качестве способа пространственного преобразования, способ вложенного квантования в основном используется как способ квантования. Этот способ вложенного квантования осуществляет эффективное квантование, используя пространственную избыточность, предпочтительно кодируя компоненты коэффициентов преобразования, которые превышают пороговое значение, посредством изменения порогового значения (до 1/2). Способ вложенного квантования может быть внедренным вейвлетным алгоритмом вейвлет-кодирования на основе вложенных нуль-деревьев (EZW), разделением на наборы в алгоритме иерархических деревьев (SPIHT) или алгоритмом кодирования на основе вложенных нулевых блоков (EZBC).
Модуль 640 энтропийного кодирования осуществляет кодирование без потерь коэффициентов преобразования, квантованных модулем 630 квантования, и данных движения, выданных модулем 612 оценки движения, и генерирует выходной поток битов. Арифметическое кодирование или кодирование с переменной длиной поля может использоваться как способ кодирования без потерь.
Модуль 650 генерирования масштабируемого по цветовому пространству потока битов вставляет информацию о положении данных яркости в данные текстуры, обеспеченные модулем 630 квантования в потоке битов, обеспеченном модулем 640 энтропийного кодирования в надлежащей форме. Форма потока битов, сгенерированного модулем 650 генерирования масштабируемого по цветовому пространству потока битов, описывается выше со ссылкой на фиг.2.
В другом примерном варианте осуществления настоящего изобретения модуль 650 генерирования масштабируемого по цветовому пространству потока битов может сначала вставлять информацию о положении данных яркости в заголовок данных текстуры, квантованных модулем 630 квантования, а не в заголовок всего потока битов, для обеспечения данных текстуры для модуля 640 энтропийного кодирования. В этом случае сторона 700 декодера может извлекать информацию о положении данных яркости из заголовка данных текстуры после декодирования потока битов.
В этом случае, когда видеокодер 600 поддерживает видеокодер с обратной связью для уменьшения ошибки ухода параметров, возникающей между стороной кодера и стороной декодера, он может дополнительно включать в себя модуль 660 обратного квантования и модуль 670 обратного пространственного преобразования.
Модуль 660 обратного квантования выполняет обратное квантование в отношении коэффициентов, квантованных модулем 630 квантования. Этот процесс обратного квантования соответствует обратному процессу для процесса квантования.
Модуль 670 обратного пространственного преобразования выполняет обратное пространственное преобразование в отношении результатов обратного квантования и выдает результаты обратного пространственного преобразования на сумматор 680.
Сумматор 680 восстанавливает видеокадры посредством добавления остаточного кадра, выданного модулем 670 обратного пространственного преобразования, к предыдущему кадру, выданному модулем 614 компенсации движения и сохраненному в буфере кадров (не показан), и выдает восстановленный видеокадр на модуль 612 оценки движения в качестве опорного кадра.
На фиг.6 объяснен кодер единственного слоя. Однако специалисту в данной области техники будет очевидно, что видеокодер в соответствии с настоящим изобретением может быть расширен на масштабируемое по цветовому пространству видеокодирование с помощью многослойной структуры, как показано на фиг.3.
Фиг.7 является блок-схемой, показывающей структуру масштабируемого по цветовому пространству видеодекодера в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.7 масштабируемый по цветовому пространству видеодекодер 700 в соответствии с этим примерным вариантом осуществления настоящего изобретения включает в себя модуль 710 предобработки потока битов, модуль 720 энтропийного декодирования, модуль 730 обратного квантования, модуль 740 обратного пространственного преобразования и модуль 750 компенсации движения.
Модуль 710 предобработки потока битов получает информацию о поддерживаемом цветовом пространстве от устройства отображения, усекает принятый поток битов в соответствии с информацией о цветовом пространстве и выдает усеченный поток битов на модуль 720 энтропийного декодирования. Информация о цветовом пространстве, поддерживаемом устройством отображения, может быть информацией об отображаемом цветовом/полутоновом изображении, разрядности цветовой насыщенности и другой информацией.
В случае, когда устройство отображения поддерживает только полутоновое изображение, как описано выше со ссылкой на фиг.2 и 3, модуль 710 предобработки потока битов выделяет информацию о положении данных яркости из потока битов, усекает часть, соответствующую данным яркости, из данных текстуры и выдает поток битов, который включает в себя только данные движения и данные яркости, на модуль 720 энтропийного декодирования. Также модуль 710 предобработки потока может производить усечение битов или слоя, которые превышают разрядность цветовой насыщенности, поддерживаемой устройством отображения, и выдавать оставшийся поток битов на модуль 720 энтропийного декодирования.
В другом примерном варианте осуществления настоящего изобретения без предобработки модулем 710 предобработки потока битов модуль 720 энтропийного декодирования может выделять информацию о положении данных яркости, включенных в заголовочную часть данных текстуры, и усекать данные яркости, если необходимо, после декодирования принятого потока битов и извлечения данных текстуры.
Модуль 720 энтропийного декодирования извлекает данные движения и данные текстуры посредством выполнения декодирования без потерь, которое является инверсией энтропийного кодирования. Модуль 720 энтропийного декодирования выдает извлеченные данные текстуры на модуль 730 обратного квантования и выдает извлеченные данные движения на модуль 750 компенсации движения.
Модуль 730 обратного квантования выполняет обратное квантование данных текстуры, переданных из модуля 720 энтропийного декодирования. Этот процесс обращенного квантования предназначен для поиска квантованных коэффициентов, которые соответствуют значениям, выраженным конкретными индексами и переданным со стороны 600 кодера. Таблица, которая представляет соответствие между индексами и коэффициентами квантования, может быть передана со стороны 600 кодера или может быть заранее подготовлена по соглашению между кодером и декодером.
Модуль 740 обратного пространственного преобразования выполняет пространственное преобразование и восстанавливает коэффициенты, сгенерированные в качестве результатов обратного квантования по отношению к оставшемуся изображению в пространственной области. Например, если коэффициенты пространственно преобразованы способом вейвлетного преобразования на стороне видеокодера, модуль 740 обратного пространственного преобразования будет выполнять обратное вейвлетное преобразование, в то время как, если коэффициенты преобразованы способом преобразования ДКП на стороне видеокодера, модуль обратного пространственного преобразования будет выполнять обратное преобразование ДКП.
Модуль 750 компенсации движения выполняет компенсацию движения восстановленных видеокадров и генерирует кадры с компенсированным движением с помощью данных движения, обеспеченных модулем 720 энтропийного декодирования. Конечно, этот процесс компенсации движения может выполняться, только когда имеющийся кадр декодируется посредством процесса предсказания на стороне кодера.
Сумматор 760 восстанавливает видеокадры посредством суммирования оставшегося изображения с кадрами с компенсированным движением, выданными модулем 750 компенсации движения, когда оставшееся изображение, восстановленное модулем обратного пространственного преобразования, создается временным предсказанием.
Фиг.8 является блок-схемой, показывающей структуру масштабируемого по цветовому пространству видеокодера в структуре слоев FGS в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.8 кодер в соответствии с этим примерным вариантом осуществления настоящего изобретения может, вкратце, включать в себя кодер 810 основного слоя и кодер 850 слоя улучшения. В этом примерном варианте осуществления настоящего изобретения иллюстрируется, что используются основной слой и слой улучшения. Однако специалисту в данной области техники будет очевидно, что настоящее изобретение может также применяться в случае, когда используется больше слоев.
Кодер 810 основного слоя может включать в себя модуль 812 оценки движения, модуль 814 компенсации движения, модуль 818 пространственного преобразования, модуль 820 квантования, модуль 822 энтропийного кодирования, модуль 832 генерирования масштабируемого по цветовому пространству потока битов, модуль 824 обратного квантования, модуль 826 обратного пространственного преобразования и модуль 830 снятия разбиения на блоки.
Модуль 812 оценки движения выполняет оценку движения имеющегося кадра на основе опорного кадра из входных видеокадров и получает векторы движения. В этом примерном варианте осуществления настоящего изобретения векторы движения для предсказания получаются посредством приема восстановленного кадра, который разблокирован модулем 830 снятия разбиения на блоки. Модуль 812 оценки движения выдает данные движения, такие как векторы движения, полученные в качестве результата оценки движения, размер блока движения и номер опорного кадра, в модуль 822 энтропийного кодирования.
Модуль 814 компенсации движения создает предсказанный во времени кадр для имеющегося кадра посредством выполнения компенсации движения для последующего или предшествующего опорного кадра, используя векторы движения, вычисленные модулем 812 оценки движения.
Вычитатель 816 удаляет временную избыточность видеосигнала посредством вычитания предсказанного во времени кадра, предоставленного модулем 814 компенсации движения, из имеющегося входного кадра.
Модуль 820 квантования квантует коэффициенты преобразования, полученные модулем 818 пространственного преобразования.
Модуль 822 энтропийного кодирования выполняет кодирование без потерь коэффициентов преобразования, квантованных модулем 829 квантования, и данных движения, выданных модулем 812 оценки движения, и генерирует выходной поток битов.
Модуль 832 генерирования масштабируемого по цветовому пространству потока битов вставляет информацию о положении данных яркости среди данных текстуры, выданных модулем 820 квантования, в поток битов, выданный модулем 822 энтропийного кодирования, в надлежащей форме. Форма потока битов, сгенерированного модулем 832 масштабируемого по цветовому пространству потока битов, описывается выше со ссылкой на фиг.4 и 5.
В другом примерном варианте осуществления настоящего изобретения модуль 832 генерации масштабируемого по цветовому пространству потока битов может первым вставлять информацию о положении данных яркости в заголовочную часть данных текстуры, квантованных модулем 820 квантования, но не в заголовочную часть входного потока битов, для выдачи данных текстуры в модуль 822 энтропийного кодирования. В этом случае сторона 900 декодера может извлекать информацию о положении данных яркости из заголовка данных текстуры после декодирования потока битов.
В случае, когда видеокодер 800 поддерживает видеокодер с обратной связью для уменьшения ошибки ухода параметров, возникающей между стороной кодера и стороной декодера, он может дополнительно включать в себя модуль 824 обратного квантования и модуль 826 обратного пространственного преобразования.
Модуль 830 снятия разбиения на блоки принимает восстановленные видеокадры от сумматора 828 и осуществляет снятие разбиения на блоки для удаления артефактов, обусловленных соответствующими границами между блоками в кадре. Видеокадр без разбиения на блоки выдается в кодер 850 слоя улучшения в качестве опорного кадра.
Кодер 850 слоя улучшения может включать в себя модуль 854 пространственного преобразования, модуль 856 квантования, модуль 868 энтропийного кодирования, модуль 858 обратного квантования и модуль обратного пространственного преобразования и модуль снятия разбиения на блоки.
Модуль 870 генерации масштабируемого по цветовому пространству потока битов вставляет информацию о положении данных яркости среди данных текстуры, выданных модулем 856 квантования, в поток битов, выданный модулем 868 энтропийного кодирования, в надлежащей форме. Форма потока битов с генерированного модулем 870 масштабируемого по цветовому пространству потока битов описывается выше со ссылками на фиг.4 и 5.
В другом примерном варианте осуществления настоящего изобретения модуль 870 генерирования масштабируемого по цветовому пространству потока битов может сначала вставлять информацию о положении данных яркости в заголовочную часть данных текстуры, квантованных модулем 856 квантования, но не в заголовочную часть входного потока битов, для выдачи данных текстуры модулю 868 кодирования. В этом случае сторона 900 декодера может извлекать информацию о положении данных яркости из заголовочной части данных текстуры после декодирования потока битов.
Вычитатель 852 генерирует оставшийся кадр посредством вычитания опорного кадра, обеспеченного основным слоем, из имеющегося входного кадра. Оставшийся кадр кодируется модулем 854 пространственного преобразования и модулем 856 квантования и восстанавливается модулем 858 обратного квантования и модулем 860 обратного пространственного преобразования.
Сумматор 862 генерирует восстановленный кадр посредством добавления восстановленного оставшегося кадра, выданного модулем 860 обратного пространственного преобразования, к опорному кадру, обеспеченному основным слоем. Восстановленный кадр обеспечивается для вышерасположенного дополнительного слоя в качестве опорного кадра.
Так как операции модуля 854 пространственного преобразования, модуля 856 квантования, модуля 868 энтропийного квантования, модуля 858 обратного квантования и модуля 860 обратного пространственного преобразования являются такими же, как и для основного слоя, то объяснение этого опущено.
Хотя иллюстрируется, что множество составляющих элементов, имеющих одинаковые названия с различными идентификационными номерами, существует на фиг.8, будет очевидным для специалиста в данной области техники, что один составляющий элемент может функционировать и в основном слое, и в улучшенном слое.
Фиг.9 является блок-схемой, показывающей структуру масштабируемого по цветовому пространству видеодекодера в структуре слоев FGS в соответствии с примерным вариантом осуществления настоящего изобретения.
На фиг.9 видеодекодер 900 может включать в себя декодер 910 основного слоя и декодер 950 слоя улучшения.
Декодер 950 слоя улучшения может включать в себя модуль 953 предобработки потока битов, модуль 955 энтропийного декодирования, модуль 960 обратного квантования и модуль 965 обратного пространственного преобразования.
Модуль 953 предобработки потока битов получает информацию о поддерживаемом цветовом пространстве от устройства отображения, усекает принятый поток битов в соответствии с информацией цветового пространства и выдает усеченный поток битов на модуль 955 энтропийного декодирования. Информация о цветовом пространстве, поддерживаемом устройством отображения, может быть информацией об отображаемом цветовом/полутоновом изображении, разрядности цветовой насыщенности и другой информацией.
Модуль 955 энтропийного декодирования извлекает данные текстуры посредством выполнения декодирования без потерь, которое является инверсией энтропийного кодирования. Информация текстуры выдается на модуль 960 обратного квантования.
Модуль 960 обратного квантования выполняет обратное квантование данных текстуры, переданных из модуля 955 энтропийного кодирования. Процесс обратного квантования необходим для поиска квантованных коэффициентов, которые соответствуют значениям, выраженным конкретными индексами и переданным со стороны 800 кодера.
Модуль 965 обратного пространственного преобразования выполняет обратное пространственное преобразование и восстановление коэффициентов, созданных как результаты обратного квантования, в оставшемся изображении в пространственной области.
Сумматор 970 восстанавливает видеокадры посредством добавления оставшегося изображения, восстановленного модулем обратного пространственного преобразования, к опорному кадру, выданному модулем 940 снятия разбиения на блоки из состава декодера основного уровня.
Декодер 910 основного уровня может включать в себя модуль 913 обработки потока битов, модуль 915 энтропийного декодирования, модуль 920 обратного квантования, модуль 925 обратного пространственного преобразования, модуль 930 компенсации движения и модуль 940 снятия разбиения на блоки.
Модуль 913 обработки потока битов получает информацию о поддерживаемом цветовом пространстве от устройства отображения, усекает принятый поток битов в соответствии с информацией о цветовом пространстве и выдает усеченный поток битов на модуль 915 энтропийного декодирования. Информация о цветовом пространстве, поддерживаемом устройством отображения, может быть информацией об отображаемом цветном/полутоновом изображении, разрядности цветовой насыщенности и другой информацией.
Модуль 915 энтропийного декодирования извлекает данные текстуры и данные движения посредством выполнения декодирования без потерь, которое является обратным энтропийному кодированию. Информация текстуры выдается на модуль 920 обратного квантования.
Модуль 930 компенсации движения выполняет компенсацию движения восстановленного видеокадра с помощью данных движения, выданных модулем 915 энтропийного декодирования, и генерирует кадр с компенсированным движением. Этот процесс компенсации движения применяется только в случае, когда имеющийся кадр кодирован посредством процесса временного предсказания на стороне кодера.
Сумматор 935 восстанавливает видеокадр посредством добавления оставшегося изображения к изображению с компенсированным движением, выданному модулем 930 компенсации движения, когда оставшееся изображение, восстановленное модулем 925 обратного пространственного преобразования, создается посредством временного предсказания.
Модуль 940 снятия разбиения на блоки, который соответствует модулю 830 снятия разбиения на блоки из состава кодера основного слоя, как показано на фиг.8, генерирует кадр основного слоя посредством снятия разбиения на блоки в отношении восстановленного видеокадра, поступившего из сумматора 935, и выдает кадр основного слоя сумматору 970 декодера 950 слоя улучшения в качестве опорного кадра.
Так как операции модуля 920 обратного квантования и модуля 925 обратного пространственного преобразования являются такими же, как и те, которые существуют в слое улучшения, повторное объяснение этого будет опущено.
Хотя иллюстрируется, что множество составных элементов, имеющих одинаковые названия с различными идентификационными номерами, существуют на фиг.9, специалисту в данной области техники будет очевидно, что один составной элемент, имеющий конкретное название, может функционировать и в основном слое, и в слое улучшения.
Соответствующие составные элементы, как показано на фиг.6 - 9, являются программными или аппаратными, такими как программируемая пользователем вентильная матрица (FPGA) и специализированная интегральная схема (ASIC). Однако составные элементы не ограничиваются программным или аппаратным выполнением. Составные элементы могут формироваться так, чтобы постоянно находиться в адресуемом запоминающем носителе или выполняться одним или более процессорами. Функции, предусмотренные в составных элементах, могут воплощаться подразделенными составными элементами, и составные элементы и функции, выполненные в составных элементах, могут комбинироваться совместно для осуществления конкретной функции. В дополнение, составные элементы могут быть реализованны так, чтобы исполняться одним или более компьютерами в системе.
Фиг.10 является блок-схемой алгоритма, показывающей процесс кодирования в соответствии с примерным вариантом осуществления настоящего изобретения.
Согласно фиг.10 модуль 610 временного преобразования и модуль 620 пространственного преобразования из состава видеокодера 600 в соответствии с примерным вариантом осуществления настоящего изобретения удаляют временную избыточность и пространственную избыточность входных видеокадров на этапе S1010. В этом случае пространственная избыточность может быть удалена после того, как удаляется временная избыточность, или временная избыточность может быть удалена после того, как удаляется пространственная избыточность. Модуль 630 квантования квантует коэффициенты преобразования, созданные в качестве результатов удаления временной избыточности и пространственной избыточности на этапе S1020. Модуль 640 энтропийного кодирования создает поток битов посредством кодирования квантованных коэффициентов преобразования на этапе S1030. Модуль генерирования масштабируемого по цветовому пространству потока битов генерирует поток битов, а масштабируемый по цветовому пространству - посредством добавления информации о положении данных яркости в энтропийно кодированный поток битов на этапе S1040.
Фиг.11 является блок-схемой алгоритма, показывающей процесс видеодекодирования, масштабируемого по цветовым компонентам, в соответствии с примерным вариантом осуществления настоящего изобретения.
Согласно фиг.11 модуль 710 предобработки потока битов из состава видеодекодера 700 в соответствии с примерным вариантом осуществления настоящего изобретения извлекает информацию о положении данных яркости из принятого потока битов на этапе S1110. Модуль 710 предобработки потока битов усекает данные цветности из потока битов в соответствии с информацией о положении данных яркости на этапе S1120. Модуль 720 энтропийного декодирования декодирует предобработанный поток битов на этапе S1130, а модуль 730 обратного квантования выполняет обратное квантование декодированного потока битов на этапе S1140. Затем модуль 740 обратного пространственного преобразования восстанавливает видеокадры посредством выполнения обратного пространственного преобразования в отношении обращенно-квантованного потока битов на этапе S1150.
Фиг.12 является блок-схемой алгоритма, показывающей процесс масштабируемого по цветовой насыщенности видеодекодирования в соответствии с примерным вариантом осуществления настоящего изобретения.
Согласно фиг.12 модуль 710 предобработки потока битов из состава видеодекодера 700 в соответствии с примерным вариантом осуществления настоящего изобретения получает информацию о разрядности цветовой насыщенности от устройства отображения на этапе S1210 и генерирует второй поток битов посредством усечения битов, которые превышают разрядность цветовой насыщенности, из входного потока битов в соответствии с полученной информацией о цветовой насыщенности S1220. Модуль 720 энтропийного декодирования декодирует второй поток битов на этапе S1230, а модуль 730 обратного квантования выполняет обратное квантование декодированного потока битов на этапе S1240. Затем видеосигнал восстанавливается, когда модуль 740 обратного пространственного преобразования восстанавливает остаточный сигнал посредством выполнения обратного пространственного преобразования в отношении коэффициентов преобразования, и модуль компенсации движения выполняет компенсацию движения предсказанных кадров в соответствии с данными движения, выданными модулем энтропийного декодирования.
Как описано выше, способ масштабируемого по цветовому пространству видеокодирования и декодирования в соответствии с настоящим изобретением создает по меньшей мере один из следующих эффектов.
Во-первых, кодер может информировать декодер о положении данных яркости в потоке битов, и таким образом декодер может преобразовывать цветное изображение в полутоновое изображение, как это требуется.
Во-вторых, масштабируемость по цветовой насыщенности может достигаться простым способом, заключающимся в том, что декодер получает информацию о разрядности цветовой насыщенности от устройства отображения, удаляет биты, которые превышают разрядность цветовой насыщенности, поддерживаемой устройством отображения, и декодирует поток битов.
Примерные варианты осуществления настоящего изобретения описаны для иллюстративных целей, и специалисту в данной области техники будет понятно, что различные модификации, дополнения и замены возможны, не выходя за рамки объема и сущности изобретения, как описано в сопровождающей формуле изобретения.
1. Способ передачи данных секции, которая содержит множество макроблоков, содержащий этапы, на которых последовательно вставляют данные яркости всех макроблоков, содержащихся в секции, в поток битов, последовательно вставляют данные цветности всех макроблоков, содержащихся в секции, в поток битов после вставленных данных яркости, передают поток битов, который содержит вставленные данные яркости и вставленные данные цветности, при этом секция включена в слой масштабируемости качества по отношению сигнал-шум (FGS).
2. Способ по п.1, дополнительно содержащий этап, на котором вставляют информацию о положении данных яркости и данных цветности в поток битов.
3. Способ генерирования видеопоследовательности, содержащей множество секций, содержащих множество макроблоков с данными яркости и данными цветности этих макроблоков, при этом способ содержит этапы, на которых вставляют данные яркости всех макроблоков, включенных в секцию, в видеопоследовательность, и вставляют данные цветности всех макроблоков, включенных в секцию, в видеопоследовательность после вставленных данных яркости, при этом видеопоследовательность является слоем масштабируемости качества по отношению сигнал-шум (FGS).
4. Способ по п.3, в котором видеопоследовательность содержит информацию о положении данных яркости и информацию о положении данных цветности.
5. Способ обработки видеопоследовательности, которая передается так, что данные яркости множества макроблоков, включенных в секцию, отделены от данных цветности упомянутого множества макроблоков, включенных в секцию, при этом способ содержит этапы, на которых a) интерпретируют все данные яркости упомянутого множества макроблоков, включенных в секцию и b) интерпретируют все данные цветности упомянутого множества макроблоков, включенных в секцию, после выполнения этапа а), при этом видеопоследовательность является слоем масштабируемости качества по отношению сигнал-шум (FGS).
6. Способ по п.5, в котором упомянутое множество макроблоков не содержит информации о векторе движения.
7. Способ по п.5, дополнительно содержащий этап, на котором интерпретируют информацию о положении данных яркости и информации о положении данных цветности в секции.
8. Способ декодирования видеопоследовательности, которая включает в себя основной слой и слой улучшения FGS (масштабируемости качества по отношению сигнал-шум), содержащий этапы, на которых a) интерпретируют данные основного слоя, b) интерпретируют данные яркости всех макроблоков, включенных в слой улучшения FGS; c) интерпретируют данные цветности всех макроблоков после выполнения этапа b), d) комбинируют данные яркости и данные цветности слоя улучшения FGS с данными основного слоя и e) декодируют комбинированные данные.
9. Способ по п.8, дополнительно содержащий этап, на котором интерпретируют информацию о положении данных яркости и данных цветности всех макроблоков.
10. Способ по п.8, в котором все макроблоки слоя улучшения FGS не содержат информации о векторе движения.
