Способ кодирования и декодирования видеоинформации
Владельцы патента RU 2568266:
федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации (RU)
Изобретение относится к средствам кодирования и декодирования видеоинформации. Техническим результатом является повышение степени удаления избыточности кодируемой видеоинформации. В способе на этапе кодирования в каждом фрагменте домена вычисляют коэффициенты дискретного вейвлет-преобразования по двум пространственным координатам x и y, совокупность квантованных коэффициентов дискретного вейвлет-преобразования кодируют с использованием адаптивного дихотомического кодирования. В способе сжатый видеопоток последовательно подвергают адаптивному дихотомическому декодированию, деквантованию, обратному двухмерному дискретному вейвлет-преобразованию по двум пространственным координатам x и y и обратному дискретному косинусному преобразованию по времени. 6 ил.
Изобретение относится к области электросвязи и видеоинформационных технологий и касается цифрового кодирования и декодирования видеоинформации на основе трехмерного дискретного частотного преобразования, а именно на основе дискретного косинусного преобразования по времени и дискретного вейвлет-преобразования по двум пространственным координатам.
Заявленный способ может быть использован для кодирования и декодирования видеоинформации на основе трехмерного дискретного частотного преобразования, передаваемой в современных телекоммуникационных системах.
Известны способы цифрового кодирования и декодирования видеоинформации на основе двухмерного ортогонального преобразования с формированием векторов движения, описанные например, в книге Я. Ричардсон "Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения". - М., Техносфера, 2005, стр. 55-65. В известных способах в последовательности телевизионных кадров выделяют опорные кадры, разделяют каждый телевизионный кадр на двумерные блоки размером n×n пикселей, над которыми выполняют дискретное косинусное преобразование. Для блоков дискретного косинусного преобразования телевизионных кадров, не относящихся к опорным кадрам, вычисляют характеристики степени их близости к блокам дискретного косинусного преобразования ближайшего опорного телевизионного кадра, которые кодируют в виде вектора движения.
Недостатками данных способов является то, что передача векторов движения существенно снижает помехоустойчивость передачи закодированного телевизионного сигнала по каналам связи с помехами, а также то, что нахождение векторов движения требует сложных вычислений.
Известны также способы кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования, описанные, например, авторами Ni Wei, Guo Bao-long, Yang Liu в статье «Novel video coding algorithm based on 3D-bin DCT», OPTO ELECTRONICS LETTERS, Vol. 1, No. 3, 2005. В известных способах предварительно формируют таблицы квантования и таблицы энтропийного кода, выделяют незначащие коэффициенты трехмерного дискретного косинусного преобразования с использованием трехмерных границ разрешающей способности зрения, на передающей стороне из входной последовательности n≥2 кадров видеосигнала формируют трехмерные блоки пикселей размером n×n×n пикселей, вычисляют в каждом трехмерном блоке пикселей количество движения, на основе которого повторно выделяют незначащие коэффициенты трехмерного дискретного косинусного преобразования этого блока. Затем выполняют прямое дискретное косинусное преобразование каждого трехмерного блока пикселей без учета ранее выделенных незначащих коэффициентов трехмерного дискретного косинусного преобразования, после чего по предварительно заданным таблицам квантования квантуют коэффициенты дискретного косинусного преобразования, формируют одномерную последовательность квантованных коэффициентов каждого трехмерного блока коэффициентов дискретного косинусного преобразования и статистически кодируют ее по таблицам энтропийного кода.
Передают закодированную последовательность по каналу передачи, на приемной стороне принятую закодированную последовательность статистически декодируют по таблицам энтропийного кода. Далее преобразуют принятую декодированную последовательность в трехмерные блоки квантованных коэффициентов дискретного косинусного преобразования, которые деквантуют по таблицам квантования, над каждым трехмерным блоком деквантованных коэффициентов дискретного косинусного преобразования выполняют обратное дискретное косинусное преобразование, и восстанавливают видеосигнал.
В известных способах обеспечивается уменьшение сложности кодирования видеосигнала благодаря исключению предварительно выделенных незначащих коэффициентов трехмерного дискретного косинусного преобразования с использованием трехмерных границ разрешающей способности зрения и исключению незначащих коэффициентов трехмерного дискретного косинусного преобразования на основе вычисленного в каждом трехмерном блоке пикселей количества движения.
Недостатком известных способов является появление дополнительной погрешности кодирования видеосигналов, отличающихся от усредненной модели видеосигнала, для которого предварительно построены трехмерные границы разрешающей способности зрения и определены подлежащие исключению незначащие коэффициенты трехмерного дискретного косинусного преобразования. Для каждого из отличающихся от усредненной модели видеосигналов необходимо заново построить трехмерные границы разрешающей способности зрения и определить подлежащие исключению незначащие коэффициенты трехмерного дискретного косинусного преобразования, иначе использование несоответствующих кодируемому видеосигналу трехмерных границ разрешающей способности зрения и подлежащих исключению незначащих коэффициентов трехмерного дискретного косинусного преобразования вызывает появление дополнительной погрешности кодирования.
Наиболее близким по своей технической сущности к заявленному способу кодирования и декодирования видеоинформации является способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования, описанный в патенте РФ 2375838 С1, опубликован 10.12.2009, приоритет от 19.11.2008. Способ-прототип заключается в том, что кодирование видеоинформации, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, в котором на первом этапе кодирования для обнаружения и устранения временной избыточности в каждом домене размером n×n×n пикселей осуществляют дискретное косинусное преобразование по времени, затем определяют наличие движения в каждом фрагменте размером n×n пикселей по признаку наличия ненулевых спектральных коэффициентов, кроме первого фрагмента домена, на втором этапе кодирования в случае наличия движения в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного косинусного преобразования по двум пространственным координатам x и y, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, а в случае отсутствия движения вычисляют коэффициенты дискретного косинусного преобразования только для первого фрагмента домена и в канал связи передают спектральные коэффициенты первого фрагмента и количество фрагментов домена без движения, на последующих этапах кодирования при поступлении очередных пакетов, если движение имеется, то процесс кодирования повторяют, если же в конкретных доменах движения нет, то для них передают сигнал об использовании при декодировании предыдущего фрагмента и число фрагментов без движения, на этапе декодирования сжатый видеопоток последовательно подвергают декодированию, декватованию, и в случае наличия движения в доменах - обратному трехмерному дискретному косинусному преобразованию, в случае отсутствия движения в конкретных доменах по переданным в предыдущих доменах спектральным коэффициентам по двум пространственным координатам x и y первого фрагмента и сигналам о количестве фрагментов без движения восстанавливают соответствующие фрагменты этих доменов при выполнении только обратного дискретного косинусного преобразования по времени, в результате по сжатому сигналу восстанавливают исходный видеопоток.
Способ-прототип обеспечивает уменьшение сложности реализации устройств кодирования и декодирования видеоинформации благодаря исключению выполнения прямого и обратного дискретного косинусного преобразования по двум пространственным координатам x и y для большинства фрагментов домена в случае отсутствия движения.
Недостатком ближайшего аналога является относительно малая степень удаления избыточности кодируемой видеоинформации и относительно невысокая устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи. Относительно малая степень удаления избыточности кодируемой видеоинформации обусловлена тем, что для удаления пространственной и временной избыточности используется одно и то же дискретное косинусное преобразование, которое не обеспечивает требуемую адаптивность к переменной пространственной избыточности реальных видеосигналов. Относительно невысокая устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи обусловлена тем, что при воздействии ошибок канала связи на закодированные для устранения статистической избыточности квантованные коэффициенты трехмерного дискретного косинусного преобразования при их декодировании искажения распространяются на весь домен размером n×n×n пикселей восстанавливаемого видеосигнала.
Техническим результатом заявляемого решения является повышение степени удаления избыточности кодируемой видеоинформации и повышение устойчивости передаваемого сжатого видеопотока к воздействию ошибок канала связи.
Указанный технический результат достигается тем, что в известном способе кодирования и декодирования видеоинформации, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, заключающемся в том, что на первом этапе кодирования для устранения временной избыточности в каждом домене размером n×n×n пикселов осуществляют дискретное косинусное преобразование по времени, на втором этапе кодирования для устранения пространственной избыточности вычисляют коэффициенты дискретного частотного преобразования по двум пространственным координатам x и y, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, на этапе декодирования сжатый видеопоток последовательно подвергают декодированию, деквантованию, обратному дискретному преобразованию, в результате по сжатому сигналу восстанавливают исходный видеопоток, дополнительно на втором этапе кодирования в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного вейвлет-преобразования по двум пространственным координатам x и y, а для устранения статистической избыточности совокупность квантованных коэффициентов дискретного вейвлет-преобразования кодируют с использованием адаптивного дихотомического кодирования, причем на этапе декодирования сжатый видеопоток последовательно подвергают адаптивному дихотомическому декодированию, деквантованию, обратному двухмерному дискретному вейвлет-преобразованию по двум пространственным координатам x и y и обратному дискретному косинусному преобразованию по времени.
Указанная новая совокупность существенных признаков за счет последовательного вычисления коэффициентов дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов для устранения временной избыточности и коэффициентов дискретного вейвлет-преобразования по двум пространственным координатам х и у для устранения пространственной избыточности, а также использования адаптивного дихотомического кодирования квантованных коэффициентов дискретного вейвлет-преобразования для устранения статистической избыточности позволяет повысить степень удаления избыточности кодируемой видеоинформации. Также указанная новая совокупность существенных признаков за счет использования для устранения статистической избыточности адаптивного дихотомического кодирования квантованных коэффициентов дискретного вейвлет-преобразования, обеспечивающего адаптацию числа одновременно кодируемых квантованных коэффициентов дискретного вейвлет-преобразования в зависимости от их статистических характеристик, позволяет уменьшить в среднем число искаженных ошибкой канала передачи декодируемых деквантованных коэффициентов дискретного вейвлет-преобразования. Отмеченное позволяет повысить устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи, то есть достичь сформулированного технического результата. Заявленный способ поясняется чертежами, на которых показаны:
- на фиг. 1 - общая схема кодирования видеоинформации;
- на фиг. 2 - алгоритм кодирования видеоинформации на передающей стороне;
- на фиг. 3 - примерный вид первой битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования;
- на фиг. 4 - примерный вид второй битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования;
- на фиг. 5 - примерный вид девятой битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования;
- на фиг. 6 - алгоритм декодирования видеоинформации на принимающей стороне.
Предлагаемый способ может быть реализован следующим образом. На фиг. 1 показана система кодирования и декодирования видеоинформации, состоящая из кодера видеоинформации 1 и декодера видеоинформации 2.
На передающей стороне телевизионный сигнал, состоящий из последовательности кадров, разбиваемой на пакеты по n кадров и затем на домены размером n×n×n пикселей, поступает на вход кодера видеоинформации 1. Кодер видеоинформации 1 состоит из последовательно соединенных блоков одномерного дискретного косинусного преобразования 11 (ДКП-1D), двухмерного дискретного вейвлет-преобразования 12 (ДВП-2D), квантования 13 и кодирования 14. С выхода кодера видеоинформации 1 сжатый видеопоток поступает на вход канала связи 3, выход которого соединен с входом декодера видеоинформации 2. Устройство декодирования видеоинформации 2 состоит из последовательно соединенных блоков декодирования 21, деквантования 22, обратного двухмерного дискретного вейвлет-преобразования 23 (ОДВП-2D) и обратного одномерного дискретного косинусного преобразования 24 (ОДКП-1D).
В заявленном способе для кодирования и декодирования видеоинформации реализуется следующая последовательность действий.
Алгоритм кодирования видеоинформации показан на фиг. 2.
Известные способы осуществления дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов описаны, например, в патенте РФ 2375838, где из очередных кадров домена с номерами от 1 до n последовательно считываются значения пикселей с одноименными пространственными координатами x и y. Из считанной последовательности значений пикселей вычисляются n коэффициентов дискретного косинусного преобразования по времени. Если очередные кадры обрабатываемого домена существенно отличаются друг от друга, то есть имеется движение во времени, то все вычисленные n коэффициентов дискретного косинусного преобразования являются ненулевыми. Чем меньше движения имеется в очередных кадрах обрабатываемого домена, тем больше последних по счету вычисленных коэффициентов дискретного косинусного преобразования являются нулевыми. В результате осуществления дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов по каждой координате x и y формируют трехмерную матрицу коэффициентов дискретного косинусного преобразования размером n×n×n коэффициентов.
Известные способы вычисления коэффициентов дискретного вейвлет-преобразования по двум пространственным координатам x и y описаны, например, в книге Д. Сэломон "Сжатие данных, изображений и звука". - М., Техносфера, 2006, стр. 252-264. Поочередно, начиная с первой до n по временной координате двухмерной матрицы коэффициентов дискретного косинусного преобразования, выделенной из сформированной трехмерной матрицы размером n×n×n коэффициентов дискретного косинусного преобразования, вычисляют коэффициенты дискретного вейвлет-преобразования по двум пространственным координатам в каждой из частотных полос вейвлет-преобразования.
Известные способы квантования полученных коэффициентов дискретного вейвлет-преобразования описаны, например, в книге Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин "Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео". - М., ДИАЛОГ-МИФИ, 2002, стр. 308. Таблица квантования имеет n×n коэффициентов квантования, обычно выбирают размер таблицы квантования величиной 8×8, 16×16 коэффициентов квантования и т.д. Величину каждого коэффициента квантования определяют как целое положительное число, на которое делят значение соответствующего коэффициента дискретного вейвлет-преобразования при его квантовании, затем результат деления округляют до ближайшего целого значения.
Кодирование совокупности квантованных коэффициентов дискретного вейвлет-преобразования с использованием адаптивного дихотомического кодирования заключается в следующем.
Определяют максимальный по абсолютному значению коэффициент Bmax из совокупности квантованных коэффициентов дискретного вейвлет-преобразования кодируемой частотной полосы вейвлет-преобразования и вычисляют минимально требуемое для адаптивного дихотомического кодирования число битовых плоскостей k по правилу: 2k≥Bmax. Например, для максимального по абсолютному значению коэффициента Bmax=348 минимально требуемое для адаптивного дихотомического кодирования число битовых плоскостей составило k=9.
Совокупность квантованных коэффициентов дискретного вейвлет-преобразования представляют в виде битовых плоскостей, что описано, например, в стандарте сжатия изображений JPEG2000 ISO/IEC 15444-1. Information technology. JPEG 2000 image coding system. Каждая битовая плоскость определяется значениями соответствующего разряда двоичных символов совокупности квантованных коэффициентов дискретного вейвлет-преобразования. Первая битовая плоскость соответствует значениям старших двоичных символов, вторая - значениям двоичных символов меньшей значности и т.д. Примерный вид первой битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования показан на фиг. 3. Пиксел черного цвета означает единичное значение двоичного символа квантованного коэффициента дискретного вейвлет-преобразования данной битовой плоскости. Пиксел белого цвета означает нулевое значение двоичного символа квантованного коэффициента дискретного вейвлет-преобразования данной битовой плоскости. Примерный вид второй битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования показан на фиг. 4. Примерный вид девятой, последней по счету в данном примере, битовой плоскости совокупности 512 на 256 квантованных коэффициентов дискретного вейвлет-преобразования показан на фиг. 5. Видно, что расположение единичных или нулевых двоичных символов совокупности квантованных коэффициентов дискретного вейвлет-преобразования характеризуется явным группированием, причем в зависимости от номера битовой плоскости наблюдается, как правило, преобладание или единичных, или нулевых двоичных символов.
Очередную битовую плоскость совокупности квантованных коэффициентов дискретного вейвлет-преобразования делят на непересекающиеся области размером m×m двоичных символов, где m>2. Например, размер непересекающихся областей может составлять 32×32 или 16×16 элементов и т.д. двоичных символов. Если очередная область размером m×m двоичных символов, например 32×32 двоичных символов, состоит только из нулевых двоичных символов, или только из единичных двоичных символов, то результатом кодирования является выявленное двоичное значение и расположение его области, после чего осуществляется переход к кодированию следующей области размером m×m двоичных символов. В противном случае очередную область делят на четыре равные области размером m/2×m/2 двоичных символов, например 16×16 или 8×8 элементов и т.д. двоичных символов. Далее, каждую из областей размером m/2×m/2 двоичных символов кодируют аналогично области большего размера. Описанный процесс может итерационно повторяться, пока кодируемая область на каком-либо этапе не достигнет размеров 2×2 двоичных символов. Такую область кодируют путем непосредственной передачи в канал связи значений каждого из ее четырех двоичных символов.
Адаптивность дихотомического кодирования совокупности квантованных коэффициентов дискретного вейвлет-преобразования заключается в том, что на каждой итерации и для каждой области размером m×m двоичных символов в зависимости от преобладания в этой области нулевых или единичных двоичных символов, для ее кодирования выбирают преобладающее в этой области нулевое двоичное значение или единичное двоичное значение.
Известные способы передачи закодированной совокупности квантованных коэффициентов дискретного вейвлет-преобразования по каналу передачи описаны, например, в книге: А.Г. Зюко, Д.Д. Кловский, М.В. Назаров, Л.М. Финк "Теория передачи сигналов". - М.: Радио и связь, 1986, стр. 11.
Известные способы адаптивного дихотомического декодирования сжатого видеопотока описаны, например, в книге Фадеев Д.К., Фадеева В.Н. Вычислительные методы линейной алгебры. - М. Лань, 2002. Они заключаются в декодировании закодированных значений областей с первой до последней битовых плоскостей совокупности квантованных коэффициентов дискретного вейвлет-преобразования и восстановлении из декодированных двоичных разрядов совокупности квантованных коэффициентов дискретного вейвлет-преобразования каждой частотной полосы вейвлет-преобразования.
Известные способы деквантования коэффициентов дискретного вейвлет-преобразования описаны, например, в книге Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин "Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео". - М., ДИАЛОГ-МИФИ, 2002, стр. 308. Для этого, например, значение каждого квантованного коэффициента деквантуют путем умножения его значения на значение соответствующего коэффициента квантования таблицы квантования.
Известные способы выполнения обратного двухмерного дискретного вейвлет-преобразования по двум пространственным координатам x и y описаны, например, в книге Д. Сэломон "Сжатие данных, изображений и звука". - М., Техносфера, 2006, стр. 252-264.
Известные способы выполнения обратного дискретного косинусного преобразования по времени описаны, например, в патенте РФ 2375838. В результате по сжатому сигналу восстанавливают исходный видеопоток.
Проверка теоретических предпосылок заявленного способа кодирования и декодирования видеоинформации проверялась путем его аналитических исследований.
Была разработана программная модель кодирования и декодирования видеоинформации на основе предложенных технических решений, которые сравнивались с кодеком кодирования и декодирования видеоинформации на основе рекомендации Н.264. Использовалась кодируемая видеоинформация в виде последовательности телевизионных кадров, разбиваемой на пакеты по n=16 кадров размером 1920 на 1080 пикселов с частотой кадров 30 кадров в секунду. Кодирование видеоинформации на основе предложенных технических решений обеспечило сжатие видеоинформации в 160 раз в среднем, при этом кодек на основе рекомендации Н.264 сжал эту же последовательность телевизионных кадров в 155 раз в среднем. Повышение степени удаления избыточности кодируемой видеоинформации на основе предложенных технических решений достигнуто за счет последовательного вычисления коэффициентов дискретного косинусного преобразования по времени в каждом домене размером n×n×n пикселов для устранения временной избыточности и коэффициентов дискретного вейвлет-преобразования по двум пространственным координатам x и y для устранения пространственной избыточности, а также использования адаптивного дихотомического кодирования квантованных коэффициентов дискретного вейвлет-преобразования для устранения статистической избыточности.
Также была исследована устойчивость передаваемого сжатого видеопотока к воздействию ошибок канала связи. Исследование влияния ошибок канала связи осуществлялось путем генерации ошибок передачи двоичных символов и их наложения на двоичные символы сжатого видеопотока. Для этого генерировались равновероятно распределенные ошибки передачи очередных двоичных символов сжатого видеопотока с вероятностью их возникновения 10-6, 10-5, 10-4.
Экспериментально установлено, что при использовании кодирования и декодирования видеоинформации на основе предложенных технических решений при воздействии ошибок канала связи с вероятностью ошибки передачи двоичных символов 10-6 искажения в восстановленных кадрах визуально не наблюдаются. При воздействии ошибок канала связи с вероятностью ошибки передачи двоичных символов 10-5 и 10-4 появляются искажения в восстановленных кадрах, но во всех случаях изображение восстанавливается полностью. При этом искажения в восстановленных кадрах из-за воздействия ошибок канала связи проявляются в виде размытия четкости изображения. При воздействии аналогичных ошибок канала связи на сжатый видеопоток, закодированный и декодированный кодеком на основе рекомендации Н.264, выявлена существенно большая степень визуальных искажений в восстановленных кадрах, причем наблюдаются полностью искаженные фрагменты восстановленных кадров.
Повышение устойчивости передаваемого сжатого видеопотока к воздействию ошибок канала связи достигнуто за счет уменьшения в среднем числа искаженных ошибкой канала передачи декодируемых деквантованных коэффициентов дискретного вейвлет-преобразования.
Проведенные исследования подтверждают, что при использовании предлагаемого способа кодирования и декодирования видеоинформации обеспечивается повышение степени удаления избыточности кодируемой видеоинформации и повышение устойчивости передаваемого сжатого видеопотока к воздействию ошибок канала связи.
Способ кодирования и декодирования видеоинформации, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, заключающийся в том, что на первом этапе кодирования для устранения временной избыточности в каждом домене размером n×n×n пикселов осуществляют дискретное косинусное преобразование по времени, на втором этапе кодирования для устранения пространственной избыточности вычисляют коэффициенты дискретного частотного преобразования по двум пространственным координатам x и y, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, на этапе декодирования сжатый видеопоток последовательно подвергают декодированию, деквантованию, обратному дискретному преобразованию, в результате по сжатому сигналу восстанавливают исходный видеопоток, отличающийся тем, что на втором этапе кодирования в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного вейвлет-преобразования по двум пространственным координатам x и y, а для устранения статистической избыточности совокупность квантованных коэффициентов дискретного вейвлет-преобразования кодируют с использованием адаптивного дихотомического кодирования, причем на этапе декодирования сжатый видеопоток последовательно подвергают адаптивному дихотомическому декодированию, деквантованию, обратному двухмерному дискретному вейвлет-преобразованию по двум пространственным координатам x и y и обратному дискретному косинусному преобразованию по времени.
