Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования

Изобретение относится к телевидению и предназначено для сжатия подвижных изображений. Технический результат - обеспечение увеличения степени сжатия видеоданных при заданной ошибке восстановления изображений на приеме за счет адаптации к изменению статических свойств изображений. Для этого адаптацию осуществляют путем перестановки порядка расположения фрагментов коэффициентов дискретноого косинусного преобразования (ДКП), полученных после выполнения двумерного ДКП по оси времени и последующего выполнения одномерного ДКП таким образом, что суммарное число ненулевых коэффициентов преобразования после выполнения трехмерного ДКП-3 становится меньше по сравнению с числом ненулевых коэффициентов ДКП, получаемых после выполнения ДКП-3 без выполнения перестановки фрагментов двумерного ДКП. В заявленном способе после формирования домена размером n×n×n пикселей вычисляют коэффициенты ДКП по пространственным координатам x и y для каждого фрагмента домена. Затем выполняют перестановку фрагментов в виде вектора перестановки и выполняют операцию ДКП по времени. Коэффициенты ДКП квантуют, кодируют и с вектором перестановки передают в канал связи. На приеме указанные процедуры выполняют в обратном порядке и в результате восстанавливают исходный видеопоток. 2 з.п. ф-лы, 9 ил.

 

Изобретение относится к области кодирования, а именно к способу сжатия подвижных изображений с целью сокращения объема данных, необходимых для их хранения либо передаваемых по каналу связи для последующего восстановления изображений на приеме.

Известен способ кодирования на основе трехмерного дискретного косинусного преобразования (ДКП) [Zaharia R., Aggoun A., McCormick М. Adaptive 3D-DCT compression algorithm for continuous parallax 3D integral imaging. Journal of Signal processing: Image Communication. 17, pp. 231-242, 2002].

Недостаток способа - отсутствие адаптации в процессе кодирования к степени подвижности кадров подвижного изображения, что приводит к увеличению объема данных на выходе кодера при заданной ошибке кодирования.

Известен способ сжатия видеоданных, в котором применяется трехмерное ДКП (ДКП-3) [Bozinovic N., Konrad J. Scan or derandquantization for 3D-DCT coding in Proc. of SPIEV is. Comm. Andlm. Proc. Vol.5150. pp. 1204-1215, 2003].

В данном способе применяется обработка видеопоследовательности кадров на основе трехмерного ДКП. При этом выполнение операции преобразования начинается с пространственных координат х и у, а полученные спектральные коэффициенты двумерного ДКП (ДКП-2) подвергаются одномерному ДКП (ДКП-1) по временной координате t для сокращения временной избыточности.

Основным недостатком способа-аналога является отсутствие возможности адаптации операций кодирования к статистике исходных изображений, что приводит к невозможности достижения высоких коэффициентов сжатия.

Наиболее близким по технической сущности к заявляемому способу является "Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования" патент RU №2375838, опубл. 10.12.2009, бюл. №34. Способ-прототип заключается в следующих действиях: на передаче последовательность телевизионных кадров разбивают пакеты по n кадров, из которых формируют домены размером n×n×n пикселей, затем на первом этапе кодирования в каждом домене размером n×n×n пикселей осуществляют ДКП по времени, определяют наличие движения в каждом фрагменте размером n×n пикселей по признаку наличия ненулевых спектральных коэффициентов, кроме первого фрагмента домена, в случае наличия движения в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты ДКП (КДКП) по двум пространственным координатам х и у, полученные коэффициенты квантуют, совокупность квантованных коэффициентов кодируют для устранения пространственной избыточности, кодированные коэффициенты передают в канал связи. В случае отсутствия движения вычисляют КДКП по пространственным координатам х и у только для первого фрагмента домена и выполняют операции квантования, кодирования и передачи коэффициентов по каналу связи. На последующих этапах кодирования при поступлении очередных пакетов, если движение имеется, то процесс кодирования повторяют, если в конкретных доменах движения нет, то для них передают сигнал об использовании при декодировании предыдущего фрагмента. На приеме сжатый видеопоток подвергают декодированию, а затем деквантованию. В случае наличия движения в доменах деквантованные коэффициенты подвергают обратному ДКП-3 (ОДКП-3) (последовательное выполнение обратного двумерного ДКП (ОДКП-2D) и обратного одномерного ДКП (ОДКП-1D) и в результате восстанавливают исходный видеопоток. В случае отсутствия движения в конкретных доменах по переданным в предыдущих доменах спектральным коэффициентам (хранятся в буфере фрагментов без движения) восстанавливают фрагменты этих доменов при выполнении только обратного дискретного косинусного преобразования (ОДКП) по времени и в результате восстанавливают исходный видеопоток.

Недостаток прототипа в том, что при кодировании учет степени подвижности исходных изображений происходит путем их классификации на две группы: с отсутствием движения и с наличием движения. Это делает способ кодирования менее эффективным с позиций достигаемого сжатия при заданной ошибки восстановления на приеме вследствие недостаточной адаптации к степени подвижности кодируемых фрагментов исходного изображения.

Целью изобретения является разработка способа кодирования и декодирования видеоинформации на основе ДКП-3, обеспечивающего увеличение степени сжатия видеоданных при заданной ошибке восстановления изображений на приеме за счет адаптации к изменению статистических свойств входных изображений. Адаптация к изменению статистических свойств входных изображений осуществляется путем перестановки порядка расположения фрагментов КДКП, полученных после выполнения ДКП-2 по оси времени, последующего выполнения ДКП-1 таким образом, что суммарное число ненулевых коэффициентов преобразования после выполнения ДКП-3 становится меньше по сравнению с числом ненулевых коэффициентов преобразования, получаемых после выполнения ДКП-3 без выполнения перестановки фрагментов ДКП-2.

В заявленном способе кодирования и декодирования видеоинформации на основе ДКП-3 поставленная цель достигается тем, что в известном способе кодирования и декодирования видеоинформации на основе ДКП-3, заключающемся в том, что сжимают последовательность телевизионных кадров, для чего эту последовательность разбивают на пакеты по n кадров, из которых формируют домены размером n×n×n пикселей, над каждым доменом размером n×n×n пикселей выполняют ДКП-3 для устранения временной и пространственной избыточности, полученные КДКП квантуют, кодируют для устранения статистической избыточности и передают в канал связи, принимают из канала связи сжатый видеопоток, сжатый видеопоток подвергают декодированию, деквантованию, ОДКП-3, в результате по сжатому сигналу восстанавливают исходный видеопоток. При этом после формирования домена размером n×n×n пикселей вычисляют КДКП по пространственным координатам x и y для каждого фрагмента домена. Затем выполняют перестановку фрагментов полученных КДКП по пространственным координатам x и y. Запоминают перестановку в виде вектора перестановки. После этого выполняют операцию ДКП по времени, КДКП квантуют и кодируют. Далее полученные квантованные КДКП и вектор перестановки и передают в канал связи, принимают из канала связи, декодируют КДКП и вектор перестановки, деквантуют КДКП. Над деквантованными КДКП выполняют операцию ОДКП по времени. Выполняют обратную перестановку фрагментов КДКП по пространственным координатам x и y. Восстанавливают домен размером n×n×n пикселей путем вычисления коэффициентов ОДКП по пространственным координатам x и у и в результате восстанавливают исходный видеопоток.

Для перестановки фрагментов полученных КДКП по пространственным координатам x и y предварительно над полученными КДКП по пространственным координатам x и y выполняют операцию ДКП по времени. Далее квантуют полученные коКДКП, определяют число NZ ненулевых квантованных КДКП и запоминают его. Затем последовательно каждый фрагмент вычисленных КДКП по пространственным координатам x и y поочередно перемещают на место расположения остальных фрагментов вычисленных КДКП по координатам x и y, а на месте перемещенного фрагмента вычисленных КДКП по координатам x и y располагают фрагмент вычисленных КДКП по координатам x и y, вместо которого расположили перемещенный фрагмент вычисленных КДКП по координатам x и у. Затем для полученных после перемещения КДКП выполняют операцию ДКП по времени, квантуют и определяют число NZt ненулевых квантованных КДКП. Если NZt окажется меньше, чем ранее запомненное NZ, то выполняют переприсвоение NZ=NZt и запоминают порядок расположения фрагментов вычисленных КДКП по пространственным координатам x и y в виде вектора перестановки. В противном случае восстанавливают предыдущее расположение фрагментов вычисленных КДКП по пространственным координатам x и y.

Для запоминания порядка расположения фрагментов КДКП по пространственным координатам x и y формируют вектор перестановки размером 1×n элементов путем присвоения каждому его элементу P_i, где i=1, 2,…, n номера места расположения соответствующего фрагмента вычисленных КДКП по пространственным координатам x и y.

Благодаря новой совокупности существенных признаков в заявленном способе достигается указанный технический результат за счет изменения порядка расположения по оси времени фрагментов вычисленных КДКП по координатам x и y так, что суммарное количество ненулевых квантованных КДКП после выполнения трехмерного преобразования было минимальным.

Заявленный способ поясняется чертежами, на которых показаны:

на фиг.1 - структурная схема заявленного способа кодирования и декодирования видеоинформации на основе ДКП-3;

на фиг.2 - сущность заявленного способа на основе ДКП-3;

на фиг.3 - формирование исходного домена в виде трехмерного массива размером n×n×n пикселей;

на фиг.4 - вычисление КДКП по пространственным координатам x и y;

на фиг.5 - пример матрицы ДКП-2 размером 8×8 элементов;

на фиг.6 - пример ДКП-1 над вычисленными КДКП по пространственным координатам x и y без перестановки и с перестановкой фрагментов;

на фиг.7 - пример квантованных КДКП, после выполнения одномерного ДКП без перестановки фрагментов вычисленных КДКП по пространственным координатам x и y по оси времени;

на фиг.8 - пример квантованных КДКП, после ДКП-1 с перестановкой фрагментов вычисленных КДКП по пространственным координатам x и y по оси времени;

на фиг.9 - пример зависимостей количества ненулевых квантованных КДКП от номера фрагмента.

Возможность реализации заявленного способа кодирования и декодирования видеоинформации на основе ДКП-3 объясняется следующим.

Кадры подвижного изображения характеризуются как внутрикадровой или пространственной избыточностью, так и межкадровой или временной избыточностью. Как правило, в известных стандартах сжатия Н.263, Н.264 для устранения внутрикадровой избыточности используют какое-либо декоррелирующее преобразование, например, ДКП-2. Для устранения межкадровой избыточности используют межкадровое предсказание на основе передачи векторов движения. В способах кодирования на основе ДКП-3 устранение внутрикадровой и межкадровой избыточности осуществляется путем декорреляции пикселей исходного изображения как по пространственным координатам x и y, так и по оси времени. В результате декорреляции большая часть коэффициентов ДКП-3 оказывается нулевой или близкой к нулю, что и обеспечивает уменьшение требуемого количества бит, необходимых для кодирования коэффициентов ДКП-3. Однако, как показывают практические исследования, декоррелирующее преобразование на основе косинусных функций является оптимальным только для заданного класса изображений. Этот класс изображений ограничивается низкочастотными (с малым числом мелких деталей) изображениями и, в случае подвижного видео, изображениями с медленным изменением сцен при переходе от кадра к кадру. На практике неоптимальность используемых преобразований, особенно во временной области, проявляется в сохранении большого числа ненулевых квантованных коэффициентов преобразования, что, в свою очередь, снижает достигаемый коэффициент сжатия. Устранение этого недостатка возможно на основе реализации процедуры адаптации в процессе кодирования двумя путями. Первый состоит в изменении используемого декоррелирующего преобразования, которое бы учитывало динамику изменения межкадровых различий. Второй состоит в изменении свойств входных данных, над которыми выполняется фиксированное декоррелирующее преобразование. При этом преобразование входных данных выполняют так, чтобы привести их к виду, оптимальному для используемого декоррелирующего преобразования.

Использование первого способа проблематично. Это обусловлено не только необходимостью решения сложной задачи вычисления оптимального преобразования, но и необходимостью передачи больших объемов данных, описывающих полученное преобразование, декодирующему устройству по каналу связи с ограниченной пропускной способностью. Поэтому в заявленном способе предложен подход на основе изменений свойств входных данных при сохранении неизменным используемого ДКП в качестве декоррелирующего. Изменять свойства входных данных предлагается на основе изменения порядка следования фрагментов коэффициентов, вычисленных на основе ДКП-2 по оси времени.

Наглядно основная идея предлагаемого способа показана на фиг.2. В левом верхнем углу представлен пример домена размером 8×8×8 пикселей. При этом 1-й, 2-й, 4-й и 8-й фрагменты домена состоят из одинаковых пикселей, равных 255 (показаны белым цветом), а 3-й, 5-й, 6-й и 7-й фрагменты домена состоят из одинаковых пикселей, равных 127 (показаны серым цветом). После выполнения операции ДКП-2 над каждым фрагментом домена получены 8 фрагментов КДКП по координатам x и y (правый верхний угол фиг.2). Все вычисленные КДКП по координатам x и y каждого фрагмента равны нулю за исключением коэффициентов с координатами x=1 и y=1, равных 2040, 2040, 1016, 2040, 1016, 1016, 1016 2040 для 1, 2, 3, 4, 5, 6, 7 и 8 фрагментов соответственно. После выполнения ДКП-1 над вычисленными КДКП по координатам x и y без перестановки фрагментов получено 8 ненулевых квантованных КДКП: 4321, 525, 669, -384, 724, -76, -277, -786. С другой стороны, если осуществить перестановку фрагментов вычисленных КДКП по координатам x и у, поменяв местами 2-й и 5-й фрагменты, то будет получено 2 ненулевых квантованных КДКП: 4322, 0, 0, 0, 1448, 0, 0, 0. Таким образом, перестановка фрагментов вычисленных КДКП по координатам x и y приводит к уменьшению числа ненулевых КДКП в данном примере в 4 раза, что, в свою очередь, приводит к повышению коэффициента сжатия приблизительно во столько же раз.

Реализацию данной идеи можно пояснить на схеме, показанной на фиг.1. На вход кодера поступают домены в виде трехмерных массивов пикселей размером n×n×n. Формирование доменов размером n×n×n пикселей из пакета, состоящего из n кадров подвижного изображения, показано на фиг.3. Затем над каждым из n фрагментов домена вычисляют КДКП по координатам x и y, т.е. выполняют операцию ДКП-2, как показано на фиг.4. Данную операцию выполняют в блоке 11 (ДКП-2D фиг.1). Выполнение ДКП-2 осуществляется, например, как описано в кн.: Ахмед Н., Рао К. Ортогональные преобразования при обработке цифровых сигналов / Под ред. И.Б. Фоменко; Пер. с англ. - М.: Связь, 1980. Матричная запись ДКП-2 i-го фрагмента исходного домена, представленного матрицей [А]_i, имеет вид:

где [S]_i - вычисленные КДКП по пространственным координатам x и y i-го фрагмента; [Г] и [Г]^T - прямая и транспонированная (обратная) матрицы ДКП-2, определяемые массивом векторов $$\left\{\frac{1}{\sqrt{n}},\sqrt{\frac{2}{n}\cos \frac{\left(2m-1\right)\left(k-1\right)\pi }{2n}}\right\},$$ m=1, 2,…, n; k=2,3,…,n. На фиг.5 показан пример матрицы ДКП-2 размером 8×8 элементов.

Далее фрагменты вычисленных КДКП по координатам x и y поступают на блок перестановки. Перестановка фрагментов выполняется так, чтобы число ненулевых КДКП, полученных после выполнения ДКП-1 по оси времени, было минимальным. Данную операцию выполняют в блоке 12 (перестановка фиг.1). Перестановка фрагментов выполняется на основе вектора перестановки, который вычисляется в боке 16 (Блок управления перестановкой фиг.1) в зависимости от параметров NZ и NZt, получаемых с выхода блока квантования. После этого выполняют операцию ДКП по времени в блоке 13 (ДКП-1D фиг.1). Полученные КДКП квантуют в блоке 14 (квантование фиг.1) и кодируют в блоке 15 (кодирование фиг.1). Далее полученные квантованные КДКП и вектор перестановки и передают в канал связи (блок канал связи фиг.1), принимают из канала связи. Декодируют КДКП и вектор перестановки. Данную операцию выполняют в блоке 21 (декодирование фиг.1). Затем деквантуют КДКП в блоке 22 (деквантование фиг.1). Над деквантованными КДКП выполняют операцию ОДКП по времени в блоке 23 (ОДКП-1D фиг.1). После этого выполняют обратную перестановку фрагментов КДКП по пространственным координатам x и y в блоке 24 (перестановка фиг.1). Далее восстанавливают домен размером n×n×n пикселей путем вычисления коэффициентов ОДКП по пространственным координатам x и y в блоке 25 (ОДКП-2D фиг.1) и в результате восстанавливают исходный видеопоток.

Для наглядности на фиг.6 в левой части показан результат выполнения ДКП-1 над вычисленными КДКП по пространственным координатам x и y без перестановки, т.е. 1 фрагмент КДКП расположен на первом месте, второй - на втором и т.д. Вектор перестановки в этом случае имеет вид P=[1 2 3 4 5 6 7 8]. Число ненулевых квантованных КДКП в данном примере составило 107. В правой части фиг.6 показан результат выполнения ДКП-1 над вычисленными КДКП по пространственным координатам x и y после их перестановки. Найденный вектор перестановки в данном примере имеет вид P=[7 5 4 3 1 6 2 8], т.е. 7 фрагмент КДКП расположен на первом месте, 5 - на втором и т.д. в соответствии с вектором перестановки. Число ненулевых квантованных КДКП в данном случае составило 88, что меньше, чем в первом случае. Примеры квантованных КДКП, после выполнения ДКП-1 без перестановки фрагментов вычисленных КДКП по пространственным координатам x и y по оси времени и сперестановкой показаны на фиг.7 и 8 соответственно.

Для оценки эффективности предлагаемого способа кодирования и декодирования на основе ДКП-3 проведено имитационное моделирование на ПЭВМ. В качестве показателя эффективности использовался коэффициент снижения количества ненулевых квантованных КДКП при перестановке фрагментов вычисленных КДКП по пространственным координатам x и y относительно количества ненулевых квантованных КДКП, полученных без перестановки.

В качестве исходных подвижных изображений использовался набор тестовых изображений размером 576×720 пикселей в формате YUV 4:4:4 и кадровой скоростью 25 кадров/с. Размер исходного домена составил 8×8×16 пикселей.

На фиг.9 показаны характерные зависимости количества ненулевых квантованных КДКП от номера фрагмента:

а) без перестановки фрагментов;

б) с перестановкой фрагментов;

с) величина разности между количеством КДКП, полученных с перестановкой и без перестановки.

Определим коэффициент эффективности как $$K_{эф}=\left(\frac{N_{бп}-N_{п}}{N_{бп}}\right)\cdot 100\%,$$

N_бп - суммарное количество ненулевых квантованных КДКП, полученных без перестановки фрагментов; N_п - суммарное количество ненулевых квантованных КДКП, полученных с перестановкой фрагментов.

Результаты имитационного моделирования разработанного способа показали, что выигрыш составил 15÷20% по сравнению с прототипом. Как показали исследования, уменьшение количества ненулевых квантованных КДКП на 15÷20% приводит к такой же величине увеличения коэффициента сжатия при сохранении прежнего качества восстановленных изображений, что подтверждает достижения цели изобретения.

1. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования (ДКП), заключающийся в том, что сжимают последовательность телевизионных кадров, для чего эту последовательность разбивают на пакеты по n кадров, из которых формируют домены размером n×n×n пикселей, над каждым доменом размером n×n×n пикселей выполняют трехмерное ДКП для устранения временной и пространственной избыточности, полученные коэффициенты ДКП квантуют, кодируют для устранения статистической избыточности и передают в канал связи, принимают из канала связи сжатый видеопоток, сжатый видеопоток подвергают декодированию, деквантованию, обратному трехмерному ДКП, в результате по сжатому сигналу восстанавливают исходный видеопоток, отличающийся тем, что после формирования домена размером n×n×n пикселей вычисляют коэффициенты ДКП по пространственным координатам x и y для каждого фрагмента домена, затем выполняют перестановку фрагментов полученных коэффициентов ДКП по пространственным координатам x и y, запоминают перестановку в виде вектора перестановки, выполняют операцию ДКП по времени, коэффициенты ДКП квантуют, кодируют полученные квантованные коэффициенты ДКП и вектор перестановки и передают в канал связи, принимают из канала связи, декодируют коэффициенты ДКП и вектор перестановки, деквантуют коэффициенты ДКП, над деквантованными коэффициентами ДКП выполняют операцию обратного ДКП по времени, выполняют обратную перестановку фрагментов коэффициентов ДКП по пространственным координатам x и y, восстанавливают домен размером n×n×n пикселей путем вычисления коэффициентов обратного ДКП по пространственным координатам x и y и в результате восстанавливают исходный видеопоток.

2. Способ по п.1, отличающийся тем, что для перестановки фрагментов полученных коэффициентов ДКП по пространственным координатам x и у предварительно над полученными коэффициентами ДКП по пространственным координатам x и y выполняют операцию ДКП по времени, квантуют полученные коэффициенты ДКП, определяют число NZ ненулевых квантованных коэффициентов ДКП и запоминают его, затем последовательно каждый фрагмент вычисленных коэффициентов ДКП по пространственным координатам x и у поочередно перемещают на место расположения остальных фрагментов вычисленных коэффициентов ДКП по координатам x и у, а на месте перемещенного фрагмента вычисленных коэффициентов ДКП по координатам x и у располагают фрагмент вычисленных коэффициентов ДКП по координатам x и y, вместо которого расположили перемещенный фрагмент вычисленных коэффициентов ДКП по координатам x и y, для полученных после перемещения коэффициентов ДКП выполняют операцию ДКП по времени, квантуют и определяют число NZt ненулевых квантованных коэффициентов ДКП и, если NZt окажется меньше, чем ранее запомненное NZ, то выполняют переприсвоение NZ=NZt и запоминают порядок расположения фрагментов вычисленных коэффициентов ДКП по пространственным координатам x и y в виде вектора перестановки, в противном случае восстанавливают предыдущее расположение фрагментов вычисленных коэффициентов ДКП по пространственным координатам x и y.

3. Способ по п.1, отличающийся тем, что для запоминания порядка расположения фрагментов вычисленных коэффициентов ДКП по пространственным координатам x и y формируют вектор перестановки размером 1×n элементов путем присвоения каждому его элементу P_i, где i=1, 2,…, n номера места расположения соответствующего фрагмента вычисленных коэффициентов ДКП по пространственным координатам x и y.