Встраивание водяного знака в сжатый информационный сигнал
Изобретение относится к способам встраивания водяного знака (пространственную псевдошумовую последовательность) в информационный сигнал (сжатый видеопоток). Технический результат - очень простая система управления скоростью передачи битов и отсутствие необходимости компенсации дрейфа - достигается тем, что в способе и устройстве водяной знак встраивают путем избирательного отбрасывания наименьших квантованных коэффициентов дискретно-косинусного преобразования (ДКП). Отброшенные коэффициенты последовательно объединяют в серии оставшихся коэффициентов. Решение о том, отбросить данный коэффициент или нет, принимают на основе предварительно вычисленного значения коэффициента ДКП в буфере водяного знака и количества уже отброшенных коэффициентов на блок ДКП размером 8×8. 2 н. и 6 з.п. ф-лы, 3 ил.
Область техники, к которой относится изобретение
Изобретение относится к способу встраивания водяного знака в информационный сигнал, который сжат таким образом, чтобы включать в себя первые выборки сигнала, имеющие заданное первое значение, и дополнительные выборки сигнала, имеющие другое значение. Типичным примером такого сжатого информационного сигнала является видеосигнал MPEG2, в котором видеоизображения представлены коэффициентами преобразования, значительное количество которых имеет нулевое первое значение.
Уровень техники
Известный способ встраивания водяного знака в сжатый видеосигнал раскрыт в работе F.Hartung and B. Girod: «Digital Watermarking of MPEG-2 Coded Video in the Bitstream Domain», опубликованной в ICASSP, Vol.4, 1997, pp.2621-2624. Водяной знак представляет собой псевдошумовую последовательность в домене исходного сигнала. Водяной знак перед встраиванием подвергается дискретному косинусному преобразованию (ДКП). Ненулевые коэффициенты ДКП сжатого сигнала модифицируют путем добавления к ним соответствующих коэффициентов преобразованной последовательности водяного знака.
Известная схема встраивания водяного знака имеет ряд недостатков. При использовании кодирования с компенсацией движения, такого как MPEG2, модификация коэффициентов преобразования может распространяться во времени. Водяные знаки из предыдущих кадров могут накапливаться в текущем кадре, приводя к визуальному искажению. Чтобы избежать этого, в известном устройстве встраивания водяного знака необходимо предусмотреть компенсацию дрейфа. Кроме того, модификация коэффициентов ДКП в уже сжатом битовом потоке влияет на скорость передачи битов. Поэтому в известном устройстве встраивания проверяется, увеличивает ли передача коэффициента встроенного водяного знака скорость передачи битов и предается исходный коэффициент, если это имеет место.
Задача и сущность изобретения
Задачей изобретения является создание способа встраивания водяного знака, который нивелирует вышеупомянутые недостатки.
В соответствии с этой задачей способ согласно изобретению отличается тем, что этап модификации применяют для выборок сигнала в том случае, если модифицированная выборка сигнала принимает первое значение из-за указанной модификации. За счет этого достигается увеличение количества выборок сигнала, имеющих первое значение, что обычно приводит к снижению скорости передачи битов. При этом нет необходимости в реальной проверке воздействия модификации выборок на количество битов.
Предпочтительно, чтобы выборки сигнала, выделенные для модификации, представляли собой выборки, имеющие наименьшее ненулевое значение (например, коэффициенты видеосигнала MPEG квантуют со значением +1 или -1). Так как эти коэффициенты представляют шумоподобную информацию и изменения очень малы (±шаг квантования), компенсация дрейфа не обязательна и встроенный водяной знак получается незаметным, но при этом обнаружимым.
Перечень фигур чертежей
Фиг.1 - схематическое представление устройства для реализации способа согласно изобретению.
Фиг. 2А-2С и 3А-3G - диаграммы, иллюстрирующие работу устройства, показанного на фиг.1.
Описание предпочтительного варианта осуществления изобретения
Далее следует описание изобретения со ссылками на устройство для встраивания водяного знака в видеосигнал, сжатый согласно стандарту MPEG2, хотя изобретение не ограничивается ни видеосигналами, ни конкретным стандартом сжатия. Заметим, что сжатый сигнал возможно уже имеет встроенный водяной знак. В этом случае в этот сигнал встраивается дополнительный водяной знак. Этот процесс встраивания водяного знака в сигнал, уже содержащий водяной знак, обычно называют «перемаркировкой» (remarking).
На фиг.1 представлена схема устройства, реализующего способ согласно изобретению. Устройство включает в себя блок 110 синтаксического анализа, блок 120 обработки кодовых слов переменной длины (КСПД VLC), выходной каскад 130 и буфер 140 водяного знака. Работа устройства описывается со ссылками на фиг.2А-2С и 3А-3G.
Устройство принимает начальный видеопоток MPin в стандарте MPEG, который представляет собой последовательность видеоизображений. Одно такое видеоизображение в качестве примера показано на фиг.2А. Видеоизображения разбиты на блоки, состоящие из 8х8 пикселей; один из таких блоков обозначен ссылкой 201 на фиг.2А. Блоки пикселей представлены соответствующими блоками из 8х8 коэффициентов дискретного косинусного преобразования (ДКТ). Верхний левый коэффициент преобразования указанного блока ДКТ представляет среднюю яркость соответствующего блока пикселей и обычно называется коэффициентом для постоянной составляющей ПсС, (ДС). Другие коэффициенты представляют пространственные частоты и называются коэффициентами для переменной составляющей ПрС, (АС). Верхние левые коэффициенты ПрС представляют крупные детали изображения, а нижние правые коэффициенты представляют мелкие детали. Коэффициенты ПрС являются квантованными. Этот процесс квантования приводит к тому, что многие коэффициенты ПрС блока ДКТ принимают нулевое значение. На фиг.3А показан типичный пример блока 300 ДКТ, соответствующий блоку 201 пикселей на фиг.2А.
Коэффициенты блока ДКТ последовательно сканируют в соответствии с зигзагообразной схемой (301 на фиг.3А) и кодируют методом кодирования с переменной длиной слова. Схема кодирования с переменной длиной слова представляет собой комбинацию кодирования по Хаффмену и кодирования длины серии. В частности, каждая серия нулевых коэффициентов ПрС и последующий ненулевой коэффициент ПрС образуют пару «серия-уровень», которую кодируют в виде одного кодового слова переменной длины. На фиг.3В показаны пары «серия-уровень» для блока 300 ДКТ. Код конца блока КБ, (EOB) обозначает отсутствие других ненулевых коэффициентов в блоке ДКТ. На фиг.3С показаны наборы кодовых слов переменной длины, представляющие блок 300 ДКТ, принятый устройством.
В начальном видеопотоке MPEG2 четыре указанных блока яркости ДКТ и два блока цветности ДКТ образуют макроблок, несколько макроблоков образуют вырезку, несколько вырезок образуют изображение (поле или кадр), а ряд изображений образует видеопоследовательность. Некоторые изображения кодируются автономно (I-изображения), другие изображения подвергаются кодированию с предсказанием и компенсацией движения (P- и В-изображения). В последнем случае коэффициенты ДКТ представляют различия между пикселями текущего изображения и пикселями эталонного изображения, а не сами пиксели.
Начальный видеопоток MPin в стандарте MPEG2 подают в блок 110 синтаксического анализа (фиг.1). Этот блок синтаксического анализа частично интерпретирует битовый поток MPEG и расщепляет его на кодовые слова переменной длины, представляющие коэффициенты ДКТ яркости (далее кодовые слова переменной длины (КСПД, VLC), и другие коды MPEG. Этот блок также собирает информацию, такую как координаты блоков, тип кодирования (поле или кадр), тип сканирования (зигзагообразно или поочередно). Кодовые слова КСПД и связанную с ними информацию подают в блок 120 обработки КСПД. Другие коды MPEG подают непосредственно в выходной каскад 130.
Встраиваемый водяной знак представляет собой псевдослучайную шумовую последовательность в пространственной области. В данном варианте осуществления устройства базовый образец водяного знака 128×128 размещается мозаичным способом по всему изображению. Эта операция показана на фиг.2 В. Базовый образец псевдослучайного водяного знака представлен здесь символом W для лучшей визуализации.
Значения пространственных пикселей базового водяного знака преобразуют в аналогичное представление в виде визуального содержания (видеоконтента) в потоке MPEG. С этой целью базовый образец водяного знака 128×128 разбивают на блоки 8×8, один из которых обозначен ссылкой 202 на фиг.2В. Эти блоки подвергаются дискретному косинусному преобразованию и квантованию. Заметим, что операцию преобразования и квантования необходимо выполнить только один раз. Вычисленные таким образом коэффициенты ДКТ запоминаются в буфере 140 водяного знака 128×128, входящего в состав устройства.
Буфер водяного знака 140 соединен с блоком 120 обработки КСПД, в котором происходит действительное встраивание водяного знака. Блок обработки КСПД декодирует (121) выбранные кодовые слова переменной длины, представляющие видеоизображение в пары «серия - уровень» и преобразует (122) последовательность пар «серия - уровень» в двумерный массив из коэффициентов ДКТ 8×8. Встраивание водяного знака происходит в схеме модификации 123 путем добавления к каждому блоку ДКТ видеоизображения пространственно соответствующего блока ДКТ водяного знака. Таким образом, блок ДКТ, представляющий блок водяного знака 202, добавляют к блоку ДКТ, представляющему блок изображения 201 по фиг.2А. Однако согласно предпочтительному варианту осуществления изобретения для встраивания водяного знака выделяют только те коэффициенты ДКТ, которые превращаются в нулевые коэффициенты в результате указанной операции. Например, коэффициент ПрС, имеющий значение 2 на фиг.3А, будет модифицирован только в том случае, если соответствующий коэффициент водяного знака имеет значение -2. Математически это можно записать следующим образом:
если cin(i,j)+w(i,j)=0,
тогда cout(i,j)=0;
в противном случае cout(i,j)=cin(i,j)
где сin - коэффициент блока ДКТ видеоизображения, w - коэффициент пространственно соответствующего блока ДКТ водяного знака, а сout - коэффициент блока ДКТ видеоизображения с встроенным водяным знаком.
Ясно, что количество нулевых коэффициентов в блоке ДКТ в результате этой операции возрастает, так что блок ДКТ видеоизображения с встроенным водяным знаком можно кодировать более эффективно, чем исходный блок ДКТ. Это особенно проявляется в случае сжатых сигналов MPEG, поскольку новый нулевой коэффициент будет включен в серию из другой пары «серия - уровень» (слияние серии). Повторное кодирование выполняют кодером 124 с переменной длиной слова (фиг.1). Блок с встроенным водяным знаком подают в выходной каскад 130, который восстанавливает поток MPEG путем копирования кодов MPEG, подаваемых блоком 110 синтаксического анализа, и вставки восстановленных КСПД, предоставляемых блоком 120 обработки КСПД. Кроме того, выходной каскад 130 может вставлять заполняющие биты, чтобы обеспечить совпадение скорости передачи битов на выходе со скоростью передачи исходных видеобитов. В предпочтительном варианте осуществления изобретения в буфере 140 водяного знака запоминаются только знаки коэффициентов ДКТ образца водяного знака, так что в этом буфере хранятся только значения +1 и -1. Это уменьшает емкость памяти буфера до 1 бит на коэффициент (всего 128×128 битов). Кроме того, эксперименты показали, что встраивание водяного знака достаточно применять только для старших коэффициентов ДКТ (старшие коэффициенты - это коэффициенты, идущие первыми при зигзагообразном сканировании). Это дополнительно уменьшает требования к памяти. На фиг.3D показан типичный пример блока DCT 302 ДКТ водяного знака, соответствующего блоку 202 пространственного водяного знака на фиг.2В.
На фиг.3Е показан блок 303 ДКТ видеоизображения с встроенным водяным знаком, полученный путем добавления к блоку 300 ДКТ видеоизображения блока 302 ДКТ водяного знака. В этом конкретном примере один из нулевых коэффициентов (коэффициент со значением -1 на фиг.3А) превращается в нулевой коэффициент, поскольку пространственно соответствующий ему коэффициент водяного знака имеет значение +1. На фиг.3F показаны пары «серия - уровень» блока ДКТ с встроенным водяным знаком. Заметим, что предшествующие пары «серия - уровень» (1, -1) и (0, 2) заменены одной парой «серия - уровень» (2, 2). На фиг.3G показан соответствующий выходной битовый поток. Для экономии в этом примере одного бита появилась операция слияния серий.
На фиг.2С показано изображение с встроенным водяным знаком, которое представлено выходным сигналом MPout устройства. Блок пикселей, обозначенный на этой фигуре ссылкой 203, соответствует блоку 303 ДКТ видеоизображения с встроенным водяным знаком на фиг.3Е. Как можно видеть из фиг.2С, результат встраивания водяного знака изменяется от фрагмента к фрагменту и от блока к блоку.
В вышеописанном примере для модификации отбирают только наименьшие коэффициенты (+1 и -1). Это позволяет избежать необходимости компенсации дрейфа и делает водяной знак незаметным особенно тогда, когда количество модифицируемых коэффициентов ограничено заданным максимальным значением (например, 3). Следует заметить, что значения коэффициентов водяного знака +1 и -1 в вышеописанном варианте могут также быть присвоены для того, чтобы обозначить направление (положительное и отрицательное соответственно), в котором необходимо изменять соответствующий коэффициент изображения. Например, может быть указано, что отрицательные коэффициенты ДКТ в заданном диапазоне (например, -2 и -1) превращаются в нули при значении коэффициента водяного знака +1, в то время как положительные коэффициенты ДКТ в данном диапазоне (например, +2 и +1) превращаются в нули при значении коэффициента водяного знака -1.
Кроме того, следует заметить, что начальный видеопоток MPEG2 может включать блоки ДКТ, кодированные по полям, и блоки ДКТ, кодированные по кадрам. В соответствии с этим буфер 140 водяного знака может быть скомпонован таким образом, чтобы содержать два образца водяного знака: один для блоков, кодированных по полям, и один для блоков, кодированных по кадрам. Затем выбирают образец, используемый для встраивания водяного знака, с помощью сигнала идентификации выбора поля/кадра, находящегося во входном видеопотоке.
В вышеописанном устройстве для встраивания водяного знака в кодированный сигнал MPEG часть «уровень» из пар «серия - уровень» изменяется. Однако уровень не является действительным значением коэффициента ПрС, а является его квантованной версией. Например, пара «серия - уровень» (1, -1) на фиг.3В может фактически представлять коэффициент Х=-104. В другом блоке та же пара (1, -1) может представлять коэффициент Х=-6 в зависимости от размера шага квантователя. Не приходится говорить о том, что превращение значения коэффициента ПрС из -104 в 0 будет в общем случае по-другому влиять на воспринимаемость встроенного водяного знака, чем превращение того же коэффициента ПрС из -6 в 0.
Таким образом, может оказаться необходимым управлять процессом встраивания водяного знака, с тем чтобы уменьшить его влияние на видимость. С этой целью дополнительный вариант осуществления способа встраивания включает в себя этап, на котором управляют количеством и/или положениями модифицируемых коэффициентов в зависимости от размера шага квантователя.
В декодере MPEG обратное квантование обеспечивается путем умножения принятого уровня х(n) на размер шага квантователя. Размер шага квантователя регулируется матрицей W(n) взвешивания, которая модифицирует размер шага в блоке, и масштабным коэффициентом QS, который модифицирует размер шага от (макро)блока к (макро)блоку. Следующее уравнение задает арифметику MPEG для восстановления коэффициента Х(n) ПрС из значения декодированного уровня х(n):X(n)=x(n)×W(n)×QS,
где n обозначает индекс в порядке зигзагообразного сканирования.
Имеются различные способы создания верхней границы для количества коэффициентов, которое разрешено модифицировать. В одном варианте осуществления уровень х(n) может быть модифицирован только тогда, когда соответствующий размер шага квантования Q(n)=W(n)×QS меньше заданного порогового значения. Таким образом, для различных позиций в блоке ДКТ (то есть для разных индексов n) можно использовать разные пороговые значения.
В другом варианте осуществления максимальное количество N коэффициентов, которые разрешено использовать для модификации в блоке, представляет собой функцию масштабного коэффициента QS квантователя, так что N уменьшается, когда QS возрастает. Осуществимость этого варианта осуществления можно легко представить, если учесть, что масштабный коэффициент в действительности служит индикатором степени квантования блока ДКТ. Чем больше масштабный коэффициент, то есть, чем больше размер шага квантования, тем меньшее количество коэффициентов можно изменить, чтобы обеспечить незаметность данного эффекта. Примером такой функции является
где с - заданная константа.
Масштабный коэффициент QS квантователя находится в битовых потоках MPEG в качестве комбинации параметров quantizer_scale_code и параметром q_scale_type. Параметр quantizer_scale_code представляет собой 5-битовый код. Параметр q_scale_type служит индикатором того, представляет ли упомянутый код линейный диапазон значений QS между 2 и 62 либо экспоненциальный диапазон значений межу 1 и 112. В обоих случаях код служит индикатором размера шага. Соответственно, член QS в вышеупомянутой функции можно также заменить параметром quantizer_scale_code.
Преимущество способа также выявляется в управлении положениями коэффициентов, модифицируемых в ходе процесса встраивания водяного знака в зависимости от размера шага квантователя. Чем больше размер шага квантователя, тем позднее выполняются требуемые модификации при зигзагообразном сканировании. Это оставляет низкочастотные коэффициенты неизменными и сужает видимость процесса встраивания водяного знака до коэффициентов более высоких частот.
Отличительный признак управления максимальным количеством и/или положениями модифицируемых коэффициентов в зависимости от размера шага квантователя требует только незначительной модификации устройства. Такую модификацию могут легко выполнить специалисты в данной области техники, и поэтому она здесь не показана.
Раскрыты способ и устройство для встраивания водяного знака в сжатый видеопоток MPEG. Водяной знак (пространственную шумовую последовательность) встраивают путем избирательного отбрасывания наименьших квантованных коэффициентов ДКТ. Отброшенные коэффициенты последовательно объединяют в серии оставшихся коэффициентов. Решение о том, отбросить данный коэффициент или нет, принимают на основе предварительно вычисленного значения в буфере водяного знака и количества уже отброшенных коэффициентов на блок ДКТ размером 8×8. К преимуществам этого способа относятся: (i) очень простая система управления скоростью передачи битов, и (ii) отсутствие необходимости компенсации дрейфа. Данный алгоритм может быть реализован весьма эффективным образом с точки зрения требований к памяти и вычислительной сложности.
1. Способ встраивания водяного знака в информационный сигнал, где водяной знак и сигнал сжаты методом дискретно-косинусного преобразования (ДКП) с последующим квантованием и получением блоков коэффициентов ДКП, заключающийся в том, что сигнал разделяют на секции, выделяют его первые выборки, имеющие заданное значение коэффициентов ДКП, и дополнительные выборки сигнала, имеющие другое значение коэффициентов ДКП, причем данный способ включает в себя модификацию выборок сигнала в соответствии с образцом водяного знака, путем добавления к каждому блоку коэффициентов ДКП сигнала пространственно соответствующего блока коэффициентов ДКП водяного знака, причем для встраивания водяного знака выделяют только те коэффициенты ДКП водяного знака, которые при добавлении к коэффициентам ДКП сигнала превращаются в нулевые коэффициенты.
2. Способ по п.1, в котором упомянутое заданное значение равно нулю, и выборки сигнала, выделенные для модификации, являются выборками сигнала, имеющими наименьшее ненулевое значение.
3. Способ по п.1, в котором выборки сигнала квантованы с размером шага квантователя, а выборки сигнала, выделенные для модификации, являются выборками сигнала, квантуемого с размером шага, меньшим заданного порогового значения.
4. Способ по п.1, в котором количество выборок сигнала, выделенных для модификации, ограничено заданным максимальным значением на секцию.
5. Способ по п.4, в котором выборки сигнала одной секции квантованы в соответствии с масштабом шага квантователя, причем данный способ включает в себя этап, на котором регулируют упомянутое максимальное значение модифицированных выборок сигнала в зависимости от масштаба шага квантователя.
6. Способ по п.1, в котором в отдельно взятой секции сигнала регулируют положение выборок сигнала, выделенных для модификации в секции в зависимости от масштаба шага квантователя.
7. Способ по любому из пп.1-6, в котором сжатый сигнал включает в себя кодовые слова переменной длины, каждое из которых идентифицирует серию первых выборок сигнала, а также последующую или предыдущую дополнительную выборку сигнала, причем способ дополнительно включает в себя этапы, на которых декодируют кодовые слова переменной длины в соответствующие первые и дополнительные выборки сигнала перед этапом модификации; объединяют модифицированную выборку сигнала с последующими или предыдущими первыми выборками сигнала для получения новой серии первых выборок сигнала, и кодируют новую серию первых выборок сигнала и последующей или предыдущей дополнительной выборки сигнала в новое кодовое слово переменной длины.
8. Устройство для встраивания водяного знака в информационный сигнал, который сжат таким образом, чтобы включать первые выборки сигнала, имеющие заданное первое значение, и дополнительные выборки сигнала, имеющие другое значение, причем данное устройство включает в себя средство для модификации выборок сигнала в соответствии с образцом водяного знака, отличающееся тем, что средство для модификации выполнено с возможностью модификации выборок сигнала, если модифицированная выборка сигнала принимает в результате модификации заданное значение.
Приоритет по пунктам:
23.01.2001 по пп.1, 2, 4, 7, 8;
05.12.2001 по пп.3, 5, 6.
