Устройство и способ кодирования



Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования
Устройство и способ кодирования

 


Владельцы патента RU 2426270:

СОНИ КОРПОРЕЙШН (JP)

Изобретение относится к системам кодирования изображений. Техническим результатом является подавление мерцания в модуле группы изображений (GOP) (ГИ) для повышения качества изображения, предоставляемого пользователю. Указанный технический результат достигается тем, что предложено устройство кодирования, содержащее: модуль определения, выполненный с возможностью определения, является ли ГИ такой ГИ, мерцание модуля ГИ которой непосредственно видимо в изображении, декодированном после кодирования ГИ, для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и модуль кодирования, выполненный с возможностью обработки для подавления мерцания модуля ГИ, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, и кодирования обработанной ГИ, в котором модуль кодирования меняет ГИ, которая предназначена для определения, на открытую ГИ, в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, в которой мерцание непосредственно видимо, и ГИ, которая предназначена для определения, представляет собой закрытую ГИ, и выполняет кодирование измененной ГИ. 3 н. и 13 з.п. ф-лы, 11 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу кодирования, для кодирования данных изображения.

Уровень техники

В последние годы было разработано устройство, основанное на схеме H.264/AVC (усовершенствованное видеокодирование), в котором данные изображения обрабатывают как цифровые данные, и при этом, с целью высокоэффективной передачи и сохранения информации, данные сжимают, используя дискретные косинусные преобразования или другое ортогональное преобразование и компенсацию движения, используя избыточность, присущую информации изображения.

В стандарте MPEG (Группа экспертов по вопросам движущегося изображения) 2, количество эталонных кадров равно двум, и количество прошедших эталонных изображений, находящихся перед настоящим изображением, всегда равно одному.

В отличие от этого, в H.264/AVC разрешено использовать множество эталонных кадров, одновременно, например, как представлено на фиг.10 (А), также возможно ссылаться на расположенные далее в прошлом изображения через I изображение.

В соответствии с этим, даже когда начинают декодировать с I изображения, не гарантируется, что декодирование будет осуществляться правильно. Это становится большой проблемой при оперативном доступе и т.д. Поэтому в H.264/AVC предусмотрено изображение, называемое изображением IDR (МОД, мгновенное обновление декодера), как показано на фиг.10 (В). При использовании H.264/AVC, когда декодируют изображение МОД, сбрасывают всю информацию, сохраненную в запоминающем устройстве, которая требуется для декодирования таких эталонных кадров, номера кадров и РОС (ППИ, подсчет порядка изображения: информация, обозначающая порядок вывода изображений). В соответствии с этим, запрещены ссылки на изображения, расположенные далее в прошлом, за пределами изображения МОД. Кроме того, при использовании изображения МОД, инициализируют запоминающее устройство эталонного кадра, буфер и т.д. Когда декодирование начинают с изображения МОД, гарантируется правильное декодирование изображения.

Сущность изобретения

Техническая задача

В случае, например, когда последовательность практически полностью включает в себя неподвижные изображения, содержащие мало движения, или в случае, когда имеется область, в которой мало движения в части последовательности, текстуру изображения или области кодируют со ссылкой на I изображений, и Р и В изображения пропускают. Благодаря этому получают хорошее декодированное изображение при малых объемах кодирования.

Однако, в случае, когда изображение МОД, как показано на фиг.10 (В), вставляют с постоянным интервалом, возникает проблема, поскольку в области неподвижного изображения с особенно высокой степенью сложности (активности), в результате влияния шумов, присутствующих в изображении, разность в силе фильтра деблокирования или направления прогнозирования внутри кадра происходит на границе GOP (ГИ, группы изображений), и это заканчивается просмотром с мерцанием модуля ГИ (мерцание в модуле ГИ), что сказывается на качестве изображения для пользователя.

Для преодоления описанной выше проблемы предшествующего уровня техники желательно обеспечить устройство кодирования, способ кодирования и программу, позволяющие подавлять мерцание в модуле ГИ.

Техническое решение

Для преодоления проблемы предшествующего уровня техники, описанной выше, устройство кодирования в соответствии с настоящим изобретением имеет модуль определения, выполненный с возможностью определения, является ли ГИ такой ГИ, мерцание модуля ГИ которой непосредственно видимо в изображении, декодированном после кодирования ГИ для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и модуль кодирования, выполненный с возможностью применения обработки для подавления мерцания модуля ГИ, когда модуль определения определяет, что ГИ представляет собой такую ГИ, мерцание которой непосредственно видимо, и кодирует эту ГИ.

Кроме того, устройство кодирования в соответствии с настоящим изобретением имеет средство определения, предназначенное для определения, является ли ГИ такой ГИ, в которой мерцание модуля ГИ непосредственно видимо в изображении, декодированном после кодирования ГИ для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и средство кодирования для применения обработки, для подавления мерцания модуля ГИ, когда средство определения определяет, что ГИ представляет собой такую ГИ, мерцание которой непосредственно видимо, и кодирует эту ГИ.

Способ кодирования по второму аспекту изобретения включает в себя этап определения, состоящий в определении, является ли ГИ такой ГИ, в которой мерцание модуля ГИ непосредственно видимо в изображении, декодированном после кодирования ГИ для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и этап кодирования, состоящий в применении обработки, для подавления мерцания модуля ГИ, когда на этапе определения определяют, что ГИ представляет собой такую ГИ, мерцание которой непосредственно видимо, и кодируют эту ГИ.

Программа в соответствии с третьим аспектом изобретения представляет собой программу, выполняемую компьютером, выполняющим обработку кодирования, которая инициирует выполнение компьютером следующих процедур: процедуры определения, состоящей в определении, является ли ГИ такой ГИ, в которой мерцание модуля ГИ непосредственно видимо в изображении, декодированном после кодирования ГИ для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и процедуры кодирования, состоящей в применении обработки для подавления мерцания модуля ГИ, когда в процедуре определения определяют, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, и кодируют эту ГИ.

Преимущественный эффект

В соответствии с настоящим изобретением, предусматриваются устройство кодирования, способ кодирования и программа, которые позволяют подавлять мерцание модуля ГИ.

Краткое описание чертежей

На фиг.1 показан вид общей конфигурации системы связи в соответствии с первым вариантом воплощения настоящего изобретения.

На фиг.2 показан вид конфигурации схемы кодирования, показанной на фиг.1.

На фиг.3 показана функциональная блок-схема схемы управления ГИ, показанной на фиг.2.

На фиг.4 показана блок-схема последовательности операций, поясняющая обработку схемы управления ГИ, показанной на фиг.3.

На фиг.5 показана схема, поясняющая обработку схемы управления ГИ, показанной на фиг.3.

На фиг.6 показана блок-схема последовательности операций, поясняющая обработку схемы прогнозирования и компенсации движения, показанной на фиг.2.

На фиг.7 показана блок-схема последовательности операций, поясняющая обработку схемы выбора, представленной на фиг.2.

На фиг.8 показана блок-схема последовательности операций, поясняющая обработку схемы управления скоростью, представленной на фиг.2.

На фиг.9 показан вид конфигурации устройства кодирования в соответствии со вторым вариантом воплощения настоящего изобретения.

На фиг.10 показана схема, поясняющая проблему предшествующего уровня техники.

Пояснение номеров ссылочных позиций

2, 2a… устройство кодирования, 10, 10a… схема управления ГИ, 22… схема А/Ц преобразования, 23… схема изменения компоновки изображения, 24… схема обработки, 25… схема ортогонального преобразования, 26… схема квантования, 27… схема реверсивного кодирования, 28… буфер, 29… схема обратного квантования, 30… схема обратного ортогонального преобразования, 31… схема реконструкции, 32… фильтр разблокирования, 33… запоминающее устройство, 41… схема прогнозирования внутри кадра, 42… схема прогнозирования и компенсации движения, 44… схема выбора, 46… схема управления скоростью, 71… модуль определения мерцания ГИ и 72… модуль управления ГИ.

Подробное описание изобретения

<Первый вариант воплощения>

Ниже будет описан первый вариант воплощения настоящего изобретения.

Вначале поясняется соответствие между компонентами настоящего варианта воплощения и компонентами настоящего изобретения.

Модули 71 определения мерцания ГИ схем 10 и 10a управления ГИ, показанных на фиг.2 и фиг.9, представляют собой примеры средства определения в соответствии с настоящим изобретением. Далее модули 72 управления ГИ, схемы 42 прогнозирования и компенсации движения, схемы 44 выбора и схемы 46 управления скоростью схем 10 и 10a управления ГИ представляют собой примеры средства кодирования в соответствии с настоящим изобретением.

На фиг.1 показана концептуальная схема системы 1 передачи данных в соответствии с настоящим вариантом воплощения.

Как показано на фиг.1, система 1 передачи данных имеет устройство 2 кодирования, предусмотренное на стороне передачи устройства 3 декодирования, предусмотренное на стороне приема.

В системе 1 передачи данных устройство 2 кодирования на стороне передачи генерирует данные изображения кадра (поток битов), сжатые с использованием дискретного косинусного преобразования, преобразования Карунена-Лоэва, или другого ортогонального преобразования и компенсации движения, модулирует данные изображения кадра, затем передает модулированные данные изображения кадра, используя сигнал спутниковой широковещательной передачи, кабельную телевизионную сеть, сеть телефонных линий, сеть мобильных телефонов или другую среду передачи.

На стороне приема, после того, как принятый сигнал изображения будет демодулирован, развернутые данные изображения кадра генерируют, используя преобразование, обратное ортогональному преобразованию, выполненному во время модуляции, описанной выше, и используют компенсацию движения, и генерируют данные.

Следует отметить, что среда передачи может представлять собой оптический диск, магнитный диск, полупроводниковое запоминающее устройство или другой накопитель данных.

Устройство 3 декодирования, показанное на фиг.1, выполняет декодирование, соответствующее кодированию устройства 2 кодирования.

Ниже поясняется устройство 2 кодирования, показанное на фиг.1.

На фиг.2 представлен вид общей конфигурации устройства 2 кодирования, показанного на фиг.1.

Как показано на фиг.2, устройство 2 кодирования имеет, например, схему 10 управления ГИ, схему 22 А/Ц преобразования, схему 23 изменения компоновки изображения, схему 24 обработки, схему 25 ортогонального преобразования, схему 26 квантования, схему 27 реверсивного кодирования, буфер 28, схему 29 обратного квантования, схему 30 обратного ортогонального преобразования, схему 31 реконструкции, фильтр 32 разблокирования, запоминающее устройство 33, схему 41 прогнозирования внутри кадра, схему 42 прогнозирования и компенсации движения, схему 44 выбора и схему 46 управления скоростью.

Устройство 2 кодирования отличается тем, что схема 10 управления ГИ выполняет обработку подавления мерцания модуля ГИ, такую как изменение закрытой ГИ на открытую ГИ, при определении, что ГИ, которая должна быть кодирована (которую определяют), представляет собой ГИ, мерцание модуля ГИ которой (мерцание в модуле ГИ) непосредственно видимо.

Устройство 2 кодирования выполняет кодирование по схеме H.264/AVC и вставляет изображение МОД через постоянные интервалы.

Все или часть компонентов (схем и т.д.) устройства 2 кодирования, показанные на фиг.2, могут быть реализованы на основе ЦПУ или другой схемы обработки, выполняющей программу.

Ниже поясняются компоненты устройства 2 кодирования.

[Схема 10 управления ГИ]

На фиг.3 показан вид конфигурации схемы 10 управления ГИ, показанной на фиг.1.

Как показано на фиг.3, схема 10 управления ГИ имеет, например, модуль 71 определения мерцания ГИ и модуль 72 управления ГИ.

На фиг.4 показана блок-схема последовательности операций, поясняющая пример обработки схемы 10 управления ГИ, показанной на фиг.3.

Вначале поясняется модуль 71 определения мерцания ГИ.

Модуль 71 определения мерцания ГИ определяет, видимо ли мерцание модуля ГИ непосредственно в изображении, декодированном после кодированной ГИ, путем, например, определения каждой ГИ, предназначенной для кодирования данных изображения S22 для изменения компоновки в схеме 23 изменения компоновки изображения (этап ST1).

В этот момент времени модуль 71 определения мерцания ГИ, например, определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, когда ГИ, определение которой выполняют, представляет собой ГИ, немедленно следующую после смены сцены.

Кроме того, модуль 71 определения мерцания ГИ может выполнять описанное выше определение на основе степени сложности изображений, формирующих ГИ, расположенную перед ГИ, определение которой будет выполняться.

В это время, модуль 71 определения мерцания ГИ использует, например, данные активности, рассчитанные с помощью методики, предписанной в ТМ (РИ, режим испытаний) 5 MPEG как степень сложности.

В частности, модуль 71 определения мерцания ГИ рассчитывает данные активности следующим образом.

Модуль 71 определения мерцания ГИ рассчитывает сумму квадратов разности между данными пикселя для каждого пикселя и их средним значением, как обозначено в следующем Уравнении (1), то есть, данные var_sblk, для каждого из четырех подблоков, каждый из которых содержит 8 пикселей × 8 строк, полученных путем разделения компонента яркости макроблока, состоящего из 16 пикселей × 16 строк изображения кадра в данных S2 изображения. Здесь значение данных var_sblk становится большим, по мере того, как изображение подблока становится более сложным.

[Уравнение 1]

Следует отметить, что среднее значение P_mean данных пикселя представленного выше Уравнения (1) рассчитывают в соответствии со следующим Уравнением (2).

[Уравнение 2]

Затем, модуль 71 определения мерцания ГИ находит данные actj, используя минимальное значение данных var_sblk, рассчитанных для четырех подблоков, как обозначено следующим Уравнением (3):

[Уравнение 3]

После этого модуль 71 определения мерцания ГИ, как обозначено следующим Уравнением (4), нормализует данные actj, используя данные actj и среднее значение данных avg_act данных actj, полученных для предыдущего изображения фрейма, и рассчитывает данные N_actj активности.

[Уравнение 4]

Модуль 71 определения мерцания ГИ определяет, что мерцание непосредственно видимо, когда присутствует подблок, в котором описанные выше данные N_actj активности равны или превышают заданное пороговое значение, или имеется подблок, в котором количество данных активности равно или превышает заданное количество. А именно, даже в случае, когда ГИ, определение которой выполняют, не существует непосредственно после изменения сцены, мерцание модуля ГИ не будет представлять проблему, когда отсутствует область неподвижного изображения, в которой активность текстуры высока в ГИ, расположенной перед целевой ГИ.

Далее поясняется модуль 72 управления ГИ.

Модуль 72 управления ГИ выполняет обработку, показанную ниже, когда модуль 71 определения мерцания ГИ определяет, что ГИ, которую будут определять, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо (этап ST2).

А именно, модуль 72 управления ГИ определяет, является или нет ГИ, предназначенная для кодирования, закрытой ГИ (этап ST3). Когда ГИ определяют как закрытую ГИ, модуль управления ГИ меняет эту ГИ на открытую ГИ (этап ST4). В связи с этим, даже в случае, когда существует изображение МОД, кодирование изображений после изображения МОД разрешено со ссылкой на изображения до изображения МОД.

Затем, когда ГИ, предназначенная для кодирования, представляет собой открытую ГИ, как показано на фиг.5, модуль 72 управления ГИ управляет схемой 23 изменения компоновки изображения, таким образом, что она делает количество М2 изображений В перед изображением I большим, чем количество M1 изображений В между изображением I и изображением Р после изображения I (этап ST5). В примере, показанном на фиг.5, М2=3 и М1=1.

Затем, когда модуль 71 определения мерцания ГИ определяет, что мерцание модуля ГИ непосредственно видимо в ГИ, определение которой выполняется, как показано ниже, модуль 72 управления ГИ управляет схемой 41 прогнозирования внутри кадра, схемой 44 выбора и схемой 46 управления скоростью (этап ST6).

[Схема 22 А/Ц преобразования]

Схема 22 А/Ц (A/D, аналого-цифрового) преобразования преобразует кодированные данные S10 изображения, состоящие из входного аналогового сигнала Y яркости и цветоразностных сигналов Рb и Рr цифровых данных 22 изображения, и выводит преобразованные данные в схему 23 изменения компоновки изображения.

[Схема 23 изменения компоновки изображения]

Схема 23 изменения компоновки изображения изменяет компоновку данных S22 изображения, вводимых из схемы 22 А/Ц преобразования, получая перестроенные данные S23 изображения, которые перестроены в последовательности кодирования в соответствии со структурой ГИ (группы изображений), состоящей из типов I, Р и В изображений, и выводит полученные в результате данные S23 изображения в схему 24 обработки, схему 41 прогнозирования внутри кадра, схему 42 прогнозирования и компенсации движения и схему 46 управления скоростью.

[Схема 24 обработки]

Схема 24 обработки генерирует данные S24 изображения, обозначающие разность между данными S23 изображения и данными PI изображения прогнозирования, вводимые из схемы 44 выбора, и выводит сгенерированные данные в схему 25 ортогонального преобразования.

[Схема 25 ортогонального преобразования]

Схема 25 ортогонального преобразования применяет дискретное косинусное преобразование, преобразование Карунена-Лоэва или другое ортогональное преобразование к данным S24 изображения для генерирования данных S25 изображения (например, коэффициента DCT (ДКП, дискретное косинусное преобразование)) и выводит результат в схему 26 квантования.

[Схема 26 квантования]

Схема 26 квантования квантует данные S25 изображения с масштабом квантования (шагом квантования), определенным в соответствии с параметром QP квантования, на основе параметра QP квантования, введенного из схемы 46 управления скоростью, для генерирования данных S26 изображения, и выводит сгенерированные данные изображения в схему 27 реверсивного кодирования и в схему 29 обратного квантования.

[Схема 27 реверсивного кодирования]

Схема 27 реверсивного кодирования сохраняет данные изображения, полученные путем применения кодирования переменной длины или арифметического кодирования к данным S26 изображения, в буфере 28.

В это время схема 27 реверсивного кодирования кодирует вектор MV движения, вводимый из схемы 42 прогнозирования и компенсации движения, когда данные S44 выбора обозначают выбор кодирования между кадрами, и сохраняет результат кодирования в данных заголовка.

Кроме того, схема 27 реверсивного кодирования сохраняет режим прогнозирования внутри кадра IPM, вводимый из схемы 41 прогнозирования внутри кадра, в данных заголовка и т.д., когда данные S44 выбора обозначают выбор кодирования с прогнозированием внутри кадра.

Кроме того, схема 27 реверсивного кодирования включает в себя масштаб квантования, используемый при квантовании в схеме 26 квантования, в каждом макроблоке MB.

Данные изображения, сохраненные в буфере 28, модулируют и т.д. и затем передают.

[Схема 29 обратного квантования]

Схема 29 обратного квантования выполняет обратное квантование данных S26 изображения на основе масштаба квантования, используемого в схеме 26 квантования, и выводит результат квантования в схему 30 обратного ортогонального преобразования.

[Схема 30 обратного ортогонального преобразования]

Схема 30 обратного ортогонального преобразования применяет обратное ортогональное преобразование, соответствующее ортогональному преобразованию схемы 25 ортогонального преобразования, в данные изображения после обработки обратного квантования, вводимые из схемы 29 обратного квантования, и выводит преобразованный результат в схему 31 реконструкции.

[Схема 31 реконструкции]

Схема 31 реконструкции добавляет данные PI изображения прогнозирования, вводимые из схемы 44 выбора, и данные изображения, вводимые из схемы 30 обратного ортогонального преобразования, для генерирования данных реконструированного изображения, и выводит результат в фильтр 32 разблокирования.

[Фильтр 32 разблокирования]

Фильтр 32 разблокирования устраняет искажение блока данных изображения, вводимых из схемы 31 реконструкции, и затем записывает результат в запоминающее устройство 33, как данные эталонного изображения.

[Схема 41 прогнозирования внутри кадра]

Схема 41 прогнозирования внутри кадра применяет кодирование с прогнозированием внутри кадра к каждому макроблоку MB, включающему в себя данные изображения, считываемые из запоминающего устройства 33, на основе каждого из заранее определенных режимов прогнозирования внутри кадра, для генерирования прогнозируемого изображения, и детектирует разность DIF между данными изображения прогнозирования и данными S23 изображения.

Затем схема 41 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, соответствующий минимальной разности между описанными выше разностями, сгенерированными для множества режимов прогнозирования внутри кадра, и выводит указанное IPM режима прогнозирования внутри кадра в схему 27 реверсивного кодирования.

Кроме того, схема 41 прогнозирования внутри кадра выводит данные PI изображения прогнозирования в соответствии с указанным выше режимом прогнозирования внутри кадра и указанной выше разностью DIF в схему 44 выбора.

[Схема 42 прогнозирования и компенсации движения]

Схема 42 прогнозирования и компенсации движения выполняет обработку прогнозирования движения, используя данные фрейма и данные поля как модули в модулях из блоков в данных S23 изображения, и определяет вектор MV движения на основе эталонных данных REF изображения, считываемых из запоминающего устройства 33.

А именно, схема 42 прогнозирования и компенсации движения определяет вектор MV движения, минимизирующий разность DIF между данными PI изображения прогнозирования, которые определены в соответствии с вектором MV движения, и данными REF эталонного изображения для каждого блока, и данными S23 изображения.

Схема 42 прогнозирования и компенсации движения выводит данные PI прогнозирования изображения и разность DIF в схему 44 выбора, и выводит вектор MV движения в схему 27 реверсивного кодирования.

Схема 42 прогнозирования и компенсации движения, где блок, как цель обработки, включен в срез В, выполняет определение, какое из направленного прогнозирования вперед, направленного прогнозирования назад и двунаправленного прогнозирования требуется выполнить.

В это время, когда модуль 72 управления ГИ определяет, что ГИ, в которой требуется выполнить определение, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо (этап ST11), схема 42 прогнозирования и компенсации движения, как показано на фиг.6, выполняет обработку, задающую приоритет двунаправленному прогнозированию для изображения В, существующему перед изображением I в ГИ, предназначенной для обработки, на основе управления из модуля 72 управления ГИ (этап ST12). В других случаях, кроме этого, схема 42 прогнозирования и компенсации движения выполняет обычную обработку прогнозирования и компенсации движения (этап ST13).

В частности, схема 42 прогнозирования и компенсации движения рассчитывает стоимость кодирования (например, указанную выше разность DIF) для каждого из прямого направленного прогнозирования, обратного направленного прогнозирования и двунаправленного прогнозирования и выбирает способ прогнозирования, при применении которого стоимость кодирования становится минимальной. В это время, благодаря определению смещения, равному отрицательному значению для стоимости кодирования при двунаправленном прогнозировании, облегчается выбор двунаправленного прогнозирования.

Схема 42 прогнозирования и компенсации движения определяет, будет ли качество изображения во время декодирования значительно ухудшено при выполнении двунаправленного прогнозирования, по той причине, что данные S23 изображения будут закрыты и т.д., и не задает указанное выше смещение, при определении, что качество изображения будет значительно ухудшено.

В частности, схема 42 прогнозирования и компенсации движения не задает указанное выше смещение при определении, что стоимость L0_cost кодирования в направлении L0 и стоимость L1_cost кодирования в направлении L1 удовлетворяют взаимозависимости в соответствии со следующим Уравнением (5) в отношении данных θ идентификации порогового значения, определенных заранее. Здесь, в B изображениях, выбирают максимум два изображения среди любых эталонных изображений. Прогнозирования в соответствии с этими двумя изображениями будут называться прогнозированиями L0 и L1. Стоимости L0_cost и L1_cost кодирования в направлениях L0 и L1 обозначают соответствующую стоимость кодирования при прогнозированиях L0 и L1.

[Уравнение 5]

)

[Схема 44 выбора]

Схема 44 выбора сравнивает разность DIF, введенную из схемы 41 прогнозирования внутри кадра, и разность DIF, введенную из схемы 42 компенсации прогнозирования и движения.

При определении, что разность DIF, введенная из схемы 41 прогнозирования внутри кадра, меньше в соответствии с указанным выше сравнением, схема 44 выбора выбирает данные PI изображения прогнозирования, введенные из схемы 41 прогнозирования внутри кадра, и выводит выбранные данные в схему 24 обработки.

При определении, что разность DIF, введенная из схемы 42 прогнозирования и компенсации движения, меньше в соответствии с упомянутым выше сравнением, схема 44 выбора выбирает данные PI изображения прогнозирования, введенные из схемы 42 прогнозирования и компенсации движения, и выводит выбранные данные в схему 24 обработки.

Затем, при выборе данных PI изображения прогнозирования из схемы 41 прогнозирования внутри кадра, схема 44 выбора выводит данные S44 выбора, обозначающие выбор кодирования с прогнозированием внутри кадра, для схемы 27 реверсивного кодирования при выборе данных PI изображения прогнозирования из схемы 42 прогнозирования и компенсации движения, выводит выбранные данные S44, обозначающие выбор кодирования с прогнозированием внутри кадра, в схему 27 реверсивного кодирования.

Схема 44 выбора, как показано на фиг.7, выполняет следующую обработку на основе управления из модуля 72 управления ГИ, когда модуль 72 управления ГИ определяет, что ГИ, определение которой требуется выполнить, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо (этап ST21).

А именно, в случае, когда блок, который требуется обработать, включен в кодирование между срезами, схема 44 выбора выполняет определение, какие из данных PI изображения прогнозирования, введенных в схему 41 прогнозирования внутри кадра, и данных PI изображения прогнозирования, введенных из схемы 42 прогнозирования и компенсации движения, должны быть выбраны (требуется ли выбрать макроблок внутри кадра или макроблок между кадрами). В это время приоритет предоставляется макроблокам между кадрами для изображения В, присутствующего перед изображением I в этой ГИ (этап ST22). Это реализуется путем выполнения, например, в схеме 44 выбора, добавления смещения, имеющего отрицательное значение, к разности DIF (стоимости кодирования), полученной из схемы 42 прогнозирования и компенсации движения, с последующим сравнением разности DIF с добавленными смещением и разностью DIF из схемы 41 прогнозирования внутри кадра.

Когда модуль 72 управления ГИ, который требуется определять, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо, схема 44 выбора выполняет обычный выбор без каких-либо особых предпочтений (этап ST23).

[Схема 46 управления скоростью]

Схема 46 управления скоростью определяет параметр QP квантования на основе данных изображения, считываемых из буфера 28, и выводит их в схему 26 квантования.

Когда модуль 72 управления ГИ определяет, что ГИ, которую требуется определить, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо, схема 46 управления скоростью, как показано на фиг.8, определяет параметр QP квантования, таким образом, чтобы назначить больший объем кодирования, чем объем кодирования для обычного изображения В, назначаемый для изображения В, присутствующего перед изображением I, на основе управления из модуля 72 управления ГИ (этап ST32). В других случаях, кроме этого, схема 46 управления скоростью назначает обычный объем кодирования без какого-либо особого предпочтения.

Ниже поясняется пример общей работы устройства 2 кодирования, показанного на фиг.2.

Схема 10 управления ГИ в устройстве 2 кодирования определяет, является или нет ГИ, предназначенная для кодирования (предназначенная для определения) в данных S22 изображения, вводимых из схемы 22 А/Ц преобразования, ГИ, мерцание модуля ГИ которой непосредственно видимо.

Затем, когда схема 10 управления ГИ определяет, что мерцание непосредственно видимо, схему 23 изменения компоновки изображения инициируют для выполнения обработки подавления мерцания модуля ГИ, такой как смена закрытой ГИ на открытую ГИ.

Затем схема 24 обработки генерирует данные S24 изображения, обозначающие разность между данными S23 изображения и данными PI изображения прогнозирования, вводимыми из схемы 44 выбора, и выводит сгенерированные данные в схему 25 ортогонального преобразования.

Затем эту разность подвергают ортогональному преобразованию в схеме 25 ортогонального преобразования и квантуют в схеме 26 квантования. Затем квантованное изображение подвергают обратному квантованию в схеме 29 обратного квантования, после этого подвергают обратному ортогональному преобразованию в схеме 30 обратного ортогонального преобразования и выполняют реконструкцию в схеме 31 реконструкции.

Эталонные данные изображения, полученные путем реконструкции в схеме 31 реконструкции, записывают в запоминающее устройство 33.

Затем схема 41 прогнозирования внутри кадра выполняет прогнозирование внутри кадра, после чего данные PI изображения прогнозирования и разность DIF выводят в схему 44 выбора.

После этого схема 42 прогнозирования и компенсации движения выполняет обработку прогнозирования и компенсацию движения, после чего определяют вектор MV движения, и данные PI изображения прогнозирования и разность DIF выводят в схему 44 выбора.

Здесь схема 42 прогнозирования и компенсации движения рассчитывает стоимость кодирования (например, указанную выше разность DIF) для каждого из прогнозирования в прямом направлении, прогнозирования в обратном направлении и двунаправленного прогнозирования и выбирает способ прогнозирования, обеспечивающий минимальную стоимость кодирования. В это время, когда определяют, что мерцание непосредственно видимо, схема 42 прогнозирования и компенсации движения задает смещение с отрицательным значением для стоимости кодирования при двунаправленном прогнозировании, чтобы, таким образом, способствовать выбору двунаправленного прогнозирования.

Затем схема 44 выбора выводит данные PI изображения прогнозирования, соответствующие меньшей разности DIF между разностью DIF, вводимой из схемы 41 прогнозирования внутри кадра, и разностью DIF, вводимой из схемы 58 прогнозирования и компенсации движения, в схему 24 обработки.

Здесь схема 44 выбора задает приоритет макроблоку между кадрами для изображения В, присутствующего перед изображением I, в случае, когда модуль 72 управления ГИ определяет, что ГИ, которую требуется определить, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо.

Как пояснялось выше, в соответствии с устройством 2 кодирования, когда ГИ, которую требуется определить, представляет собой ГИ, мерцание модуля ГИ которой непосредственно видимо, исключается разрыв изображений между ГИ и обеспечивается возможность подавления мерцания модуля ГИ.

В результате этого, в устройстве кодирования по схеме AVC, которая выводит информацию сжатия изображения структуры ГИ, вставляя изображения с оперативным доступом (изображение МОД) через постоянные интервалы времени, мерцание модуля ГИ может быть подавлено.

<Второй вариант воплощения>

На фиг.9 показан вид конфигурации устройства 2a кодирования в соответствии со вторым вариантом воплощения настоящего изобретения.

Как показано на фиг.9, в устройстве 2a кодирования, при сравнении с устройством 2 кодирования, показанным на фиг.1, устройство 200 декодирования MPEG2 предусмотрено вместо схемы 22 А/Ц преобразования, и в схеме 10a управления ГИ определяют, видимо ли мерцание модуля ГИ непосредственно в ГИ, которая предназначена для определения, используя информацию декодирования устройства 200 декодирования MPEG2. Конфигурации устройства 2a кодирования, помимо этого, являются теми же, что и в устройстве 2 кодирования в соответствии с первым вариантом воплощения.

Ниже поясняется устройство 200 декодирования MPEG2 и схема 10a управления ГИ.

Устройство 200 декодирования MPEG2 вводит данные S100 изображения кодирования, такие как данные, кодированные по схеме MPEG2 или тому подобное, декодирует входные данные до данных S22 изображения и выводит полученные в результате данные в схему 23 изменения компоновки изображения.

Затем устройство 200 декодирования MPEG2 выводит коэффициент ортогонального преобразования (ДКП), включенный в данные S100 изображения кодирования, и вектор движения или другую информацию inf атрибута кодирования в схему 10a управления ГИ.

Схема 10a управления ГИ, на основе информации inf атрибута кодирования, детектирует, является ли область областью неподвижного изображения, включающего в себя текстуру, то есть, равна ли информация вектора движения "0", и включает коэффициент ортогонального преобразования, который не равен 0, для определения, видимо ли мерцание модуля ГИ непосредственно в ГИ, определение которой выполняется.

В соответствии с настоящим вариантом воплощения, в результате эффективного использования информации, полученной устройством 200 декодирования MPEG2, можно определять, видимо ли мерцание модуля ГИ непосредственно.

Настоящее изобретение не ограничивается описанными выше вариантами воплощения.

В описанных выше вариантах воплощения были описаны случаи, когда устройства 2, 102 и 202 кодирования выполняют кодирование по схеме H.264/AVC, но настоящее изобретение можно применять для других схем кодирования, в которых предписаны ГИ и МОД.

1. Устройство кодирования изображений, содержащее: модуль определения, выполненный с возможностью определения, является ли группа изображений (ГИ) такой ГИ, мерцание модуля ГИ которой непосредственно видимо в изображении, декодированном после кодирования ГИ, для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и модуль кодирования, выполненный с возможностью обработки для подавления мерцания модуля ГИ, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, и кодирования обработанной ГИ, в котором модуль кодирования меняет ГИ, которая предназначена для определения, на открытую ГИ, в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, в которой мерцание непосредственно видимо, и ГИ, которая предназначена для определения, представляет собой закрытую ГИ, и выполняет кодирование измененной ГИ.

2. Устройство кодирования по п.1, в котором: модуль определения определяет ГИ, следующую непосредственно после смены сцены, как ГИ, мерцание которой непосредственно видимо.

3. Устройство кодирования по п.1, в котором: модуль определения определяет, является ли ГИ, предназначенная для определения, ГИ, мерцание которой непосредственно видимо, на основе степени сложности изображений, формирующих ГИ, расположенные перед ГИ, определение которой выполняют.

4. Устройство кодирования по п.1, дополнительно содержащее модуль генерирования, выполненный с возможностью декодирования кодированных данных изображения и генерирования данных изображения перед кодированием, и в котором модуль определения определяет, является ли ГИ такой ГИ, в которой мерцание непосредственно видимо, на основе данных изображения перед кодированием.

5. Устройство кодирования по п.4, в котором: модуль определения выполняет определение на основе коэффициента ортогонального преобразования, включенного в данные изображения перед кодированием.

6. Устройство кодирования по п.1, в котором: модуль кодирования составляет ГИ, с тем, чтобы сделать количество изображений В перед изображением I в открытой ГИ, которая предназначена для определения, большим, при сравнении с количеством изображений В, присутствующих между изображением I и изображением Р, после изображения I в открытой ГИ, определение которой требуется выполнить, в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, и ГИ, предназначенная для определения, представляет собой открытую ГИ, и кодирует составленную ГИ.

7. Устройство кодирования по п.1, в котором: модуль кодирования выполняет управление таким образом, что легко выбирают кодирование с двунаправленным прогнозированием в качестве кодирования изображения В, расположенного перед изображением I в ГИ, предназначенной для определения, в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, при сравнении со случаем, в котором мерцание невозможно увидеть непосредственно.

8. Устройство кодирования по п.1, в котором: модуль кодирования выполняет управление таким образом, что кодирование между кадрами выбирают, как кодирование изображения В, расположенного перед изображением I в ГИ, которая предназначена для определения, в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, при сравнении со случаем, в котором мерцание нельзя непосредственно увидеть.

9. Устройство кодирования по п.1, в котором модуль кодирования выбирает прогнозирование, обеспечивающее минимальную стоимость кодирования среди прогнозирования в прямом направлении, прогнозирования в обратном направлении и двунаправленного прогнозирования при прогнозировании и компенсации движения, и кодирует блок каждого изображения, и в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, выполняют выбор путем снижения стоимости кодирования двунаправленного прогнозирования, при сравнении со случаем, в котором мерцание невозможно непосредственно увидеть при кодировании изображения В, расположенного перед изображением I в ГИ, предназначенной для определения.

10. Устройство кодирования по п.1, в котором: модуль кодирования выбирает блок стоимости кодирования, обеспечивающий меньшую стоимость кодирования при кодировании между кадрами, и кодирования внутри кадра блоков каждого изображения, и кодирует выбранный блок, и в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, выполняют выбор путем снижения стоимости кодирования при кодировании внутри кадра, в случае кодирования изображения В, расположенного перед изображением I в ГИ, при сравнении со случаем, в котором мерцание невозможно непосредственно увидеть.

11. Устройство кодирования по п.1, в котором: модуль кодирования квантует блок каждого изображения и кодирует квантованный блок, при квантовании модуль кодирования выполняет квантование таким образом, чтобы назначать больший объем кодирования в случае, когда модуль определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, чем объем кодирования в случае, когда мерцание невозможно непосредственно увидеть при кодировании изображения В, расположенного перед изображением I в ГИ.

12. Устройство кодирования по п.1, в котором: модуль определения определяет ГИ, включающую в себя изображение, определенное как не относящееся к изображению, расположенному перед заданным изображением.

13. Способ кодирования изображений, включающий в себя: этап определения, состоящий в определении, является ли ГИ такой ГИ, в которой мерцание модуля ГИ непосредственно видимо в изображении, декодированном после кодирования ГИ, для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и этап кодирования, состоящий в применении обработки для подавления мерцания модуля ГИ, когда на этапе определения определяют, что ГИ представляет собой такую ГИ, мерцание которой непосредственно видимо, и кодируют эту ГИ, при этом меняют ГИ, которая предназначена для определения, на открытую ГИ, в случае, когда на этапе определения определяют, что ГИ представляет собой ГИ, в которой мерцание непосредственно видимо, и ГИ, которая предназначена для определения, представляет собой закрытую ГИ, и выполняет кодирование измененной ГИ.

14. Устройство кодирования изображений, содержащее: средство определения, предназначенное для определения, является ли ГИ такой ГИ, в которой мерцание модуля ГИ непосредственно видимо в изображении, декодированном после кодирования ГИ, для каждой из ГИ, формирующих данные изображения, предназначенные для кодирования, и средство кодирования, предназначенное для применения обработки для подавления мерцания модуля ГИ, когда средство определения определяет, что ГИ представляет собой ГИ, мерцание которой непосредственно видимо, и кодируют эту ГИ, и в котором средство кодирования меняет ГИ, которая предназначена для определения, на открытую ГИ, в случае, когда средство определения определяет, что ГИ представляет собой ГИ, в которой мерцание непосредственно видимо, и ГИ, которая предназначена для определения, представляет собой закрытую ГИ, и выполняет кодирование измененной ГИ.

15. Устройство кодирования по п.14, в котором: модуль определения определяет, является ли ГИ, предназначенная для определения, такой ГИ, в которой мерцание непосредственно видимо на основе степени сложности изображений, формирующих ГИ, расположенную перед ГИ, предназначенной для определения.

16. Устройство кодирования по п.14, дополнительно содержащее средство генерирования, предназначенное для генерирования данных изображения перед кодированием, путем декодирования данных кодированного изображения, и в котором средство определения определяет, является ли ГИ такой ГИ, мерцание которой непосредственно видимо, на основе данных изображения перед кодированием.



 

Похожие патенты:

Изобретение относится к способу и устройству управления скоростью передачи битов в кодировании, в котором внутрикадровое предсказание и межкадровое предсказание используются с переключением.

Изобретение относится к системам видеокодирования и, в частности, к способу нахождения вектора движения, используемому при кодировании видеосигнала, который выполняет прогнозирование с компенсацией движения.

Изобретение относится к области кодирования/декодирования данных изображения. .

Изобретение относится к масштабируемому кодированию видеосигналов и, в частности, направлено на управление опорными изображениями для одноконтурного декодирования масштабируемых видеосигналов.

Изобретение относится к способу и устройству управления кодированием с внутренним предсказанием, используемым при кодировании с внутренним предсказанием, которое имеет множество режимов предсказания и множество размеров блока предсказания.

Изобретение относится к кодированию и декодированию изображений с несколькими точками зрения и видеоизображений с несколькими точками зрения. .

Изобретение относится к системам телевидения, и в частности, к устройству для обработки потока зашифрованных данных. .

Изобретение относится к устройству для получения параметров преобразования и использованию способа получения параметров векторного преобразования движения в системах сжатия видеоданных.

Изобретение относится к кодеру/декодеру изображения

Изобретение относится к способу кодирования видеоинформации, в котором кодированию подлежит видеосигнал, состоящий из двух или более компонентов сигнала цветности

Изобретение относится к устройству кодирования/декодирования цифрового сигнала изображения

Изобретение относится к устройству и способу кодирования/декодирования изображений, используемых для движущихся изображений или неподвижных изображений

Изобретение относится к области обработки движущихся изображений в устройстве получения изображений, в частности к оценке общего вектора перемещения изображения вследствие дрожания рук посредством использования информации масштабирования и информации фокуса

Изобретение относится к кодированию цифрового видео и, в частности, к энтропийному кодированию видеоблоков
Наверх