Способ и устройство обработки изображения

Изобретение относится к обработке изображений. Техническим результатом является повышение эффективности кодирования изображений с прогнозированием. Устройство обработки изображения включает модуль 31 горизонтальной обработки и модуль 33 объединения. Модуль 31 горизонтальной обработки осуществляет горизонтальную упаковку для манипуляций в горизонтальном направлении матрицей пикселов, расположенных в шахматном порядке, в каждом из первого и второго прореженных изображений, полученных путем исключения пикселов, в первом изображении и втором изображении, отличном от первого, каждой второй строки в наклонном направлении, так что пикселы первого и второго прореженных изображений упакованы в горизонтальном направлении. Модуль 33 объединения генерирует объединенное изображение, созданное путем размещения рядом первого и второго прореженных изображений после горизонтальной обработки, в качестве изображения, служащего объектом кодирования с прогнозированием. Настоящее изобретение может быть применено в случае выполнения кодирования с прогнозированием первого и второго изображения, таким как L (левое) изображение и R (правое) изображение, составляющие, например, 3D-изображение или подобное изображение. 4 н. и 16 з.п. ф-лы, 35 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству обработки изображения, и, более конкретно, оно относится к способу и устройству обработки изображения, позволяющим, например, повысить эффективность кодирования изображений с прогнозированием.

Уровень техники

В последние годы все более широкое распространение как для распространения информации подобно вещательным станциям, так и для приема информации в обычных домах получают устройства, совместимые с форматами, такими как MPEG (экспертная группа по движущемуся изображению), которые используют избыточность, свойственную информации изображения, и выполняют сжатие с применением ортогонального преобразования, такого как дискретное косинусное преобразование или другое подобное преобразование, и компенсации движения с целью передачи и хранения изображения с высокой эффективностью при обработке информации изображения в виде цифровых сигналов.

Иными словами, все более широко распространяется использование кодирующих устройств и декодирующих устройств для обработки данных, осуществляемой при приеме информации изображения, сжатой в формате кодирования с применением ортогонального преобразования, такого как дискретное косинусное преобразование или преобразования Карунена-Лоэва, и компенсации движения, таких как MPEG или H.26x или подобные, например, (поток битов), через сетевую среду, такую как система спутникового широко вещания, кабельное телевидение, Интернет или другая подобная среда, или во время обработки информации, такой как на носителе записи, таком как оптические диски или магнитные диски, флэш-память или другой подобный носитель.

Например, стандарт MPEG2 (ISO/IEC 13818-2) определен в качестве формата кодирования изображения общего назначения и является стандартом, охватывающим как изображения с чересстрочной разверткой (изображения в формате с чересстрочной разверткой), так и изображения с построчной разверткой (изображения в формате с прогрессивной разверткой), а также изображения со стандартным разрешением и изображения высокой четкости и является широко используемым самыми разнообразными приложениями как для профессионального, так и для потребительского применения. Использование формата сжатия MPEG2 позволяет реализовать высокую степень сжатия и хорошее качество изображения путем назначения объема кода (скорости передачи информации) от 4 до 8 Мбит/с для изображения с чересстрочной разверткой и стандартным разрешением, имеющего (горизонтальный×вертикальный) размер, например, 720×480 пикселов, и назначения объема кода от 18 до 22 Мбит/с для изображения с чересстрочной разверткой и высокой четкостью, имеющего (горизонтальный×вертикальный) размер, например, 1920×1088 пикселов.

Стандарт MPEG2 был создан главным образом для реализации высококачественного кодирования изображения применительно к области широкого вещания, но не работает с более низкими объемами кода (скоростью передачи информации), чем объем кода для стандартов MPEG1, т.е. для формата кодирования, имеющего более высокий коэффициент сжатия. Считается, что широкое распространение сотовых телефонов увеличит потребность в таких форматах кодирования по сравнению с сегодняшним состоянием, и в ответ на такие потребности была произведена стандартизация формата MPEG4 кодирования. Стандарт для такого способа кодирования изображения был утвержден в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998.

Кроме того, в последние годы продвигался процесс оформления стандарта, именуемого Н.264 (ITU-T Q6/16 VCEG), который изначально был предназначен для кодирования изображения с целью использования в ходе видеоконференций. Известно, что стандарт Н.264 способен реализовать даже более высокую эффективность кодирования по сравнению с известными способами кодирования, такими как MPEG2 или MPEG4, хотя при кодировании и декодировании в этом стандарте требуется выполнить больший объем вычислений. Кроме того, в настоящее время в рамках работы над стандартами MPEG4 ведется на основе стандартов Н.264 разработка способов, позволяющих реализовать даже более высокую эффективность кодирования, включая функции, не поддерживаемые стандартом Н.264. Эти работы ведутся под названием «Совместная модель видео кодирования с повышенной степенью сжатия» (Joint Model of Enhanced-Compression Video Coding).

Применительно к формату кодирования (JVT Codec), стандартизированному Объединенной видео группой (Joint Video Team), были рассмотрены различные усовершенствования для повышения эффективности кодирования сверх эффективности, достигнутой на сегодня, например в стандартах MPEG2 или MPEG4 или аналогичных. Например, при использовании дискретного косинусного преобразования такое преобразование к целочисленным коэффициентам преобразования осуществляется над блоками размером 4×4 пикселов. Кроме того, при использовании компенсации движения размер блока является переменным, что дает возможность осуществить оптимальную компенсацию движения. Отметим, однако, что базовые алгоритмы кодирования являются такими же, как в известных способах, таких как MPEG2 или MPEG4 или подобных стандартах.

Сегодня среди контентов изображений, подлежащих такому кодированию, как описано выше, присутствуют контенты стереоскопических изображений, которые можно просматривать с применением стереоскопии, в дополнение к двумерным изображениям (2D-изображениям)

Для представления на дисплее стереоскопических изображений используют специальное устройство (именуемое в дальнейшем стереоскопическим устройством). Примером такого стереоскопического устройства является стереоскопическая видеосистема IP (Интегральная фотография (Integral Photography)), разрабатываемая компанией NHK (Японская вещательная корпорация).

Данные стереоскопического изображения построены из данных изображения, полученных с нескольких точек зрения (данные изображений, снимаемых с нескольких точек зрения). При этом, чем больше число таких точек зрения и чем шире диапазон, в котором распределены эти точки зрения, тем лучше реализуется так называемое «телевидение, позволяющее заглянуть внутрь» ("television which can be looked into"), где предмет можно рассматривать с различных направлений.

Сегодня способ кодирования и декодирования данных изображения применительно к стереоскопическим изображениям, т.е. данных изображения с нескольких точек зрения, описан, например, в документе PTL 1.

Из стереоскопических изображений, содержащих наименьшее число точек зрения, следует назвать 3D (Трехмерное) изображение, в котором число точек зрения равно двум (стереоизображение), а данные для 3D-изображения построены из данных изображения для левого глаза, представляющих изображение, видимое левым глазом, (в дальнейшем именуемое также L (Левое) изображение), и изображения для правого глаза, представляющих изображение, видимое правым глазом (в дальнейшем именуемое также R (Правое) изображение).

Как описано выше, 3D-изображение (стереоизображение) составлено из левого L-изображения и правого R-изображения, так что для представления одного кадра 3D-изображения необходимы данные изображения двух кадров, относящиеся к левому L-изображению и правому R-изображению (эти два кадра относятся к случаю представления двумерного 2D-изображения).

Однако в зависимости от полосы пропускания тракта передачи данных для передачи 3D-изображения, емкости памяти носителя записи, на котором предполагается записывать 3D-изображение, ограничений скорости передачи данных носителя записи и т.п., возможны ситуации, когда затруднительно передать два кадра данных изображения (включая запись на носителе записи) для представления на дисплее одного кадра 3D-изображения.

Соответственно, было предложено кодирующее устройство, осуществляющее обработку данных с целью преобразования данных изображения для представления одного кадра 3D-изображения в данные изображения объемом в один экран путем выполнения субдискретизации (прореживания) каждого из изображений - левого L-изображения и R-изображения, составляющих 3D-изображение, в пространственном направлении, и вслед за этим кодирующее данные изображения.

Фиг.1 представляет схему, описывающую способы прореживания (исключения пикселов) левого L-изображения и правого R-изображения, составляющих 3D-изображение.

Вид А на Фиг.1 представляет диаграмму, иллюстрирующую левое L-изображение и правое R-изображение.

Эти левое L-изображение и правое R-изображение имеют каждое объем одного кадра 2D-изображения (двумерное изображение).

Вид В на Фиг.1 иллюстрирует изображение, в котором пространственное разрешение в горизонтальном направлении установлено равным 1/2 разрешения оригинала путем исключения пикселов в каждом изображении - L-изображении и R-изображении, в каждой второй строке в вертикальном направлении.

Отметим, что при исключении каждой второй строки в вертикальном направлении могут быть исключены пикселы либо с нечетными номерами, либо с четными номерами из состава левого L-изображения и правого R-изображения или может быть применена система, в которой из левого L-изображения исключают пикселы одного вида - с нечетными номерами или четными номерами, а из правого R-изображения исключают пикселы другого вида - с четными номерами или с нечетными номерами соответственно.

Вид С на Фиг.1 иллюстрирует изображение, в котором пространственное разрешение в вертикальном направлении установлено равным 1/2 разрешения оригинала путем исключения пикселов в каждом изображении - L-изображении и R-изображении, в каждой второй строке в горизонтальном направлении.

Отметим, что для исключения каждой второй строки в горизонтальном направлении можно исключить пикселы либо с нечетными, либо с четными номерами в верхней части левого L-изображения и правого R-изображения или может быть применена система, в которой из левого L-изображения исключают пикселы одного вида - с нечетными номерами или четными номерами, а из правого R-изображения исключают пикселы соответственно другого вида.

Вид D на Фиг.1 представляет изображение, в котором пространственное разрешение в наклонном направлении установлено равным 1/2 разрешения оригинала путем исключения пикселов в каждом изображении - L-изображении и R-изображении, в каждой второй строке в наклонном направлении (либо в наклонном направлении в верхнюю левую сторону, либо в наклонном направлении в верхнюю правую сторону).

Рассматриваемые левое L-изображение и правое R-изображение после прореживания, как на виде D на Фиг.1, превращаются в изображения, в которых пикселы расположены в шахматном порядке, в результате исключения пикселов в наклонном направлении.

При исключении пикселов в наклонном направлении пикселы, подлежащие исключению из одного из изображений - левого L-изображения или правого R-изображения, могут быть такими же пикселами, как пикселы, исключаемые из другого изображения, либо могут быть пикселами, отличными от пикселов, исключаемых из другого изображения (т.е. исключаются пикселы в позициях, в которых в другом изображении пикселы после исключения остаются).

Число пикселов в левом L-изображении и в правом R-изображении после прореживания становится равным 1/2 от первоначального числа в любом из вариантов прореживания, показанных на Фиг.1В-D, вследствие чего общий объем данных (число пикселов) в составе левого L-изображения и правого R-изображения после прореживания становится равным объему данных одного кадра, соответствующего данным изображения для 2D-изображения.

Отметим, что при исключении пикселов необходима фильтрация для устранения высокочастотных составляющих с целью предотвратить наложение спектров в результате прореживания, так что вследствие такой фильтрации появляется размытость левого L-изображения и правого R-изображения.

Человеческому зрению свойственна меньшая чувствительность к прореживанию в наклонном направлении по сравнению с горизонтальным направлением или вертикальным направлением, так что, выполняя прореживание пикселов в наклонном направлении, можно уменьшить визуально воспринимаемую размытость.

Фиг.2 представляет блок-схему, иллюстрирующую пример конфигурации известного кодирующего устройства, осуществляющего исключение каждой второй строки в наклонном направлении пикселов каждого изображения - левого L-изображения и правого R-изображения, как показано на виде D на Фиг.1, и кодирующего полученные в результате прореженное левое L-изображение и прореженное правое R-изображение с расположением пикселов в шахматном порядке.

В кодирующем устройстве, изображенном на Фиг.2, данные изображения для 3D-изображения, являющегося движущимся изображением, например, передают в фильтрующий модуль 11 в виде сегментов, каждый объемом в один экран.

Иными словами, в фильтрующий модуль 11 передают левое L-изображение и правое R-изображение, составляющие один кадр 3D-изображения.

Фильтрующий модуль 11 осуществляет фильтрацию для устранения высокочастотных составляющих (пространственные частоты в наклонном направлении) в составе левого L-изображения и правого R-изображения для предотвращения проявлений наложения спектров в прореженном левом L-изображении и прореженном правом R-изображении, полученных в результате прореживания левого L-изображения и правого R-изображения.

Иными словами, фильтрующий модуль 11 построен из фильтров 11L и 11R, являющихся фильтрами нижних частот.

Фильтр 11L осуществляет фильтрацию левого L-изображения, поступающего в фильтрующий модуль 11, и передает результат в прореживающий модуль 12. Фильтр 11R осуществляет фильтрацию правого R-изображения, поступающего в фильтрующий модуль 11, и передает результат в прореживающий модуль 12.

Прореживающий модуль 12 исключает пикселы левого L-изображения, поступающего от модуля фильтрации, в каждой второй строке в наклонном направлении, как показано на Виде Б на Фиг.1, в результате чего левое L-изображение от фильтрующего модуля 11 превращается в прореженное левое L-изображение с расположенными в шахматном порядке пикселами.

Далее, прореживающий модуль 12 исключает пикселы правого R-изображения, поступающего от модуля фильтрации, в наклонном направлении аналогичным образом, в результате чего правое R-изображение от фильтрующего модуля 11 превращается в прореженное правое R-изображение с расположенными в шахматном порядке пикселами.

Иными словами, прореживающий модуль 12 построен из прореживающих модулей 12L и 12R.

Прореживающий модуль 12L исключает пикселы левого L-изображения, поступившего от фильтрующего модуля 11, в каждой второй строке в наклонном направлении, как показано на Виде D на Фиг.1, и передает прореженное левое L-изображение с расположенными в шахматном порядке пикселами (рисунок шахматной доски) в модуль объединения 13.

Прореживающий модуль 12R исключает пикселы правого R-изображения, поступившего от фильтрующего модуля 11, в каждой второй строке в наклонном направлении, как показано на Виде D на Фиг.1, и передает прореженное правое R-изображение с расположенными в шахматном порядке пикселами в модуль 13 объединения.

Следует сказать, что прореживающий модуль 12R исключает из правого R-изображения пикселы, отличные от пикселов, которые прореживающий модуль 12L исключает из левого L-изображения.

Соответственно, прореженное левое L-изображение (или прореженное правое R-изображение) представляет собой изображение, в котором пикселы расположены там, где нет пикселов в прореженном правом R-изображении (или прореженном левом L-изображении).

Модуль 13 объединения осуществляет объединение прореженного левого L-изображения и прореженного правого R-изображения, поступающих от прореживающего модуля 12, генерирует объединенное изображение, объем данных которого равен объему данных изображения в одном кадре 2D-изображения, и передает результат в модуль 14 кодирования.

Модуль 14 кодирования осуществляет кодирование объединенного изображения, поступающего от модуля 13 объединения, в формате MPEG2 или формате H.264/AVC или другом подобном формате, например, и передает на выход полученные в результате кодированные данные. Кодированные данные с выхода модуля 14 кодирования передают в линию передачи или записывают на носителе записи.

Фиг.3 представляет схему для описания процесса объединения прореженного левого L-изображения и прореженного правого R-изображения в модуле 13 объединения, показанном на Фиг.2.

Вид А на Фиг.3 представляет схему, иллюстрирующую прореженное левое L-изображение и прореженное правое R-изображение, подлежащие объединению посредством модуля 13 объединения.

В прореженном левом L-изображении и прореженном правом R-изображении пикселы (оставшиеся после прореживания) расположены в шахматном порядке.

Иными словами, мы обозначим пиксел (точнее величину пиксела), расположенный в x-й позиции слева и в y-й позиции сверху, в составе прореженного левого L-изображения, как Lx,у, и пиксел (точнее величину пиксела), расположенный в x-й позиции слева и в y-й позиции сверху, в составе прореженного правого R-изображения, как Rx,у.

Кроме того, обозначим С остаток от деления А на В, который будет представлен выражением mod(A,В)=С.

Прореженное левое L-изображение представляет собой изображение, в котором пиксел Lx,y расположен в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1 (или в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1).

Кроме того, прореженное правое R-изображение представляет собой изображение, в котором пиксел Rx,y расположен в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1 (или в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1).

Вид В на Фиг.3 иллюстрирует объединенное изображение, полученное путем объединения прореженного левого L-изображения и прореженного правого R-изображения в модуле 13 объединения, показанном на Фиг.2.

Модуль 13 объединения генерирует объединенное изображение, в котором пикселы Lx,y прореженного левого L-изображения и пикселы RX; у прореженного правого R-изображения расположены в шахматном порядке, путем встраивания пикселов Rx,y у прореженного правого R-изображения в прореженное левое L-изображение в позициях, где нет пикселов Lx,y прореженного левого L-изображения, например.

Иными словами, комбинационный модуль 13 помещает пикселы Lx,y прореженного левого L-изображения в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1, а также помещает пикселы Rx,y прореженного правого R-изображения в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1, генерируя тем самым объединенное изображение, объем данных которого равен объему данных изображения в одном кадре 2D-изображения.

Соответственно, если обозначить пиксел (величину этого пиксела), расположенный в позиции (x,y) в составе объединенного изображения, как Cx,y, тогда пиксел Cx,y равен пикселам Lx,y прореженного левого L-изображения, расположенным в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1 (Сх,у=Lx,y).

Кроме того, пиксел Cx,y равен пикселам Rx,y прореженного правого R-изображения, расположенным в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1 (Cx,y=Rx,y).

Фиг.4 представляет блок-схему, иллюстрирующую пример конфигурации известного декодирующего устройства, которое осуществляет декодирование кодированных данных с выхода кодирующего устройства, показанного на Фиг.2.

В декодирующем устройстве, представленном на Фиг.4, декодер 21 получает кодированные данные с выхода кодирующего устройства.

Декодер 21 осуществляет декодирование в формате, соответствующем формату, в котором модуль 34 кодирования, показанный на Фиг.2, осуществляет кодирование.

Иными словами, декодер 21 осуществляет декодирование, получаемых им кодированных данных, в соответствии с форматом MPEG2 или форматом H.264/AVG, например, и передает полученное в результате объединенное изображение 3D-дисплею 22.

Указанный 3D-дисплей 22 представляет собой стереоскопическое устройство, способное представлять в трехмерном виде (представлять как 3D-изображение) показанное на Виде В на Фиг.3 объединенное изображение, в котором пикселы Lx,y прореженного левого L-изображения и пикселы Rx,y и прореженного правого R-изображения расположены в шахматном порядке. Дисплей представляет 3D-изображение посредством, например, представления левого L-изображения и правого R-изображения в соответствии с объединенным изображением от декодера 21.

Перечень литературы

Патентная литература

PTL 1: Публикация нерассмотренной Заявки на патент Японии №2008-182669

Раскрытие изобретения

Техническая проблема

Прореженное левое L-изображение и прореженное правое R-изображение представляют собой изображения с расхождением, а объединенное изображение, полученное в модуле 13 объединения кодирующего устройства, показанного на Фиг.2, представляет собой изображение, в котором пикселы Lx,y прореженного левого L-изображения и пикселы Rx,y у прореженного правого R-изображения расположены в шахматном порядке.

Соответственно, объединенное изображение, полученное от одного кадра 3D-изображения (левое L-изображение для одного кадра и правое R-изображение для одного кадра) для некоторой сцены, имеет такой же объем данных (число пикселов), как 2D-изображение сцены, такой же, как указанная сцена (или левое L-изображение или правое R-изображение, составляющие 3D-изображение), но корреляция в темпоральном (по оси времени) направлении и в пространственном направлении в этом изображении заметно ниже.

В частности, если имеется кромка, проходящая непрерывно (плавно) в некотором направлении, таком как вертикальное направление или горизонтальное направление или подобное направление, в 3D-изображении, например, то эта кромка, непрерывная в составе 3D-изображения, проявляется в виде ненепрерывной кромки в составе объединенного изображения, полученного путем объединения прореженного левого L-изображения и прореженного правого R-изображения, со смещением, как показано на Фиг.3.

В результате, в таком объединенном изображении корреляция в пространственном направлении (корреляция между некоторым пикселом в составе одного кадра в объединенном изображении и пикселами вокруг этого пиксела (в частности, корреляция между пикселом в составе прореженного левого L-изображения и пикселами в составе прореженного правого R-изображения, расположенными поблизости от указанного пиксела)) невелика.

Кроме того, если имеется объект (движущийся объект), который движется с постоянной скоростью в 3D-изображении, например, то движение объекта с постоянной скоростью в 3D-изображении, в объединенном изображении, полученном в результате объединения прореженного левого L-изображения и прореженного правого R-изображения со смещением, как показано на Фиг.3, будет проявляться в виде различных движений в зависимости от конкретных пикселов.

В результате в таком объединенном изображении корреляция в темпоральном направлении (корреляция между некоторым кадром и другим кадром - непосредственно до или непосредственно после этого кадра) становится низкой.

Как описано выше, корреляция объединенного изображения в пространственном направлении и в темпоральном направлении невелика, так что при выполнении кодирования с прогнозированием в модуле 14 кодирования в составе кодирующего устройства, показанного на Фиг.2, в котором изображение кодируют с использованием корреляции в темпоральном направлении или в пространственном направлении, например в формате MPEG2 или формате H.264/AVC или в другом подобном формате (применительно к участку изображения, который нужно кодировать, в качестве прогнозируемой величины используют участок, расположенный во времени (темпорально) или в пространстве рядом с этим кодируемым участком, и кодируют разность между участком, подлежащим кодированию, и прогнозируемой величиной), эффективность кодирования с прогнозированием для такого объединенного изображения снижается.

Такая деградация эффективности кодирования происходит не только в случае кодирования с прогнозированием для левого L-изображения и правого R-изображения, составляющих 3D-изображение, но и в случае генерации объединенного изображения из любых двух разных изображений и осуществления кодирования с прогнозированием.

Настоящее изобретение сделано в свете такой ситуации и позволяет повысить эффективность кодирования с прогнозированием применительно к изображениям.

Решение проблемы

Устройство обработки изображения согласно первому аспекту настоящего изобретения включает: средства горизонтальной обработки, выполненные с возможностью приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения пикселов в наклонном направлении во втором изображении, отличающемся от первого изображения, и для выполнения горизонтальной упаковки, причем в процессе горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении, представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении; и средства объединения, выполненные с возможностью генерирования, в качестве кодируемого изображения объекта, служащего объектом кодирования с прогнозированием, объединенного изображения, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, расположены смежно в виде матрицы.

Способ обработки изображения согласно первому аспекту настоящего изобретения включает этапы, на которых: принимают в устройстве обработки изображения, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполняют горизонтальную упаковку, при которой в процессе горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении; и генерируют, в качестве изображения объекта кодирования, служащего объектом кодирования с прогнозированием, объединенного изображения, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, расположены смежно в виде матрицы.

Согласно первому аспекту, описанному выше, с использованием первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, в качестве объекта обработки, выполняют горизонтальную упаковку, при которой горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и генерируют объединенное изображение, в качестве изображения объекта кодирования, служащего объектом кодирования с прогнозированием, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, расположены смежно в виде матрицы.

Устройство для обработки изображения согласно второму аспекту настоящего изобретения включает: средства разделения, выполненные с возможностью разделения на первое прореженное изображение и второе прореженное изображение, подвергнутое горизонтальной упаковке посредством горизонтальной обработки, объединенное изображение, полученное путем приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения, в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполнения горизонтальной упаковки, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и осуществление кодирования с прогнозированием применительно к объединенному изображению, созданному посредством размещения смежно в виде матрицы первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирование сформированных таким образом кодированных данных; и средства обратной горизонтальной обработки, выполненные с возможностью выполнения обратной горизонтальной обработки, причем первое прореженное изображение и второе прореженное изображение, подвергнутых горизонтальной упаковке посредством горизонтальной обработки и разделенных в средствах разделения, возвращают к состоянию первого прореженного изображения и второго прореженного изображения.

Способ обработки изображения согласно второму аспекту настоящего изобретения включает этапы, на которых: разделяют в устройстве для обработки изображения, на первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, объединенного изображения, полученного путем приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполняют горизонтальную упаковку, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и выполняют кодирование с прогнозированием применительно к объединенному изображению, созданному посредством размещения смежно в виде матрицы первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирование сформированных таким образом кодированных данных; и осуществляют обратную горизонтальную обработку, при котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, возвращают к состоянию первого прореженного изображения и второго прореженного изображения.

Согласно второму аспекту, описанному выше, разделяют на первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, объединенное изображение, полученное путем приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполнения горизонтальной упаковки, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и осуществляют кодирование с прогнозированием применительно к объединенному изображению, созданному посредством размещения смежно в виде матрицы первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирование сформированных таким образом кодированных данных; и осуществляют обратную горизонтальную обработку, где первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, возвращают к состоянию первого прореженного изображения и второго прореженного изображения.

Отметим, что устройства для обработки изображения согласно первому и второму аспектам могут быть независимыми устройствами или могут быть внутренними блоками в составе единого устройства.

Кроме того, устройства для обработки изображения согласно первому и второму аспектам могут быть реализованы посредством выполнения соответствующей программы на компьютере.

Кроме того, выполняемая компьютером программа для генерации кодированных данных, где кодированные данные, полученные в первом устройстве для обработки изображения, были подвергнуты кодированию с прогнозированием, и для реализации устройств для обработки изображения согласно первому и второму аспектам может быть предоставлена посредством передачи по линии связи или записи на носителе записи.

Преимущества изобретения

Согласно указанным первому и второму аспектам настоящего изобретения можно повысить эффективность кодирования в случае обработки изображения посредством кодирования с прогнозированием.

Краткое описание чертежей

Фиг.1 представляет схему, описывающую способы прореживания левого L-изображения и правого R-изображения, составляющих 3D-изображение.

Фиг.2 представляет блок-схему, иллюстрирующую конфигурацию примера известного кодирующего устройства.

Фиг.3 представляет схему, описывающую объединение прореженного левого L-изображения и прореженного правого R-изображения в комбинационном модуле 13.

Фиг.4 представляет блок-схему, иллюстрирующую пример конфигурации известного декодирующего устройства.

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации варианта кодирующего устройства, к которому применено настоящее изобретение.

Фиг.6 представляет блок-схему, иллюстрирующую пример конфигурации модуля 34 кодирования.

Фиг.7 представляет логическую схему, описывающую обработку в кодирующем устройстве.

Фиг.8 представляет логическую схему, описывающую параллельную обработку, выполняемую модулем 31 горизонтальной обработки.

Фиг.9 представляет логическую схему, описывающую кодирующую обработку, когда флаг разделения указывает на невыполнение разделения.

Фиг.10 представляет логическую схему, описывающую вертикальную обработку, выполняемую модулем 32 вертикальной обработки.

Фиг.11 представляет схему, описывающую обработку объединения, выполняемую модулем 33 объединения.

Фиг.12 представляет логическую схему, описывающую вертикальную обработку, выполняемую модулем 32 вертикальной обработки.

Фиг.13 представляет схему, описывающую обработку объединения, выполняемую модулем 33 объединения.

Фиг.14 представляет схему для описания флага разделения, флага вертикальной структуры и флага структуры размещения.

Фиг.15 представляет логическую схему, описывающую подробности вертикальной обработки и обработки объединения, выполняемых в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения.

Фиг.16 представляет блок-схему, иллюстрирующую пример конфигурации варианта декодера, в котором применено настоящее изобретение.

Фиг.17 представляет блок-схему, иллюстрирующую пример конфигурации декодера 61.

Фиг.18 представляет логическую схему, описывающую обработку данных в декодирующем устройстве.

Фиг.19 представляет блок-схему, иллюстрирующую пример конфигурации другого варианта кодирующего устройства, к которому применено настоящее изобретение.

Фиг.20 представляет блок-схему, иллюстрирующую пример конфигурации модуля 102 синтезатора.

Фиг.21 представляет схему, описывающую обработку данных в модуле 102 синтезатора.

Фиг.22 представляет схему, описывающую обработку данных в фильтрующем модуле 121 и в прореживающем модуле 122 для случая, когда левое L-изображение и правое R-изображение представляют собой изображения в формате чересстрочной развертки.

Фиг.23 представляет схему, описывающую обработку данных в фильтрующем модуле 121 и в прореживающем модуле 122 для случая, когда левое L-изображение и правое R-изображение представляют собой изображения в формате чересстрочной развертки, а также предварительная обработка не производилась.

Фиг.24 представляет схему, описывающую горизонтальную обработку данных и вертикальную обработку данных.

Фиг.25 представляет схему, описывающую предварительную обработку данных.

Фиг.26 представляет схему, описывающую горизонтальную обработку данных, вертикальную обработку данных и обработки объединения данных, представляющую собой обработку объединения данных с перемежением.

Фиг.27 представляет схему, описывающую предварительную обработку данных во втором формате.

Фиг.28 представляет схему, описывающую способ конфигурирования прореженного левого L-изображения и прореженного правого R-изображения с использованием изображения строк с нечетными номерами в левом L-поле и изображения строк с четными номерами в левом L-поле, а также изображения строк с нечетными номерами в правом R-поле и изображения строк с четными номерами в правом R-поле.

Фиг.29 представляет логическую схему, описывающую предварительную обработку данных в первом формате.

Фиг.30 представляет логическую схему, описывающую предварительную обработку данных во втором формате.

Фиг.31 представляет блок-схему, иллюстрирующую пример конфигурации другого варианта декодирующего устройства, в котором применено настоящее изобретение.

Фиг.32 представляет блок-схему, иллюстрирующую пример конфигурации устройства 141 для конфигурирования 3D-изображения.

Фиг.33 представляет логическую схему, описывающую постобработку данных в первом формате.

Фиг.34 представляет логическую схему, описывающую постобработку данных во втором формате.

Фиг.35 представляет блок-схему, иллюстрирующую пример конфигурации компьютера, в котором применено настоящее изобретение.

Осуществление вариантов

Первый вариант

Вариант кодирующего устройства

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации варианта кодирующего устройства, в котором применено устройство для обработки изображения согласно настоящему изобретению.

На Фиг.5 элементы, соответствующие кодирующему устройству, показанному на Фиг.2, имеют такие же цифровые позиционные обозначения, а в дальнейшем описание этих элементов будет, где это возможно, опущено.

Иными словами, кодирующее устройство, показанное на Фиг.5, является таким же, как на Фиг.2, с той точки зрения, что оно имеет фильтрующий модуль 11 и прореживающий модуль 12.

Отметим, однако, что кодирующее устройство, показанное на Фиг.5, отличается от устройства в случае Фиг.2 с той точки зрения, что оно имеет модуль 31 горизонтальной обработки, модуль 32 вертикальной обработки и модуль 35 управления. Далее, кодирующее устройство, показанное на Фиг.5, содержит вместо модуля 13 объединения и модуля 14 кодирования, модуль 33 объединения и модуль 34 кодирования, соответственно, что отличает его от случая, показанного на Фиг.2.

Модуль 31 горизонтальной обработки принимает от прореживающего модуля 12 прореженное левое L-изображение и прореженное правое R-изображение с расположенными в шахматном порядке пикселами, полученные путем исключения пикселов из каждого изображения - левого L-изображения и правого R-изображение, из каждой второй строки в наклонном направлении.

Другими словами, в кодирующем устройстве, показанном на Фиг.5, левое L-изображение и правое R-изображение, составляющие 3D-изображение, обрабатывают в фильтрующем модуле 11 и прореживающем модуле 12, таких же, как в случае, показанном на Фиг.2, и полученные в результате прореженное левое L-изображение и прореженное правое R-изображение (первое прореженное изображение и второе прореженное изображение) передают в модуль 31 горизонтальной обработки.

Сейчас, хотя мы и говорим, что объектом обработки в кодирующем устройстве являются два изображения - левое L-изображение и правое R-изображение, составляющие 3D-изображение, объекты обработки в кодирующем устройстве не ограничиваются указанными левым L-изображением и правым R-изображением.

Иными словами, в рассматриваемом кодирующем устройстве объектом обработки могут являться два изображения со смещением одно относительно другого, отличные от левого L-изображения и правого R-изображения, составляющих 3D-изображение, в частности, например, эти два изображения могут представлять собой изображение некоторого предмета, снятое с некоторой точки А, и изображение, снятое с произвольной точки, находящейся не на луче, исходящем от предмета и проходящем через точку А.

Кроме того, в рассматриваемом кодирующем устройстве объектом обработки могут являться произвольное первое изображение и второе изображение, отличное от первого изображения. Это могут быть, например, два изображения - кадр с нечетным номером и кадр с четным номером, составляющие некоторое движущееся изображение, или кадры с одинаковым номером от начала двух произвольных движущихся изображений и т.п.

Модуль 31 горизонтальной обработки осуществляет горизонтальную упаковку с целью упаковать пикселы прореженного левого L-изображения и прореженного правого R-изображения в горизонтальном направлении в качестве горизонтальной обработки для манипуляции позициями пикселов в каждом изображении - прореженном левом L-изображении и прореженном правом R-изображении, поступающих от прореживающего модуля 12, в горизонтальном направлении.

Иными словами, модуль 31 горизонтальной обработки составлен из левого модуля 31L горизонтальной обработки и правого модуля 31R горизонтальной обработки.

Модуль 31L горизонтальной обработки подвергает прореженное левое L-изображение от прореживающего модуля 12 горизонтальной обработке и передает полученное в результате изображение (здесь далее именуемое «левое L-изображение после горизонтальной обработки») в модуль 32 вертикальной обработки.

Иными словами, прореженное левое L-изображение представляет собой изображение, пикселы которого расположены в шахматном порядке, так что в матрице пикселов имеются зазоры, т.е. в шахматном порядке по сравнению с 2D-изображением такого же размера.

Сдвигая пикселы прореженного левого L-изображения в горизонтальном направлении, так что в изображении не остается зазоров, модуль 31L горизонтальной обработки генерирует изображение, в котором пикселы прореженного левого L-изображения оказываются упакованы горизонтально, в качестве левого L-изображения после горизонтальной обработки.

Аналогично модулю 31L горизонтальной обработки модуль 31R горизонтальной обработки подвергает прореженное правое R-изображение от прореживающего модуля 12 горизонтальной обработке и передает полученное в результате изображение (здесь далее именуемое «правое R-изображение после горизонтальной обработки») в модуль 32 вертикальной обработки.

В процессе вертикальной обработки для манипуляции размещением в вертикальном направлении пикселов каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки (первое прореженное изображение после горизонтальной обработки и второе прореженное изображение после горизонтальной обработки), от модуля 31 горизонтальной обработки модуль 32 вертикальной обработки обрабатывает эти изображения для выделения строк с нечетными номерами (далее «нечетные строки») и строк с четными номерами (далее «четные строки») из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки и генерирует несколько изображений после вертикальной обработки, включая изображение, построенное в виде матрицы, содержащей только нечетные строки, и изображение, построенное в виде матрицы, содержащей только четные строки.

Иными словами, модуль 32 вертикальной обработки построен из разделительных модулей 32L и 32R.

Разделительный модуль 32L разделяет нечетные строки и четные строки в левом L-изображении после горизонтальной обработки от модуля 31 горизонтальной обработки.

Разделительный модуль 32R разделяет нечетные строки и четные строки в правом R-изображении после горизонтальной обработки от модуля 31 горизонтальной обработки.

Теперь, помимо получения левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки от модуля 31 горизонтальной обработки указанный модуль 32 вертикальной обработки получает также флаг разделения (Separate) и флаг вертикальной структуры (Vertical_pattern) от модуля 35 управления.

Флаг разделения представляет собой флаг, указывающий, нужно ли разделять нечетные строки и четные строки в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки (указывающий, произведено или нет разделение нечетных строк и четных строк в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки).

Кроме того, флаг вертикальной структуры представляет собой флаг, указывающий структуру матрицы нечетных строк и четных строк левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки в нескольких изображениях после вертикальной обработки, полученных в модуле 32 вертикальной обработки.

Если флаг разделения от модуля 35 управления указывает, что не нужно разделять нечетные строки и четные строки в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки, эти левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки от модуля 31 горизонтальной обработки передают в модуль 33 объединения в качестве нескольких изображений после вертикальной обработки, как они есть, независимо от флага вертикальной структуры от модуля 35 управления.

Соответственно, когда флаг разделения указывает, что не нужно разделять нечетные строки и четные строки в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки, модуль 32 вертикальной обработки не осуществляет никакой вертикальной обработки, левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки от модуля 31 горизонтальной обработки передают в модуль 33 объединения в виде нескольких изображений после вертикальной обработки, как они есть.

Если флаг разделения от модуля 35 управления указывает на необходимость разделения нечетных строк и четных строк в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки, модуль 32 вертикальной обработки дает команду разделительному модулю 32L отделить нечетные строки от четных строк в левом L-изображении после горизонтальной обработки, поступившем от модуля 31 горизонтальной обработки, а также дает команду разделительному модулю 32R отделить нечетные строки от четных строк в правом R-изображении после горизонтальной обработки, поступившем от модуля 31 горизонтальной обработки.

После этого модуль 32 вертикальной обработки в соответствии с флагом вертикальной структуры от модуля 35 управления генерирует, в качестве нескольких изображений после вертикальной обработки, четыре изображения, а именно изображение в виде матрицы только нечетных строк из состава левого L-изображения после горизонтальной обработки, изображение в виде матрицы только четных строк из состава левого L-изображения после горизонтальной обработки, изображение в виде матрицы только нечетных строк из состава правого R-изображения после горизонтальной обработки и изображение в виде матрицы только четных строк из состава правого R-изображения после горизонтальной обработки, или два изображения - изображение нечетных строк после вертикальной обработки, полученное в результате перемежения и размещения в виде матрицы нечетных строк левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, и изображение четных строк после вертикальной обработки, полученное в результате перемежения и размещения в виде матрицы четных строк левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, и передает эти изображения в модуль 33 объединения.

Здесь в дальнейшем изображение, содержащее только нечетные строки левого L-изображения после горизонтальной обработки, расположенные в виде матрицы, будет именоваться левое L-изображение нечетных строк, а изображение, содержащее только четные строки левого L-изображения после горизонтальной обработки, расположенные в виде матрицы, будет именоваться левое L-изображение четных строк. Кроме того, изображение, содержащее только нечетные строки правого R-изображения после горизонтальной обработки, расположенные в виде матрицы, будет также именоваться правое R-изображение нечетных строк, а изображение, содержащее только четные строки правого R-изображения после горизонтальной обработки, расположенные в виде матрицы, будет также именоваться правое R-изображение четных строк.

В дополнение к поступлению нескольких изображений после вертикальной обработки от модуля 32 вертикальной обработки указанный модуль 33 объединения получает также флаг разделения, флаг вертикальной структуры и флаг структуры размещения (Arrange_pattern) от модуля 35 управления.

Отметим, что флаг структуры размещения является флагом, указывающим структуру матрицы из четырех изображений в случае, когда указанные несколько изображений после вертикальной обработки представляют собой левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, причем эти четыре изображения располагают в виде матрицы, чтобы создать объединенное изображение.

Указанный модуль 33 объединения в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения от модуля 35 управления размещает в виде матрицы несколько изображений после вертикальной обработки от модуля 32 вертикальной обработки и генерирует объединенное изображение из этих нескольких изображений после вертикальной обработки (изображение одного кадра, объем данных в котором совпадает с объемом данных одного кадра левого L-изображения или правого R-изображения), которое передает на выход в качестве изображения, подлежащего кодированию с прогнозированием, в расположенный после него модуль 34 кодирования.

Теперь, если флаг разделения указывает, что не нужно разделять четные строки и нечетные строки в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки, модуль 32 вертикальной обработки передает эти левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки в модуль 33 объединения, как это описано ранее, в качестве нескольких изображений после вертикальной обработки в состоянии, как они есть.

В этом случае модуль 33 объединения генерирует объединенное изображение путем размещения левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, поступивших от модуля 32 вертикальной обработки в качестве нескольких изображений после вертикальной обработки, в виде заданной матрицы.

Кроме того, если флаг разделения от модуля 35 управления указывает на разделение нечетных строк и четных строк в левом L-изображении после горизонтальной обработки и в правом R-изображении после горизонтальной обработки, комбинационный модуль 33 проверяет флаг вертикальной структуры от модуля 35 управления, чтобы убедиться, составлено ли изображение, поступившее в виде нескольких изображений после вертикальной обработки, из четырех изображений, а именно - левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, или из двух изображений - изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки.

Если модуль 33 объединения получил от модуля 32 вертикальной обработки два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, в качестве нескольких изображений после вертикальной обработки, этот модуль 33 объединения генерирует объединенное изображение путем размещения изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, поступивших в качестве нескольких изображений после вертикальной обработки, в виде заданной матрицы.

Кроме того, если модуль 33 объединения получил от модуля 32 вертикальной обработки четыре изображения - левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, в качестве нескольких изображений после вертикальной обработки, этот модуль 33 объединения генерирует объединенное изображение путем размещения левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, поступивших в качестве нескольких изображений после вертикальной обработки, в виде матрицы, структуру которой указывает флаг структуры размещения от модуля 35 управления.

Модуль 34 кодирования получает объединенное изображение с выхода модуля 33 объединения и флаг разделения, флаг вертикальной структуры и флаг структуры размещения с выхода модуля 35 управления.

Модуль 34 кодирования осуществляет кодирование с прогнозированием применительно к объединенному изображению с выхода модуля 33 совмещения в соответствии с форматом MPEG2 или форматом H.264/AVC или другим подобным форматом, например, и включает флаг разделения, флаг вертикальной структуры и флаг структуры размещения с выхода модуля 35 управления в кодированные данные, полученные в результате кодирования с прогнозированием, посредством мультиплексирования.

Кодированные данные, включающие флаг разделения, флаг вертикальной структуры и флаг структуры размещения, полученные в модуле 34 кодирования, передают в линию передачи или записывают на носителе записи.

Модуль 35 управления выполняет команды оператора (пользователя) и аналогичные команды, чтобы установить флаг разделения, флаг вертикальной структуры, флаг структуры размещения, и передает эти флаги в модуль 33 объединения и в модуль 34 кодирования. Далее, модуль 35 управления передает флаг разделения и флаг вертикальной структуры в модуль 32 вертикальной обработки.

Отметим, что в модуле 34 кодирования указанные флаг разделения, флаг вертикальной структуры и флаг структуры размещения могут быть включены в, например, заголовок или аналогичный элемент системного уровня или уровня изображения, например, в составе кодированных данных. В частности, например, если модуль 34 кодирования должен осуществлять кодирование в формате H.264/AVC, указанные флаг разделения, флаг вертикальной структуры и флаг структуры размещения могут быть включены в состав дополнительной информации (SEI (Supplemental Enhancement Information)), представляющей собой данные пользователя. Отметим, однако, что модуль 34 кодирования может передавать кодированные данные и флаг разделения, флаг вертикальной структуры и флаг структуры размещения разнообразными способами. Иными словами, можно передавать флаг разделения, флаг вертикальной структуры и флаг структуры размещения отдельно от описанной выше передачи кодированных данных, можно передать эти флаг разделения, флаг вертикальной структуры и флаг структуры размещения, описав их в виде синтаксиса в составе кодированных данных, таких как информация SEI или аналогичные данные, можно записать кодированные данные и флаг разделения, флаг вертикальной структуры и флаг структуры размещения на носителе записи, можно передать кодированные данные и указанные флаг разделения, флаг вертикальной структуры и флаг структуры размещения индивидуально и т.д.

Сейчас конфигурация кодирующего устройства, показанного на Фиг.5, предусматривает подготовку указанных трех флагов - флага разделения, флага вертикальной структуры и флага структуры размещения, так что объединенные изображения с различными структурами можно генерировать путем установки этих трех флагов, однако объединенное изображение, сформированное в кодирующем устройстве, может иметь пиксельную матрицу какой-либо одной конкретной структуры.

Иными словами, кодирующее устройство, изображенное на Фиг.5, может генерировать объединенное изображение с матрицей пикселов, имеющей конкретную структуру, соответствующую конкретным значениям флага разделения, флага вертикальной структуры и флага структуры размещения.

В этом случае, включив в кодированные данные флаг, указывающий, является ли объединенное изображение таким же, как обычное изображение, в котором пикселы прореженного правого R-изображения помещены в позиции, где нет пикселов прореженного левого L-изображения (Вид В на Фиг.3), как показано на Фиг.3, или в этом изображении пикселы расположены в виде матрицы, имеющей конкретную структуру, вместо флага разделения, флага вертикальной структуры и флага структуры размещения, можно в декодирующем устройстве, выполняющем декодирование указанных кодированных данных, определить, к какому из двух типов изображений относится полученное в результате декодирования объединенное изображение.

Пример конфигурации модуля 34 кодирования

Фиг.6 представляет блок-схему, иллюстрирующую пример конфигурации модуля 34 кодирования, показанного на Фиг.5.

Модуль 34 кодирования представляет собой устройство для кодирования информации изображения, реализующее сжатие изображения посредством ортогонального преобразования, такого как дискретное косинусное преобразование или преобразования Карунена-Лоэва, и компенсации движения.

Данные изображения, подлежащие кодированию, передают в модуль 41 аналого-цифрового преобразователя (A/D (Analog/Digital)).

Сейчас согласно настоящему изобретению подлежащие кодированию данные изображения, которые направляют в модуль 41 аналого-цифрового преобразователя, представляют собой данные объединенного изображения, сформированного в модуле 33 объединения (Фиг.5).

Если поступающие данные изображения представляют собой данные (сигналы) изображения в виде аналоговых сигналов, модуль 41 аналого-цифрового преобразователя осуществляет аналого-цифровое преобразование данных изображения, превращая тем самым данные изображения в цифровые сигналы, направляемые в буфер 42 перекомпоновки кадра.

Указанный буфер 42 перекомпоновки кадра временно сохраняет данные изображения от модуля 41 аналого-цифрового преобразователя и считывает эти данные по мере необходимости, выполняя тем самым перекомпоновку, в процессе которой картинки (изображения) из состава данных изображения (кадры) (поля) оказываются перераспределены в порядке кодирования в соответствии со структурой группы изображений (GOP (Group of Pictures)) в кодированных данных, поступающих с выхода модуля 34 кодирования.

Из изображений, считываемых из буфера 42 перекомпоновки кадра, изображения, подлежащие внутрикадровому прогнозированию, передают в вычислительный модуль 43.

Этот вычислительный модуль 43 вычитает величины пикселов прогнозируемого изображения, поступающего от модуля 54 внутрикадрового прогнозирования, по мере необходимости, из величин пикселов изображения с внутрикадровым прогнозированием, поступающего из буфера 42 перекомпоновки кадра, и передают полученный результат в модуль 44 ортогонального преобразования.

Этот модуль 44 ортогонального преобразования выполняет ортогональное преобразование, такое как дискретное косинусное преобразование или преобразование Карунена-Лоэва, для изображения с внутрикадровым прогнозированием (результата вычитания величин пикселов прогнозируемого изображения из величин пикселов изображения с внутрикадровым прогнозированием) и передает полученные в результате коэффициенты преобразования в модуль 45 квантования.

Указанный модуль 45 квантования осуществляет квантование коэффициентов преобразования с выхода модуля 44 ортогонального преобразования и передает квантованные величины, полученные в результате, в модуль 46 кодирования без потерь.

Указанный модуль 46 кодирования без потерь осуществляет кодирование без потерь, такое как кодирование в коде переменной длины и арифметическое кодирование или другое подобное кодирование, применительно к квантованным величинам с выхода модуля 45 квантования и передает полученные в результате кодированные данные в запоминающий буфер 47.

Указанный запоминающий буфер 47 временно сохраняет кодированные данные от модуля 46 кодирования без потерь и передает их на выход с заданной скоростью.

Модуль 48 управления скоростью передачи данных контролирует объем кодированных данных, записанных в запоминающем буфере 47, и на основе этого объема данных управляет работой модуля 45 квантования, например, шагом квантования в модуле 45 квантования и т.д.

Квантованную величину, полученную в модуле 45 квантования, передают в модуль 46 кодирования без потерь, а также передают в модуль 49 обратного квантования. Этот модуль 49 обратного квантования осуществляет обратное квантование применительно к квантованным величинам от модуля 45 квантования для получения коэффициентов преобразования и передает эти коэффициенты в модуль 50 обратного ортогонального преобразования.

Этот модуль 50 обратного ортогонального преобразования осуществляет обратное ортогональное преобразование применительно к коэффициентам преобразования от модуля 49 обратного квантования и передает в вычислительный модуль 51.

Указанный вычислительный модуль 51 суммирует с данными, поступающими от модуля 50 обратного ортогонального преобразования, величины пикселов прогнозируемого изображения, поступающие от модуля 54 внутрикадрового прогнозирования, по мере необходимости и получает в результате декодированную версию изображения с внутрикадровым прогнозированием, которую он направляет в деблокирующий фильтр 52.

Этот деблокирующий фильтр 52 подвергает декодированное изображение от вычислительного модуля 51 фильтрационной обработке для уменьшения блочных шумов и передает результат в память 53 кадров.

Указанная память 53 кадров временно сохраняет декодированное изображение, поступающее от вычислительного модуля 51 через деблокирующий фильтр 52, и передает это декодированное изображение в модуль 54 внутрикадрового прогнозирования и в модуль 55 прогнозирования-движения/компенсации-движения по мере необходимости в качестве опорного изображения для использования при генерации прогнозируемого изображения.

Указанный модуль 54 внутрикадрового прогнозирования генерирует прогнозируемое изображение из пикселов, расположенных рядом с участком (блоком), являющимся объектом обработки в вычислительном модуле 43 и уже записанном в памяти 53 кадров, и передает результат в вычислительные модули 43 и 51.

Если из модуля 54 внутрикадрового прогнозирования в вычислительный модуль 43, как описано выше, поступает прогнозируемое изображение, соответствующее изображению, применительно к которому должно быть выполнено внутрикадровое кодирование, это прогнозируемое изображение, поступившее от модуля 54 внутрикадрового прогнозирования, вычитают в вычислительном модуле 43 из изображения, поступившего из буфера 42 перекомпоновки изображения.

Кроме того, в вычислительном модуле 51 прогнозируемое изображение, вычитаемое в вычислительном модуле 43, суммируют с данными, поступающими от модуля 50 обратного ортогонального преобразования.

С другой стороны, изображение без внутрикадрового прогнозирования, подлежащее межкадровому кодированию, поступает из буфера 42 перекомпоновки изображения в вычислительный модуль 43 и в модуль 55 прогнозирования-движения/компенсации-движения.

Указанный модуль 55 прогнозирования-движения/компенсации-движения считывает из памяти 53 кадров декодированное изображение, которое должно служить опорой в процессе прогнозирования движения для изображения без внутрикадрового прогнозирования из буфера 42 перекомпоновки изображения. Далее, рассматриваемый модуль 55 прогнозирования-движения/компенсации-движения использует опорное изображение из памяти 53 кадров для определения векторов движения, относящихся к изображению без внутрикадрового прогнозирования из буфера 42 перекомпоновки изображения.

Модуль 55 прогнозирования-движения/компенсации-движения затем подвергает опорное изображение компенсации движения после определения векторов движения и генерирует в результате прогнозируемое изображение для «невнутреннего» изображения, поступающее в вычислительные модули 43 и 51.

В вычислительном модуле 43 прогнозируемое изображение, поступившее от модуля 54 внутрикадрового прогнозирования, вычитают из изображения без внутрикадрового прогнозирования, поступившего из буфера 42 перекомпоновки изображения, и затем осуществляют кодирование таким же способом, как и для изображения с внутрикадровым прогнозированием.

Отметим, что данные режима внутрикадрового прогнозирования, представляющего собой режим, в котором модуль 54 внутрикадрового прогнозирования генерирует прогнозируемое изображение, передают из этого модуля 54 внутрикадрового прогнозирования в модуль 46 кодирования без потерь. Кроме того, в этот модуль 46 кодирования без потерь поступают векторы движения, полученные в модуле 55 прогнозирования-движения/компенсации-движения, и данные режима прогнозирования с компенсацией движения, в котором модуль 55 прогнозирования-движения/компенсации-движения осуществляет компенсацию движения, из модуля 55 прогнозирования-движения/компенсации-движения.

Далее, флаг разделения, флаг вертикальной структуры и флаг структуры размещения, поступившие из модуля 35 управления (Фиг.5) в модуль 34 кодирования, поступают также в модуль 46 кодирования без потерь.

В модуле 46 кодирования без потерь данные режима внутрикадрового прогнозирования, векторы движения, данные режима прогнозирования с компенсацией движения и другую информацию, необходимую для декодирования, такую как тип изображения и т.п., подвергают кодированию без потерь и включают в заголовок кодированных данных.

Далее, в модуле 46 кодирования без потерь указанные флаг разделения, флаг вертикальной структуры и флаг структуры размещения включают в кодированные данные посредством мультиплексирования.

Обработка данных в кодирующем устройстве

Фиг.7 представляет логическую схему, описывающую обработку данных в кодирующем устройстве, показанном на Фиг.5 (обработка изображения посредством кодирования).

На этапе S11 модуль 35 управления устанавливает флаг разделения, флаг вертикальной структуры и флаг структуры размещения и передает эти флаги в комбинационный модуль 33 и модуль 34 кодирования. Далее, этот модуль 35 управления передает установленные флаг разделения, флаг вертикальной структуры и флаг структуры размещения в модуль 32 вертикальной обработки, а процесс обработки изображения переходит от этапа S11 к этапу S12.

На этапе S12 фильтрующий модуль 11 ожидает поступления левого L-изображения и правого R-изображения, составляющих один кадр 3D-изображения, и принимает эти левое L-изображение и правое R-изображение. Фильтрующий модуль 11 осуществляет фильтрацию каждого изображения - левого L-изображения и правого R-изображения, и передает результаты в прореживающий модуль 12, а обработка данных переходит от этапа S12 к этапу S13.

На этапе S13 прореживающий модуль 12 осуществляет вычеркивание пикселов из каждого изображения - левого L-изображения и правого R-изображения, поступающих от фильтрующего модуля 11, и передает в модуль 31 горизонтальной обработки прореженное левое L-изображение и прореженное правое R-изображение, в которых пикселы расположены в виде матрицы в шахматном порядке.

После этого обработка данных переходит от этапа S13 к этапу S14, где модуль 31 горизонтальной обработки осуществляет горизонтальную обработку прореженного левого L-изображения и прореженного правого R-изображения от прореживающего модуля 12.

Модуль 31 горизонтальной обработки затем передает левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, полученные в результате горизонтальной обработки, в модуль 32 вертикальной обработки, а процесс обработки данных переходит от этапа S14 к этапу S15.

На этапе S15 модуль 32 вертикальной обработки подвергает левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки от модуля 31 горизонтальной обработки после получения флага разделения, флага вертикальной структуры и флага структуры размещения, поступающих от модуля 35 управления, вертикальной обработке, генерируя тем самым несколько изображений после вертикальной обработки.

Затем модуль 32 вертикальной обработки передает полученные несколько изображений после вертикальной обработки в модуль 33 объединения, а обработка данных - от этапа S15 к этапу S16.

На этапе S16 модуль 33 объединения размещает в виде матрицы несколько изображений после вертикальной обработки от модуля 32 вертикальной обработки после получения флага разделения, флага вертикальной структуры и флага структуры размещения от модуля 35 управления, осуществляя тем самым комбинационную обработку с целью генерации объединенного изображения на основе этих нескольких изображений после вертикальной обработки.

Далее, модуль 33 объединения передает объединенное изображение в модуль 34 кодирования, а процесс обработки данных переходит от этапа S16 к этапу S17.

На этапе S17 модуль 34 кодирования подвергает объединенное изображение с выхода модуля 33 объединения кодированию с прогнозированием (кодирование) в соответствии с форматом MPEG2, форматом H.264/AVC или другим подобным форматом в качестве объекта кодирования.

Далее, модуль 34 кодирования включает флаг разделения, флаг вертикальной структуры и флаг структуры размещения, поступающие от модуля 35 управления, в состав кодированных данных, полученных в результате кодирования с прогнозированием, и передает на выход.

Кодированные данные, переданные на выход модулем 34 кодирования, передают затем в линию передачи или записывают на носителе записи.

Отметим, что обработке на этапах с S11 по S17 подвергаются левые L-изображения и правые R-изображения, составляющие экраны 3D-изображения.

Отметим, что флаг разделения, флаг вертикальной структуры и флаг структуры размещения на этапе S11 могут быть установлены сразу для первого изображения в составе 3D-изображения, являющегося контентом некоторого движущегося изображения, например. В этом случае процедура обработки после установления флага разделения, флага вертикальной структуры и флага структуры размещения относительно первого изображения применяется ко всем кадрам 3D-изображения, являющегося контентом.

Горизонтальная обработка

Фиг.8 представляет схему, описывающую горизонтальную обработку данных, выполняемой модулем 31 горизонтальной обработки, показанным на Фиг.5

Как описано выше, модуль 31 горизонтальной обработки осуществляет горизонтальную упаковку, в процессе которой прореженное левое L-изображение и прореженное правое R-изображение, пикселы которых расположены в шахматном порядке, упаковывают в горизонтальном направлении путем манипуляций с матрицей пикселов в горизонтальном направлении.

Вид А на Фиг.8 иллюстрирует горизонтальную обработку прореженного левого L-изображения.

Отметим, что на Фиг.8 обозначение LO представляет пикселы прореженного левого L-изображения (и более широко - левого L-изображения), расположенные в нечетных строках (горизонтальные строки с нечетными номерами, если считать сверху) этого изображения, и обозначение LE представляет пикселы прореженного левого L-изображения, расположенные в четных строках (горизонтальные строки с четными номерами, если считать сверху) этого изображения. Это сохраняет справедливость и в последующем.

В прореженном левом L-изображении пикселы расположены в виде матрицы в шахматном порядке, при этом пикселы отделены один от другого зазорами, в отличие от 2D-изображения такого же размера.

В результате горизонтальной обработки прореженного левого L-изображения генерируют изображение, в котором пикселы левого L-изображения горизонтально упакованы, в качестве левого L-изображения после горизонтальной обработки, сдвигая пикселы прореженного левого L-изображения в горизонтальном направлении, т.е. влево на Виде А на Фиг.8.

Вид В на Фиг.8 иллюстрирует горизонтальную обработку прореженного правого R-изображение.

Отметим, что на Фиг.8 обозначение RO представляет пикселы прореженного правого R-изображения (и более широко - правого R-изображения), расположенные в нечетных строках (горизонтальные строки с нечетными номерами, если считать сверху) этого изображения, и обозначение RE представляет пикселы прореженного правого R-изображения, расположенные в четных строках (горизонтальные строки с четными номерами, если считать сверху) этого изображения. Это сохраняет справедливость и в последующем.

В прореженном правом R-изображении пикселы расположены в виде матрицы в шахматном порядке, при этом пикселы отделены один от другого зазорами, в отличие от 2D-изображения такого же размера.

В результате горизонтальной обработки прореженного правого R-изображения генерируют изображение, в котором пикселы правого R-изображения горизонтально упакованы, в качестве правого R-изображения после горизонтальной обработки, сдвигая пикселы прореженного правого R-изображения в горизонтальном направлении, т.е. влево на Виде В на Фиг.8.

Обработка данных в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения

Фиг.9 иллюстрирует обработку данных, выполняемую в кодирующем устройстве, показанном на Фиг.5, если флаг разделения указывает, что не нужно разделять нечетные строки и четные строки в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки (именуется далее «невыполнение разделения»).

Если флаг разделения указывает, что разделение выполнять не нужно (невыполнение разделения), модуль 32 вертикальной обработки передает левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, сформированные в модуле 31 горизонтальной обработки, в комбинационный модуль 33 в качестве нескольких изображений после вертикальной обработки без изменений.

Далее, в этом случае комбинационный модуль 33 генерирует объединенное изображение путем размещения левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, поступающих от модуля 32 вертикальной обработки в качестве нескольких изображений после вертикальной обработки, в виде заданной матрицы.

Иными словами, как показано на Фиг.9, комбинационный модуль 33 помещает левое L-изображение после горизонтальной обработки на левую сторону и помещает правое R-изображение после горизонтальной обработки на правую сторону, генерируя в результате объединенное изображение.

Как описано выше, в объединенном изображении, создаваемом, когда флаг разделения указывает на невыполнение разделения, левое L-изображение после горизонтальной обработки находится на левой стороне и правое R-изображение после горизонтальной обработки находится на правой стороне.

Указанное левое L-изображение после горизонтальной обработки представляет собой изображение, в котором пикселы прореженного левого L-изображения упакованы горизонтально посредством сдвига в горизонтальном направлении, чтобы между пикселами не было зазоров. Это же справедливо и для правого R-изображения после горизонтальной обработки.

Соответственно, если сосредоточиться на левом L-изображении после горизонтальной обработки или на правом R-изображении после горизонтальной обработки из состава объединенного изображения, можно предотвратить деградацию корреляции как в пространственном направлении, так и во временном направлении изображения, и в результате эффективность кодирования в случае кодирования с прогнозированием применительно к объединенному изображению можно повысить по сравнению со случаем изображения, в котором пикселы прореженного правого R-изображения встроены в прореженное левое L-изображение в позиции, где нет пикселов прореженного левого L-изображения, как показано на Фиг.3.

Иными словами, если в составе левого L-изображения имеет место кромка, протяженная непрерывно в горизонтальном направлении, непрерывность этой кромки сохраняется и в левом L-изображении после горизонтальной обработки, в котором пикселы прореженного левого L-изображения упакованы горизонтально. Соответственно, сохраняется корреляция в пространственном направлении и во временном направлении в изображении, имеющем кромку, протяженную в горизонтальном направлении, что позволяет предотвратить деградацию эффективности кодирования.

Это же имеет место и для R-изображения.

Кроме того, если при использовании кодирующего устройства, показанного на Фиг.5, повернуть левое L-изображение и правое R-изображение на 90 градусов и взять указанные L-изображение и R-изображение после поворота в качестве объекта обработки, то в случае, когда кромка непрерывно проходит в вертикальном направлении на первоначальных (до поворота) левом L-изображении и правом R-изображении, можно сохранить корреляцию пикселов в пространственном направлении и во временном направлении при проходящей в вертикальном направлении кромке и тем самым предотвратить деградацию эффективности кодирования.

В альтернативном варианте, даже если в приведенном выше описании вместо «горизонтальный» читать «вертикальный» и вместо «вертикальный» читать «горизонтальный», то в случае, когда кромка проходит непрерывно в вертикальном направлении в пределах левого L-изображения и правого R-изображения, можно сохранить корреляцию пикселов в пространственном направлении и во временном направлении при проходящей в вертикальном направлении кромке и тем самым предотвратить деградацию эффективности кодирования.

Отметим, что на Фиг.9 левое L-изображение после горизонтальной обработки помещено на левую сторону и правое R-изображение после горизонтальной обработки помещено на правую сторону для генерации объединенного изображения, однако левое L-изображение после горизонтальной обработки может быть помещено на правую сторону, а правое R-изображение после горизонтальной обработки может быть помещено на левую сторону.

Кроме того, тем, куда поместить левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки - на левую сторону или на правую сторону объединенного изображения, можно управлять путем создания нового флага, отличного от указанных флага разделения, флага вертикальной структуры и флага структуры размещения, и использования этого нового флага. Отметим, что в этом случае также необходимо включить такой новый флаг в кодированные данные.

Теперь, если генерировать объединенное изображение путем размещения левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки в качестве нескольких изображений после вертикальной обработки, как показано на Фиг.9, непрерывность кромки, протяженной в горизонтальном направлении, сохраняется, а непрерывность кромки, протяженной в вертикальном направлении, будет утрачена.

Сейчас Фиг.10 представляет схему для описания вертикальной обработки, выполняемой в модуле 32 вертикальной обработки, показанном на Фиг.5, когда флаг разделения указывает, что необходимо разделить нечетные строки и четные строки в левом L-изображении после горизонтальной обработки и правом R-изображении после горизонтальной обработки (далее именуемое также «разделение строк»).

Иными словами, Фиг.10 представляет схему, иллюстрирующую вертикальную обработку, для ситуации, когда флаг разделения указывает на разделение строк, а флаг вертикальной структуры указывает структуру матрицы без перемежения для матрицы нечетных строк и четных строк из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки из указанных нескольких изображений после вертикальной обработки.

Сейчас матрица нечетных строк и четных строк из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки из совокупности нескольких изображений после вертикальной обработки, на которую указывает флаг вертикальной структуры, может быть матрицей одного из двух типов матриц - матрицей с перемежением или матрицей без перемежения. Матрица без перемежения будет описана со ссылками на Фиг.10, а матрица с перемежением будет описана позднее.

Когда флаг разделения указывает на разделение строк, модуль 32 вертикальной обработки разделяет нечетные строки и четные строки из состава левого L-изображения после горизонтальной обработки, а также разделяет нечетные строки и четные строки из состава правого R-изображения после горизонтальной обработки.

Далее, если флаг разделения указывает на разделение строк, модуль 32 вертикальной обработки проверяет флаг вертикальной структуры.

Если флаг вертикальной структуры обозначает матрицу без перемежения, модуль 32 вертикальной обработки сдвигает в вертикальном направлении нечетные строки и четные строки, выделенные из состава каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, генерируя в результате четыре изображения - нечетное левое L-изображение, четное левое L-изображение, нечетное правое R-изображение и четное правое R-изображение, в качестве нескольких изображений после вертикальной обработки.

Иными словами, Вид А на Фиг.10 представляет схему для описания процесса вертикальной обработки, объектом которой является левое L-изображение после горизонтальной обработки.

Модуль 32 вертикальной обработки выделяет только нечетные строки (LO), а также выделяет только четные строки (LE) из левого L-изображения после горизонтальной обработки, отделяя тем самым нечетные строки от четных строк.

Изображение, построенное только из нечетных строк, выделенных из левого L-изображения после горизонтальной обработки, представляет собой изображение, в котором имеются зазоры, соответствующие четным строкам. Изображение, построенное только из четных строк, выделенных из левого L-изображения после горизонтальной обработки, представляет собой изображение, в котором имеются зазоры, соответствующие нечетным строкам.

Модуль 32 вертикальной обработки сдвигает в вертикальном направлении нечетные строки изображения, построенного из нечетных строк, выделенных из левого L-изображения после горизонтальной обработки, чтобы упаковать зазоры, соответствующие четным строкам, генерируя тем самым изображение в состоянии с вертикально упакованными нечетными строками, такое как нечетное левое L-изображение, содержащее только расположенные в виде матрицы нечетные строки (LO) левого L-изображения после горизонтальной обработки.

Далее, модуль 32 вертикальной обработки сдвигает в вертикальном направлении четные строки изображения, построенного из четных строк, выделенных из левого L-изображения после горизонтальной обработки, чтобы упаковать зазоры, соответствующие нечетным строкам, генерируя тем самым изображение в состоянии с вертикально упакованными четными строками, такое как четное левое L-изображение, содержащее только расположенные в виде матрицы четные строки (LE) левого L-изображения после горизонтальной обработки.

Модуль 32 вертикальной обработки подвергает такой же вертикальной обработке также правое R-изображение после горизонтальной обработки.

Иными словами, Вид В на Фиг.10 представляет схему для описания процесса вертикальной обработки, объектом которой является правое R-изображение после горизонтальной обработки.

Модуль 32 вертикальной обработки выделяет только нечетные строки (RO), а также выделяет только четные строки (RE) из правого R-изображения после горизонтальной обработки, отделяя тем самым нечетные строки от четных строк.

Теперь изображение, построенное только из нечетных строк, выделенных из правого R-изображения после горизонтальной обработки, представляет собой изображение, в котором имеются зазоры, соответствующие четным строкам. Изображение, построенное только из четных строк, выделенных из правого R-изображения после горизонтальной обработки, представляет собой изображение, в котором имеются зазоры, соответствующие нечетным строкам.

Модуль 32 вертикальной обработки сдвигает в вертикальном направлении нечетные строки изображения, построенного из нечетных строк, выделенных из правого R-изображения после горизонтальной обработки, чтобы упаковать зазоры, соответствующие четным строкам, генерируя тем самым изображение в состоянии с вертикально упакованными нечетными строками, такое как нечетное правое R-изображение, содержащее только расположенные в виде матрицы нечетные строки (RO) правого R-изображения после горизонтальной обработки.

Далее, модуль 32 вертикальной обработки сдвигает в вертикальном направлении четные строки изображения, построенного из четных строк, выделенных из правого R-изображения после горизонтальной обработки, чтобы упаковать зазоры, соответствующие нечетным строкам, генерируя тем самым изображение в состоянии с вертикально упакованными четными строками, такое как четное правое R-изображение, содержащее только расположенные в виде матрицы четные строки (RE) правого R-изображения после горизонтальной обработки.

Если флаг разделения указывает разделение строк, а флаг вертикальной структуры обозначает матрицу без перемежения, модуль 32 вертикальной обработки генерирует четыре изображения - нечетное левое L-изображение, четное левое L-изображение, нечетное правое R-изображение и четное правое R-изображение, и передает их в комбинационный модуль 33 (Фиг.5) в качестве нескольких изображений после вертикальной обработки.

Фиг.11 представляет чертеж, иллюстрирующий комбинационную обработку данных в модуле 33 объединения, показанном на Фиг.5, когда флаг разделения указывает разделение строк, а флаг вертикальной структуры обозначает обработку без перемежения.

Когда флаг разделения указывает разделение строк, а флаг вертикальной структуры обозначает обработку без перемежения, передают от модуля 32 вертикальной обработки в модуль 33 объединения четыре изображения - нечетное левое L-изображение, четное левое L-изображение, нечетное правое R-изображение и четное правое R-изображение, в качестве нескольких изображений после вертикальной обработки.

В этом случае модуль 33 объединения генерирует объединенное изображение путем расположения указанных четырех изображений - нечетного левого L-изображения, четного левого L-изображения, нечетного правого R-изображения и четного правого R-изображения, в виде матрицы, структуру которой указывает флаг структуры размещения.

Совокупность структур матриц, обозначаемых флагом структуры размещения, включает шесть структур, а именно #0, #1, #2, #3, #4 и #5.

Фиг.11 иллюстрирует структуры с #0 по #5 в качестве вариантов структур матриц, обозначаемых флагом структуры размещения.

Иными словами, Вид А на Фиг.11 обозначает структуру #0, Вид В на Фиг.11 - структуру #1, Вид С на Фиг.11 - структуру #2, Вид D на Фиг.11 - структуру #3, Вид Е на Фиг.11 - структуру #4 и Вид F на Фиг.11 - структуру #5 соответственно.

Когда флаг структуры размещения указывает структуру #0, модуль 33 объединения генерирует объединенное изображение, где левое L-изображение нечетных строк (LO) помещено сверху слева, левое L-изображение четных строк (LE) - внизу слева, правое R-изображение нечетных строк (RO) - сверху справа и правое R-изображение четных строк (RE) - внизу справа соответственно, как показано на Виде А на Фиг.11.

Когда флаг структуры размещения указывает структуру #1, модуль 33 объединения генерирует объединенное изображение, где левое L-изображение нечетных строк (LO) помещено сверху слева, правое R-изображение нечетных строк (RO) - внизу слева, левое L-изображение четных строк (LE) - сверху справа и правое R-изображение четных строк (RE) - внизу справа соответственно, как показано на Виде В на Фиг.11.

Когда флаг структуры размещения указывает структуру #2, модуль 33 объединения генерирует объединенное изображение, где левое L-изображение нечетных строк (LO) помещено сверху слева, правое R-изображение нечетных строк (RO) - внизу слева, правое R-изображение четных строк (RE) - сверху справа и правое R-изображение четных строк (RE) - внизу справа соответственно, как показано на Виде С на Фиг.11.

Когда флаг структуры размещения указывает структуру #3, модуль 33 объединения генерирует объединенное изображение, где левое L-изображение нечетных строк (LO) помещено сверху слева, левое L-изображение четных строк (LE) - внизу слева, правое R-изображение четных строк (RE) - сверху справа и правое R-изображение нечетных строк (RO) - внизу справа соответственно, как показано на Виде D на Фиг.11.

Когда флаг структуры размещения указывает структуру #4, модуль 33 объединения генерирует объединенное изображение, где левое L-изображение нечетных строк (LO) помещено сверху слева, правое R-изображение четных строк (RE) - внизу слева, левое L-изображение четных строк (LE) - сверху справа и правое R-изображение нечетных строк (RO) - внизу справа соответственно, как показано на Виде Е на Фиг.11.

Когда флаг структуры размещения указывает структуру #5, модуль 33 объединения генерирует объединенное изображение, где левое L-изображение нечетных строк (LO) помещено сверху слева, правое R-изображение четных строк (RE) - внизу слева, правое R-изображение нечетных строк (RO) - сверху справа и левое L-изображение четных строк (LE) - внизу справа соответственно, как показано на Виде F на Фиг.11.

При этом структуры матриц в объединенном изображении, составленном из левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, не ограничиваются шестью структурами, показанными на Фиг.11. Иными словами, имеются в целом 24(=4×3×2×1) комбинации для структур матриц из четырех изображений - левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, так что структуру матрицы объединенного изображения из левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк можно выбирать из 24 различных структур.

Отметим, что при генерации объединенного изображения из левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк пикселы одного и того же изображения предпочтительно помещают рядом из соображений эффективности кодирования.

Соответственно, левое L-изображение нечетных строк (LO) и левое L-изображение четных строк (LE), полученные из прореженного левого L-изображения, предпочтительно помещают одно рядом с другим в вертикальном направлении или в горизонтальном направлении, а не в наклонном направлении.

Это же справедливо для правого R-изображения нечетных строк и правого R-изображения четных строк, полученных из прореженного правого R-изображения.

Как описано выше, на основе левого L-изображения после горизонтальной обработки генерируют левое L-изображение нечетных строк, построенное только из нечетных строк этого изображения, и левое L-изображение четных строк, построенное только из четных строк этого изображения, а на основе правого R-изображения после горизонтальной обработки генерируют правое R-изображение нечетных строк, построенное только из нечетных строк этого изображения, и правое R-изображение четных строк, построенное только из четных строк этого изображения, и эти левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк размещают в виде матрицы для генерации объединенного изображения, в котором каждый из участков левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, составляющих объединенное изображение, расположен так, чтобы не было фазового сдвига (где пикселы, расположенные в разных строках или столбцах в исходном левом L-изображении или правом R-изображении, расположены в одной и той же строке или столбце в составе указанного левого L-изображения нечетных строк или подобного).

Соответственно, можно предотвратить ситуацию, в которой корреляция в пространственном направлении и во временном направлении изображения деградирует из-за несмежных участков кромки, появляющихся на участках каждого из изображений - левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, а также из-за движения с постоянной скоростью, проявляющегося в виде различных движений в зависимости от конкретных пикселов, так что эффективность кодирования при кодировании объединенного изображения с прогнозированием может быть повышена даже по сравнению со случаем, показанным на Фиг.9, не считая случая, когда пикселы прореженного правого R-изображения встроены в прореженное левое L-изображение в позиции, где нет пикселов прореженного левого L-изображения, как описано на Фиг.3.

Иными словами, например, в левом L-изображении нечетных строк или аналогичном изображении таким же образом, как описано выше со ссылками на Фиг.9, корреляция в пространственном направлении и корреляция во временном направлении сохраняются в пикселах кромки, протяженной в вертикальном направлении, помимо пикселов кромки, протяженной в горизонтальном направлении.

В частности, если имеется кромка, протяженная в вертикальном направлении в трех пикселах LO, расположенных в ряд в первом вертикальном направлении с левой стороны в составе прореженного левого L-изображения, показанного на Виде А на Фиг.8, эти три пиксела LO представляют собой три пиксела LO, расположенных в ряд в первом вертикальном направлении с левой стороны в составе левого L-изображения нечетных строк, показанного на Виде А на Фиг.10, так что непрерывность кромки, имеющая место в составе прореженного левого L-изображения, сохраняется в объединенном изображении.

Соответственно, сохраняется корреляция пикселов в пространственном направлении и временном направлении, когда кромка проходит в вертикальном направлении, вследствие чего можно предотвратить деградацию эффективности кодирования.

Отметим, что согласно результатам моделирования, выполненного автором настоящего изобретения с использованием некоторого 3D-изображения, было подтверждено, что объем кодированных данных в составе объединенного изображения, построенного из левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, становится равным приблизительно 1/4 объема данных в составе кодированного изображения, показанного на Фиг.3.

Фиг.12 представляет схему для описания вертикальной обработки в случае, когда флаг разделения указывает разделение строк, а флаг вертикальной структуры указывает матрицу с перемежением для встраивания нечетных строк и четных строк из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки в несколько изображений после вертикальной обработки.

Как описано применительно к Фиг.10, если флаг разделения указывает разделение строк, модуль 32 вертикальной обработки разделяет четные строки и нечетные строки из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, и проверяет флаг вертикальной структуры.

Если флаг вертикальной структуры указывает матрицу с перемежением, модуль 32 вертикальной обработки размещает в виде матрицы четные строки и нечетные строки, выделенные из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, по схеме с перемежением, генерируя два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, в качестве нескольких изображений после вертикальной обработки.

Иными словами, таким же образом, как описано применительно к Фиг.10, модуль 32 вертикальной обработки выделяет только нечетные строки из левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, а также выделяет только четные строки, разделяя тем самым нечетные строки и четные строки (Фиг.12).

Как показано на Фиг.12, модуль 32 вертикальной обработки размещает в виде матрицы нечетные строки левого L-изображения после горизонтальной обработки и нечетные строки правого R-изображения после горизонтальной обработки по схеме с перемежением, генерируя тем самым изображение нечетных строк после вертикальной обработки, в котором нечетные строки (LO) левого L-изображения после горизонтальной обработки и нечетные строки (RO) правого R-изображения после горизонтальной обработки расположены в виде матрицы поочередно.

Таким же образом, модуль 32 вертикальной обработки размещает в виде матрицы четные строки левого L-изображения после горизонтальной обработки и четные строки правого R-изображения после горизонтальной обработки по схеме с перемежением, генерируя тем самым изображение четных строк после вертикальной обработки, в котором четные строки (LE) левого L-изображения после горизонтальной обработки и четные строки (RE) правого R-изображения после горизонтальной обработки расположены в виде матрицы поочередно.

Если флаг разделения указывает разделение строк и флаг вертикальной структуры указывает матрицу с перемежением, модуль 32 вертикальной обработки генерирует в этом случае два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, и передает в комбинационный модуль 33 (Фиг.5) в качестве нескольких изображений после вертикальной обработки.

Отметим, что хотя на Фиг.12 показано, что в изображении нечетных строк после вертикальной обработки нечетные строки (LO) левого L-изображения после горизонтальной обработки расположены в позициях с нечетными номерами, считая сверху, а нечетные строки (RO) правого R-изображения после горизонтальной обработки расположены в позициях с четными номерами, считая сверху, возможна схема размещения, в которой нечетные строки (LO) левого L-изображения после горизонтальной обработки расположены в позициях с четными номерами, считая сверху, а нечетные строки (RO) правого R-изображения после горизонтальной обработки расположены в позициях с нечетными номерами, считая сверху.

Таким же образом, хотя на Фиг.12 показано, что в изображении четных строк после вертикальной обработки четные строки (LE) левого L-изображения после горизонтальной обработки расположены в позициях с нечетными номерами, считая сверху, а четные строки (RE) правого R-изображения после горизонтальной обработки расположены в позициях с четными номерами, считая сверху, возможна схема размещения, в которой четные строки (LE) левого L-изображения после горизонтальной обработки расположены в позициях с четными номерами, считая сверху, а четные строки (RE) правого R-изображения после горизонтальной обработки расположены в позициях с нечетными номерами, считая сверху.

Однако, если нечетные строки (LO) левого L-изображения после горизонтальной обработки расположены в позициях с нечетными номерами (или в позициях с четными номерами) в составе изображения нечетных строк после вертикальной обработки, четные строки (LE) левого L-изображения после горизонтальной обработки предпочтительно располагают в позициях с нечетными номерами (или в позициях с четными номерами) в составе изображения четных строк после вертикальной обработки. То же самое относится к нечетным строкам (RO) и четным строкам (RE) правого R-изображения после горизонтальной обработки.

Фиг.13 представляет схему для описания обработки объединения, выполняемой в модуле 33 объединения, показанном на Фиг.5, когда флаг разделения указывает разделение строк, а флаг вертикальной структуры указывает матрицу с перемежением.

Если флаг разделения указывает разделение строк и флаг вертикальной структуры указывает матрицу с перемежением, указанные два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, показанные на Фиг.12, передают от модуля 32 вертикальной обработки в модуль 33 объединения в качестве нескольких изображений после вертикальной обработки.

В этом случае модуль 33 объединения генерирует объединенное изображение путем размещения в виде матрицы изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, передаваемых от модуля 32 вертикальной обработки в качестве нескольких изображений после вертикальной обработки, в соответствии с заданной структурой.

Иными словами, как показано на Фиг.13, например, модуль объединения помещает изображение нечетных строк после вертикальной обработки на левую сторону и помещает изображение четных строк после вертикальной обработки на правую сторону, генерируя в результате объединенное изображение.

Как описано выше, в случае генерации изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки посредством соответствующего размещения в виде матриц нечетных строк и четных строк, выделенных из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, по схеме с перемежением, и затем генерации объединенного изображения путем должного размещения указанных изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, модуль 34 кодирования (Фиг.5) выполняет кодирование с прогнозированием применительно к объединенному изображению, обрабатывая объединенное изображение в качестве изображения в формате с чересстрочной разверткой.

Иными словами, если флаг разделения указывает разделение строк и флаг вертикальной структуры указывает матрицу с перемежением, модуль 34 кодирования осуществляет кодирование с прогнозированием применительно к объединенному изображению, обрабатывая объединенное изображение в качестве изображения в формате с чересстрочной разверткой, даже если это изображение представляет собой изображение с прогрессивной разверткой.

В этом случае можно сказать, что модуль 34 кодирования осуществляет кодирование с прогнозированием, например, в формате H.264/AVC и сосредоточивается на нечетном поле (поле, составленное из нечетных строк) t-го кадра в момент времени «t» в смешанном изображении и на четном поле (поле, составленное из четных строк), например, в момент кодирования с прогнозированием применительно к четному полю t-го кадра, при этом модуль 34 кодирования может использовать в качестве опоры нечетное поле t-го кадра, т.е. того же кадра, к которому относится рассматриваемое четное поле, или четное поле (t-1)-го кадра, т.е. кадра, имеющего место на один кадр раньше кадра, к которому относится рассматриваемое поле, в зависимости от того, какое из полей дает меньшую погрешность прогнозирования, чтобы сформировать прогнозируемое изображение для рассматриваемого четного поля.

Сейчас объединенное изображение, в котором флаг разделения указывает разделение строк и флаг вертикальной структуры указывает матрицу с перемежением, представляет собой, как показано на Фиг.13, изображение, полученное путем размещения в виде матрицы изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, построенных путем размещения по схеме с перемежением нечетных строк и четных строк, выделенных из левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки.

Соответственно, в нечетном поле объединенного изображения нечетные строки (LO) и четные строки (LE) прореженного левого L-изображения расположены в виде матрицы в горизонтальном направлении, так что нечетное поле объединенного изображения представляет собой изображение, в котором левое L-изображение нечетных строк и левое L-изображение четных строк, показанные на Виде А на Фиг.10, расположены в виде матрицы в горизонтальном направлении.

Таким же образом, в четном поле объединенного изображения нечетные строки (RO) и четные строки (RE) прореженного правого R-изображения расположены в виде матрицы в горизонтальном направлении, так что четное поле объединенного изображения представляет собой изображение, в котором правое R-изображение нечетных строк и правое R-изображение четных строк, показанные на Виде В на Фиг.10, расположены в виде матрицы в горизонтальном направлении.

В результате, во время выполнения кодирования с прогнозированием применительно к четному полю t-го кадра объединенного изображения, если в качестве опоры принято четное поле (t-1)-го кадра, т.е. кадра, имеющего место на один кадр раньше кадра, к которому относится рассматриваемое поле, кодирование дает такие же эффекты, как и в случае, когда можно реализовать объединенное изображение, конфигурированное из левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, как показано на Фиг.11.

Кроме того в модуле 34 кодирования, если использование нечетного поля в t-м кадре в качестве опоры позволяет уменьшить погрешность прогнозирования по сравнению со случаем использования четного поля (t-1)-го кадра, т.е. кадра, имеющего место на один кадр раньше кадра, к которому относится рассматриваемое поле, в качестве опоры при выполнении кодирования с прогнозированием применительно к t-му полю объединенного изображения, можно использовать нечетное поле t'-го кадра в качестве опоры.

Соответственно, если флаг разделения указывает разделение строк и флаг вертикальной структуры указывает матрицу с перемежением, при выполнении кодирования с прогнозированием в модуле 34 кодирования применительно к объединенному изображению, так что это объединенное изображение представляет собой изображение в формате с чересстрочной разверткой, можно реализовать такую же или более высокую эффективность кодирования по сравнению со случаем, когда объединенное изображение конфигурировано из левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, как показано на Фиг.11.

Отметим, что на Фиг.13, объединенное изображение генерируют путем размещения изображения нечетных строк после вертикальной обработки на левой стороне и размещения изображения четных строк после вертикальной обработки на правой стороне, но при генерации объединенного изображения возможен также алгоритм, когда изображение нечетных строк после вертикальной обработки может быть помещено на правой стороне, а изображение четных строк после вертикальной обработки может быть размещено на левой стороне.

Кроме того, может быть подготовлен флаг, отдельный от флага разделения, флага вертикальной структуры и флага структуры размещения, так что этот дополнительный флаг будет управлять тем, на какой стороне - левой стороне или правой стороне, объединенного изображения следует поместить изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки соответственно. Отметим, однако, что в этом случае указанный дополнительный флаг также необходимо включить в кодированные данные.

Флаг разделения, флаг вертикальной структуры и флаг структуры размещения

Фиг.14 представляет схему для описания флага разделения, флага вертикальной структуры и флага структуры размещения.

Флаг разделения (separate_flag) указывает состояния «невыполнение разделения» или «разделение строк», т.е. нужно ли разделить нечетные строки и четные строки из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки.

Если флаг разделения равен 0, например, это означает невыполнение разделения, а если равен 1, это означает разделение строк.

Флаг вертикальной структуры (vertical_pattern) представляет матрицу из нечетных строк и четных строк из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки среди нескольких изображений после вертикальной обработки.

Матрицы, которые обозначает флаг вертикальной структуры, представляют собой матрицу без перемежения и матрицу с перемежением.

Если флаг вертикальной структуры равен 0, например, это означает матрицу без перемежения (Фиг.10), а если равен 1, это означает матрицу с перемежением (Фиг.12).

Если флаг разделения равен 1, что указывает разделение строк, и флаг вертикальной структуры равен 0, что указывает матрицу без перемежения, модуль 32 вертикальной обработки (Фиг.5) разделяет нечетные строки и четные строки из левого L-изображения после горизонтальной обработки, а также разделяет нечетные строки и четные строки из правого R-изображения после горизонтальной обработки, как показано на Фиг.10.

Далее, как описано с использованием Фиг.10, модуль 32 вертикальной обработки сдвигает каждую из четных строк и нечетных строк, выделенных из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, в вертикальном направлении, генерируя в результате четыре изображения - левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, в качестве нескольких изображений после вертикальной обработки.

Кроме того, когда флаг разделения равен 1, что указывает разделение строк, и флаг вертикальной структуры равен 1, что указывает матрицу с перемежением, модуль 32 вертикальной обработки разделяет нечетные строки и четные строки из левого L-изображения после горизонтальной обработки, а также разделяет нечетные строки и четные строки из правого R-изображения после горизонтальной обработки, как описано с использованием Фиг.12.

Далее, как описано с использованием Фиг.12, модуль 32 вертикальной обработки формирует матрицу с перемежением из каждых из нечетных строк и четных строк, выделенных из состава левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, генерируя тем самым два изображения - изображение нечетных строк после вертикальной обработки и изображение черных строк после вертикальной обработки в качестве нескольких изображений после вертикальной обработки.

Флаг структуры размещения (arrange_pattern) обозначает в ситуации, когда несколько изображений после вертикальной обработки представляют собой четыре изображения - левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, структуру матрицы из этих четырех изображений в составе объединенного изображения.

В рассматриваемом варианте флаг структуры размещения может принимать целое значение от 0 до 5. Когда этот флаг структуры размещения имеет целое значение, модуль 33 объединения строит матрицу из левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, в соответствии со структурой #i, показанной на Фиг.11, и генерирует тем самым объединенное изображение.

Подробности вертикальной обработки и обработки объединения

Фиг.15 представляет логическую схему для описания подробностей вертикальной обработки на этапе S15 и обработки объединения на этапе S16 согласно Фиг.7, осуществляемых в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения.

На этапе S31 модуль 32 вертикальной обработки и модуль 33 объединения, показанные на Фиг.5, определяют, какой флаг разделения - 0 или 1, поступает от модуля 35 управления.

На этапе S31, если определено, что флаг разделения равен 0, процесс обработки данных переходит к этапу S32, на котором модуль 32 вертикальной обработки передает левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, поступившие от модуля 31 горизонтальной обработки, в модуль 33 объединения без изменений в качестве нескольких изображений после вертикальной обработки.

Модуль 33 объединения размещает в виде матрицы левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, поступившие от модуля 32 вертикальной обработки в качестве нескольких изображений после вертикальной обработки, в горизонтальном направлении, как показано на Фиг.9.

С другой стороны, если на этапе S31 определено, что флаг разделения равен 1, обработка данных переходит к этапу S33, на котором модуль 32 вертикальной обработки разделяет нечетные строки и четные строки из состава левого L-изображения после горизонтальной обработки от модуля 31 горизонтальной обработки, а также разделяет нечетные строки и четные строки из состава правого R-изображения после горизонтальной обработки от модуля 31 горизонтальной обработки.

Далее обработка данных переходит от этапа S33 к этапу S34, на котором модуль 32 вертикальной обработки и модуль 33 объединения определяют, какой флаг вертикальной структуры - 0 или 1, поступил от модуля 35 управления.

На этапе S34, если определено, что флаг вертикальной структуры равен О, обработка данных переходит к этапу S35, на котором модуль 32 вертикальной обработки сдвигает каждую из четных строк и нечетных строк, выделенных из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, в вертикальном направлении, генерируя в результате четыре изображения - левого L-изображения нечетных строк, левого L-изображения четных строк, правого R-изображения нечетных строк и правого R-изображения четных строк, в качестве нескольких изображений после вертикальной обработки.

Модуль 32 вертикальной обработки затем передает левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк в модуль 33 объединения в качестве нескольких изображений после вертикальной обработки, после чего обработка данных переходит от этапа S35 к этапу S36.

На этапе S36 модуль 33 объединения размещает левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, представляющие собой несколько изображений после вертикальной обработки, от модуля 32 вертикальной обработки в виде матрицы со структурой, которую указывает флаг структуры размещения, поступивший от модуля 35 управления, и генерирует в результате объединенное изображение, описанное с использованием Фиг.11.

С другой стороны, если на этапе S34 определено, что флаг вертикальной структуры равен 1, процесс обработки данных переходит к этапу S37, на котором модуль 32 вертикальной обработки формирует матрицу с перемежением из нечетных строк и четных строк, выделенных из левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, как описано с использованием Фиг.12, генерируя в результате два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, в качестве нескольких изображений после вертикальной обработки.

Модуль 32 вертикальной обработки затем передает в модуль 33 объединения изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки в качестве нескольких изображений после вертикальной обработки, после чего обработка данных переходит от этапа S37 к этапу S38.

На этапе S38 модуль 33 объединения размещает в виде матрицы изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, поступающие от модуля 32 вертикальной обработки в качестве нескольких изображений после вертикальной обработки, в соответствии с заданной структурой матрицы, генерируя в результате объединенное изображение, описанное с использованием Фиг.13.

Объединенное изображение, сформированное на этапах S32, S36 или S38, поступает из модуля 33 объединения в модуль 34 кодирования (Фиг.5) и подвергается кодированию с прогнозированием, как это описано на этапе S17 на Фиг.7.

Вариант декодирующего устройства

Фиг.16 представляет блок-схему, иллюстрирующую пример конфигурации варианта декодирующего устройства, в котором применено устройство для обработки изображения согласно настоящему изобретению.

Кодированные данные с выхода кодирующего устройства, показанного на Фиг.5, поступают в декодер 61 в составе декодирующего устройства.

Декодер 61 получает (принимает) поступающие в него кодированные данные, выделяет флаг разделения, флаг вертикальной структуры и флаг структуры размещения, включенные в эти кодированные данные, и передает в разделительный модуль 62. Отметим, что, как описано выше, кодированные данные, а также флаг разделения, флаг вертикальной структуры и флаг структуры размещения могут быть в некоторых случаях (включая воспроизведение с носителя записи) переданы индивидуально, так что в таких случаях декодер 61 принимает индивидуально переданные кодированные данные и флаг разделения, флаг вертикальной структуры и флаг структуры размещения и передает указанные флаг разделения, флаг вертикальной структуры и флаг структуры размещения в разделительный модуль 62.

Далее, декодер 61 передает указанные флаг разделения, флаг вертикальной структуры флаг структуры размещения в модуль 63 обратной вертикальной обработки.

Кроме того, декодер 61 осуществляет декодирование кодированных данных в таком же формате, как формат кодирования в модуле 34 кодирования, и передает полученное в результате объединенное изображение в разделительный модуль 62.

Разделительный модуль 62 в соответствии с указанными флагом разделения, флагом вертикальной структуры и флагом структуры размещения разделяет объединенное изображение с выхода декодера 61 на несколько изображений после вертикальной обработки и передает в модуль 63 обратной вертикальной обработки.

Рассматриваемый модуль 63 обратной вертикальной обработки имеет модули 63L и 63R синтезаторов. Этот модуль 63 обратной вертикальной обработки осуществляет обратное ортогональное преобразование для возвращения нескольких изображений после вертикальной обработки от разделительного модуля 62 в состояние с левым L-изображением после горизонтальной обработки и правым R-изображением после горизонтальной обработки и передает полученные в результате левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки в модуль 64 обратной горизонтальной обработки.

Теперь, если флаг разделения, включенный в состав кодированных данных, указывает состояние невыполнения разделения, объединенное изображение представляет собой изображение, в котором левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки в качестве нескольких изображений после вертикальной обработки были расположены в виде матрицы в горизонтальном направлении, как показано на Фиг.9.

Соответственно, если флаг разделения, поступающий от декодера 61, указывает невыполнение разделения, разделительный модуль 62 выделяет левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки в качестве нескольких изображений после вертикальной обработки, расположенных в виде матрицы, как показано на Фиг.9, из объединенного изображения, поступившего от декодера 61, и передает в модуль 63 обратной вертикальной обработки.

Если флаг разделения, поступающий от декодера 61, указывает невыполнение разделения, модуль 63 обратной вертикальной обработки передает левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки в качестве нескольких изображений после вертикальной обработки, поступившие от разделительного модуля 62, в модуль 64 обратной горизонтальной обработки, как они есть.

Кроме того, если флаг разделения, включенный в состав кодированных данных, указывает разделение строк, а также флаг вертикальной структуры, включенный в состав кодированных данных, указывает структуру матрицы без перемежения, объединенное изображение представляет собой изображение, в котором четыре изображения - левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, в качестве нескольких изображений после вертикальной обработки, были размещены в виде матрицы в соответствии с флагом вертикальной структуры, включенным в кодированные данные, как описано с использованием Фиг.11.

Соответственно, если флаг разделения, поступающий от декодера 61, указывает разделение строк и флаг вертикальной структуры, также поступающий от декодера 61, указывает структуру матрицы без перемежения, разделительный модуль 62 различает и выделяет левое L-изображение нечетных строк, левое L-изображение четных строк, правое R-изображение нечетных строк и правое R-изображение четных строк, расположенные в виде матрицы, как показано на Фиг.11, из объединенного изображения, поступившего от декодера 61, и передает все это в модуль 63 обратной вертикальной обработки, работающий таким же способом в соответствии с флагом структуры размещения от декодера 61.

В указанном модуле 63 обратной вертикальной обработки модуль 63L синтезатора осуществляет синтез левого L-изображения нечетных строк и левого L-изображения четных строк от разделительного модуля 62 и декодирует левое L-изображение после горизонтальной обработки.

Иными словами, модуль 63L синтезатора размещает в виде матрицы строки (строки горизонтального направления) левого L-изображения нечетных строк от разделительного модуля 62 в позициях нечетных строк левого L-изображения после горизонтальной обработки и размещает в виде матрицы строки левого L-изображения четных строк в позициях четных строк левого L-изображения после горизонтальной обработки, декодируя тем самым левое L-изображение после горизонтальной обработки.

Далее, в указанном модуле 63 обратной вертикальной обработки модуль 63R синтезатора осуществляет синтез правого R-изображения нечетных строк и правого R-изображения четных строк от разделительного модуля 62 и декодирует в результате правое R-изображение после горизонтальной обработки.

Иными словами, модуль 63R синтезатора размещает в виде матрицы строки правого R-изображения нечетных строк от разделительного модуля 62 в позициях нечетных строк правого R-изображения после горизонтальной обработки и размещает в виде матрицы строки правого R-изображения четных строк в позициях четных строк правого R-изображения после горизонтальной обработки, декодируя тем самым правое R-изображение после горизонтальной обработки.

Кроме того, если флаг разделения, включенный в кодированные данные, указывает разделение строк и флаг вертикальной структуры, включенный в кодированные данные, представляет матрицу с перемежением, объединенное изображение представляет собой изображение, в котором два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, в качестве нескольких изображений после вертикальной обработки, расположены в виде матрицы в горизонтальном направлении, как описано с использованием Фиг.13.

Сейчас, если флаг разделения, поступающий от декодера 61, указывает разделение строк и флаг вертикальной структуры, поступающий от декодера 61, представляет матрицу с перемежением, разделительный модуль 62 разделяет изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, расположенные в виде матрицы, как показано Фиг.13, из состава объединенного изображения, поступившего от декодера 61, и передает эти выделенные изображения в модуль 63 обратной вертикальной обработки.

В указанном модуле 63 обратной вертикальной обработки модуль 63 L синтезатора осуществляет синтез части изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки от разделительного модуля 62 и декодирует левое L-изображение после горизонтальной обработки.

Иными словами, согласно описанию, приведенному с использованием Фиг.12, изображение нечетных строк после вертикальной обработки включает нечетные строки (LO) левого L-изображения после горизонтальной обработки, а изображение четных строк после вертикальной обработки включает четные строки (LE) левого L-изображения после горизонтальной обработки.

Модуль 63L синтезатора выделяет нечетные строки (LO) и четные строки (LE) левого L-изображения после горизонтальной обработки из изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, поступающих от разделительного модуля 62, и возвращает эти нечетные строки (LO) и четные строки (LE) в их первоначальные позиции, декодируя тем самым левое L-изображение после горизонтальной обработки.

Далее, в модуле 63 обратной вертикальной обработки модуль 63 R синтезатора осуществляет синтез оставшихся строк из состава изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки от разделительного модуля 62 и декодирует тем самым правое R-изображение после горизонтальной обработки.

Иными словами, из описания, сделанного с использованием Фиг.12, следует, что изображение нечетных строк после вертикальной обработки включает нечетные строки (RO) правого R-изображения после горизонтальной обработки и изображение четных строк после вертикальной обработки включает четные строки (RE) правого R-изображение после горизонтальной обработки.

Модуль 63R синтезатора выделяет нечетные строки (RO) и четные строки (RE) правого R-изображения после горизонтальной обработки из состава изображения нечетных строк после вертикальной обработки и состава изображения четных строк после вертикальной обработки от разделительного модуля 62 и возвращает нечетные строки (RO) и четные строки (RE) в их первоначальные позиции, декодируя тем самым правое R-изображение после горизонтальной обработки.

Модуль 64 обратной горизонтальной обработки выполняет обратную горизонтальную обработку, чтобы вернуть левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки от модуля 63 обратной вертикальной обработки к состоянию прореженного левого L-изображения и прореженного правого R-изображения.

Иными словами, модуль 64 обратной горизонтальной обработки построен из модулей 64L и 64R обратной горизонтальной обработки.

Модуль 64L обратной горизонтальной обработки сдвигает пикселы левого L-изображения после горизонтальной обработки, поступающего от модуля 63 обратной вертикальной обработки, в противоположном направлении относительно сдвига в модуле 31L горизонтальной обработки, показанном на Фиг.5, декодируя тем самым прореженное левое L-изображение, передаваемое далее в модуль 65 интерполяции.

Модуль 64R обратной горизонтальной обработки сдвигает пикселы правого R-изображения после горизонтальной обработки, поступающего от модуля 63 обратной вертикальной обработки, в противоположном направлении относительно сдвига в модуле 31R горизонтальной обработки, показанном на Фиг.5, декодируя тем самым прореженное правое R-изображение, передаваемое далее в модуль 65 интерполяции.

Указанный модуль 65 интерполяции составлен из модулей интерполяции 65L и 65R.

Модуль 65L интерполяции осуществляет интерполяцию на основе прореженного левого L-изображения, поступающего от модуля 64 обратной горизонтальной обработки, пикселов, вычеркнутых в модуле 12L, показанном на Фиг.5, и передает полученное в результате интерполяции изображение (далее именуемое также интерполированным левым L-изображением) в фильтрующий модуль 66.

Модуль 65R интерполяции осуществляет интерполяцию на основе прореженного правого R-изображения, поступающего от модуля 64 обратной горизонтальной обработки, пикселов, вычеркнутых в модуле 12R, показанном на Фиг.5, и передает полученное в результате интерполяции изображение (далее именуемое также интерполированным правым R-изображением) в фильтрующий модуль 66.

Фильтрующий модуль 66 построен из фильтров 66L и 66R, представляющих собой фильтры нижних частот.

Фильтр 66L осуществляет фильтрацию интерполированного левого L-изображения от модуля 65 интерполяции, декодируя тем самым левое L-изображение, и передает результат в модуль 67 преобразования в 3D-формат.

Фильтр 66R осуществляет фильтрацию интерполированного правого R-изображения от модуля 65 интерполяции, декодируя тем самым правое R-изображение, и передает результат в модуль 67 преобразования в 3D-формат.

Модуль 67 преобразования в 3D-формат преобразует левое L-изображение и правое R-изображение (данные этих изображений) от фильтрующего модуля 66 в сигналы в формате, соответствующем расположенному далее 3D-дисплею 68, представляющему 3D-изображения, и передает 3D-дисплею 68.

Указанный 3D-дисплей 68 представляет 3D-изображение в соответствии с сигналами от модуля 67 преобразования в 3D-формат.

Теперь, если 3D-дисплей 68 представляет собой стереоскопическое устройство, осуществляющее 3D-представление объединенного изображения, в котором пикселы Lx,y прореженного левого L-изображения и пикселы Rx,y прореженного правого R-изображения расположены в виде матрицы в шахматном порядке, как показано на Виде В на Фиг.3, как в 3D-дисплее 22, показанном на Фиг.4, модуль 67 преобразования в 3D-формат осуществляет такую же обработку, как с использованием фильтрующего модуля 11, прореживающего модуля 12 и модуля 13 объединения, показанных, например, на Фиг.2, в результате чего левое L-изображение и правое R-изображение от фильтрующего модуля 66 оказываются преобразованы в сигналы, формат которых соответствует представлению 3D-изображения на 3D-дисплее 68.

Пример конфигурации декодера 61

Фиг.17 представляет блок-схему, иллюстрирующую пример конфигурации декодера 61, изображенного на Фиг.16.

Декодер 61 представляет собой устройство для декодирования информации изображения, осуществляющее декодирование кодированных данных, полученных в модуле 34 кодирования (Фиг.6), который представляет собой устройство для кодирования информации изображения, реализующее сжатие изображения посредством ортогонального преобразования, такого как дискретное косинусное преобразование или преобразование Карунена-Лоэва, и компенсации движения, например.

Декодер 61 получает кодированные данные с выхода кодирующего устройства, показанного на Фиг.5, в качестве кодированных данных, подлежащих декодированию.

Кодированные данные, подлежащие декодированию, сохраняют в запоминающем буфере 71. Этот запоминающий буфер 71 временно сохраняет получаемые им кодированные данные и передает их в модуль 72 декодирования без потерь.

Указанный модуль 72 декодирования без потерь подвергает кодированные данные, поступившие от запоминающего буфера 71, декодирующей обработке, например декодированию кода переменной длины, арифметическому декодированию и т.п., на основе формата кодированных данных, декодируя тем самым информацию, необходимую для декодирования изображения, такую как параметр квантования, индикатор режима внутрикадрового прогнозирования, включенные в заголовок кодированных данных, вектор движения, индикатор режима прогнозирования с компенсацией движения и т.п.

Параметр квантования, полученный в модуле 72 декодирования без потерь, передают в модуль 73 обратного квантования, а также передают в модуль 78 внутрикадрового прогнозирования в случае режима внутрикадрового прогнозирования. Кроме того, вектор движения (MV), индикатор режима прогнозирования с компенсацией движения и индикатор типа изображения, полученные в модуле 72 декодирования без потерь, передают в модуль 79 прогнозирования-движения/компенсации-движения.

Далее, модуль 72 декодирования без потерь выделяет флаг разделения, флаг вертикальной структуры и флаг структуры размещения из кодированных данных и передает все это в разделительный модуль 62 (Фиг.16). Кроме того, модуль 72 декодирования без потерь передает флаг разделения и флаг вертикальной структуры в модуль 63 обратной вертикальной обработки (Фиг.16).

Указанные модуль 73 обратного квантования, модуль 74 обратного ортогонального преобразования, вычислительный модуль 75, фильтр 76 удаления «блочности», память 77 кадров, модуль 78 внутрикадрового прогнозирования и модуль 79 прогнозирования-движения/компенсации-движения выполняют каждый такую же обработку данных, как и модуль 49 обратного квантования, модуль 50 обратного ортогонального преобразования, вычислительный модуль 51, деблокирующий фильтр 52, память 53 кадров, модуль 54 внутрикадрового прогнозирования и модуль 55 прогнозирования-движения/компенсации-движения, декодируя тем самым изображение (получают декодированное изображение).

Иными словами, модуль 73 обратного квантования осуществляет обратное квантование указанных параметров квантования от модуля 72 декодирования без потерь, превращая их в коэффициенты преобразования, и передает эти коэффициенты в модуль 74 обратного ортогонального преобразования.

Указанный модуль 74 обратного ортогонального преобразования осуществляет обратное ортогональное преобразование коэффициентов преобразования, поступающих от модуля 73 обратного квантования, и передает результат в вычислительный модуль 75.

К данным, поступающим от модуля 74 обратного ортогонального преобразования, применительно к данным изображения с внутрикадровым прогнозированием вычислительный модуль 75 добавляет по мере необходимости величины пикселов прогнозируемого изображения, поступающие от модуля 78 внутрикадрового прогнозирования, и получает в результате декодированную версию изображения с внутрикадровым прогнозированием. Кроме того, к данным, поступающим от модуля 74 обратного ортогонального преобразования, применительно к данным изображения без внутрикадрового прогнозирования вычислительный модуль 75 добавляет величины пикселов прогнозируемого изображения, поступающие от модуля 79 прогнозирования-движения/компенсации-движения, получая в результате декодированную версию изображения без внутрикадрового прогнозирования.

Декодированное изображение, полученное в вычислительном модуле 75, передают в фильтр 76 удаления "блочности".

Фильтр 76 удаления "блочности" выполняет такую же фильтрационную обработку декодированного изображения от вычислительного модуля 75, как и деблокирующий фильтр 52, показанный на Фиг.6, передает результат в случае необходимости в память 77 кадров и передает его в буфер 80 перекомпоновки изображения.

Память 77 кадров временно сохраняет декодированное изображение, поступившее от вычислительного модуля 75 через фильтр 76 удаления "блочности", и, когда нужно, передает декодированные изображения в модуль 78 внутрикадрового прогнозирования и модуль 79 прогнозирования-движения/компенсации-движения в качестве опорного изображения для использования при генерации прогнозируемого изображения.

Когда данные, подлежащие обработке в вычислительном модуле 75, представляют собой данные изображения с внутрикадровым прогнозированием, модуль 78 внутрикадрового прогнозирования использует декодированное изображение, служащее опорным изображением, из памяти 77 кадров для генерации прогнозируемого изображения с внутрикадровым прогнозированием, по мере необходимости, и передает в вычислительный модуль 75.

Иными словами, модуль 78 внутрикадрового прогнозирования в соответствии с индикатором режима внутрикадрового прогнозирования от модуля 72 декодирования без потерь генерирует прогнозируемое изображение из пикселов, расположенных рядом с участком (блоком), который подлежит обработке вычислительным модулем 75, и уже сохраненных в памяти 77 кадров, и передает результат в вычислительный модуль 75.

С другой стороны, когда данные, подлежащие обработке в вычислительном модуле 75, представляют изображение без внутрикадрового прогнозирования, модуль 79 прогнозирования-движения/компенсации-движения генерирует прогнозируемое изображение для изображения без внутрикадрового прогнозирования и передает его в вычислительный модуль 75.

Иными словами, модуль 79 прогнозирования-движения/компенсации-движения считывает данные декодируемого изображения с целью использования для генерации прогнозируемого изображения из памяти 77 кадров в соответствии с индикатором типа изображения, полученным от модуля 72 декодирования без потерь, в качестве опорного изображения. Далее, модуль 79 прогнозирования-движения/компенсации-движения подвергает указанное опорное изображение из памяти 77 кадров обработке для компенсации движения в соответствии с вектором движения, изображением от модуля 72 декодирования без потерь и индикатором режима прогнозирования с компенсацией движения, генерируя в результате прогнозируемое изображение, поступающее в вычислительный модуль 75.

В вычислительном модуле 75 прогнозируемое изображение, поступающее от модуля 78 внутрикадрового прогнозирования или модуля 79 прогнозирования-движения/компенсации-движения, как описано выше, суммируют с данными, поступающими от модуля 74 обратного ортогонального преобразования, декодируя тем самым изображение (величины пикселов этого изображения).

Буфер 80 перекомпоновки изображения временно сохраняет и считывает изображения от вычислительного модуля 75, поступающие через фильтр 76 удаления "блочности" (декодированные изображения), возвращая тем самым порядок следования изображений к первоначальному порядку (порядку представления на дисплее), и передает результат в цифро-аналоговый (D/A) преобразователь 81.

Если нужно передавать декодированное изображение на выход из буфера 80 перекомпоновки изображения в форме аналоговых сигналов, цифро-аналоговый преобразователь 81 осуществляет цифро-аналоговое преобразование декодированного изображения и передает на выход.

Обработка данных в декодирующем устройстве

Фиг.18 представляет логическую схему для описания обработки данных в декодирующем устройстве, показанном на Фиг.16 (обработка изображения в качестве декодирующей обработки).

Отметим, что обработка данных в соответствии с логической схемой, показанной на Фиг.18, представляет собой обработку кодированных данных одного кадра 3D-изображения.

На этапе S51 декодер 61 ожидает поступления кодированных данных для одного кадра 3D-изображения и затем принимает эти кодированные данные. Далее, декодер 61 выделяет флаг разделения, флаг вертикальной структуры и флаг структуры размещения из кодированных данных и передает в разделительный модуль 62.

После этого декодер 61 передает флаг разделения и флаг вертикальной структуры в модуль 63 обратной вертикальной обработки.

Затем декодер 61 осуществляет декодирование кодированных данных и передает полученное в результате объединенное изображение в разделительный модуль 62, так что процесс обработки переходит от этапа S51 к этапу S52.

На этапе S52 разделительный модуль 62 в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения разделяет объединенное изображение, поступившее от декодера 61, на несколько изображений после вертикальной обработки, передаваемых в модуль 63 обратной вертикальной обработки, а процесс обработки переходит к этапу S53.

На этапе S53 модуль 63 обратной вертикальной обработки в соответствии с флагом разделения и флагом вертикальной структуры от декодера 61 выполняет обратную вертикальную обработку для обратного преобразования нескольких изображений после вертикальной обработки от разделительного модуля 62 в левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки.

Далее, на этапе S53 модуль 63 обратной вертикальной обработки передает указанные левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, полученные в результате обратной вертикальной обработки, в модуль 64 обратной горизонтальной обработки, так что процесс обработки переходит к этапу S54.

На этапе S54 модуль 64 обратной горизонтальной обработки осуществляет обратную горизонтальную обработку с целью обратного преобразования левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки от модуля 63 обратной вертикальной обработки к состоянию прореженного левого L-изображения и прореженного правого R-изображения.

Далее, на этапе S54 модуль 64 обратной горизонтальной обработки передает прореженное левое L-изображение и прореженное правое R-изображение, полученные в результате обратной горизонтальной обработки, в модуль 65 интерполяции, а процесс обработки переходит к этапу S55.

На этапе S55 модуль 65 интерполяции осуществляет интерполяцию пикселов прореженного левого L-изображения и прореженного правого R-изображения, поступающих от модуля 64 обратной горизонтальной обработки, и передает результат в фильтрующий модуль 66.

Фильтрующий модуль 66 осуществляет фильтрацию изображения от модуля 65 интерполяции, декодируя тем самым левое L-изображение и правое R-изображение, и передает результат в модуль 67 преобразования в 3D-формат, а процесс обработки переходит от этапа S55 к этапу S56.

На этапе S56 модуль 67 преобразования в 3D-формат осуществляет преобразование левого L-изображения и правого R-изображения от фильтрующего модуля 66 в сигналы в формате, подходящем для представления 3D-изображения на 3D-дисплее 68, и передает эти сигналы 3D-дисплею 68.

В последующем представляют 3D-изображение на 3D-дисплее 68 в соответствии с сигналами от модуля 67 преобразования в 3D-формат.

Отметим, что декодирующее устройство, показанное на Фиг.16, может быть конфигурировано без 3D-дисплея 68, а также и без модуля 67 преобразования в 3D-формат.

Кроме того, помимо отсутствия 3D-дисплея 68 и модуля 67 преобразования в 3D-формат декодирующее устройство, показанное на Фиг.16, может быть также конфигурировано без встроенных модуля 65 интерполяции и фильтрующего модуля 66.

Дополнительно, кодирующее устройство, показанное на Фиг.5, и декодирующее устройство, изображенное на Фиг.16, могут быть применены к обработке не только прореженного левого L-изображения и прореженного правого R-изображения, расположенных в виде матрицы в шахматном порядке, но также к изображению, в котором пространственное разрешение в горизонтальном направлении изменилось до 1/2 относительно оригинала, как показано на Виде В на Фиг.1, и к изображению, в котором пространственное разрешение в вертикальном направлении изменилось до 1/2 относительно оригинала (и повернуто на 90 градусов), как показано на Виде С на Фиг.1.

Второй вариант

Другой вариант кодирующего устройства

Фиг.19 представляет блок-схему, иллюстрирующую пример конфигурации другого варианта кодирующего устройства, в котором применено устройство для обработки изображения согласно настоящему изобретению.

На Фиг.19 блокам, соответствующим кодирующему устройству, показанному на Фиг.5, присвоены такие же цифровые позиционные обозначения, а описание таких блоков будет, где это возможно, опущено.

Иными словами, кодирующее устройство 19 совпадает со случаем, показанным на Фиг.5, в том смысле, что оно имеет модуль 34 кодирования.

Отметим, однако, что кодирующее устройство, показанное на Фиг.19, отличается от случая, представленного на Фиг.5, в том смысле, что кодирующее устройство содержит устройства 101L и 101R. Дополнительно, кодирующее устройство, показанное на Фиг.19, отличается от случая, представленного на Фиг.5, в том, что оно имеет модуль 102 синтезатора вместо фильтрующего модуля 11, прореживающего модуля 12, модуля 31 горизонтальной обработки, модуля 32 вертикальной обработки, комбинационного модуля 33 и модуля 35 управления.

В описанном выше кодирующем устройстве, показанном на Фиг.5, кодирование может быть выполнено независимо от того, являются ли левое L-изображение и правое R-изображение изображениями с прогрессивной разверткой (формат без чередования строк) или изображениями в формате с чересстрочной разверткой, но в случае изображений в формате с чересстрочной разверткой кодирующее устройство, представленное на Фиг.19, подходит для кодирования таких левых L-изображений и правых R-изображений, являющихся изображениями в формате с чересстрочной разверткой.

Устройства 101L и 101R для считывания изображения представляют собой видеокамеры для считывания изображений в формате с чересстрочной разверткой, что позволяет считывать изображения со смещением и передавать их в модуль 102 синтезатора.

Иными словами, устройство 101L для считывания изображений осуществляет считывание изображений в формате с чересстрочной разверткой, которые должны быть левыми L-изображениями, и передает их в модуль 102 синтезатора.

Устройство 101R для считывания изображений осуществляет считывание изображений в формате с чересстрочной разверткой, которые должны быть правыми R-изображениями, синхронно со считыванием левых L-изображений устройством 101L для считывания изображений и передает их в модуль 102 синтезатора.

Модуль 102 синтезатора осуществляет вычеркивание пикселов левого L-изображения от устройства 101L для считывания изображений и выполняет описываемую позднее предварительную обработку данных с целью генерации прореженного левого L-изображения, а также осуществляет вычеркивание пикселов правого R-изображения от устройства 101R для считывания изображений и выполняет описываемую позднее предварительную обработку данных с целью генерации прореженного правого R-изображения.

Далее, модуль 102 синтезатора подвергает прореженное левое L-изображение и прореженное правое R-изображение такой же обработке данных, как указанные горизонтальная обработка, вертикальная обработка и комбинационная обработка, которые модуль 31 горизонтальной обработки, модуль 32 вертикальной обработки и комбинационный модуль 33, показанные на Фиг.5, осуществляют в случае, когда указанные флаг разделения, флаг вертикальной структуры и флаг структуры размещения все равны 1, генерируя тем самым объединенное изображение, передаваемое в модуль 34 кодирования.

Теперь, если флаг разделения равен 1, что указывает на разделение строк, и флаг вертикальной структуры равен 1, что указывает на матрицу с перемежением, кодирующее устройство, показанное на Фиг.5, как описано с использованием Фиг.12 и 14, после горизонтальной обработки изображения в модуле 31 горизонтальной обработки в процессе вертикальной обработки в модуле 32 вертикальной обработки выделяет нечетные строки и четные строки из левого L-изображения после горизонтальной обработки и также выделяет нечетные строки и четные строки из правого R-изображения после горизонтальной обработки, а также размещает в виде матрицы по схеме с перемежением нечетные строки и четные строки, выделенные из левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, генерируя тем самым изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки.

Модуль 33 объединения затем размещает в виде матрицы указанные изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, генерируя объединенное изображение.

Как описано выше, если оба флага - флаг разделения и флаг вертикальной структуры, равны 1, указанные процессы горизонтальной обработки, вертикальной обработки и комбинационной обработки, выполняемые в каждом из модулей - модуле 31 горизонтальной обработки, модуле 32 вертикальной обработки и модуле 33 объединения, показанных на Фиг.5, будут в дальнейшем совместно называться «обработка объединения с перемежением».

Пример конфигурации модуля 102 синтезатора

Фиг.20 представляет блок-схему, иллюстрирующую пример конфигурации модуля 102 синтезатора, показанного на Фиг.19.

Указанный модуль 102 синтезатора включает фильтрующий модуль 121, прореживающий модуль 122, модуль 123 предварительной обработки, модуль 124 комбинационной обработки с перемежением и модуль 125 управления.

Левые L-изображения от устройства 101L для считывания изображения и правые R-изображения от устройства 101R для считывания изображения поступают в фильтрующий модуль 121.

Таким же образом, как фильтрующий модуль 11, показанный на Фиг.5, фильтрующий модуль 121 осуществляет фильтрацию, чтобы устранить высокочастотные составляющие левого L-изображения и правого R-изображения с целью предотвратить проявление эффекта наложения спектров в прореженном левом L-изображении и прореженном правом R-изображении, полученных в результате исключения пикселов из левого L-изображения и правого R-изображения.

Теперь в прореживающем модуле 122, расположенном после фильтрующего модуля 121, вычеркивают пикселы в наклонном направлении таким же образом, как в прореживающем модуле 12, показанном на Фиг.5, так что в фильтрующем модуле 121 осуществляют фильтрацию, чтобы устранить высокочастотные составляющие в наклонном направлении.

Кроме того, фильтрующий модуль.121 осуществляет фильтрацию имеющих формат с чересстрочной разверткой левых L-изображений и правых R-изображений в каждом из полей - нечетных полях и четных полях, составляющих кадры левого L-изображения и правого R-изображения.

Иными словами, нечетное поле и четное поле, составляющие кадр изображения в формате с чересстрочной разверткой, считывают в различные моменты времени.

Соответственно, если осуществляется фильтрация кадров, конфигурированных из таких нечетных полей и четных полей, фильтрацию пикселов в одном из полей - нечетном поле или четном поле (например, выполнение операции суммы произведений с применением цифрового фильтра), осуществляют с использованием пикселов другого поля, изображение которого считывают в другой момент времени относительно фильтруемого поля, так что пикселы, получаемые в результате влияния таких пикселов другого поля, оказываются размыты по сравнению со случаем использования пикселов только одного поля.

Соответственно, фильтрующий модуль 121 осуществляет фильтрацию имеющих формат с чересстрочной разверткой левых L-изображений и правых R-изображений кадров, разбитых на составляющие их нечетные поля и четные поля.

Фильтрующий модуль 121 передает в прореживающий модуль 122 результаты фильтрации нечетного поля и четного поля, составляющих кадр левого L-изображения, и нечетного поля и четного поля, составляющих кадр правого R-изображения.

Теперь нечетное поле и четное поле, составляющие кадр левого L-изображения, и нечетное поле и четное поле, составляющие кадр правого R-изображения, будут также именоваться нечетное левое L-поле, четное левое L-поле, нечетное правое R-поле и четное правое R-поле.

Таким же образом как прореживающий модуль 12, показанный на Фиг.5, исключает пикселы левого L-изображения, прореживающий модуль 122 исключает каждую вторую строку пикселов нечетного левого L-поля в наклонном направлении, преобразуя тем самым это нечетное левое L-поле в поле, в котором пикселы расположены в виде матрицы в шахматном порядке (в дальнейшем именуется также прореженным нечетным левым L-полем).

Далее, таким же образом, как прореживающий модуль 12, показанный на Фиг.5, исключает пикселы левого L-изображения, прореживающий модуль 122 исключает каждую вторую строку пикселов четного левого L-поля в наклонном направлении, преобразуя тем самым это четное левое L-поле в поле, в котором пикселы расположены в виде матрицы в шахматном порядке (в дальнейшем именуется также прореженным четным левым L-полем).

Кроме того, таким же образом, как прореживающий модуль 12, показанный на Фиг.5, исключает пикселы правого R-изображения, прореживающий модуль 122 исключает каждую вторую строку пикселов нечетного правого R-поля и четного правого R-поля в наклонном направлении, преобразуя тем самым эти нечетное правое R-поле и четное правое R-поле в поля, в которых пикселы расположены в шахматном порядке.

Теперь поля, полученные из нечетного правого R-поля и четного правого R-поля в результате исключения пикселов в прореживающем модуле 122, будут также именоваться прореженное нечетное правое R-поле и прореженное четное правое R-поле.

Прореживающий модуль 122 передает прореженное нечетное левое L-поле и прореженное четное левое L-поле, а также прореженное нечетное правое R-поле и прореженное четное правое R-поле в модуль 123 предварительной обработки.

Модуль 123 предварительной обработки использует прореженное нечетное левое L-поле и прореженное четное левое L-поле, а также прореженное нечетное правое R-поле и прореженное четное правое R-поле, поступающие от прореживающего модуля 122, для предварительной обработки с целью конфигурирования кадров прореженного левого L-изображения и прореженного правого R-изображения.

Иными словами, модуль 123 предварительной обработки в качестве предварительной обработки осуществляет обработку данных с целью конфигурирования изображения, в котором в виде матрицы расположены прореженное нечетное левое L-поле (первое прореженное нечетное поле) и прореженное четное левое L-поле (первое прореженное четное поле), полученные путем исключения пикселов в каждом поле - нечетном поле и четном поле, составляющих кадр имеющего формат с чересстрочной разверткой левого L-изображения, считываемого устройством 101L для считывания изображения, в каждой второй строке в наклонном направлении, в качестве прореженного левого L-изображения (первое прореженное изображение).

Далее, модуль 123 предварительной обработки в качестве предварительной обработки осуществляет обработку данных с целью конфигурирования изображения, в котором в виде матрицы расположены прореженное нечетное правое R-поле (второе прореженное нечетное поле) и прореженное четное правое R-поле (второе прореженное четное поле), полученные путем исключения пикселов в каждом поле - нечетном поле и четном поле, составляющих прореженное нечетное правое R-поле и прореженное четное правое R-поле от прореживающего модуля 122, т.е. кадр имеющего формат с чересстрочной разверткой правого R-изображения, считываемого устройством 101R для считывания изображения, в каждой второй строке в наклонном направлении, в качестве прореженного правого R-изображения (второе прореженное изображение).

Модуль 123 предварительной обработки затем передает прореженное левое L-изображение и прореженное правое R-изображение, полученные в результате предварительной обработки, в модуль 124 обработки объединения с перемежением.

Этот модуль 124 обработки объединения с перемежением содержит модуль 131 горизонтальной обработки, модуль 132 вертикальной обработки и модуль 133 объединения и осуществляет обработку объединения с перемежением.

Иными словами, прореженное левое L-изображение и прореженное правое R-изображение (кадры этих изображений) передают из модуля 123 предварительной обработки в модуль 131 горизонтальной обработки.

Таким же образом, как и в модуле 31 горизонтальной обработки, показанном на Фиг.5, модуль 131 горизонтальной обработки подвергает каждое изображение - прореженное левое L-изображение и прореженное правое R-изображение (кадры этих изображений), от модуля 123 предварительной обработки горизонтальной обработке и передает эти левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, полученные в результате, в модуль 132 вертикальной обработки.

В дополнение к левому L-изображению после горизонтальной обработки и правому R-изображению после горизонтальной обработки, поступающим от модуля 131 горизонтальной обработки, указанный модуль 132 вертикальной обработки получает также флаг разделения, указывающий разделение строк, и флаг вертикальной структуры, указывающий матрицу с перемежением, от модуля 125 управления.

Таким же образом, как и в модуле 32 вертикальной обработки, показанном на Фиг.5, модуль 132 вертикальной обработки в соответствии с флагом разделения и флагом вертикальной структуры подвергает вертикальной обработке левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки от модуля 131 горизонтальной обработки.

Иными словами, модуль 132 вертикальной обработки в соответствии с флагом разделения, указывающим разделение строк, от модуля 125 управления осуществляет разделение четных строк и нечетных строк левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки (кадров этих изображений) от модуля 131 горизонтальной обработки.

Далее, модуль 132 вертикальной обработки в соответствии с флагом вертикальной структуры от модуля 125 управления, указывающим матрицу с перемежением, генерирует два изображения - изображение нечетных строк после вертикальной обработки, полученное путем размещения в виде матрицы нечетных строк левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки по схеме с чередованием, и изображение четных строк после вертикальной обработки, полученное путем размещения в виде матрицы четных строк левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки по схеме с чередованием, в качестве нескольких изображений после вертикальной обработки, и передает эти два изображения в модуль 133 объединения.

Указанный модуль 133 объединения получает изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки в качестве нескольких изображений после вертикальной обработки от модуля 132 вертикальной обработки, а также флаг разделения, флаг вертикальной структуры и флаг структуры размещения от модуля 125 управления.

Таким же образом, как и модуль 33 объединения, показанный на Фиг.5, модуль 133 объединения в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения от модуля 125 управления размещает в виде матрицы указанные несколько изображений после вертикальной обработки от модуля 132 вертикальной обработки, генерируя тем самым объединенное изображение путем смешивания указанных нескольких изображений после вертикальной обработки, так что это объединенное изображение передают в модуль 34 кодирования в качестве изображения, подлежащего кодированию с прогнозированием.

Здесь, как указано выше, флаг разделения от модуля 125 управления указывает разделение строк, а флаг вертикальной структуры указывает матрицу с перемежением.

Соответственно, таким же образом, как и в модуле 33 объединения, показанном на Фиг.5, модуль 133 объединения на основе флага разделения, указывающего разделение строк, и флага вертикальной структуры, указывающего матрицу с перемежением, определяет, что изображения, поступающие от модуля 132 вертикальной обработки в качестве нескольких изображений после вертикальной обработки, представляют собой, два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, причем эти изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки располагают в виде матрицы так, как определено ранее, независимо от флага структуры размещения, генерируя тем самым объединенное изображение.

Указанный модуль 125 управления устанавливает флаг разделения равным 1, что указывает на разделение строк, флаг вертикальной структуры равным 1, что указывает матрицу с перемежением, и флаг вертикальной структуры равным произвольной величине (или величине по умолчанию), соответственно, и передает в комбинационный модуль 133 и модуль 34 кодирования. Кроме того, модуль 125 управления передает флаг разделения и флаг вертикальной структуры в модуль 132 вертикальной обработки.

Обработка данных в модуле 102 синтезатора

Фиг.21 представляет схему, описывающую обработки данных в модуле 102 синтезатора, показанном на Фиг.20, для случая, когда левое L-изображение и правое R-изображение представляют собой изображения с прогрессивной разверткой.

Отметим, что, как описано на Фиг.8, в схеме на Фиг.21 LO представляет пикселы нечетных строк (кадра) левого L-изображения, LE представляет пикселы четных строк левого L-изображения, RO представляет пикселы нечетных строк (кадра) правого R-изображения и RE представляет пикселы четных строк правого R-изображения соответственно.

Далее, как показано на Фиг.21, пикселы, обозначенные штриховкой, представляют пикселы столбцов с четными номерами, считая слева, а пикселы, не имеющие штриховки, представляют пикселы столбцов с нечетными номерами, считая слева. Это справедливо также для последующих чертежей.

Когда левое L-изображение и правое R-изображение представляют собой изображения с прогрессивной разверткой, фильтрующий модуль 121 (Фиг.20) осуществляет фильтрацию левого L-изображения и правого R-изображения с прогрессивной разверткой в качестве кадров левого L-изображения и правого R-изображения и передает результаты в прореживающий модуль 122.

Указанный прореживающий модуль 122 (Фиг.20) исключает из кадров левого L-изображения и правого R-изображения, поступающих от фильтрующего модуля 121, каждую вторую строку в наклонном направлении, как показано на Фиг.21, преобразуя тем самым кадры левого L-изображения и правого R-изображения в прореженное левое L-изображение и прореженное правое R-изображение, пикселы которых расположены в виде матрицы в шахматном порядке, и затем передает эти изображения в модуль 123 предварительной обработки.

Если левое L-изображение и правое R-изображение являются изображениями с прогрессивной разверткой, модуль 123 предварительной обработки (Фиг.20) не выполняет предварительную обработку и передает кадры прореженного левого L-изображения и прореженного правого R-изображения от прореживающего модуля 122 без изменений в модуль 131 горизонтальной обработки в составе модуля 124 обработки объединения с перемежением.

Модуль 131 горизонтальной обработки (Фиг.20) осуществляет горизонтальную упаковку для сдвига пикселов каждого изображения - прореженного левого L-изображения и прореженного правого R-изображения, от модуля 123 предварительной обработки, пикселы которого расположены в виде матрицы в шахматном порядке, в горизонтальном направлении в качестве горизонтальной обработки, генерируя тем самым левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки (кадры этих изображений), показанные на Фиг.21, и передает полученные изображения в модуль 132 вертикальной обработки.

Указанный модуль 132 вертикальной обработки (Фиг.20) выделяет нечетные строки и четные строки из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображение после горизонтальной обработки, поступающего от модуля 131 горизонтальной обработки.

Далее, как показано на Фиг.21, модуль 132 вертикальной обработки формирует матрицу с перемежением из нечетных строк (LO) левого L-изображения после горизонтальной обработки и нечетных строк (RO) правого R-изображения после горизонтальной обработки, генерируя в результате изображение нечетных строк после вертикальной обработки (кадр этого изображения), где нечетные строки (LO) левого L-изображения после горизонтальной обработки и нечетные строки (RO) правого R-изображения после горизонтальной обработки расположены в виде матрицы поочередно.

Кроме того, как показано на Фиг.21, модуль 132 вертикальной обработки формирует матрицу с перемежением из четных строк (LE) левого L-изображения после горизонтальной обработки и четных строк (RE) правого R-изображения после горизонтальной обработки, генерируя в результате изображение четных строк после вертикальной обработки (кадр этого изображения), где четные строки (LE) левого L-изображения после горизонтальной обработки и четные строки (RE) правого R-изображения после горизонтальной обработки расположены в виде матрицы поочередно.

Затем модуль 132 вертикальной обработки передает изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки в модуль 133 объединения.

Как описано с использованием Фиг.13, например, модуль 133 объединения (Фиг.20) располагает изображение нечетных строк после вертикальной обработки на левой стороне и изображение четных строк после вертикальной обработки на правой стороне, генерируя тем самым объединенное изображение (кадр этого изображения), передаваемое в модуль 34 кодирования.

Соответственно, если левое L-изображение и правое R-изображение представляют собой изображения с прогрессивной разверткой, в изображении нечетных строк после вертикальной обработки, составляющем левую половину объединенного изображения, нечетное поле (нечетные строки) конфигурировано только из пикселов нечетных строк (LO) левого L-изображения, а четное поле (четные строки) конфигурировано только из пикселов нечетных строк (RO) правого R-изображения.

Кроме того, в изображении четных строк после вертикальной обработки, составляющем правую половину объединенного изображения, нечетное поле конфигурировано только из пикселов четных строк (LE) левого L-изображения, а четное поле конфигурировано только из пикселов четных строк (RE) правого R-изображения.

Соответственно, выполняя обработку данных для прогнозирования применительно к объединенному изображению как к изображению в формате с чересстрочной разверткой, можно реализовать высокую эффективность кодирования, как описано на Фиг.13.

Фиг.22 - 24 представляют схемы для описания обработки данных в модуле 102 синтезатора, показанном на Фиг.20, когда левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой.

Иными словами, Фиг.22 представляет схему для описания обработки данных в фильтрующем модуле 121 и прореживающем модуле 122, когда левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой.

Отметим, что на Фиг.22 LOO обозначает нечетное поле (нечетное левое L-поле) из состава левого L-изображения (кадра этого изображения), LOE четные строки нечетного левого L-поля, LEO нечетные строки четного поля левого L-изображения (четное левое L-поле), LEE четные строки четного левого L-поля, ROO обозначает нечетное поле (нечетное правое R-поле) из состава правого R-изображения (кадра этого изображения), ROE четные строки нечетного правого R-поля, REO нечетные строки четного поля правого R-изображения (четное правое R-поле), REE четные строки четного правого R-поля соответственно. Это относится также к последующим чертежам.

Если левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой, фильтрующий модуль (Фиг.20) осуществляет фильтрацию этих левого L-изображения и правого R-изображения в формате с чересстрочной разверткой по полям левого L-изображения и правого R-изображения и передает результат фильтрации в прореживающий модуль 122.

Иными словами, как показано на Фиг.22, фильтрующий модуль 121 осуществляет фильтрацию каждого из полей - нечетного левого L-поля и четного левого L-поля, составляющих кадр левого L-изображения, и нечетного правого R-поля и четного правого R-поля, составляющих кадр правого R-изображения, и передает результаты в прореживающий модуль 122.

Указанный прореживающий модуль 122 (Фиг.20) исключает пикселы из каждого поля - нечетного левого L-поля и четного левого L-поля, а также нечетного правого R-поля и четного правого R-поля, поступающего от фильтрующего модуля 121, из каждой второй строки в наклонном направлении, как показано на Фиг.22, преобразуя тем самым эти нечетное левое L-поле и четное левое L-поле, а также нечетное правое R-поле и четное правое R-поле в прореженное нечетное левое L-поле и прореженное четное левое L-поле, а также прореженное нечетное правое R-поле и прореженное четное правое R-поле соответственно, где пикселы расположены в виде матрицы в шахматном порядке, и передает прореженные поля в модуль 123 предварительной обработки.

Теперь, если указанные левое L-изображение и правое R-изображение представляют собой изображения с прогрессивной разверткой, модуль 123 предварительной обработки не выполняет предварительную обработку, как описано с использованием Фиг.21, и без изменений передает прореженное левое L-изображение и прореженное правое R-изображение от прореживающего модуля 122 в модуль 131 горизонтальной обработки в составе модуля 124 обработки объединения с перемежением.

Далее, будет приведено описание объединенного изображения, получаемого в результате обработки объединения с перемежением в модуле 124 обработки объединения с перемежением, в ситуации, когда аналогично случаю, в котором левое L-изображение и правое R-изображение представляют собой изображения с прогрессивной разверткой, модуль 123 предварительной обработки не выполняет предварительную обработку и передает прореженное нечетное левое L-поле и прореженное четное левое L-поле, а также прореженное нечетное правое R-поле и прореженное четное правое R-поле от прореживающего модуля 122 в модуль 124 обработки объединения с перемежением (в модуль 131 горизонтальной обработки в составе его) без изменений.

Фиг.23 представляет схему, иллюстрирующую кадры прореженного левого L-изображения и прореженного правого R-изображения, передаваемые от модуля 123 предварительной обработки в модуль 131 горизонтальной обработки в составе модуля 124 комбинационной обработки с перемежением, когда левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой, а также модуль 123 предварительной обработки не выполняет предварительную обработку.

Кадр прореженного левого L-изображения представляет собой кадр, имеющий прореженное нечетное левое L-поле в качестве нечетного поля и прореженное четное левое L-поле в качестве четного поля. Кроме того, кадр прореженного правого R-изображения представляет собой кадр, имеющий прореженное нечетное правое R-поле в качестве нечетного поля и прореженное четное правое R-поле в качестве четного поля.

Соответственно, в этом случае в кадре прореженного левого L-изображения пикселы расположены попарно в вертикальном направлении, как показано на Фиг.23, причем эти пикселы не располагаются в виде матрицы в шахматном порядке.

Кроме того, в кадре прореженного левого L-изображения в нечетном поле совместно присутствуют строки, конфигурированные только из пикселов нечетных строк нечетного левого L-поля (LOO), и строки, конфигурированные только из пикселов четных строк нечетного левого L-поля (LOE), а также в четном поле совместно присутствуют строки, конфигурированные только из пикселов нечетных строк четного левого L-поля (LEO), и строки, конфигурированные только из пикселов четных строк четного левого L-поля (LEE).

Иными словами, в кадре прореженного левого L-изображения (4n+1)-е строки (горизонтальные строки с номерами 4n+1 (n=0, 1, 2, …)) конфигурированы только из пикселов нечетных строк нечетного левого L-поля (LOO), (4n+2)-е строки - только из пикселов нечетных строк четного левого L-поля (LEO), (4n+3)-и строки - только из пикселов четных строк нечетного левого L-поля (LOE), и (4n+4)-е строки - только из пикселов четных строк четного левого L-поля (LEE) соответственно.

Таким же образом, в кадре прореженного правого R-изображения пикселы расположены попарно в вертикальном направлении, как показано на Фиг.23, причем эти пикселы не располагаются в виде матрицы в шахматном порядке.

Кроме того, в кадре прореженного правого R-изображения, как показано на Фиг.23, в нечетном поле совместно присутствуют строки, конфигурированные только из пикселов нечетных строк нечетного правого R-поля (ROO), и строки, конфигурированные только из пикселов четных строк нечетного правого R-поля (ROE), а также в четном поле совместно присутствуют строки, конфигурированные только из пикселов нечетных строк четного правого R-поля (REO), и строки, конфигурированные только из пикселов четных строк четного правого R-поля (REE).

Иными словами, в кадре прореженного правого R-изображения (4n+1)-е строки (горизонтальные строки с номерами 4n+1 (n=0, 1, 2, …)) конфигурированы только из пикселов нечетных строк нечетного правого R-поля (ROO), (4n+2)-е строки - только из пикселов нечетных строк четного правого R-поля (REO), (4n+3)-и строки - только из пикселов четных строк нечетного правого R-поля (ROE) alone, и (4n+4)-е строки - только из пикселов четных строк четного правого R-поля (REE) соответственно.

Фиг.24 представляет схему для описания процессов горизонтальной обработки и вертикальной обработки, выполняемых в модуле 131 горизонтальной обработки и модуле 132 вертикальной обработки, показанных на Фиг.20, соответственно, применительно к прореженному левому L-изображению и прореженному правому R-изображению, как представлено на Фиг.23.

Модуль 131 горизонтальной обработки (Фиг.20) осуществляет горизонтальную упаковку, чтобы упаковать пикселы из состава прореженного левого L-изображения и прореженного правого R-изображения от модуля 123 предварительной обработки в горизонтальном направлении, в качестве горизонтальной обработки, генерируя тем самым левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, показанные на Фиг.24 (кадры этих изображений), так что эти изображения передают в модуль 132 вертикальной обработки.

Теперь, как описано выше, в кадре прореженного левого L-изображения (4n+1)-е строки конфигурированы только из пикселов нечетных строк нечетного левого L-поля (LOO), (4n+2)-е строки - только из пикселов нечетных строк четного левого L-поля (LEO), (4n+3)-и строки - только из пикселов четных строк нечетного левого L-поля (LOE), и (4n+4)-е строки - только из пикселов четных строк четного левого L-поля (LEE) соответственно.

Кроме того, в кадре прореженного правого R-изображения (4n+1)-е строки конфигурированы только из пикселов нечетных строк нечетного правого R-поля (ROO), (4n+2)-е строки - только из пикселов нечетных строк четного правого R-поля (REO), (4n+3)-и строки - только из пикселов четных строк нечетного правого R-поля (ROE) alone, и (4n+4)-е строки - только из пикселов четных строк четного правого R-поля (REE) соответственно.

Таким образом, в левом L-изображении после горизонтальной обработки (4n+1)-е строки конфигурированы только из пикселов нечетных строк нечетного левого L-поля (LOO), (4n+2)-е строки - только из пикселов нечетных строк четного левого L-поля (LEO), (4n+3)-и строки - только из пикселов четных строк нечетного левого L-поля (LOE), и (4n+4)-е строки - только из пикселов четных строк четного левого L-поля (LEE) соответственно.

Таким же образом, в правом R-изображении после горизонтальной обработки (4n+1)-е строки конфигурированы только из пикселов нечетных строк нечетного правого R-поля (ROO), (4n+2)-е строки - только из пикселов нечетных строк четного правого R-поля (REO), (4n+3)-и строки - только из пикселов четных строк нечетного правого R-поля (ROE) alone, и (4n+4)-е строки - только из пикселов четных строк четного правого R-поля (REE) соответственно.

Модуль 132 вертикальной обработки (Фиг.20) выделяет нечетные строки и четные строки из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, поступающих от модуля 131 горизонтальной обработки.

Далее, как показано на Фиг.24, модуль 132 вертикальной обработки размещает в виде матрицы нечетные строки кадра левого L-изображения после горизонтальной обработки и нечетные строки кадра правого R-изображения после горизонтальной обработки по схеме с перемежением, генерируя тем самым изображение (кадр изображения) нечетных строк после вертикальной обработки.

Нечетные строки левого L-изображения после горизонтальной обработки включают (4n+1)-е строки и (4n+3)-и строки, и, как описано выше, (4n+1)-я строка конфигурирована только из пикселов нечетных строк нечетного левого L-поля (LOO), и (4n+3)-и строки - только из пикселов четных строк нечетного левого L-поля (LOE) соответственно.

Кроме того, нечетные строки правого R-изображения после горизонтальной обработки включают (4n+1)-е строки и (4n+3)-и строки, и, как описано выше, (4n+1)-я строка конфигурирована только из пикселов нечетных строк нечетного правого R-поля (ROO), и (4n+3)-и строки - только из пикселов четных строк нечетного правого R-поля (ROE) соответственно.

Таким образом, в кадре изображения нечетных строк после вертикальной обработки, сформированного путем размещения в виде матрицы нечетных строк такого левого L-изображения после горизонтальной обработки и нечетных строк такого правого R-изображения после горизонтальной обработки по схеме с перемежением, как показано на Фиг.24, (4n+1)-е строки конфигурированы только из пикселов нечетных строк нечетного левого L-поля (LOO), (4n+2)-е строки - только из пикселов нечетных строк нечетного правого R-поля (ROO), (4n+3)-и строки - только из пикселов четных строк нечетного левого L-поля (LOE), и (4n+4)-е строки - только из пикселов четных строк нечетного правого R-поля (ROE) соответственно.

Кроме того, как показано на Фиг.24, модуль 123 предварительной обработки размещает в виде матрицы четные строки кадра левого L-изображение после горизонтальной обработки и четные строки кадра правого R-изображения после горизонтальной обработки по схеме с перемежением, генерируя тем самым изображение (кадр изображения) четных строк после вертикальной обработки.

Четные строки левого L-изображения после горизонтальной обработки включают (4n+2)-е строки и (4n+4)-е строки, и, как описано выше, (4n+2)-е строки конфигурированы только из пикселов нечетных строк четного левого L-поля (LEO), и (4n+4)-е строки конфигурированы только из пикселов четных строк четного левого (LEE).

Кроме того, четные строки правого R-изображения после горизонтальной обработки включают (4n+2)-е строки и (4n+4)-е строки, и, как описано выше, (4n+2)-е строки конфигурированы только из пикселов нечетных строк четного правого R-поля (REO), и (4n+4)-е строки конфигурированы только из пикселов четных строк четного правого R-поля (REE).

Таким образом, в кадре изображения четных строк после вертикальной обработки, сформированного путем размещения в виде матрицы четных строк такого левого L-изображения после горизонтальной обработки и четных строк такого правого R-изображения после горизонтальной обработки по схеме с перемежением, как показано на Фиг.24, (4n+1)-е строки конфигурированы только из пикселов нечетных строк четного левого L-поля (LEO), (4n+2)-е строки - только из пикселов нечетных строк четного правого R-поля (ROE), (4n+3)-и строки - только из пикселов четных строк четного левого L-поля (LEE), и (4n+4)-е строки - только из пикселов четных строк четного правого R-поля (REE) соответственно.

Модуль 132 вертикальной обработки передает такие изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки в модуль объединения 133.

Как описано с использованием Фиг.13, модуль 133 объединения (Фиг.20) размещает изображение нечетных строк после вертикальной обработки на левой стороне и размещает изображение четных строк после вертикальной обработки на правой стороне, генерируя тем самым объединенное изображение (кадр этого изображения), передаваемое далее в модуль 34 кодирования.

Соответственно, если левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой и модуль 123 предварительной обработки не выполняет такую предварительную обработку, нечетные строки нечетного левого L-поля (LOO) и четные строки нечетного левого L-поля (LOE) чередуются в нечетном поле (нечетные строки) изображения нечетных строк после вертикальной обработки, которое составляет левую половину объединенного изображения.

Далее, нечетные строки нечетного правого R-поля (ROO) и четные строки нечетного правого R-поля (ROE) чередуются в четном поле (четные строки) изображения нечетных строк после вертикальной обработки, которое составляет левую половину объединенного изображения.

На Фиг.24 в совокупности нечетных строк нечетного левого L-поля (LOO) и четных строк нечетного левого L-поля (LOE), составляющих нечетное поле изображения нечетных строк после вертикальной обработки, пикселы нечетных строк нечетного левого L-поля (LOO) не заштрихованы, так что, как описано на Фиг.21, эти пикселы являются пикселами столбцов с нечетными номерами в составе нечетного левого L-поля, а пикселы четных строк нечетного левого L-поля (LOE) заштрихованы, так что, как описано на Фиг.21, эти пикселы являются пикселами столбцов с нечетными номерами в составе нечетного левого L-поля.

Соответственно, пикселы нечетных строк (LOO) и четных строк нечетного левого L-поля (LOE) нечетного левого L-поля, составляющих нечетное поле изображения нечетных строк после вертикальной обработки, представляют собой пикселы, фаза (позиция) которых в горизонтальном направлении смещена на один пиксел, так что (пространственная) корреляция невелика (изменения величин пикселов не являются непрерывными и появляются высокочастотные составляющие).

Таким же образом, пикселы нечетных строк (ROO) и четных строк (ROE) нечетного правого R-поля, составляющих четное поле изображения нечетных строк после вертикальной обработки, представляют собой пикселы, фаза которых в горизонтальном направлении смещена на один пиксел, так что корреляция невелика.

Далее, то же самое справедливо для изображения четных строк после вертикальной обработки, составляющего собой правую половину объединенного изображения.

Иными словами, если левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой и модуль 123 предварительной обработки не выполняет предварительную обработку, нечетные строки четного левого L-поля (LEO) и четные строки четного левого L-поля (LEE) чередуются в нечетном поле изображения четных строк после вертикальной обработки, составляющего правую половину объединенного изображения, а нечетные строки четного правого R-поля (REO) и четные строки четного правого R-поля (REE) чередуются в четном поле.

Таким образом, пикселы нечетных строк четного левого L-поля (LEO) и пикселы четных строк четного левого L-поля (LEE), составляющих нечетное поле изображения нечетных строк после вертикальной обработки, которое образует правую половину объединенного изображения, обладают низкой корреляцией, а также пикселы нечетных строк правого четного R-поля (REO) и четных строк четного правого R-поля (REE), составляющих четное поле, тоже обладают низкой корреляцией.

Соответственно, даже если кодирование с прогнозированием выполняется применительно к объединенному изображению, представляющему собой изображение в формате с чересстрочной разверткой, реализовать высокую эффективность кодирования достаточно затруднительно.

Кроме того, как показано на Фиг.23, в кадрах прореженного левого L-изображения и прореженного правого R-изображения пикселы расположены попарно в вертикальном направлении и при этом пикселы не располагаются в шахматном порядке, так что пространственное разрешение деградирует по сравнению со случаем, когда пикселы расположены в шахматном порядке.

Соответственно, если левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой, модуль 102 синтезатора (Фиг.20) осуществляет предварительную обработку данных в модуле 123 предварительной обработки.

Предварительная обработка

Фиг.25 представляет схему, описывающую предварительную обработку данных, выполняемой модулем 123 предварительной обработки.

Как показано на Фиг.25, модуль 123 предварительной обработки осуществляет обработку с целью конфигурирования изображения, в котором прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы в вертикальном направлении, например, в качестве кадра прореженного левого L-изображения после предварительной обработки.

Далее, как показано на Фиг.25, модуль 123 предварительной обработки выполняет обработку данных для конфигурирования изображения, в котором прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы в вертикальном направлении, например, в качестве кадра прореженного правого R-изображения после предварительной обработки.

Модуль 123 предварительной обработки затем передает прореженное левое L-изображение и прореженное правое R-изображение, полученные в результате предварительной обработки, в модуль 124 обработки объединения с перемежением.

В кадре прореженного левого L-изображения, показанном на Фиг.25, прореженное нечетное левое L-поле расположено на верхней стороне (верхняя половина) и прореженное четное левое L-поле расположено на нижней стороне (нижняя половина). Таким же образом, в кадре прореженного правого R-изображения прореженное нечетное правое R-поле расположено на верхней стороне (верхняя половина) и прореженное четное правое R-поле расположено на нижней стороне (нижняя половина).

Фиг.26 представляет схему для описания горизонтальной обработки, вертикальной обработки и обработки объединения, составляющих совместно обработку объединения с перемежением, выполняемую в модуле 124 обработки объединения с перемежением, показанном на Фиг.20, в качестве обработки прореженного левого L-изображения и прореженного правого R-изображения, изображенных на Фиг.25.

Модуль 131 горизонтальной обработки (Фиг.20) выполняет горизонтальную упаковку, чтобы упаковать пикселы из прореженного левого L-изображения и прореженного правого R-изображения от модуля 123 предварительной обработки в горизонтальном направлении, в качестве горизонтальной обработки, генерирует тем самым левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки (кадры этих изображений), показанные на Фиг.26, и передает эти изображения в модуль 132 вертикальной обработки.

Сейчас, как описано выше, в кадре прореженного левого L-изображения, полученного в результате предварительной обработки, прореженное нечетное левое L-поле расположено на верхней стороне, и прореженное четное левое L-поле - на нижней стороне, а в кадре прореженного правого R-изображения, полученного в результате предварительной обработки, прореженное нечетное правое R-поле расположено на верхней стороне, и прореженное четное правое R-поле - на нижней стороне.

Соответственно, как показано на Фиг.26, в кадре левого L-изображения после горизонтальной обработки нечетные строки (LOO) и четные строки (LOE) нечетного левого L-поля чередуются на верхней стороне, а нечетные строки (LEO) и четные строки (LEE) четного левого L-поля чередуются на нижней стороне.

Иными словами, на верхней стороне левого L-изображения после горизонтальной обработки нечетные строки являются нечетными строками нечетного левого L-поля (LOO), а четные строки являются четными строками нечетного левого L-поля (LOE).

Кроме того, на нижней стороне левого L-изображения после горизонтальной обработки нечетные строки являются нечетными строками четного левого L-поля (LEO), а четные строки являются четными строками (LEE).

Далее, как показано на Фиг.26, в кадре правого R-изображения после горизонтальной обработки нечетные строки (ROO) и четные строки (ROE) нечетного правого R-поля чередуются на верхней стороне, а нечетные строки (REO) и четные строки (REE) четного R-поля чередуются на нижней стороне.

Иными словами, на верхней стороне правого R-изображения после горизонтальной обработки нечетные строки являются нечетными строками нечетного правого R-поля (ROO), а четные строки являются четными строками нечетного R-поля (ROE).

Кроме того, на нижней стороне правого R-изображения после горизонтальной обработки нечетные строки являются нечетными строками четного правого R-поля (REO), а четные строки являются четными строками (REE).

Модуль 132 вертикальной обработки (Фиг.20) выделяет нечетные строки и четные строки из каждого изображения - левого L-изображения после горизонтальной обработки и правого R-изображения после горизонтальной обработки, от модуля 131 горизонтальной обработки.

Далее, как показано на Фиг.26, модуль 132 вертикальной обработки размещает в виде матрицы нечетные строки кадра левого L-изображения после горизонтальной обработки (LOO и LEO) и нечетные строки кадра правого R-изображения после горизонтальной обработки (ROO и REO) по схеме с перемежением с целью генерации изображения нечетных строк после вертикальной обработки (кадра этого изображения), а также размещает в виде матрицы четные строки кадра левого L-изображения после горизонтальной обработки (LOE и LEE) и четные строки кадра правого R-изображения после горизонтальной обработки (ROE и REE) по схеме с перемежением с целью генерации изображения четных строк после вертикальной обработки (кадра этого изображения).

Соответственно, как показано на Фиг.26, в изображении нечетных строк после вертикальной обработки нечетные строки нечетного левого L-поля (LOO) и нечетные строки нечетного правого R-поля (ROO) чередуются на верхней стороне, а нечетные строки четного левого L-поля (LEO) и нечетные строки четного правого R-поля (REO) чередуются на нижней стороне.

Иными словами, на верхней стороне кадра изображения нечетных строк после вертикальной обработки нечетные строки представляют собой нечетные строки нечетного левого L-поля (LOO), а четные строки представляют собой нечетные строки нечетного правого R-поля (ROO).

Далее, на нижней стороне кадра изображения нечетных строк после вертикальной обработки нечетные строки представляют собой нечетные строки четного левого L-поля (LEO), а четные строки представляют нечетные строки четного правого R-поля (REO).

С другой стороны, как показано на Фиг.26, в изображении четных строк после вертикальной обработки четные строки нечетного левого L-поля (LOE) и четные строки нечетного правого R-поля (ROE) чередуются на верхней стороне, а четные строки четного левого L-поля (LEE) и четные строки четного правого R-поля (REE) чередуются на нижней стороне.

Иными словами, на верхней стороне кадра изображения четных строк после вертикальной обработки нечетные строки представляют собой четные строки нечетного левого L-поля (LOE), а четные строки представляют собой четные строки нечетного правого R-поля (ROE).

Далее, на нижней стороне изображения четных строк после вертикальной обработки нечетные строки представляют собой четные строки четного левого L-поля (LEE), а четные строки представляют собой четные строки четного правого R-поля (REE).

Модуль 132 вертикальной обработки передает изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, как указано выше, в модуль 133 объединения.

Модуль 133 объединения (Фиг.20) помещает изображение нечетных строк после вертикальной обработки на левой стороне, как показано на Фиг.26, таким же образом, как и в случае, показанном на Фиг.13, а также помещает изображение четных строк после вертикальной обработки на правой стороне, генерируя тем самым объединенное изображение (кадры этого изображения), и передает результат в модуль 34 кодирования.

Соответственно, если левое L-изображение и правое R-изображение представляют собой изображения в формате с чересстрочной разверткой и если происходит выполнение предварительной обработки данных в модуле 123 предварительной обработки, на верхней стороне изображения нечетных строк после вертикальной обработки, которое составляет левую половину объединенного изображения, т.е. в верхней левой четверти объединенного изображения, нечетные строки представляют собой нечетные строки нечетного левого L-поля (LOO), а четные строки представляют собой нечетные строки нечетного правого R-поля (ROO), как показано на Фиг.26.

Кроме того, на нижней стороне изображения нечетных строк после вертикальной обработки, которое составляет левую половину объединенного изображения, т.е. в нижней левой четверти объединенного изображения, нечетные строки представляют собой нечетные строки четного левого L-поля (LEO), а четные строки представляют собой нечетные строки четного правого R-поля (REO), как показано на Фиг.26.

Далее, на верхней стороне изображения четных строк после вертикальной обработки, которое составляет правую половину объединенного изображения, т.е. в верхней правой четверти объединенного изображения, нечетные строки представляют собой четные строки нечетного левого L-поля (LOE), а четные строки представляют собой четные строки нечетного правого R-поля (ROE), как показано на Фиг.26.

Кроме того, на нижней стороне изображения четных строк после вертикальной обработки, которое составляет правую половину объединенного изображения, т.е. в нижней правой четверти объединенного изображения, нечетные строки представляют собой четные строки четного левого L-поля (LEE), а четные строки представляют собой четные строки четного правого R-поля (REE), как показано на Фиг.26.

Соответственно, в нечетном поле (нечетные строки) объединенного изображения верхняя левая четверть конфигурирована только из пикселов нечетных строк нечетного левого L-поля (LOO), нижняя левая четверть - только из пикселов нечетных строк четного левого L-поля (LEO), верхняя правая четверть - только из пикселов четных строк нечетного левого L-поля (LOE), и нижняя правая четверть - только из пикселов четных строк четного левого L-поля (LEE) соответственно.

Кроме того, в четном поле (четные строки) верхняя левая четверть конфигурирована только из пикселов нечетных строк нечетного правого R-поля (ROO), нижняя левая четверть - только из пикселов нечетных строк четного правого R-поля (REO), верхняя правая четверть - только из пикселов четных строк нечетного правого R-поля (ROE), и нижняя правая четверть - только из пикселов четных строк четного правого R-поля (REE), соответственно.

Как описано выше, нечетное поле и четное поле объединенного изображения разделены на четыре области - верхнюю левую, нижнюю левую, верхнюю правую и нижнюю правую, в которых сконцентрированы пикселы однотипных строк (нечетных строк или четных строк) одного и того же поля (нечетного поля или четного поля) одного из изображений - левого L-изображения или правого R-изображения, так что при выполнении кодирования с прогнозированием применительно к объединенному изображению, являющемуся изображением в формате с чересстрочной разверткой, можно реализовать высокую эффективность кодирования.

Отметим, что на Фиг.25 представлена структура, в которой изображение, где прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы в вертикальном направлении, конфигурировано в виде кадра прореженного левого L-изображения, и изображение, где прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы в вертикальном направлении, конфигурировано в виде кадра прореженного правого R-изображения, но может быть также использована структура, в которой прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы в горизонтальном направлении и составляют кадр прореженного левого L-изображения, а изображение, где прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы в вертикальном направлении, считается кадром прореженного правого R-изображения.

Однако в этом случае в модуле 133 объединения объединенное изображение генерируют не путем размещения в виде матрицы изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки в горизонтальном направлении (расположение изображения нечетных строк после вертикальной обработки на левой стороне и изображения четных строк после вертикальной обработки на правой стороне), а путем размещения этих изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки в виде матрицы в вертикальном направлении.

Кроме того, в модуле 123 предварительной обработки может быть построена структура, в которой, например, прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы в вертикальном направлении для конфигурирования прореженного левого L-изображения (кадров этого изображения), а прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы в вертикальном направлении для конфигурирования прореженного правого R-изображения.

Далее, в модуле 123 предварительной обработки может быть построена структура из восьми изображений - изображения нечетных строк нечетного левого L-поля, в котором собраны только нечетные строки прореженного нечетного левого L-поля (LOO), изображение четных строк нечетного левого L-поля, в котором собраны только четные строки прореженного нечетного левого L-поля (LOE), изображение нечетных строк четного левого L-поля, в котором собраны только нечетные строки прореженного четного левого L-поля (LEO), изображение четных строк четного левого L-поля, в котором собраны только четные строки прореженного четного левого L-поля (LEE), изображение нечетных строк нечетного правого R-поля, в котором собраны только нечетные строки прореженного нечетного правого R-поля (ROO), изображение четных строк нечетного правого R-поля, в котором собраны только четные строки прореженного нечетного правого R-поля (ROE), изображение нечетных строк четного правого R-поля, в котором собраны только нечетные строки прореженного четного правого R-поля (REO), изображение четных строк четного правого R-поля, в котором собраны только четные строки прореженного четного правого R-поля (REE), так что эти восемь изображений используют для конфигурирования прореженного левого L-изображения и прореженного правого R-изображения.

Теперь, предварительная обработка для генерации прореженного левого L-изображения путем размещения в виде матрицы прореженного нечетного левого L-поля и прореженного четного левого L-поля в вертикальном направлении и размещения в виде матрицы прореженного нечетного правого R-поля и прореженного четного правого R-поля в вертикальном направлении будет также именоваться первым способом предварительной обработки.

Кроме того, предварительная обработка посредством построения восьми изображений - изображения нечетных строк нечетного левого L-поля, изображения четных строк нечетного левого L-поля, изображения нечетных строк четного левого L-поля, изображения четных строк четного левого L-поля, изображения нечетных строк нечетного правого R-поля, изображения четных строк нечетного правого R-поля, изображения нечетных строк четного правого R-поля и изображения четных строк четного правого R-поля, и конфигурирования прореженного левого L-изображения и прореженного правого R-изображения с использованием этих восьми изображений будет также именоваться вторым способом предварительной обработки.

Фиг.27 представляет схему, описывающую предварительную обработку вторым способом.

В процессе предварительной обработки вторым способом модуль 123 предварительной обработки собирает только нечетные строки прореженного нечетного левого L-поля (LOO) для конфигурирования изображения нечетных строк нечетного левого L-поля и собирает только четные строки нечетного левого L-поля (LOE) для конфигурирования изображения четных строк нечетного левого L-поля.

Кроме того, модуль 123 предварительной обработки собирает только нечетные строки четного левого L-поля (LEO) для конфигурирования изображения нечетных строк четного левого L-поля и собирает только четные строки четного левого L-поля (LEE) для конфигурирования изображения четных строк четного левого L-поля.

Далее, модуль 123 предварительной обработки собирает только нечетные строки нечетного правого R-поля (ROO) для конфигурирования изображения нечетных строк нечетного правого R-поля и собирает только четные строки нечетного правого R-поля (ROE) для конфигурирования изображения четных строк нечетного правого R-поля.

Кроме того, модуль 123 предварительной обработки собирает только нечетные строки четного правого R-поля (REO) для конфигурирования изображения нечетных строк четного правого R-поля и собирает только четные строки четного правого R-поля (REE) для конфигурирования изображения четных строк четного правого R-поля.

Затем модуль 123 предварительной обработки размещает в виде матрицы нечетные строки нечетного левого L-поля (LOO) и нечетные строки четного левого L-поля (LEO) в вертикальном направлении для конфигурирования изображения нечетных строк левого L-поля, в которое входят только нечетные строки прореженного нечетного левого L-поля и прореженного четного левого L-поля.

Далее, модуль 123 предварительной обработки размещает в виде матрицы четные строки нечетного левого L-поля (LOE) и четные строки четного левого L-поля (LEE) в вертикальном направлении для конфигурирования изображения четных строк левого L-поля, в которое входят только четные строки прореженного нечетного левого L-поля и прореженного четного левого L-поля.

Затем модуль 123 предварительной обработки размещает в виде матрицы нечетные строки нечетного правого R-поля (ROO) и нечетные строки четного правого R-поля (REO) в вертикальном направлении для конфигурирования изображения нечетных строк правого R-поля, в которое входят только нечетные строки прореженного нечетного правого R-поля и прореженного четного правого R-поля.

Далее, модуль 123 предварительной обработки размещает в виде матрицы четные строки нечетного правого R-поля (ROE) и четные строки четного правого R-поля (REE) в вертикальном направлении для конфигурирования изображения четных строк правого R-поля, в которое входят только четные строки прореженного нечетного правого R-поля и прореженного четного правого R-поля.

Таким образом, модуль 123 предварительной обработки формирует изображение нечетных строк левого L-поля (первое поле нечетных строк), в котором расположены в виде матрицы только нечетные строки прореженного нечетного левого L-поля и прореженного четного левого L-поля, изображение четных строк левого L-поля (первое поле четных строк), в котором расположены в виде матрицы только четные строки прореженного нечетного левого L-поля и прореженного четного левого L-поля, изображение нечетных строк правого R-поля (второе поле нечетных строк), в котором расположены в виде матрицы только нечетные строки прореженного нечетного правого R-поля и прореженного четного правого R-поля, изображение четных строк правого R-поля (второе поле четных строк), в котором расположены в виде матрицы только четные строки прореженного нечетного правого R-поля и прореженного четного правого R-поля, и затем конфигурирует прореженное левое L-изображение и прореженное правое R-изображение с использованием перечисленных изображения нечетных строк левого L-поля, изображения четных строк левого L-поля, изображения нечетных строк правого R-поля и изображения четных строк правого R-поля.

Иными словами, Фиг.28 представляет схему для описания способа конфигурирования прореженного левого L-изображения и прореженного правого R-изображения с использованием указанных изображения нечетных строк левого L-поля, изображения четных строк левого L-поля, изображения нечетных строк правого R-поля и изображения четных строк правого R-поля.

Модуль 123 предварительной обработки конфигурирует кадр, в котором изображение нечетных строк левого L-поля является нечетным полем, а изображение четных строк левого L-поля является четным полем, формируя тем самым изображение, в котором прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы (Фиг.25) в качестве прореженного левого L-изображения (кадра этого изображения).

Далее, модуль 123 предварительной обработки конфигурирует кадр, в котором изображение нечетных строк правого R-поля является нечетным полем, а изображение четных строк правого R-поля является четным полем, формируя тем самым изображение, в котором прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы (Фиг.25) в качестве прореженного правого R-изображения (кадра этого изображения).

Фиг.29 представляет логическую схему, описывающую предварительную обработку первым способом.

После получения от прореживающего модуля 122 прореженного нечетного левого L-поля и прореженного четного левого L-поля, а также прореженного нечетного правого R-поля и прореженного четного правого R-поля на этапе S101 модуль 123 предварительной обработки (Фиг.20) размещает в виде матрицы прореженное нечетное левое L-поле и прореженное четное левое L-поле в вертикальном направлении, конфигурируя тем самым прореженное левое L-изображение (кадр этого изображения).

Кроме того, на этапе S101 модуль 123 предварительной обработки размещает в виде матрицы прореженное нечетное правое R-поле и прореженное четное правое R-поле от прореживающего модуля 122 в вертикальном направлении, конфигурируя тем самым прореженное правое R-изображение (кадр этого изображения), как показано на Фиг.25.

Модуль 123 предварительной обработки затем передает прореженное левое L-изображение и прореженное правое R-изображение в модуль 124 комбинационной обработки с перемежением.

Фиг.30 представляет логическую схему, описывающую предварительную обработку вторым способом.

После получения от прореживающего модуля 122 прореженного нечетного левого L-поля и прореженного четного левого L-поля, а также прореженного нечетного правого R-поля и прореженного четного правого R-поля, на этапе S111 модуль 123 предварительной обработки (Фиг.20) собирает только нечетные строки прореженного нечетного левого L-поля (LOO) для конфигурирования изображения нечетных строк нечетного левого L-поля (LOO), а также собирает только четные строки прореженного нечетного левого L-поля (LOE) для конфигурирования изображения четных строк нечетного левого L-поля (LOE), как показано на Фиг.27.

Далее, модуль 123 предварительной обработки собирает только нечетные строки прореженного четного левого L-поля (LEO) для конфигурирования изображения нечетных строк четного левого L-поля (LEO), а также собирает только четные строки прореженного четного левого L-поля (LEE) для конфигурирования изображения четных строк четного левого L-поля (LEE), как показано на Фиг.27.

Кроме того, модуль 123 предварительной обработки (Фиг.20) собирает только нечетные строки прореженного нечетного правого R-поля (ROO) для конфигурирования изображения нечетных строк нечетного правого R-поля (ROO), а также собирает только четные строки прореженного нечетного правого R-поля (ROE) для конфигурирования изображения четных строк нечетного правого R-поля (ROE), как показано на Фиг.27.

Далее, модуль 123 предварительной обработки собирает только нечетные строки прореженного четного правого R-поля (REO) для конфигурирования изображения нечетных строк четного правого R-поля (REO), а также собирает только четные строки прореженного четного правого R-поля (REE) для конфигурирования изображения четных строк четного правого R-поля (REE), как показано на Фиг.27, после чего обработка данных переходит от этапа S111 к этапу S112.

На этапе S112, как показано на Фиг.27, модуль 123 предварительной обработки конфигурирует изображение нечетных строк левого L-поля путем размещения в виде матрицы нечетных строк нечетного левого L-поля (LOO) и нечетных строк четного левого L-поля (LEO) в вертикальном направлении.

Далее, как показано на Фиг.27, модуль 123 предварительной обработки конфигурирует изображение четных строк левого L-поля путем размещения в виде матрицы четных строк нечетного левого L-поля (LOE) и четных строк четного левого L-поля (LEE) в вертикальном направлении.

Кроме того, как показано на Фиг.27, модуль 123 предварительной обработки конфигурирует изображение нечетных строк правого R-поля путем размещения в виде матрицы нечетных строк нечетного правого R-поля (ROO) и нечетных строк четного правого R-поля (REO) в вертикальном направлении.

Далее, как показано на Фиг.27, модуль 123 предварительной обработки конфигурирует изображение четных строк правого R-поля путем размещения в виде матрицы четных строк нечетного правого R-поля (ROE) и четных строк четного правого R-поля (REE) в вертикальном направлении, после чего процесс переходит от этапа S112 к этапу S113.

На этапе S113, как показано на Фиг.28, модуль 123 предварительной обработки конфигурирует кадр из изображения нечетных строк левого L-поля в качестве нечетного поля и изображения четных строк левого L-поля в качестве четного поля, получая тем самым изображение (Фиг.25), в котором прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы, в качестве кадра прореженного левого L-изображения.

Далее, как показано на Фиг.28, модуль 123 предварительной обработки конфигурирует кадр из изображения нечетных строк правого R-поля в качестве нечетного поля и изображения четных строк правого R-поля в качестве нечетного поля, получая тем самым изображение (Фиг.25), в котором прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы, в качестве кадра прореженного правого R-изображения.

Затем модуль 123 предварительной обработки передает прореженное левое L-изображение и прореженное правое R-изображение в модуль 124 комбинационной обработки с перемежением (Фиг.20).

Другой вариант декодирующего устройства

Фиг.31 представляет блок-схему, иллюстрирующую пример конфигурации другого варианта декодирующего устройства, в котором применено устройство для обработки изображения согласно настоящему изобретению.

На Фиг.31 участкам, соответствующим декодирующему устройству, показанному на Фиг.16, присвоены такие же цифровые позиционные обозначения, а в дальнейшем описание этих участков будет опущено, где это возможно.

Иными словами, декодирующее устройство, показанное на Фиг.31, совпадает с устройством, изображенным на Фиг.16, в том, что оно имеет декодер 61 и 3D-дисплей 68.

Однако декодирующее устройство, показанное на Фиг.31, отличается от устройства, представленного на Фиг.16, в том, что оно имеет устройство 141 для конфигурирования 3D-изображения вместо разделительного модуля 62, модуля 63 обратной вертикальной обработки, модуля 64 обратной горизонтальной обработки, модуля 65 интерполяции, фильтрующего модуля 66 и модуля 67 преобразования в 3D-формат.

Кодированные данные с выхода кодирующего устройства, показанного на Фиг.18, поступают в декодер 61 в составе декодирующего устройства, так что этот декодер 61 осуществляет декодирование кодированных данных для получения объединенного изображения, передаваемого в устройство 141 для конфигурирования 3D-изображения.

Это устройство 141 для конфигурирования 3D-изображения конфигурирует 3D-изображение, составленное из левого L-изображения и правого R-изображения, на основе объединенного изображения от декодера 61 и передает результат 3D-дисплею 68.

Пример конфигурации устройства 141 для конфигурирования 3D-изображения

Фиг.32 представляет блок-схему, иллюстрирующую пример конфигурации устройства 141 для конфигурирования 3D-изображения.

Указанное устройство 141 для конфигурирования 3D-изображения включает разделительный модуль 151, модуль 152 постобработки, модуль 153 интерполяции, фильтрующий модуль 154 и модуль 155 преобразования в 3D-формат.

Указанный разделительный модуль 151 включает разделительный модуль 161, модуль 162 обратного ортогонального преобразования и модуль 163 обратной оценки и разделяет поступающее от декодера 61 объединенное изображение, получаемое посредством комбинационной обработки с перемежением в модуле 124 комбинационной обработки с перемежением, показанном на Фиг.20, на прореженное левое L-изображение и прореженное правое R-изображение.

Иными словами, декодер 61 выделяет флаг разделения, флаг вертикальной структуры и флаг структуры размещения, включенные в поступающие кодированные данные, и передает результаты в разделительный модуль 161.

Кроме того, декодер 61 передает флаг разделения и флаг вертикальной структуры в модуль 162 обратной вертикальной обработки.

Кроме того, декодер 61 осуществляет декодирование кодированных данных в том же самом формате, в котором они были кодированы посредством модуля 34 кодирования (Фиг.19), и передает полученное в результате объединенное изображение, т.е. совмещенное изображение, полученное посредством обработки объединения с перемежением, выполненной в модуле 124 обработки объединения с перемежением, показанном на Фиг.20, в разделительный модуль 161.

Так же, как и разделительный модуль 62, показанный на Фиг.16, разделительный модуль 161 выполняет разделительную обработку данных для разделения объединенного изображения, поступающего от декодера 61, на несколько изображений после вертикальной обработки в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения и передает полученные в результате несколько изображений после вертикальной обработки в модуль 162 обратной вертикальной обработки.

Таким же образом, как в модуле 63 обратной вертикальной обработки, показанном на Фиг.16, модуль 162 обратной вертикальной обработки осуществляет обратную вертикальную обработку, чтобы снова превратить несколько изображений после вертикальной обработки в левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, и передает полученные в результате такого превращения левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки в модуль 163 обратной горизонтальной обработки.

Теперь, как описано выше, указанные флаг разделения и флаг вертикальной структуры, включенные в состав кодированных данных от кодирующего устройства, показанного на Фиг.19, представляют разделение строк и матрицу с перемежением, соответственно, а объединенное изображение представляет собой изображение, в котором два изображения - изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, служащие в качестве нескольких изображений после вертикальной обработки, расположены в виде матрицы в горизонтальном направлении, как описано с использованием Фиг.26.

В этом случае, разделительный модуль 161 в соответствии с флагом разделения и флагом вертикальной структуры, поступающими от декодера 61, выделяет изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки, расположенные в виде матрицы, как показано на Фиг.26, из объединенного изображения от декодера 61 и передает результат в модуль 162 обратной вертикальной обработки.

Модуль 162 обратной вертикальной обработки синтезирует часть строк из состава изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, полученных от разделительного модуля 161, для декодирования левого L-изображения после горизонтальной обработки, а также декодирует остальные строки из состава изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, полученных от разделительного модуля 161, для декодирования правого R-изображения после горизонтальной обработки.

Иными словами, как показано на Фиг.26, изображение нечетных строк после вертикальной обработки представляет собой изображение, в котором нечетные строки левого L-изображения после горизонтальной обработки (LOO и LEO) и нечетные строки правого R-изображения после горизонтальной обработки (ROO и REO) расположены в виде матрицы по схеме с чередованием.

Таким же образом, изображение четных строк после вертикальной обработки представляет собой изображение, в котором четные строки левого L-изображения после горизонтальной обработки (LOE и LEE) и четные строки правого R-изображения после горизонтальной обработки (ROE и REE) расположены в виде матрицы по схеме с чередованием.

Модуль 162 обратной вертикальной обработки выделяет из изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, поступающих от разделительного модуля 161, нечетные строки (LOO и LEO) и четные строки (LOE и LEE) из состава левого L-изображения после горизонтальной обработки соответственно и возвращает эти нечетные строки (LOO и LEO) и четные строки (LOE и LEE) в первоначальные позиции, декодируя тем самым левое L-изображение после горизонтальной обработки (кадр этого изображения).

Далее, модуль 162 обратной вертикальной обработки выделяет из изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, поступающих от разделительного модуля 161, нечетные строки (ROO и REO) и четные строки (ROE и REE) из состава правого R-изображения после горизонтальной обработки соответственно и возвращает эти нечетные строки (ROO и REO) и четные строки (ROE и REE) в первоначальные позиции, декодируя тем самым правое R-изображение после горизонтальной обработки (кадр этого изображения).

Таким же образом, как и в модуле 64 обратной горизонтальной обработки, показанном на Фиг.16, модуль 163 обратной горизонтальной обработки выполняет обратную горизонтальную обработку, чтобы вернуть левое L-изображение после горизонтальной обработки и правое R-изображение после горизонтальной обработки, поступающие от модуля 162 обратной вертикальной обработки, к состоянию прореженного левого L-изображения и прореженного правого R-изображения, и передает полученные в результате прореженное левое L-изображение и прореженное правое R-изображение в модуль 152 постобработки.

Теперь разделительная обработка данных, обратная вертикальная обработка и обратная горизонтальная обработка, выполняемые в разделительном модуле 161, модуле 162 обратной вертикальной обработки и модуле 163 обратной горизонтальной обработки, как описано выше, в случае, когда флаг разделения и флаг вертикальной структуры указывают разделение строк и матрицу с перемежением, соответственно, будут в последующем совместно именоваться также разделительной обработкой с перемежением.

Как показано на Фиг.25, прореженное левое L-изображение (кадр этого изображения), полученное в результате разделительной обработки с перемежением в разделительном модуле 151 (разделительный модуль 161, модуль 162 обратной вертикальной обработки модуль 163 обратной горизонтальной обработки), представляет собой изображение, в котором прореженное нечетное левое L-поле расположено на верхней стороне, а прореженное четное левое L-поле расположено на нижней стороне.

Кроме того, прореженное правое R-изображение (кадр этого изображения), полученное в результате разделительной обработки с перемежением, представляет собой изображение, в котором прореженное нечетное правое R-поле расположено на верхней стороне, а прореженное четное правое R-поле расположено на нижней стороне.

Модуль 152 постобработки осуществляет обработку восстановленного прореженного левого L-изображения (кадра этого изображения) от разделительного модуля 151 (модуль 163 обратной горизонтальной обработки из его состава) для преобразования его в прореженное нечетное левое L-поле и прореженное четное левое L-поле и осуществляет обработку восстановленного прореженного правого R-изображения (кадра этого изображения) от разделительного модуля для преобразования его в прореженное нечетное правое R-поле и прореженное четное правое R-поле.

Отметим, что постобработка, выполняемая модулем 152 постобработки, подразделяется на постобработку первым способом, представляющую собой обработку, обратную предварительной обработке указанным первым способом, и постобработку вторым способом, представляющую собой обработку, обратную предварительной обработке указанным вторым способом.

Указанный модуль 152 постобработки передает прореженное нечетное левое L-поле и прореженное четное левое L-поле, а также прореженное нечетное правое R-поле и прореженное четное правое R-поле, полученные в результате постобработки, в модуль 153 интерполяции.

Этот модуль 153 интерполяции осуществляет компенсацию пикселов, вычеркнутых посредством прореживающего модуля 122, показанного на Фиг.20, в каждом из полей - прореженном нечетном левом L-поле, прореженном четном левом L-поле, прореженном нечетном правом R-поле и прореженном четном правом R-поле, от модуля 152 постобработки и передает полученные в результате изображения в фильтрующий модуль 154 в качестве интерполированного нечетного левого L-поля, интерполированного четного левого L-поля, интерполированного нечетного правого R-поля и интерполированного четного правого R-поля.

Как и в фильтрующем модуле 66, показанном на Фиг.16, фильтрующий модуль 154 осуществляет фильтрацию каждого из полей - интерполированного нечетного левого L-поля, интерполированного четного левого L-поля, интерполированного нечетного правого R-поля и интерполированного четного правого R-поля, декодируя тем самым нечетное левое L-поле и четное левое L-поле, а также нечетное правое R-поле и четное правое R-поле (Фиг.22).

Затем фильтрующий модуль 154 передает в модуль 155 преобразования в 3D-формат левое L-изображение в формате с чересстрочной разверткой, в котором нечетное левое L-поле и четное левое L-поле представляют собой нечетное поле и четное поле соответственно и правое R-изображение в формате с чересстрочной разверткой, в котором нечетное правое R-поле и четное правое R-поле, представляют собой нечетное поле и четное поле соответственно.

Таким же образом, как в модуле 67 преобразования в 3D-формат, показанном на Фиг.16, модуль 155 преобразования в 3D-формат преобразует левое L-изображение и правое R-изображение (данные этих изображений) от фильтрующего модуля 154 в сигналы, имеющие формат, подходящий для последующего 3D-дисплея 68, с целью представления 3D-изображений, и передает эти сигналы в 3D-дисплей 68.

Постобработка

Фиг.33 представляет логическую схему, описывающую постобработку первым способом.

После получения прореженного левого L-изображения (кадра этого изображения), в котором прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы в вертикальном направлении, а также прореженного правого R-изображения, в котором прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы в вертикальном направлении, как показано на Фиг.25, от разделительного модуля 151 (модуля 163 обратной горизонтальной обработки из его состава) на этапе S131 модуль 152 постобработки расщепляет (разделяет) прореженное левое L-изображение от разделительного модуля 151 в вертикальном направлении и декодирует прореженное нечетное левое L-поле и прореженное четное левое L-поле.

Далее, модуль 152 постобработки расщепляет прореженное правое R-изображение от разделительного модуля 151 в вертикальном направлении и декодирует прореженное нечетное правое R-поле и прореженное четное правое R-поле.

Модуль 152 постобработки затем передает прореженное нечетное левое L-поле и прореженное четное левое L-поле, а также прореженное нечетное правое R-поле и прореженное четное правое R-поле в модуль 153 интерполяции.

Фиг.34 представляет логическую схему, описывающую постобработку вторым способом.

После получения прореженного левого L-изображения (кадра этого изображения), в котором прореженное нечетное левое L-поле и прореженное четное левое L-поле расположены в виде матрицы в вертикальном направлении, а также прореженного правого R-изображения, в котором прореженное нечетное правое R-поле и прореженное четное правое R-поле расположены в виде матрицы в вертикальном направлении, как показано на Фиг.25, от разделительного модуля 151 на этапе S141 модуль 152 постобработки разделяет прореженное L-изображение от разделительного модуля 151 на изображение нечетных строк левого L-поля, представляющее собой нечетное поле, и изображение четных строк левого L-поля, представляющее собой четное поле.

Далее, модуль 152 постобработки разделяет прореженное правое R-изображение от разделительного модуля 151 на изображение нечетных строк правого R-поля, представляющее собой нечетное поле, и изображение четных строк правого R-поля, представляющее собой четное поле, как показано на Фиг.28.

Затем процесс обработки данных последовательно переходит от этапа S141 к этапу S142, где модуль 152 постобработки возвращает изображение нечетных строк левого L-поля (первое поле нечетных строк) и изображение четных строк левого L-поля (первое поле четных строк) к состоянию прореженного нечетного левого L-поля (первое прореженное нечетное поле) и прореженного четного левого L-поля (первое прореженное четное поле), а также возвращает изображение нечетных строк правого R-поля (второе поле нечетных строк) и изображение четных строк правого R-поля (второе поле четных строк) к состоянию прореженного нечетного правого R-поля (второе прореженное нечетное поле) и прореженного четного правого R-поля (второе прореженное четное поле).

Иными словами, на этапе S142 на основе изображения нечетных строк левого L-поля, изображения четных строк левого L-поля, изображения нечетных строк правого R-поля и изображения четных строк правого R-поля модуль 152 постобработки декодирует изображение нечетных строк нечетного левого L-поля, изображение четных строк нечетного левого L-поля, изображение нечетных строк четного левого L-поля, изображение четных строк четного левого L-поля, изображение нечетных строк нечетного правого R-поля, изображение четных строк нечетного правого R-поля, изображение нечетных строк четного правого R-поля и изображение четных строк четного правого R-поля, как показано на Фиг.27.

Как описано с использованием Фиг.28, изображение нечетных строк левого L-поля представляет собой изображение нечетных строк нечетного левого L-поля (LOO) и изображение нечетных строк четного левого L-поля (LEO), расположенные в виде матрицы вертикально, изображение четных строк левого L-поля представляет собой изображение четных строк нечетного левого L-поля (LOE) и изображение четных строк четного левого L-поля (LEE), изображение нечетных строк правого R-поля представляет собой изображение нечетных строк нечетного правого R-поля (ROO) и изображение нечетных строк четного правого R-поля (REO), а изображение четных строк правого R-поля представляет собой изображение четных строк нечетного правого R-поля (ROE) и изображение четных строк четного правого R-поля (REE) соответственно.

Соответственно, модуль 152 постобработки вертикально расщепляет изображение нечетных строк левого L-поля и декодирует изображение нечетных строк нечетного левого L-поля (LOO) и изображение нечетных строк четного левого L-поля (LEO), а также вертикально расщепляет изображение четных строк левого L-поля и декодирует изображение четных строк нечетного левого L-поля (LOE) и изображение четных строк четного левого L-поля (LEE).

Далее, модуль 152 постобработки вертикально расщепляет изображение нечетных строк правого R-поля и декодирует изображение нечетных строк нечетного правого R-поля (ROO) и изображение нечетных строк четного правого R-поля (REO), а также вертикально расщепляет изображение четных строк правого R-поля и декодирует изображение четных строк нечетного правого R-поля (ROE) и изображение четных строк четного правого R-поля (REE).

В последующем процесс обработки данных переходит от этапа S142 к этапу S143, а модуль 152 постобработки размещает в виде матрицы строки (горизонтальные строки) изображения нечетных строк нечетного левого L-поля (LOO) и изображения четных строк нечетного левого L-поля (LOE) по схеме с перемежением и декодирует прореженное нечетное левое L-поле, показанное на Фиг.27.

Далее, модуль 152 постобработки размещает в виде матрицы строки изображения нечетных строк четного левого L-поля (LEO) и изображения четных строк четного левого L-поля (LEE) по схеме с перемежением и декодирует прореженное четное левое L-поле, показанное на Фиг.27.

Кроме того, модуль 152 постобработки размещает в виде матрицы строки изображения нечетных строк нечетного правого R-поля (ROO) и изображения нечетных строк четного правого R-поля (REO) по схеме с перемежением и декодирует прореженное нечетное правое R-поле, показанное на Фиг.27.

Далее, модуль 152 постобработки размещает в виде матрицы строки изображения четных строк нечетного правого R-поля (ROE) и изображения четных строк четного правого R-поля (REE) по схеме с перемежением и декодирует прореженное нечетное правое R-поле, показанное на Фиг.27.

Затем модуль 152 постобработки передает прореженное нечетное левое L-поле, прореженное четное левое L-поле, прореженное нечетное правое R-поле и прореженное четное правое R-поле в модуль 153 интерполяции.

Как описано выше, если левое L-изображение и правое R-изображение являются изображениями в формате с чересстрочной разверткой, в кодирующем устройстве (Фиг.20) вычеркивают пикселы нечетного поля левого L-изображения (нечетное L-поле) и четного поля (четное L-поле), а также нечетного поля правого R-изображения (нечетное правое R-поле) и четного поля правого R-изображения (четное правое R-поле), затем подвергают эти изображения предварительной обработке, после чего выполняют комбинационную обработку с перемежением, а также в декодирующем устройстве (Фиг.32) после разделительной обработки с перемежением выполняют постобработку, после чего осуществляют интерполяцию нечетного левого L-поля (прореженное нечетное левое L-поле), четного левого L-поля (прореженное четное левое L-поле), нечетного правого R-поля (прореженного нечетного правого R-поля) и четного правого R-поля (прореженного четного правого R-поля), из которых были вычеркнуты пикселы, реализуя тем самым высокую эффективность кодирования 3D-изображений в формате с чересстрочной разверткой и при этом предотвращая деградацию пространственного разрешения.

Описание компьютера, реализующего настоящее изобретение

Описанный выше ряд процессов обработки данных может быть реализован аппаратным или программным способом. В варианте реализации этих процессов программным способом программы, составляющие соответствующее программное обеспечение, инсталлируют на компьютере общего назначения или аналогичном устройстве.

Теперь Фиг.35 представляет блок-схему, иллюстрирующую пример конфигурации варианта компьютера, на котором инсталлировано программное обеспечение, реализующее описанные выше процессы обработки данных.

Это программное обеспечение может быть заранее записано на жестком диске 205 или в постоянном запоминающем устройстве (ПЗУ (ROM)) 203, служащем носителем записи, встроенным в компьютер.

В альтернативном варианте это программное обеспечение может быть сохранено (записано) на сменном носителе 211 записи. Такой носитель 211 записи может быть поставлен в качестве так называемого пакетного программного обеспечения. К примерам таких сменных носителей 211 записи относятся гибкие диски, компакт-диски CD-ROM, магнитооптические (МО) диски, DVD (цифровые универсальные диски), магнитные диски, полупроводниковая память и т.п.

Отметим, что помимо варианта с инсталлированием в компьютере со сменного носителя 211 записи, как описано выше, программа может быть загружена в компьютер через сеть связи или сеть вещания и инсталлирована на внутреннем жестком диске 205 компьютера. Иными словами, программа может быть передана по беспроводным каналам связи от сайта загрузки на компьютер через спутник, по системе цифрового спутникового вещания, передана на компьютер через сеть, такую как локальная сеть связи (LAN) или Интернет, либо передана каким-либо другим подобным способом.

Компьютер содержит встроенный центральный процессор CPU 202 с интерфейсом 210 ввода/вывода, соединенным с этим процессором CPU 202 через шину 201 данных.

После ввода в процессор CPU 202 команды посредством воздействия пользователя на устройство 207 ввода или иным способом происходит выполнение программы, записанной в ПЗУ ROM 203. В альтернативном варианте процессор CPU 202 загружает программу, записанную на жестком диске 205, в запоминающее устройство с произвольной выборкой (ЗУПВ (RAM)) 204 для выполнения этой программы.

Соответственно, процессор CPU 202 осуществляет обработку данных согласно описанным выше логическим схемам, либо выполняет обработку данных в соответствии с конфигурациями, представленными на описанных выше блок-схемах. Затем этот процессор CPU 202 получает результаты такой обработки и в зависимости от необходимости, например, передает их на выход устройству 206 вывода через интерфейс 210 ввода/вывода, либо передает через модуль 208 связи, либо сохраняет результаты на жестком диске 205 или другом подобном.

Отметим, что устройство 207 ввода может быть конфигурировано в виде клавиатуры, мыши, микрофона или другого подобного устройства. Кроме того, устройство 206 вывода может быть конфигурировано в виде жидкокристаллического дисплея (LCD), громкоговорителя или другого подобного устройства.

Теперь согласно настоящему описанию обработка данных, осуществляемая компьютером в соответствии с программой, совсем не обязательно должна быть выполнена в последовательности во времени согласно порядку, описанному на логических схемах. Иными словами, обработка данных, осуществляемая компьютером в соответствии с программой, включает обработку данных, выполняемую параллельно или индивидуально (например, параллельная обработка или обработка по объектам).

Кроме того, программу может выполнять один компьютер (процессор), либо выполнение программы может быть распределено между несколькими компьютерами. Дополнительно, программа может быть передана удаленному компьютеру и выполнена.

Далее, варианты настоящего изобретения не ограничиваются вариантами, рассмотренными выше, так что могут быть сделаны различные модификации, не отклоняясь от существа настоящего изобретения.

Перечень позиционных обозначений

11 фильтрующий модуль

11L, 11R фильтры

12, 12L, 12R модули прореживания

13 модуль объединения

14 модуль кодирования

21 декодер

22 3D-дисплей

31, 31L, 31R модуль горизонтальной обработки

32 модуль вертикальной обработки

32L, 32R разделительный модуль

33 модуль объединения

34 модуль кодирования

35 модуль управления

41 модуль аналого-цифрового преобразователя

42 буфер перекомпоновки кадра

43 вычислительный модуль

44 модуль ортогонального преобразования

45 модуль квантования

46 модуль кодирования без потерь

47 запоминающий буфер

48 модуль управления скоростью передачи данных

49 модуль обратного квантования

50 модуль обратного ортогонального преобразования

51 вычислительный модуль

52 фильтр удаления "блочности"

53 память кадров

54 модуль внутрикадрового прогнозирования

55 модуль прогнозирования движения/компенсации движения

61 декодер

62 разделительный модуль

63 модуль обратной вертикальной обработки

63L, 63R модули синтезаторов

64, 64L, 64R модули обратной горизонтальной обработки

65, 65L, 65R модули интерполяций

66 фильтрующий модуль

66L, 66R фильтры

67 модуль преобразования в 3D-формат

68 3D-дисплей

71 запоминающий буфер

72 модуль декодирования без потерь

73 модуль обратного квантования

74 модуль обратного ортогонального преобразования

75 вычислительный модуль

76 фильтр удаления "блочности"

77 память кадров

78 модуль внутрикадрового прогнозирования

79 модуль прогнозирования-движения/компенсации-движения

80 буфер перекомпоновки изображения

81 Б/А converting unit

101L, 101R устройства для считывания изображения

102 модуль синтезатора

121 фильтрующий модуль

122 модуль прореживания

123 модуль предварительной обработки

124 модуль обработки совмещения объединения с перемежением

125 модуль управления

131 модуль горизонтальной обработки

132 модуль вертикальной обработки

133 модуль объединения

141 устройство для конфигурирования 3D-изображения

151 разделительный модуль

152 модуль постобработки

153 модуль интерполяции

154 фильтрующий модуль

155 модуль преобразования в 3D-формат

161 разделительный модуль

162 модуль обратной вертикальной обработки

163 модуль обратной горизонтальной обработки

201 шина данных

202 центральный процессор CPU

203 ПЗУ ROM

204 ЗУПВ RAM

205 жесткий диск

206 устройство вывода

207 устройство ввода

208 модуль связи

209 накопитель

210 интерфейс ввода/вывода

211 сменный носитель записи

1. Устройство обработки изображения, содержащее:
средство горизонтальной обработки, выполненное с возможностью приема в качестве объекта обработки первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов на первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов на втором изображении, отличающемся от первого изображения, и выполнения горизонтальной упаковки, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении; и
средство объединения, выполненное с возможностью генерирования в качестве изображения объекта кодирования, служащего объектом кодирования с прогнозированием, объединенного изображения, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством указанной горизонтальной обработки, расположены смежно в виде матрицы.

2. Устройство обработки изображения по п.1, дополнительно содержащее:
средство вертикальной обработки, выполненное с возможностью приема в качестве объекта обработки указанного первого прореженного изображения и указанного второго прореженного изображения, подвергнутых горизонтальной упаковке в средстве горизонтальной обработки, выделения четных строк и нечетных строк из первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке в указанном средстве горизонтальной обработки, и генерации изображений после вертикальной обработки, включающих в себя изображение, в котором расположены в виде матрицы только нечетные строки, и изображение, в котором расположены в виде матрицы только четные строки, в качестве вертикальной обработки для манипуляции матрицей пикселов в вертикальном направлении;
причем указанное средство объединения выполнено с возможностью генерирования объединенного изображения путем смежного размещения указанных изображений после вертикальной обработки в виде матрицы одно рядом с другим.

3. Устройство обработки изображения по п.2, дополнительно содержащее:
средства кодирования, выполненные с возможностью генерирования кодированных данных путем выполнения кодирования с прогнозированием объединенного изображения, генерируемого средством объединения;
средство генерации флага, выполненное с возможностью генерирования флага разделения, который указывает, выделены ли нечетные строки и четные строки из указанного первого прореженного изображения и указанного второго прореженного изображения, подвергнутых горизонтальной упаковке указанным средством горизонтальной обработки; и
средство передачи, выполненное с возможностью передачи кодированных данных, генерируемых указанным средством кодирования, и флага разделения, генерируемого указанным средством генерации флага.

4. Устройство обработки изображения по п.2, в котором указанное средство вертикальной обработки выполнено с возможностью генерирования в качестве изображений после вертикальной обработки
первого нечетного изображения, в котором в виде матрицы расположены только нечетные строки первого прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки,
первого четного изображения, в котором в виде матрицы расположены только четные строки первого прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки,
второго нечетного изображения, в котором в виде матрицы расположены только нечетные строки второго прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки, и
второго четного изображения, в котором в виде матрицы расположены только четные строки второго прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки.

5. Устройство обработки изображения по п.4, дополнительно содержащее:
средство кодирования, выполненное с возможностью генерирования кодированных данных путем выполнения кодирования с прогнозированием объединенного изображения, генерируемого указанным средством объединения;
средство генерирования флага, выполненное с возможностью генерирования флага структуры размещения, который указывает матричную структуру первого нечетного изображения, первого четного изображения, второго нечетного изображения и второго четного изображения; и
средство передачи, выполненное с возможностью передачи кодированных данных, генерируемых указанным средством кодирования, и флага структуры размещения, генерируемого указанным средством генерирования флага.

6. Устройство обработки изображения по п.2, в котором указанное средство вертикальной обработки выполнено с возможностью генерирования в качестве изображений после вертикальной обработки
изображения нечетных строк после вертикальной обработки, в котором нечетные строки первого прореженного изображения и нечетные строки второго прореженного изображения, подвергнутых горизонтальной упаковке указанным средством горизонтальной обработки, расположены в виде матрицы по схеме с перемежением, и
изображения четных строк после вертикальной обработки, в котором четные строки первого прореженного изображения и четные строки второго прореженного изображения, подвергнутых горизонтальной упаковке указанным средством горизонтальной обработки, расположены в виде матрицы по схеме с перемежением.

7. Устройство обработки изображения по п.6, в котором указанные первое изображение и второе изображение представляют собой изображения в формате с чересстрочной разверткой;
при этом устройство обработки изображения, дополнительно содержит:
средство предварительной обработки, выполненное с возможностью
конфигурирования изображения, в котором смежно расположены первое прореженное нечетное поле, полученное путем исключения в наклонном направлении пикселов из нечетного поля, входящего в состав кадра указанного первого изображения, и первое прореженное четное поле, полученное путем исключения в наклонном направлении пикселов из четного поля, входящего в состав кадра указанного первого изображения, и вывода его в качестве указанного первого прореженного изображения,
и конфигурирования изображения, в котором смежно расположены второе прореженное нечетное поле, полученное путем исключения в наклонном направлении пикселов из нечетного поля, входящего в состав кадра указанного второго изображения, и второе прореженное четное поле, полученное путем исключения в наклонном направлении пикселов из четного поля, входящего в состав кадра указанного второго изображения, и вывода его в качестве указанного второго прореженного изображения.

8. Устройство обработки изображения по п.7, в котором указанное средство предварительной обработки выполнено с возможностью конфигурирования
первого поля нечетных строк, в котором расположены в виде матрицы только нечетные строки первого прореженного нечетного поля и нечетные строки первого прореженного четного поля,
первого поля четных строк, в котором расположены в виде матрицы только четные строки первого прореженного нечетного поля и четные строки первого прореженного четного поля,
второго поля нечетных строк, в котором расположены в виде матрицы только нечетные строки второго прореженного нечетного поля и нечетные строки второго прореженного четного поля, и
второго поля четных строк, в котором расположены в виде матрицы только четные строки второго прореженного нечетного поля и четные строки второго прореженного четного поля;
и конфигурирования изображения, в котором смежно расположены указанные первое прореженное нечетное поле и первое прореженное четное поле, посредством конфигурирования кадра, в котором первое поле нечетных строк является нечетным полем, а первое поле четных строк является четным полем;
и конфигурирования изображения, в котором смежно расположены указанные второе прореженное нечетное поле и второе прореженное четное поле, посредством конфигурирования кадра, в котором второе поле нечетных строк является нечетным полем, а второе поле четных строк является четным полем.

9. Устройство обработки изображения по п.2, в котором указанное средство вертикальной обработки выполнено с возможностью генерирования в качестве изображения после вертикальной обработки
четырех изображений:
изображения, в котором в виде матрицы расположены только нечетные строки первого прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки,
изображения, в котором в виде матрицы расположены только четные строки первого прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки,
изображения, в котором в виде матрицы расположены только нечетные строки второго прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки, и
изображения, в котором в виде матрицы расположены только четные строки второго прореженного изображения, подвергнутого горизонтальной упаковке указанным средством горизонтальной обработки,
или двух изображений:
изображения нечетных строк после вертикальной обработки, в котором в виде матрицы по схеме с перемежением расположены нечетные строки первого прореженного изображения и нечетные строки второго прореженного изображения, подвергнутые горизонтальной упаковке указанным средством горизонтальной обработки, и изображения четных строк после вертикальной обработки, в котором в виде матрицы по схеме с перемежением расположены четные строки первого прореженного изображения и четные строки второго прореженного изображения, подвергнутые горизонтальной упаковке указанным средством горизонтальной обработки;
при этом устройство обработки изображения дополнительно содержит:
средство кодирования, выполненное с возможностью выполнения кодирования с прогнозированием объединенного изображения и генерирования кодированных данных;
средство генерации флага, выполненное с возможностью генерирования флага вертикальной структуры, который указывает на изображение после вертикальной обработки, генерируемое указанным средством вертикальной обработки, матрицу из нечетных строк первого прореженного изображения и нечетных строк второго прореженного изображения и из четных строк первого прореженного изображения и четных строк второго прореженного изображения, подвергнутых горизонтальной упаковке указанным средством горизонтальной обработки; и
средство передачи, выполненное с возможностью передачи кодированных данных, генерируемых указанным средством кодирования, и флага вертикальной структуры, генерируемого указанным средством генерации флага.

10. Способ обработки изображения, содержащий этапы, на которых: посредством устройства обработки изображения
принимают в качестве объекта обработки первое прореженное изображение, полученное путем исключения в наклонном направлении пикселов на первом изображении, и второе прореженное изображение, полученное путем исключения в наклонном направлении пикселов на втором изображении, отличающемся от первого изображения, и выполняют горизонтальную упаковку, при которой в процессе горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении пикселы первого прореженного изображения и пикселы второго прореженного изображения упаковывают в горизонтальном направлении; и
генерируют в качестве изображения объекта кодирования, служащего объектом кодирования с прогнозированием, объединенное изображение, в котором указанные первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством указанной горизонтальной обработки, расположены смежно в виде матрицы.

11. Устройство обработки изображения, содержащее:
средство разделения, выполненное с возможностью разделения на первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, объединенного изображения, полученного посредством приема в качестве объекта обработки первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов на первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов на втором изображении, отличающемся от первого изображения, и выполнения горизонтальной упаковки, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и
осуществления кодирования с прогнозированием объединенного изображения, получаемого посредством смежного размещения в виде матрицы указанных первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирования полученных таким образом кодированных данных; и
средство обратной горизонтальной обработки, выполненное с возможностью выполнения обратной горизонтальной обработки, при которой осуществляется возврат указанных первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки и разделенных указанным средством разделения к состоянию первого прореженного изображения и второго прореженного изображения.

12. Устройство обработки изображения по п.11, в котором указанное объединенное изображение представляет собой изображение, получаемое посредством
выполнения обработки принятых в качестве объекта первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки, выделения нечетных строк и четных строк из указанных первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и генерирования изображений после вертикальной обработки, включающих в себя изображение, в котором расположены в виде матрицы только указанные нечетные строки, и изображение, в котором расположены в виде матрицы только указанные четные строки, в качестве вертикальной обработки для манипуляции матрицей пикселов в вертикальном направлении, и
размещения указанных изображений после вертикальной обработки в виде матрицы;
причем указанное средство разделения выполнено с возможностью разделения объединенного изображения на указанные изображения после вертикальной обработки; при этом указанное устройство обработки изображений дополнительно содержит: средство обратной вертикальной обработки, выполненное с возможностью выполнения обратной обработки для возвращения указанных изображений после вертикальной обработки, выделяемых посредством средства разделения, к указанным первому прореженному изображению и второму прореженному изображению, подвергнутым горизонтальной упаковке посредством указанной горизонтальной обработки.

13. Устройство обработки изображения по п.12, дополнительно содержащее: средство приема, выполненное с возможностью приема кодированных данных и флага разделения, указывающего, были ли выделены нечетные строки и четные строки из указанных первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки;
причем, если флаг разделения, принятый посредством средства приема, указывает на выделение нечетных строк и четных строк из указанных первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки, средство обратной вертикальной обработки выполнено с возможностью осуществления обратной вертикальной обработки.

14. Устройство обработки изображения по п.12, в котором указанные изображения после вертикальной обработки представляют собой
первое нечетное изображение, в котором в виде матрицы расположены только нечетные строки первого прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки,
первое четное изображение, в котором в виде матрицы расположены только четные строки указанного первого прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки,
второе нечетное изображение, в котором в виде матрицы расположены только нечетные строки второго прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки, и
второе четное изображение, в котором в виде матрицы расположены только четные строки второго прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки;
причем средство разделения выполнено с возможностью разделения объединенного изображения на первое нечетное изображение, первое четное изображения, второе нечетное изображение и второе четное изображение;
и указанное средство вертикальной обработки выполнено с возможностью возврата указанного первого нечетного изображения, первого четного изображения, второго нечетного изображения и второго четного изображения, выделенных указанным средством разделения к первому прореженному изображению и второму прореженному изображению, подвергнутым горизонтальной упаковке посредством указанной горизонтальной обработки.

15. Устройство обработки изображения по п.14, дополнительно содержащее: средство приема, выполненное с возможностью приема кодированных данных и флага структуры размещения, указывающего матричную структуру матрицы для размещения первого нечетного изображения, первого четного изображения, второго нечетного изображения и второго четного изображения;
причем на основе флага структуры размещения, принятого посредством указанного средства приема, указанное средство разделения выполнено с возможностью различать и выделять из объединенного изображения первое нечетное изображение, первое четное изображение, второе нечетное изображение и второе четное изображение.

16. Устройство обработки изображения по п.12, в котором указанные изображения после вертикальной обработки представляют собой
изображение нечетных строк после вертикальной обработки, в котором в виде матрицы с перемежением расположены нечетные строки первого прореженного изображения и нечетные строки второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки, и
изображение четных строк после вертикальной обработки, в котором в виде матрицы с перемежением расположены четные строки первого прореженного изображения и четные строки второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки;
причем средство разделения выполнено с возможностью разделения объединенного изображения на изображение нечетных строк после вертикальной обработки и изображение четных строк после вертикальной обработки;
а средство обратной вертикальной обработки выполнено с возможностью возврата изображения нечетных строк после вертикальной обработки и изображения четных строк после вертикальной обработки, разделенных посредством средства разделения, к первому прореженному изображению и второму прореженному изображению, подвергнутым горизонтальной упаковке посредством указанной горизонтальной обработки.

17. Устройство обработки изображения по п.16, в котором первое изображение и второе изображение представляют собой изображения в формате с чересстрочной разверткой;
причем указанное первое прореженное изображение представляет собой изображение, в котором смежно расположены первое прореженное нечетное поле, полученное путем исключения в наклонном направлении пикселов нечетного поля, входящего в состав кадра первого изображения, и первое прореженное четное поле, полученное путем исключения в наклонном направлении пикселов четного поля, входящего в состав кадра первого изображения;
а указанное второе прореженное изображение представляет собой изображение, в котором смежно расположены второе прореженное нечетное поле, полученное путем исключения в наклонном направлении пикселов нечетного поля, входящего в состав кадра второго изображения, и второе прореженное четное поле, полученное путем исключения в наклонном направлении пикселов четного поля, входящего в состав кадра второго изображения;
при этом устройство обработки изображения дополнительно содержит: средство постобработки, выполненное с возможностью
возврата указанного первого прореженного изображения, полученного в результате обратной горизонтальной обработки, к первому прореженному нечетному полю и первому прореженному четному полю, и
возврата указанного второго прореженного изображения, полученного в результате обратной горизонтальной обработки, к второму прореженному нечетному полю и второму прореженному четному полю.

18. Устройство обработки изображения по п.17, в котором указанное средство постобработки выполнено с возможностью
разделять указанное первое прореженное изображение на
первое поле нечетных строк, представляющее собой нечетное поле первого прореженного изображения, в котором расположены в виде матрицы только нечетные строки первого прореженного нечетного поля и нечетные строки первого прореженного четного поля, и
первое поле четных строк, представляющее собой четное поле первого прореженного изображения, в котором расположены в виде матрицы только четные строки первого прореженного нечетного поля и четные строки первого прореженного четного поля,
и разделять указанное второе прореженное изображение на
второе поле нечетных строк, представляющее собой нечетное поле второго прореженного изображения, в котором расположены в виде матрицы только нечетные строки второго прореженного нечетного поля и нечетные строки второго прореженного четного поля, и
второе поле четных строк, представляющее собой четное поле второго прореженного изображения, в котором расположены в виде матрицы только четные строки второго прореженного нечетного поля и четные строки второго прореженного четного поля,
возвращать первое поле нечетных строк и первое поле четных строк к первому прореженному нечетному полю и первому прореженному четному полю, и
возвращать второе поле нечетных строк и второе поле четных строк ко второму прореженному нечетному полю и второму прореженному четному полю.

19. Устройство обработки изображения по п.14, дополнительно содержащее:
средство приема, выполненное с возможностью приема кодированных данных и флага вертикальной структуры, указывающего на изображение после вертикальной обработки, матрицу из нечетных строк первого прореженного изображения и нечетных строк второго прореженного изображения, а также и из четных строк первого прореженного изображения и четных строк второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки;
причем изображение после вертикальной обработки представляет собой четыре изображения:
изображение, в котором в виде матрицы расположены только нечетные строки первого прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки,
изображение, в котором в виде матрицы расположены только четные строки первого прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки,
изображение, в котором в виде матрицы расположены только нечетные строки второго прореженного изображения, подвергнутого горизонтальной упаковке посредством указанной горизонтальной обработки, и
изображение, в котором в виде матрицы расположены только четные строки второго прореженного изображения, подвергнутого горизонтальной упаковке в модуле посредством указанной горизонтальной обработки,
или два изображения:
изображение нечетных строк после вертикальной обработки, в котором в виде матрицы по схеме с перемежением расположены нечетные строки первого прореженного изображения и нечетные строки второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки, и
изображение четных строк после вертикальной обработки, в котором в виде матрицы по схеме с перемежением расположены четные строки первого прореженного изображения и четные строки второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки;
причем средство разделения выполнено с возможностью разделения объединенного изображения на указанные четыре изображения или указанные два изображения на основе флага вертикальной структуры, принятого посредством указанного средства приема;
а средство обратной вертикальной обработки выполнено с возможностью возврата на основе флага вертикальной структуры указанных четырех изображений или указанных двух изображений к первому прореженному изображению и второму прореженному изображению, подвергнутым горизонтальной упаковке посредством горизонтальной обработки.

20. Способ обработки изображения, содержащий этапы, на которых: посредством устройства обработки изображения
разделяют на первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, объединенное изображение, полученное посредством: принимают в качестве объекта обработки первое прореженное изображение, полученное путем исключения в наклонном направлении пикселов на первом изображении, и второе прореженное изображение, полученное путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполняют горизонтальную упаковку, при которой процесс горизонтальной обработки для манипуляций матрицей пикселов в горизонтальном направлении пикселы первого прореженного изображения и пикселы второго прореженного изображения упаковывают в горизонтальном направлении, и
осуществляют кодирование с прогнозированием объединенного изображения, полученного посредством смежного размещения в виде матрицы указанного первого прореженного изображения и указанного второго прореженного изображения, подвергнутых горизонтальной упаковке посредством указанной горизонтальной обработки, и декодируют полученные таким образом кодированные данные; и
осуществляют обратную горизонтальную обработку, при которой первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, возвращают к первому прореженному изображению и второму прореженному изображению.



 

Похожие патенты:

Изобретение относится к устройству обработки изображений и способу, которые могут улучшить эффективность кодирования, предотвращая увеличение нагрузки. Технический результат заключается в снижении нагрузки с точки зрения объема обработки за счет пространственного повышения частоты выборки уровня основания для кодирования текущего кадра.

Изобретение относится к компьютерной технике. Технический результат - эффективная защита передаваемого контента.

Изобретение относится к области защиты идентификационных данных авторов электронных изображений. Техническим результатом является повышение защищенности электронного изображения, заверенного цифровым водяным знаком автора (владельца) изображения, от преднамеренных действий нарушителя и повышение качества изображения.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности кодирования позиции последнего значимого коэффициента.

Изобретение относится к вычислительной технике. Технический результат заключается в сокращении времени сжатия графического файла фрактальным методом.

Изобретение относится к области представления рекомендаций контента. Техническим результатом является обеспечение динамического отслеживания информации о новом или неактивном пользователе на web-сайте и быстрого представления нацеленного контента обратно пользователю для поддержания интереса пользователя к web-сайту.

Изобретение относится к устройству и способу создания электронной программы передач из информации о передачах, хранящейся в базе данных электронных программ передач для множества каналов.

Изобретение относится к средствам хранения и транспортировки кодированных видеоданных. Техническим результатом является обеспечение извлечения кодированных изображений конкретного иерархического слоя во фрагменте видео посредством использования единственного запроса.

Изобретение относится к средствам оценки качества видео. Техническим результатом является повышение точности оценки за счет отслеживания пространственного распределения ошибки в сегменте кадра изображения.

Изобретение относится к вычислительной технике. Технический результат заключается в повышении скорости кодирования и декодирования данных.

Изобретение относится к формированию стереоскопических изображений. Формирователь стереоскопических изображений, в котором оптические оси блока формирования изображений, имеющего формирующие изображения объективы и формирующие изображения элементы, разнесены в поперечном направлении параллельно друг другу на расстояние, равное межзрачковому расстоянию человека.

Группа изобретений относится к средствам предоставления трехмерных изображений. Техническим результатом является повышение качества отображаемого изображения.

Изобретение относится к области видео кодирования и декодирования, в частности 3D или стереоизображения. Техническим результатом является создание улучшенного устройства кодирования для кодирования сигнала видео данных.

Изобретение относится к способу и устройству обработки изображений. Техническим результатом является снижение вероятности возникновения параллакса при отображении двух панорамных изображения из множества снятых неподвижных изображений.

Изобретение относится к способам создания и визуализации трехмерных (3D) изображений. Техническим результатом является повышение четкости и снижение диспаратности при отображении 3D изображений, содержащих субтитры.

Изобретение относится к устройству и способу обработки изображений, в соответствии с которыми изображение согласно намерению производителя контента может быть отображено в случае, если контент стереоскопического изображения отображается в виде двумерного изображения.

Изобретение относится к способу и устройству для обработки карты глубины для визуализации трехмерного (3D) изображения. Техническим результатом является предоставление способа обработки карты глубины изображения, которая направлена на снижение эффекта шума в карте глубины, которая исходит из схемы сжатия с потерей данных.

Изобретение относится к видеокодерам и декодерам, а более конкретно, к способам и устройствам кодирования многовидового видеоизображения (видео с несколькими представлениями).

Изобретение относится к кодированию и декодированию видео, а более конкретно к способам и устройству для использования в системе кодирования многовидового видео (видео с несколькими представлениями).

Изобретение относится к средствам формирования и отображения стереоскопического изображения. Техническим результатом является повышение реалистичности воспроизведения трехмерного изображения за счет автоматизированного формирования из двухмерного вида сцены других видов изображения сцены под различными углами рассмотрения. Предложен способ формирования визуальных данных для воспроизведения, которое вызывает у наблюдателя визуальный эффект трехмерного изображения. Способ содержит этапы, на которых осуществляют прием и/или ввод предпочтительно цветных двухмерных визуальных данных первоначального вида, выведение нескольких других частичных видов, которые отображают информацию, показанную в первоначальном виде с разных углов рассматривания. При этом для каждой точки изображения двухмерных визуальных данных первоначального вида определяют цветовые тона, по меньшей мере, двух основных цветов цветовой системы, каждой из точек изображения автоматически присваивают управляющее значение в зависимости, по меньшей мере, от двух определенных цветовых тонов. Каждое из управляющих значений отображает информацию о несоответствии. 4 н. и 37 з.п. ф-лы, 7 ил.

Изобретение относится к обработке изображений. Техническим результатом является повышение эффективности кодирования изображений с прогнозированием. Устройство обработки изображения включает модуль 31 горизонтальной обработки и модуль 33 объединения. Модуль 31 горизонтальной обработки осуществляет горизонтальную упаковку для манипуляций в горизонтальном направлении матрицей пикселов, расположенных в шахматном порядке, в каждом из первого и второго прореженных изображений, полученных путем исключения пикселов, в первом изображении и втором изображении, отличном от первого, каждой второй строки в наклонном направлении, так что пикселы первого и второго прореженных изображений упакованы в горизонтальном направлении. Модуль 33 объединения генерирует объединенное изображение, созданное путем размещения рядом первого и второго прореженных изображений после горизонтальной обработки, в качестве изображения, служащего объектом кодирования с прогнозированием. Настоящее изобретение может быть применено в случае выполнения кодирования с прогнозированием первого и второго изображения, таким как L изображение и R изображение, составляющие, например, 3D-изображение или подобное изображение. 4 н. и 16 з.п. ф-лы, 35 ил.

Наверх