Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования

Изобретение относится к устройству кодирования/декодирования 3-D изображения для множества точек обзора. Техническим результатом является улучшение эффективности кодирования изображения параллакса с использованием информации об изображении параллакса. Предложена технология кодирования/декодирования изображения параллакса, в которой модуль коррекции корректирует изображение прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора. Модуль арифметической операции кодирует изображение параллакса с опорной точки обзора с использованием скорректированного изображения прогнозирования и передает кодированное изображение параллакса с опорной точки обзора и информацию об изображении параллакса с опорной точки обзора. 2 н. и 10 з.п. ф-лы, 28 ил.

 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования и, более конкретно, относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования, выполненным с возможностью улучшения эффективности кодирования изображения параллакса, используя информацию об изображении параллакса.

Уровень техники

В последние годы внимание привлекают 3-D изображения, и был предложен способ кодирования изображения параллакса, используемого для генерирования 3-D изображения для множества точек обзора (например, см. Непатентный документ 1). Следует отметить, что изображение параллакса представляет собой изображение, включающее в себя каждый пиксель цветного изображения из точки обзора, соответствующей изображению параллакса, и значение параллакса, представляющее расстояние в горизонтальном направлении от положения на экране пикселя цветного изображения указанной точки обзора, используемой, как базовая точка, соответствующая указанному пикселю.

В настоящее время стандартизуют способ кодирования, называемый HEVC (высокоэффективное кодирование видеоданных) с целью дальнейшего улучшения эффективности кодирования по сравнению со способом AVC (усовершенствованное кодирование видеоданных), и Непатентный документ 2 был разработан, как его проект в настоящее время, август 2011 г.

Список литературы

Непатентный документ

Непатентный документ 1. "Call for Proposals on 3D Video Coding Technology", ISO/IEC JTC1/SC29/WG11, MPEG2011/N12036, Geneva, Switzerland, March 2011

Непатентный документ 2. Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft 3 of High-Efficiency Video Coding". JCTVC-E603_d5 (version5). May 20, 2011

Раскрытие изобретения

Задачи, решаемые изобретением

Однако до настоящего времени не был создан способ кодирования для улучшения эффективности кодирования изображения параллакса с использованием информации об изображении параллакса.

Настоящая технология была разработана с учетом таких обстоятельств, и она предназначена для обеспечения улучшения эффективности кодирования изображения параллакса с использованием информации об изображении параллакса.

Решения задач

Устройство кодирования, в соответствии с первым аспектом настоящей технологии, представляет собой устройство кодирования, включающее в себя модуль коррекции, выполненный с возможностью коррекции изображения прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора, модуль кодирования, выполненный с возможностью кодирования изображения параллакса с опорной точки обзора с использованием изображения прогнозирования, скорректированного модулем коррекции; и модуль передачи, выполненный с возможностью передачи изображения параллакса с опорной точки обзора, кодированного модулем кодирования, и информации об изображении параллакса из опорной точки обзора.

Способ кодирования в соответствии с первым аспектом настоящей технологии соответствует устройству кодирования в соответствии с первым аспектом настоящей технологии.

В первом аспекте настоящей технологии изображение прогнозирования для изображения параллакса с опорной точки обзора корректируют с использованием информации об изображении параллакса с опорной точки обзора, и изображение параллакса с опорной точки обзора кодируют с использованием скорректированного изображения прогнозирования, и передают кодированное изображение параллакса с опорной точки обзора и информацию об изображении параллакса с опорной точки обзора.

Устройство декодирования по второму аспекту настоящей технологии представляет собой устройство декодирования, включающее в себя модуль приема, выполненный с возможностью приема изображения параллакса с опорной точки обзора, кодированного с использованием изображения прогнозирования для изображения параллакса с опорной точки обзора, скорректированного с использованием информации об изображении параллакса с опорной точки обзора, и информации об изображении параллакса с опорной точки обзора, модуль коррекции, выполненный с возможностью коррекции изображения прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора, принятой модулем приема, и модуль декодирования, выполненный с возможностью декодирования кодированного изображения параллакса с опорной точки обзора, принятого модулем приема с использованием изображения прогнозирования, скорректированного модулем коррекции.

Способ декодирования по второму аспекту настоящей технологии соответствует устройству декодирования по второму аспекту настоящей технологии.

Во втором аспекте настоящей технологии принимают изображение параллакса с опорной точки обзора, кодированного с использованием изображения прогнозирования для изображения параллакса с опорной точки обзора, скорректированного с использованием информации об изображении параллакса с опорной точки обзора и информацию об изображении параллакса с опорной точки обзора, корректируют изображение прогнозирования для изображения параллакса с опорной точки обзора с использованием принятой информации об изображении параллакса с опорной точки обзора, и декодируют кодированное изображение параллакса с опорной точки обзора с использованием скорректированного изображения прогнозирования.

Следует отметить, что устройство кодирования в соответствии с первым аспектом и устройство декодирования в соответствии со вторым аспектом могут быть получены в результате исполнения компьютером программы.

Для достижения устройства кодирования в соответствии с первым аспектом и устройства декодирования в соответствии со вторым аспектом может быть предоставлена программа, выполняемая компьютером, путем передачи через среду передачи данных или путем записи программы на носитель записи.

Результаты изобретения

В соответствии с первым аспектом настоящей технологии, эффективность кодирования изображения параллакса может быть улучшена путем использовании информации об изображении параллакса.

В соответствии со вторым аспектом настоящей технологии, могут быть декодированы кодированные данные изображения параллакса, для которых эффективность кодирования была улучшена, в результате выполнения кодирования с использованием информации об изображении параллакса.

Краткое описание чертежей

На фиг. 1 показана блок-схема, поясняющая пример конфигурации первого варианта осуществления устройства кодирования, в котором применена настоящая технология.

На фиг. 2 показан график, поясняющий максимальное значение параллакса и минимальное значение параллакса информации о генерировании точки обзора.

На фиг. 3 показана схема, поясняющая параметр точности параллакса для информации о генерировании точки обзора.

На фиг. 4 показана схема, поясняющая расстояние между камерами информации о генерировании точки обзора.

На фиг. 5 показана блок-схема, поясняющая пример конфигурации модуля кодирования изображения для множества точек обзора по фиг. 1.

На фиг. 6 показана блок-схема, поясняющая пример конфигурации модуля кодирования.

На фиг. 7 показана схема, поясняющая пример конфигурации кодированного потока битов.

На фиг. 8 показана схема, поясняющая пример синтаксиса PPS по фиг. 7.

На фиг. 9 показана схема, поясняющая пример синтаксиса заголовка среза.

На фиг. 10 показана схема, поясняющая пример синтаксиса заголовка среза.

На фиг. 11 показана блок-схема последовательности операций, поясняющая обработку кодирования устройства кодирования по фиг. 1.

На фиг. 12 показана блок-схема последовательности операций, поясняющая детали обработки кодирования для множества точек обзора по фиг. 11.

На фиг. 13 показана блок-схема последовательности операций, поясняющая детали обработки кодирования изображения параллакса по фиг. 12.

На фиг. 14 показана блок-схема последовательности операций, поясняющая детали обработки кодирования изображения параллакса по фиг. 12.

На фиг. 15 показана блок-схема, поясняющая пример конфигурации первого варианта осуществления устройства декодирования, в котором применена настоящая технология.

На фиг. 16 показана блок-схема, поясняющая пример конфигурации модуля декодирования изображения для множества точек обзора по фиг. 15.

На фиг. 17 показана блок-схема, поясняющая пример конфигурации модуля декодирования.

На фиг. 18 показана блок-схема последовательности операций, поясняющая обработку декодирования устройства 150 декодирования по фиг. 15.

На фиг. 19 показана блок-схема последовательности операций, поясняющая детали обработки декодирования для множества точек обзора по фиг. 18.

На фиг. 20 показана блок-схема последовательности операций, поясняющая детали обработки декодирования изображения параллакса по фиг. 16.

На фиг. 21 показана таблица, поясняющая способ передачи информации, используемой для коррекции изображения прогнозирования.

На фиг. 22 показана схема, поясняющая пример конфигурации кодированного потока битов в соответствии со вторым способом передачи.

На фиг. 23 показана схема, поясняющая пример конфигурации кодированного потока битов в соответствии с третьим способом передачи.

На фиг. 24 показана блок-схема, поясняющая пример конфигурации варианта осуществления компьютера.

На фиг. 25 показана схема, поясняющая пример схематичной конфигурации телевизионного устройства, в котором применена настоящая технология.

На фиг. 26 показана схема, поясняющая пример схематичной конфигурации портативного телефона, в котором применена настоящая технология.

На фиг. 27 показана схема, поясняющая пример схематичной конфигурации устройства записи/воспроизведений, в котором применена настоящая технология.

На фиг. 28 показана схема, поясняющая пример схематичной конфигурации устройства съемки изображения, в котором применена настоящая технология.

Осуществление изобретения

Первый вариант осуществления

Пример конфигурации первого варианта осуществления устройства кодирования

На фиг. 1 показана блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления устройства кодирования, в котором применяется настоящая технология.

Устройство 50 кодирования по фиг. 1 включает в себя модуль 51 съемки изображения для цветного изображения, снятого для множества точек обзора, модуль 52 коррекции цветного изображения для множества точек обзора, модуль 53 коррекции изображения параллакса для множества точек обзора, модуль 54 генерирования информации о генерировании точек обзора и модуль 55 кодирования изображения для множества точек обзора.

Устройство 50 кодирования кодирует изображение параллакса для заданной точки обзора, используя информацию об изображении параллакса.

Более конкретно, модуль 51 съемки изображения для цветного изображения для множества точек обзора устройства 50 кодирования снимает цветные изображения для множества точек обзора, и передает их, как цветные изображения, снятые для множества точек обзора, в модуль 52 коррекции цветного изображения для множества точек обзора. Модуль 51 съемки изображения для цветного изображения для множества точек обзора, генерирует внешний параметр, максимальное значение параллакса и минимальное значение параллакса (детали которых будут описаны ниже). Модуль 51 съемки изображения для цветного изображения для множества точек обзора предоставляет внешний параметр, максимальное значение параллакса и минимальное значение параллакса в модуль 54 генерирования информации о генерировании точек обзора, и предоставляет максимальное значение параллакса и минимальное значение параллакса в модуль 53 генерирования изображения параллакса для множества точек обзора.

Следует отметить, что внешний параметр представляет собой параметр для определения положения модуля 51 съемки изображения для цветного изображения для множества точек обзора в горизонтальном направлении. Максимальное значение параллакса и минимальное значение параллакса представляют собой максимальное значение и минимальное значение, соответственно, для значений параллакса в мировых координатах, которые могут возникать для изображения параллакса, снятого для множества точек обзора.

Модуль 52 коррекции цветного изображения, снятого для множества точек обзора, выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п. для цветных изображений, снятых для множества точек обзора, предоставляемых модулем 51 съемки изображения для цветного изображения, снятого для множества точек обзора. В соответствии с этим, фокусное расстояние модуля 51 съемки изображения для цветного изображения, снятого для множества точек обзора, в скорректированном цветном изображении, снятом для множества точек обзора в горизонтальном направлении (направлении X) является таким же, как и для всех точек обзора. Модуль 52 коррекции цветного изображения, снятого для множества точек обзора, представляет скорректированное цветное изображение для множества точек обзора, в модуль 53 генерирования изображения параллакса для множества точек обзора и в модуль 55 кодирования изображения, снятого для множества точек обзора, как цветные изображения, скорректированные для множества точек обзора.

Модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса для множества точек обзора из цветного изображения для коррекции множества точек обзора, предоставляемого модулем 52 коррекции цветного изображения для множества точек обзора, на основе максимального значения параллакса и минимального значения параллакса, предоставляемых из модуля 51 съемки изображения для цветного изображения, снятого для множества точек обзора. Более конкретно, модуль 53 генерирования изображения параллакса для множества точек обзора выводит значение параллакса каждого пикселя из цветного изображения коррекции для множества точек обзора для каждой точки обзора среди множества точек обзора (опорных точек обзора), и нормализует значение параллакса на основе максимального значения параллакса и минимального значения параллакса. Затем модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса, в котором нормализованное значение параллакса каждого пикселя представляет собой значение пикселя каждого пикселя для каждой точки обзора среди множества точек обзора.

Модуль 53 генерирования изображения параллакса для множества точек обзора представляет сгенерированное изображение параллакса для множества точек обзора, как изображение параллакса для множества точек обзора, в модуль 55 кодирования изображения для множества точек обзора. Кроме того, модуль 53 генерирования изображения параллакса для множества точек обзора генерирует параметр точности параллакса, представляющий точность значения пикселя изображения параллакса для множества точек обзора, и передает его в модуль 54 генерирования информации о генерировании точки обзора.

Модуль 54 генерирования информации о генерировании точки обзора генерирует информацию о генерировании точки обзора (информацию о генерировании точки обзора), используемую для генерирования цветного изображения для другой точки обзора, кроме множества точек обзора, используя цветное изображение коррекции для множества точек обзора и изображение параллакса. Более конкретно, модуль 54 генерирования информации о генерировании точки обзора получает расстояние между камерами на основе внешних параметров, предоставляемых модулем 51 съемки изображения для цветного для множества точек обзора. Расстояние между камерами представляет собой расстояние между положением модуля 51 съемки изображения для цветного изображения для множества точек обзора в горизонтальном направлении, когда модуль 51 съемки изображения для цветного изображения для множества точек обзора снимает цветное изображение в каждой точке обзора для изображения параллакса с множеством точек обзора и положение модуля 51 съемки изображения для цветного изображения, снятого для множества точек обзора в горизонтальном направлении, когда модуль 51 съемки изображения для цветного изображения множества точек обзора снимает цветное изображение, имеющее параллакс, соответствующий изображению параллакса относительно снятого, таким образом, цветного изображения.

Модуль 54 генерирования информации о генерировании точки обзора принимает, как информацию о генерировании точки обзора, максимальное значение параллакса и минимальное значение параллакса, предоставляемые модулем 51 съемки изображения для цветного изображения, снятого для множества точек обзора, расстояние между камерами и параметр точности параллакса предоставляются модулем 53 генерирования изображения параллакса для множества точек обзора. Модуль 54 генерирования информации о генерировании точки обзора предоставляет информацию генерирования для сгенерированных точек обзора в модуль 55 кодирования изображения для множества точек обзора.

Модуль 55 кодирования изображения для множества точек обзора кодирует цветное изображение коррекции для множества точек обзора, которое предоставляют из модуля 52 коррекции цветного изображения для множества точек обзора, в соответствии со способом HEVC. Модуль 55 кодирования изображения для множества точек обзора кодирует изображение параллакса для множества точек обзора, предоставленного модулем 53 генерирования изображения параллакса для множества точек обзора, в соответствии со способом на основе способа HEVC, используя информацию параллакса, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами для информация генерирования точки обзора, предусмотренной модулем 54 генерирования информации о генерировании точки обзора.

Модуль 55 кодирования изображения для множества точек обзора выполняет дифференциальное кодирование для максимального значения параллакса, минимального значения параллакса и расстояния между камерами при генерировании информации точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора, и обеспечивает включение такой информации в информацию (параметр кодирования) о кодировании изображения параллакса для множества точек обзора. Затем модуль 55 кодирования изображения для множества точек обзора передает, как кодированный поток битов, поток битов, включающий в себя скорректированные цветные изображения для множества точек обзора и изображение параллакса для множества точек обзора, которые кодируют максимальное значение параллакса и минимальное значение параллакса, и расстояние между камерами, которые были дифференциально кодированы, параметр точности параллакса предоставляется модулем 54 генерирования информации о генерировании точки обзора и т.п.

Как описано выше, модуль 55 кодирования изображения для множества точек обзора выполняет дифференциальное кодирование и передает максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, и поэтому, позволяет уменьшить количество кодов информации о генерировании точки обзора. Для предоставления удобного 3-D изображения, вероятно незначительное изменение максимального значения параллакса, минимального значения параллакса и расстояния между камерами между изображениями, и, поэтому, дифференциальное кодирование является эффективным для уменьшения количества кода.

В устройстве 50 кодирования, изображение параллакса для множества точек обзора генерируется из скорректированного цветного изображения для множества точек обзора, но оно может быть сгенерировано с помощью датчиков, детектирующих значение параллакса во время съемки изображения для цветного изображения для множества точек обзора.

Пояснение информации генерирования точки обзора

На фиг. 2 показан график, поясняющий максимальное значение параллакса и минимальное значение параллакса для информации генерирования точки обзора.

На фиг. 2 по горизонтальной оси обозначено ненормализованное значение параллакса, и по вертикальной оси обозначено значение пикселя изображения параллакса.

Как показано на фиг. 2, модуль 53 генерирования изображения параллакса для множества точек обзора нормализует значение параллакса каждого пикселя до, например, значения от 0 до 255, используя минимальное значение Dmin параллакса и максимальное значение Dmax параллакса. Затем модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса, в котором значение параллакса каждого из нормализованных пикселей, имеющих значение от 0 до 255, представляет собой значение пикселя.

Более конкретно, значение I пикселя для каждого пикселя изображения параллакса является таким, что ненормализованное значение d параллакса, минимальное значение Dmin параллакса и максимальное значение Dmax параллакса пикселя выражены следующим уравнением (1).

Уравнение 1

Поэтому, в соответствии со следующим уравнением (2), устройство декодирования, описанное ниже, должно восстанавливать ненормализованное значение d параллакса, начиная от значения I пикселя для каждого пикселя изображения параллакса, используя минимальное значение Dmin параллакса и максимальное значение Dmax параллакса.

Уравнение 2

В соответствии с этим, минимальное значение Dmin параллакса и максимальное значение Dmax параллакса передают в устройство декодирования.

На фиг. 3 показана схема, поясняющая параметр точности параллакса информации генерировании точки обзора.

Как показано в верхнем ряду на фиг. 3, в случае, когда ненормализованное значение параллакса для нормализованного значения 1 параллакса составляет 0,5, параметр точности параллакса представляет точность 0,5 значения параллакса. Как показано в нижнем ряду на фиг. 3, когда ненормализованное значение параллакса для нормализованного значения 1 параллакса составляет 1, параметр точности параллакса составляет 1,0, что представляет собой точность значения параллакса.

В примере на фиг. 3 ненормализованное значение параллакса в точке #1 обзора, как первой точке обзора, равно 1,0, и ненормализованное значение параллакса в точке #2 обзора, как второй точке обзора равно 0,5. Поэтому, нормализованное значение параллакса в точке #1 обзора равно 1,0, даже при том, что точность значения параллакса равна 0,5 или 1,0. С другой стороны, значение параллакса в точке #1 обзора равно 0,5, где точность значения параллакса составляет 0,5, она равна нулю, когда точность значения параллакса равна 1,0.

На фиг. 4 показана схема, поясняющая расстояние между камерами информации генерирования точки обзора.

Как показано на фиг. 4, расстояние между камерами изображения параллакса точки #1 обзора, в отношении точки #2 обзора, представляет собой расстояние между положением, представленным внешним параметром точки #1 обзора и положением, представленным внешним параметром точки #2 обзора.

Пример конфигурации модуля кодирования изображения для множества точек обзора

На фиг. 5 показана блок-схема, иллюстрирующая пример конфигурации модуля 55 кодирования изображения для множества точек обзора по фиг. 1.

Модуль 55 кодирования изображения для множества точек обзора по фиг. 5 включает в себя модуль 61 кодирования среза, модуль 62 кодирования заголовка среза, модуль 63 кодирования PPS и модуль 64 кодирования SPS.

Модуль 61 кодирования среза модуля 55 кодирования изображения для множества точек обзора кодирует скорректированное цветное изображение для множества точек обзора, предоставляемое модулем 52 коррекции цветного изображения для множества точек обзора, в соответствии со способом HEVC в единицах срезов. Модуль 61 кодирования среза кодирует изображение параллакса для множества точек обзора, предоставляемое модулем 53 генерирования изображения параллакса для множества точек обзора, в соответствии со способом на основе способа HEVC в единицах среза, используя, как информацию о параллаксе, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среди информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора по фиг. 1. Модуль 61 кодирования среза предоставляет в модуль 62 кодирования заголовка среза кодированные данные и т.п. в единицах среза, полученные в результате кодирования.

Модуль 62 кодирования заголовка среза определяет, что максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами для информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора, представляет собой максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среза текущей цели обработки, и содержит их.

Модуль 62 кодирования заголовка среза также определяет, являются или максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среза текущей цели обработки таким же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, соответственно, предыдущего среза для кодирования текущего среза, и, таким образом, выполняет определение в модуле, в которого предоставляется то же значение PPS (ниже называется тем же модулем PPS).

Затем, когда определяют, что все максимальные значения параллакса, минимальные значения параллакса и расстояние между камерами для среза, составляющего тот же модуль PPS, являются такими же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования, модуль 62 кодирования заголовка среза добавляет другую информацию о порядке кодирования, кроме максимального значения параллакса, минимального значения параллакса и расстояния между камерами этого среза, как заголовок среза кодированных данных каждого среза, составляющих тот же самый модуль PPS, и предоставляет эту информацию в модуль 63 кодирования PPS. Модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS флаг передачи, обозначающий отсутствие передачи результата, кодированного по разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами.

С другой стороны, когда все из максимального значения параллакса, минимального значения параллакса и расстояния между камерами, по меньшей мере, одного среза, составляющего один и тот же модуль PPS, определяют, как не являющиеся такими же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования, модуль 62 кодирования заголовка среза добавляет информацию о кодировании, включающую в себя максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами такого среза, как заголовок среза, в кодированные данные типа внутри среза и предоставляет информацию в модуль 63 кодирования PPS.

Модуль 62 кодирования заголовка среза выполняет кодирование разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами для типа между срезами. Более конкретно, модуль 62 кодирования заголовка среза вычитает максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования в отношении текущего среза из максимального значения параллакса, минимального значения параллакса и расстояния между камерами для типа между срезами, соответственно, и получает результат, кодированный по разности. Затем модуль 62 кодирования заголовка среза добавляет информацию о кодировании, включающую в себя результат кодированной разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами, как заголовок среза, к кодированным данным для типа между срезами, и предоставляет эту информацию в модуль 63 кодирования PPS.

В этом случае, модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS флаг передачи, обозначающий присутствие передачи результатов, кодированных по разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами.

Модуль 63 кодирования PPS генерирует PPS, включающий в себя флаг передачи, предоставляемый из модуля 62 кодирования заголовка среза, и параметр точности параллакса в информацию генерирования точки обзора, предоставленную из модуля 54 генерирования информации о генерировании точки обзора по фиг. 1. Модуль 63 кодирования PPS добавляет, в том же модуле PPS, PPS к кодированным данным в единицах срезов, к которым был добавлен заголовок среза, предоставленный из модуля 62 кодирования заголовка среза, и предоставляет их в модуль 64 кодирования SPS.

Модуль 64 кодирования SP генерируют SPS. Затем модуль 64 кодирования SP добавляют, в единицах последовательностей, SP к кодированным данным, к которым был добавлен PPS, предоставляемый из модуля 63 кодирования PPS. Модуль 64 кодирования SPS функционирует, как модуль передачи, и передает поток битов, полученный в результате, как кодированный поток битов.

Пример конфигурации модуля кодирования среза

На фиг. 6 показана блок-схема, иллюстрирующая пример конфигурации модуля кодирования для кодирования изображения параллакса любой заданной точки обзора в модуле 61 кодирования среза по фиг. 5. Более конкретно, модуль кодирования, предназначенный для кодирования изображения параллакса для множества точек обзора в модуле 61 кодирования среза, состоит из такого количества модулей 120 кодирования по фиг. 6, каково количество точек обзора.

Модуль 120 кодирования по фиг. 6 включает в себя модуль 121 A/D преобразования, буфер 122 сортировки экрана, модуль 123 арифметической операции, модуль 124 ортогонального преобразования, модуль 125 квантования, модуль 126 кодирования без потерь, буфер 127 накопления, модуль 128 обратного квантования, модуль 129 обратного ортогонального преобразования, модуль 130 суммирования, фильтр 131 удаления блоков, запоминающее устройство 132 кадра, модуль 133 прогнозирования внутри кадров, модуль 134 прогнозирования/компенсации движения, модуль 135 коррекции, модуль 136 выбора и модуль 137 управления скоростью.

Модуль 121 A/D преобразования модуля 120 кодирования выполняет A/D преобразование для мультиплексированных изображений в единицах кадров для заданных точек обзора, предусмотренных модулем 53 генерирования изображения параллакса для множества точек обзора по фиг. 1, и выводит эти изображения в буфер 122 сортировки экрана для сохранения таким образом, что эти изображения сохраняются в нем. Буфер 122 сортировки экрана сортирует изображения параллакса в единицах кадров в порядке отображения, сохраненных в порядке для кодирования, в соответствии со структурой GOP (группа изображений), и выводит эти изображения в модуль 123 арифметической операции, модуль 133 прогнозирования внутри кадра и в модуль 134 прогнозирования/компенсации движения.

Модуль 123 арифметической операции функционирует, как модуль кодирования и рассчитывает разность между изображением прогнозирования, предоставляемым модулем 136 выбора, и изображением параллакса цели кодирования, которое выводят из буфера 122 сортировки экрана, таким образом, кодируя изображение параллакса цели кодирования. Более конкретно, модуль 123 арифметической операции вычитает изображение прогнозирования, предоставляемое модулем 136 выбора, из изображения параллакса цели кодирования, которое выводят из буфера 122 сортировки экрана. Модуль 123 арифметической операции выводит изображение, полученное в результате вычитания, как остаточную информацию, в модуль 124 ортогонального преобразования. Когда модуль 136 выбора не предоставляет изображение прогнозирования, модуль 123 арифметической операции выводит изображение параллакса, которое считывают из буфера 122 сортировки экрана, в модуль 124 ортогонального преобразования, как остаточную информацию, без обработки.

Модуль 124 ортогонального преобразования применяет ортогональное преобразование, такое как дискретное косинусное преобразование и преобразование Карунена-Лоэве для остаточной информации, предоставляемой из модуля 123 арифметической операции, и предоставляет полученные таким образом коэффициенты в модуль 125 квантования.

Модуль 125 квантования квантует коэффициенты, поданные из модуля 124 ортогонального преобразования. Квантованные коэффициенты вводят в модуль 126 кодирования без потерь.

Модуль 126 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины (например, CAVLC (адаптивное по контексту кодирование с переменной длиной)) и арифметическое кодирование (например, САВАС (адаптивное по контексту двоичное арифметическое кодирование)) для коэффициентов, квантованных модулем 125 квантования. Модуль 126 кодирования без потерь предоставляет кодированные данные, полученные в результате кодирования без потерь, в буфер 127 накопления и накапливает эти данные в нем.

Буфер 127 накопления временно содержит кодированные данные, предоставляемые модулем 126 кодирования без потерь, и предоставляет эти данные в модуль 62 кодирования заголовка среза, в единицах срезов.

Квантованные коэффициенты, которые выводят из модуля 125 квантования, также подают в модуль 128 обратного квантования, и, после обратного квантования этих коэффициентов, коэффициенты предоставляют в модуль 129 обратного ортогонального преобразования.

Модуль 129 обратного ортогонального преобразования применяет обратное ортогональное преобразование, такое как обратно-дискретное косинусное преобразование и обратное преобразование Карунена-Лоэве по коэффициентам, предоставляемым модулем 128 обратного квантования, и предоставляет остаточную информацию, полученную в результате, в модуль 130 суммирования.

Модуль 130 суммирования добавляет остаточную информацию, используемую, как изображение параллакса цели декодирования, предоставляемой модулем 129 обратного ортогонального преобразования, и изображение прогнозирование, предоставляемое модулем 136 выбора, и получает локально декодированное изображение параллакса. Следует отметить, что, когда модуль 136 выбора не обеспечивает изображение прогнозирования, модуль 130 суммирования принимает остаточную информацию, предоставляемую модулем 129 обратного ортогонального преобразования, как локально декодированное изображение параллакса. Модуль 130 суммирования предоставляет локально декодированное изображение параллакса в фильтр 131 удаления блоков и предоставляет изображение, как опорное изображение, в модуль 133 прогнозирования внутри кадра.

Фильтр 131 удаления блоков фильтрует локально декодированное изображение параллакса, предоставляемое модулем 130 суммирования, устраняя, таким образом, искажение блоков. Фильтр 131 удаления блоков предоставляет полученное таким образом изображение параллакса в запоминающее устройство 132 кадра, таким образом, что изображение накапливается в нем. Изображение параллакса, накапливаемое в запоминающем устройстве 132 кадра, выводится, как опорное изображение, в модуль 134 прогнозирования/компенсации движения.

Модуль 133 прогнозирования внутри кадра выполняет прогнозирование внутри кадра во всех режимах прогнозирования внутри кадра, которые представляют собой кандидатов, используя опорное изображение, предоставляемое модулем 130 суммирования, для сгенерированных таким образом изображений прогнозирования.

Модуль 133 прогнозирования внутри кадра рассчитывает значение функции стоимости для всех режимов прогнозирования внутри кадра, которые представляют собой кандидатов (детали которых будут подробно описаны ниже). Затем модуль 133 прогнозирования внутри кадра определяет, как оптимальный режим прогнозирования внутри кадра, режим прогнозирования внутри кадра, в котором значение функции стоимости является минимальным. Модуль 133 прогнозирования внутри кадра предоставляет изображение прогнозирования, сгенерированное в оптимальном режиме прогнозирования внутри кадра, и соответствующие значения функции стоимости в модуль 136 выбора. Когда модуль 133 прогнозирования внутри кадра принимает уведомление о выборе изображения прогнозирования, сгенерированного в оптимальном режиме прогнозирования внутри кадра, из модуля 136 выбора, модуль 133 прогнозирования внутри кадра предоставляет информацию прогнозирования внутри кадра, обозначающую оптимальный режим прогнозирования внутри кадра и т.п., в модуль 62 кодирования заголовка среза по фиг. 5. Такая информация о прогнозировании внутри кадра включена в заголовок среза, как информация о кодировании.

Значение функции стоимости также называется стоимостью RD (искажение скорости), и его рассчитывают, например, на основе способа любого одного из режима большой сложности и режима малой сложности, определенного в JM (объединенная модель), которая представляет собой ссылочное программное обеспечение, в соответствии со способом H.264/AVC.

Более конкретно, когда используется режим большой сложности, в качестве способа для расчета значения функции стоимости временно выполняют кодирование без потерь во всех режимах прогнозирования, в качестве кандидатов, и значение функции стоимости, представленное следующим уравнением (3), рассчитывают в каждом режиме прогнозирования.

D обозначает разность (расхождение) исходного изображения и декодированного изображения. R обозначает количество генерируемых символов, включая в себя коэффициенты ортогонального преобразования. X обозначает множитель Лагранжа, заданный, как функция квантования параметра QP.

С другой стороны, более конкретно, когда используется режим малой сложности, в качестве способа для расчета значения функции стоимости, декодируемое изображение генерируют для всех режимов прогнозирования, в качестве кандидатов, и рассчитывают бит заголовка, такой как информация, обозначающая режим прогнозирования, и рассчитывают функцию стоимости, представленную следующим уравнением (4), для каждого режима прогнозирования.

D обозначает разность (расхождение) исходного изображения и декодируемого изображения. Header_Bit обозначает бит заголовка в режиме прогнозирования. QPtoQuant обозначает функцию, заданную, как функция параметра QP квантования.

В режиме малой сложности декодируемые изображения могут быть сгенерированы во всех режимах прогнозирования, и при этом нет необходимости выполнять кодирование без потерь, и, поэтому, количество расчетов меньше. В этом случае, предположим, что используется режим большой сложности в качестве способа для расчета значения функции стоимости.

Модуль 134 прогнозирования/компенсации движения выполняет обработку прогнозирования движения во всех режимах прогнозированиями между кадрами, которые должны быть кандидатами, на основе изображения параллакса, предусмотренного буфером 122 сортировки экрана, и опорным изображением, предусмотренным в запоминающем устройстве 132 кадра, генерируя, таким образом, вектор движения. Более конкретно, модуль 134 прогнозирования/компенсации движения сопоставляет опорное изображение с изображением параллакса, предоставляемым буфером 122 сортировки экрана, в каждом режиме прогнозирования между кадрами, и генерирует вектор движения.

Следует отметить, что режим прогнозирования между кадрами представляет собой информацию, представляющую размер блоков, которые являются целью прогнозирования между кадрами, направление прогнозирования и опорный индекс. Направление прогнозирования включает в себя прогнозирование в прямом направлении, используя опорное изображение, время отображения которого раньше, чем у изображения параллакса, которое представляет собой цель прогнозирования между кадрами (прогнозирование L0), прогнозирование в направлении назад, используя опорное изображение, время отображения которого позже, чем изображение параллакса, которое представляет собой цель прогнозирования между кадрами (прогнозирование L1), и прогнозирование в обоих направлениях, используя опорное изображение, время отображения которого раньше, чем у изображения параллакса, которое представляет собой цель прогнозирования между кадрами, и опорное изображение, время отображения которого позже, чем у изображения параллакса, которое представляет собой цель прогнозирования между кадрами (Bi прогнозирование). Опорный индекс представляет собой число для идентификации опорного изображения, и, например, опорный индекс изображения, близкого к изображению параллакса, которое представляет собой цель прогнозирования между кадрами, имеет меньшее число.

Модуль 134 прогнозирования/компенсации движения функционирует, как модуль генерирования изображения прогнозирования, и на основе вектора движения, генерируемого в режимах прогнозирования между кадрами, модуль 134 прогнозирования/компенсации движения считывает опорное изображение из запоминающего устройства 132 кадра, выполняя, таким образом, обработку компенсации движения. Модуль 134 прогнозирования/компенсации движения предоставляет изображение прогнозирования, генерируемое в результате, в модуль 135 коррекции.

Модуль 135 коррекции генерирует (устанавливает) коэффициенты коррекции, используемые, когда прогнозируемое изображение корректируют, используя, в качестве информации об изображении параллакса, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами в информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора по фиг. 1. Модуль 135 коррекции использует коэффициенты для коррекции изображения прогнозирования в каждом режиме прогнозирования между кадрами, предоставляемые модулем 134 прогнозирования/компенсации движения.

В этом случае, положение Z_c в направлении глубины субъекта изображения параллакса цели кодирования и положение Z_p в направлении глубины субъекта изображения прогнозирования выражаются следующим уравнением (5).

Уравнение 5

В уравнении (5) L_c, L_p представляют собой расстояние между камерами изображения параллакса цели кодирования и расстояние между камерами изображения прогнозирования, соответственно. Следует отметить, что f представляет собой фокусное расстояние, общее для изображения прогнозирования и изображения параллакса цели кодирования. Следует отметить, что d_c, d_p представляют собой абсолютное значение ненормализованного значения параллакса для изображения параллакса цели кодирования, и абсолютное значение ненормализованного значения параллакса изображения прогнозирования, соответственно.

Значение I_c параллакса для изображения параллакса цели кодирования и значение I_p параллакса для изображения прогнозирования выражают следующим уравнением (6), используя абсолютные значений d_c, d_p ненормализованных значений параллакса.

Уравнение 6

В уравнении (6), $$D_{\min }^c$$ , $$D_{\min }^p$$ представляют собой минимальное значение параллакса для изображения параллакса - цели кодирования и минимальное значение параллакса для изображения прогнозирования, соответственно. $$D_{\max }^c$$ , $$D_{\max }^p$$ представляют собой максимальное значение параллакса для изображения параллакса цели кодирования и минимальное значение параллакса для изображения прогнозирования, соответственно.

Поэтому, даже когда положение Z_c в направлении глубины субъекта изображения параллакса цели кодирования и положение Z_p в направлении глубины субъекта изображения прогнозирования являются одинаковыми, значение I_c параллакса и значение I_p параллакса различны, когда, по меньшей мере, одно из расстояний между камерами L_c и I_p, минимального значения Dc_min и $$D_{\min }^p$$ параллакса и максимального значения $$D_{\max }^c$$ и $$D_{\max }^p$$ параллакса разные.

В соответствии с этим, когда положение Z_c и положение Z_p являются одинаковыми, модуль 135 коррекции генерирует скорректированные коэффициенты для коррекции изображения прогнозирования, таким образом, что значение I_c параллакса и значение I_p параллакса становятся одинаковыми.

Более конкретно, когда положение Z_c и положение Z_p являются одинаковыми, следующее уравнение (7) устанавливается на основе уравнения (5), описанного выше.

Уравнение 7

Когда уравнение (7) модифицируют, получают следующее уравнение (8).

Уравнение 8

Затем, когда абсолютные значения d_c, d_p ненормализованных значений параллакса уравнения (8) заменяют значением I_c параллакса и значением I_p параллакса, используя уравнение (6), описанное выше, получают следующее уравнение (9).

Уравнение 9

В соответствии с этим, значение I_c параллакса выражают следующим уравнением (10), используя значение I_p параллакса.

Уравнение 10

Поэтому, модуль 135 коррекции генерирует а и b в уравнении (10), как коэффициенты коррекции. Затем модуль 135 коррекции использует коэффициенты а, b коррекции и значение I_p параллакса для получения значения I_c параллакса по уравнению (10) в качестве значения параллакса прогнозируемого изображения после коррекции.

Модуль 135 коррекции рассчитывает значение функции стоимости в каждом режиме прогнозирования между кадрами, используя скорректированное изображение прогнозирования, и определяет режим прогнозирования между кадрами, в котором значение функции стоимости является минимальным, в качестве оптимального режима измерения между кадрами. Затем модуль 135 коррекции предоставляет значение функции стоимости и изображение прогнозирования, генерируемые в оптимальном режиме прогнозирования между кадрами, в модуль 136 выбора.

Далее, когда модуль 135 коррекции принимает уведомление о выборе изображения прогнозирования, сгенерированного в оптимальном режиме прогнозирования между кадрами, из модуля 136 выбора, модуль 135 коррекции выводит информацию о движении в модуль 62 кодирования заголовка среза. Такая информация о движении включает в себя оптимальный режим прогнозирования между кадрами, индекс вектора прогнозирования, остаток вектор движения, который получают путем вычитания вектора движения, представленного индексом вектора прогнозирования из текущего вектора движения, и т.п.Следует отметить, что индекс вектора прогнозирования представляет собой информацию для идентификации вектора движения среди векторов движения, которые представляют собой кандидаты, используемые для генерирования изображений прогнозирования декодированного изображения параллакса. Информация о движении включена, как информация о кодировании, в заголовок среза.

Модуль 136 выбора определяет, в качестве оптимального режима прогнозирования, один из оптимального режима прогнозирования внутри кадра и оптимального режима прогнозирования между кадрами, на основе значения функции стоимости, предоставляемого модулем 133 прогнозирования внутри кадра и модулем 135 коррекции. Затем модуль 136 выбора предоставляет изображение прогнозирования в оптимальном режиме прогнозирования в модуль 123 арифметического действия и в модуль 130 суммирования. Модуль 136 выбора уведомляет о выборе изображения прогнозирования в оптимальном режиме прогнозирования модуль 133 прогнозирования внутри кадра или модуль 135 коррекции.

Модуль 137 управления скоростью управляет скоростью операции квантования модуля 125 квантования, с тем, чтобы не вызывать переполнение и потерю значимости, на основе кодированных данных, накопленных в буфере 127 накопления.

Пример конфигурации кодированного потока битов

На фиг. 7 показана схема, иллюстрирующая пример конфигурации кодированного потока битов.

На фиг. 7, в качестве пояснения, описаны только кодированные данные среза для изображения параллакса для множества точек обзора. Однако, в действительности, кодированный поток битов также размещают с кодированными данными среза цветного изображения для множества точек обзора. Это применимо для фиг. 22 и фиг. 23, описанных ниже.

В примере на фиг. 7 максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами одного среза типа внутри среза и двух срезов типа между срезами, составляющих одни и тот же модуль PPS для PPS #0, который представляет собой 0-ой PPS, не являются такими же, как максимальное значение параллакса, минимальное значением параллакса и расстояние между камерами, соответственно, для предыдущего среза в порядке кодирования. Поэтому, PPS #0 включает в себя флаг "1" передачи, обозначающий присутствие передачи. В примере на фиг. 7 точность параллакса среза, составляющего тот же модуль PPS для PPS #0, составляет 0,5, и PPS #0 включает в себя "1", представляющую точность параллакса 0,5, в качестве параметра точности параллакса.

Кроме того, в примере по фиг. 7, минимальное значение параллакса для типа внутри среза, составляющего тот же модуль PPS, что и PPS #0, равно 10, и его максимальное значение параллакса равно 50, и его расстояние между камерами равно 100. Поэтому, заголовок среза для среза включает в себя минимальное значение параллакса "10", максимальное значение параллакса "50" и расстояние между камерами "100".

В примере по фиг. 7, минимальное значение параллакса для первого среза типа между срезами, составляющего тот же модуль PPS для PPS #0, равно 9, и его максимальное значение параллакса равно 48, и его расстояние между камерами равно 105. Поэтому, заголовок среза для среза включает в себя, в качестве кодированного по разности результата минимального значения параллакса, разность "-1", которую получают путем вычитания минимального значения " 10" параллакса для среза типа внутри кадра, который расположен перед рассматриваемым срезом в порядке кодирования из минимального значения "9" параллакса для рассматриваемого среза. Аналогично, разность "-2" максимального значения параллакса включают, как кодированный по разности результат максимального значения параллакса, и разность "5" для расстояния между камерами включают, как кодированный по разности результат для расстояния между камерами.

Кроме того, в примере по фиг. 7, минимальное значение параллакса для второго среза типа между камерами, составляющего тот же модуль PPS, что и PPS #0, равно 7, и максимальное его значение параллакса равно 47, и его расстояние между камерами равно 110. Поэтому, заголовок среза для среза включает в себя, в качестве кодированного по разности результата минимального значения параллакса, разность "-2", которую получают путем вычитания минимального значения "9" параллакса для среза первого типа между срезами, который размещают перед рассматриваемым срезом в порядке кодирования от минимального значения "7" параллакса для рассматриваемого среза. Аналогично, разность "-1" максимального значения параллакса включают, как кодированный по разности результат максимального значения параллакса, и разность "5" для расстояния между камерами включают, как кодированный по разности результат для расстояния между камерами.

В примере по фиг. 7, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами для одного среза типа внутри среза и двух срезов типа между срезами, составляющих один и тот же модуль PPS для PPS #1, который представляет собой первый PPS, являются такими же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, соответственно, для предыдущего среза в порядке кодирования. Более конкретно, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами одного среза типа внутри среза и двух срезов типа между срезами, составляющих тот же модуль PPS для PPS #1, который представляет собой первый PPS, равны "7", "47" и "110", соответственно, которые являются такими же, как и во втором срезе для типа между срезами, составляющего тот же модуль PPS для PPS #0. Поэтому, PPS #1 включает в себя флаг "0" передачи, обозначающий отсутствие передачи. В примере на фиг. 7, точность параллакса для среза, составляющего тот же модуль PPS для PPS #1, равна 0,5, и PPS #1 включает в себя "1", представляющую точность 0,5 параллакса, как параметр точности параллакса.

Пример синтаксиса PPS

На фиг. 8 показана схема, иллюстрирующая пример синтаксиса PPS по фиг. 7. Как показано на фиг. 8, PPS включает в себя параметр точности параллакса (disparity_precision) и флаг передачи (dsiparity_pic_same_flag). Например, параметр точности параллакса равен "О", когда он обозначает точность 1 параллакса, и параметр точности параллакса равен "2", когда он обозначает точность параллакса (точность информации глубины) 0,25. Как описано выше, параметр точности параллакса равен "1", когда он обозначает точность параллакса (точность информации глубины) 0,5. Как описано выше, флаг передачи равен "1", когда он обозначает присутствие передачи, и флаг передачи равен "0", когда он обозначает отсутствие передачи.

Пример синтаксиса заголовка среза

На фиг. 9 и 10 показаны схемы, иллюстрирующие пример синтаксиса заголовка среза.

Как показано на фиг. 10, когда флаг передачи равен 1, и тип среза представляет собой тип внутри среза, заголовок среза включает в себя минимальное значение параллакса (minimum_disparity), максимальное значение параллакса (maximum_disparity) и расстояние между камерами (translation_x).

С другой стороны, когда флаг передачи равен 1, и тип среза представляет собой тип между срезами, заголовок среза включает в себя кодированный по разности результат для минимального значения параллакса (delta_minimum_disparity), кодированный по разности результат для максимального значения параллакса (delta_maximum_disparity) и кодированный по разности результат для расстояния между камерами (delta_translation_x).

Пояснение обработки устройства кодирования

На фиг. 11 показана блок-схема последовательности операций, поясняющая обработку кодирования устройства 50 кодирования по фиг. 1.

На этапе S111 на фиг. 11 модуль съемки 51 изображения для цветного изображения для множества точек обзора устройства 50 кодирования снимает цветные изображения для множества точек обзора и предоставляет их, как цветные изображения для множества точек обзора в модуль 52 коррекции цветного изображения для множества точек обзора.

На этапе S112, модуль 51 съемки изображения для цветного изображения для множества точек обзора генерирует максимальное значение параллакса, минимальное значение параллакса и внешний параметр. Модуль 51 съемки изображения для цветного изображения для множества точек обзора предоставляет максимальное значение параллакса, минимальное значение параллакса и внешний параметр в модуль 54 генерирования информации о генерировании точки обзора, и предоставляет максимальное значение параллакса и минимальное значение параллакса в модуль 53 генерирования изображения параллакса для множества точек обзора.

На этапе S113, модуль 52 коррекции цветного изображения для множества точек обзора выполняет коррекцию цвета, коррекцию яркости, коррекцию искажения и т.п. для цветных изображений для множества точек обзора, предоставляемых из модуля 51 съемки изображения для цветного изображения для множества точек обзора. В соответствии с этим, фокусное расстояние модуля 51 съемки изображения для цветного изображения множества точек обзора в скорректированном цветном изображении для множества точек обзора в горизонтальном направлении (направлении X) является одинаковым для всех точек обзора. Модуль 52 коррекции цветного изображения для множества точек обзора предоставляет скорректированное цветное изображение для множества точек обзора в модуль 53 генерирования изображения параллакса для множества точек обзора и в модуль 55 кодирования изображения для множества точек обзора, как скорректированные цветные изображения для множества точек обзора.

На этапе S114, модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса для множества точек обзора из скорректированного цветного изображения для множества точек обзора, предоставляемого модулем 52 коррекции цветного изображения для множества точек обзора, на основе максимального значения параллакса и минимального значения параллакса, предоставляемых из модуля 51 съемки изображения для цветного изображения для множества точек обзора. Затем модуль 53 генерирования изображения параллакса для множества точек обзора предоставляет сгенерированное изображение параллакса для множества точек обзора, как изображение параллакса для множества точек обзора, в модуль 55 кодирования изображения для множества точек обзора.

На этапе S115, модуль 53 генерирования изображения параллакса для множества точек обзора генерирует параметры точности параллакса и предоставляет параметры точности параллакса в модуль 54 генерирования информации о генерировании точки обзора.

На этапе S116, модуль 54 генерирования информации о генерировании точки обзора получает расстояние между камерами на основе внешних параметров, предоставляемых модулем 51 съемки изображения для цветного изображения для множества точек обзора.

На этапе S117, модуль 54 генерирования информации о генерировании точки обзора генерирует, как информацию о генерировании точки обзора, максимальное значение параллакса и минимальное значение параллакса, и расстояние между камерами, предоставляемое модулем 51 съемки изображения для цветного изображения для множества точек обзора, и параметр точности параллакса, предоставляемый модулем 53 генерирования изображения параллакса для множества точек обзора. Модуль 54 генерирования информации о генерировании точки обзора предоставляет сгенерированную информацию генерирования точки обзора в модуль 55 кодирования изображения для множества точек обзора.

На этапе S118, модуль 55 кодирования изображения для множества точек обзора выполняет обработку кодирования для множества точек обзора для кодирования скорректированного цветного изображения для множества точек обзора, предоставляемого модулем 52 коррекции цветного изображения для множества точек обзора и изображение параллакса для множества точек обзора, предоставляемое модулем 53 генерирования изображения параллакса для множества точек обзора. Детали обработки кодирования для множества точек обзора будут описаны ниже со ссылкой на фиг. 12.

На этапе S119, модуль 55 кодирования изображения для множества точек обзора передает кодированный поток битов, полученный в результате обработки кодирования множества точек обзора, и завершает обработку.

На фиг. 12 показана блок-схема последовательности операций, поясняющая обработку кодирования для множества точек обзора на этапе S 118 по фиг. 11.

На этапе S131, на фиг. 12, модуль 61 кодирования среза модуля 55 кодирования изображения для множества точек обзора (фиг.5) кодирует скорректированное цветное изображение для множества точек обзора, предоставляемое модулем 52 коррекции цветного изображения для множества точек обзора, и изображение параллакса для множества точек обзора, предоставляемое модулем 53 генерирования изображения параллакса для множества точек обзора в единицах срезов. Более конкретно, модуль 61 кодирования среза выполняет обработку кодирования цветного изображения, для кодирования цветного изображения коррекции для множества точек обзора, в соответствии со способом HEVC в единицах срезов. Модуль 61 кодирования среза выполняет обработку кодирования изображения параллакса для кодирования изображения параллакса для множества точек обзора, в соответствии со способом HEVC в единицах срезов, используя максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среди информации генерирования точки обзора, предоставляемые модулем 54 генерирования информации о генерировании точки обзора по фиг. 1, и. Детали обработки кодирования изображения параллакса будут описаны ниже со ссылкой на фиг. 13 и 14. Модуль 61 кодирования среза обеспечивает передачу в модуль 62 кодирования заголовка среза кодированных данных в единицах срезов, полученных в результате кодирования.

На этапе S132, модуль 62 кодирования заголовка среза определяет, что максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами в информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора, представляет собой максимальное значение параллакса, минимальное значением параллакса и расстояние между камерами среза текущей цели обработки и содержит их.

На этапе S133, модуль 62 кодирования заголовка среза определяет, являются или нет максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами всех срезов, составляющих один и тот же модуль PPS, такими же, как максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования в отношении текущего среза.

Когда расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса определяют, как одинаковые на этапе S133, модуль 62 кодирования заголовка среза генерирует флаг передачи, обозначающий отсутствие передачи кодированных по разности результатов, максимального значения параллакса, минимального значения параллакса и расстояния между камерами, и предоставляет их в модуль 63 кодирования PPS на этапе S134.

На этапе S135 модуль 62 кодирования заголовка среза добавляет, как заголовок среза, информацию о кодировании, другую, чем расстояние между камерами, максимальное значение параллакса и минимальное значения параллакса этого среза к кодированным данным каждого среза, составляющим тот же модуль PPS, который представляет собой цель обработки на этапе S133. Следует отметить, что информация о кодировании включает в себя информацию о движении или информацию прогнозирования внутри кадра, предоставляемую модулем 61 кодирования среза. Затем модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS кодированные данные каждого среза, составляющего один и тот же модуль PPS, полученный в результате, и переходит к обработке на этапе S140.

С другой стороны, когда расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса определяют, как не являющиеся такими же, на этапе S133, модуль 62 кодирования заголовка среза генерирует флаг передачи, обозначающий присутствие передачи кодированных по разности результатов, максимального значения параллакса, минимального значения параллакса и расстояния между камерами, и предоставляет его в модуль 63 кодирования PPS на этапе S136. Обработка на этапах S137-S139, описанных ниже, выполняется для каждого среза, составляющего тот же модуль PPS, который представляет собой цель обработки на этапе S133.

На этапе S137, модуль 62 кодирования заголовка среза определяет, является ли тип среза, составляющего тот же модуль PPS, который представляет собой цель обработки на этапе S133, типом внутри среза или нет. Когда определяют, что тип среза представляет собой тип внутри среза на этапе S137, модуль 62 кодирования заголовка среза добавляет информацию о кодировании, включающую в себя максимальное значение параллакса. минимальное значение параллакса и расстояние между камерами этого среза, как заголовок среза, к кодированным данным этого среза на этапе S138.

Следует отметить, что информация о кодировании включает в себя информацию о движении или информацию прогнозирования внутри кадра, предоставляемую модулем 61 кодирования среза. Затем модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS кодированные данные в единицах срезов, полученные в результате, и переходит к обработке на этапе S140.

С другой стороны, когда тип среза определяют, как не являющийся типом внутри среза на этапе S137, более конкретно, когда определяют, что тип среза представляет собой тип между срезами, обработка переходит на этап S139. На этапе S139, модуль 62 кодирования заголовка среза выполняет кодирование разности для расстояния между камерами, максимального значения параллакса и минимального значения параллакса этого среза, и добавляет, как заголовок среза, информацию о кодировании, включающую в себя кодированный по разности результат, к этим кодированным данным этого среза. Следует отметить, что информация о кодировании включает в себя информацию о движении или информацию прогнозирования внутри кадра, предоставляемую модулем 61 кодирования среза. Затем модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS кодированные данные в единицах срезов, полученные в результате, и переходит к обработке на этапе S140.

На этапе S140, модуль 63 кодирования PPS генерирует PPS, включающий в себя флаг передачи, предоставляемый из модуля 62 кодирования заголовка среза и параметр точности параллакса в информации генерирования точки обзора, предоставляемой из модуля 54 генерирования информации о генерировании точки обзора по фиг. 1.

На этапе S141, модуль 63 кодирования PPS, том же модуле PPS добавляет PPS к кодированным данным в единицах срезов, к которым был добавлен заголовок среза, предоставленный из модуля 62 кодирования заголовка среза, и предоставляет его в модуль 64 кодирования SPS.

На этапе S142, модуль 64 кодирования SP генерирует SP.

На этапе S143, SP, модуль 64 кодирования добавляет SP, в единицах последовательностей, к кодированным данным, к которым добавлен PPS, предоставленный из модуля 63 кодирования PPS, и генерирует кодированный поток битов. Затем снова выполняется обработка на этапе S118, по фиг. 11, и затем переходит на этап S119.

На фиг. 13 и 14 показаны блок-схемы последовательности операций, поясняющие обработку кодирования изображения параллакса модуля 61 кодирования среза по фиг. 5. Обработка кодирования изображения параллакса выполняется для каждой точки обзора.

На этапе S160 фиг. 13, модуль 121 A/D преобразования модуля 120 кодирования выполняют A/D преобразование изображений параллакса, принятых из модуля 53 генерирования изображения параллакса для множества точек обзора в единицах кадров для заданных точек обзора, и выводит эти изображения в буфер 122 сортировки экрана таким образом, что изображения сохраняются в нем.

На этапе S161, буфер 122 сортировки экрана сортирует изображения параллакса кадров в порядке отображения, сохраненных в порядке в отношении кодирования, в соответствии со структурой GOP. Буфер 122 сортировки экрана предоставляет сортированные изображения параллакса в единицах кадров в модуль 123 арифметической операции, модуль 133 прогнозирования внутри кадра и в модуль 134 прогнозирования/компенсации движения.

На этапе S162, модуль 133 прогнозирования внутри кадра использует опорное изображение, предоставляемое модулем 130 добавления, для выполнения прогнозирования внутри кадра во всех режимах прогнозирования внутри кадра, в качестве кандидатов. В этом случае модуль 133 прогнозирования внутри кадра рассчитывает значение функции стоимости для всех режимов прогнозирования внутри кадра, которые должны быть кандидатами. Затем модуль 133 прогнозирования внутри кадра определяет, в качестве оптимального режима прогнозирования внутри кадров, режим прогнозирования внутри кадров, в котором значение функции стоимости является минимальным. Модуль 133 прогнозирования внутри кадра предоставляет изображение прогнозирования, сгенерированные в оптимальном режиме прогнозирования внутри кадра, и соответствие значения функции стоимости в модуле 136 выбора.

На этапе S163 модуль 134 прогнозирования/компенсации движения выполняет обработку прогнозирования/компенсации движения на основе изображения параллакса, предоставляемого буфером 122 сортировки экрана, и опорным изображением, предоставляемым запоминающим устройством 132 кадра.

Более конкретно, модуль 134 прогнозирования/компенсации движения выполняет обработку прогнозирования движения во всех режимах прогнозирования между кадрами, которые должны быть кандидатами, на основе изображения параллакса, предоставляемого буфером 122 сортировки экрана, и опорного изображения, предоставляемого запоминающим устройством 132 кадра, и генерирует вектор движения. На основе вектора движения, генерируемого в режимах прогнозирования между кадрами, модуль 134 прогнозирования/компенсации движения считывает опорное изображение из запоминающего устройства 132 кадра, выполняя, таким образом, обработку компенсации движения. Модуль 134 прогнозирования/компенсации движения предоставляет изображение прогнозирования, сгенерированное, в результате, в модуль 135 коррекции.

На этапе S164, модуль 135 коррекции рассчитывает коэффициенты коррекции на основе максимального значения параллакса, минимального значения параллакса и расстояния между камерами, в информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора по фиг. 1.

На этапе S165, модуль 135 коррекции использует коэффициенты для коррекции изображения прогнозирования в каждом режиме прогнозированиями между кадрами, предоставляемыми модулем 134 прогнозирования/компенсации движения.

На этапе S166, модуль 135 коррекции использует скорректированное изображение прогнозирования для расчета значения функции стоимости в каждом режиме прогнозирования между кадрами, и определяет режим прогнозирования между кадрами, значение функции стоимости которого является минимальным, в качестве оптимального режима измерений между кадрами. Затем модуль 135 коррекции предоставляет значение функции стоимости и изображение прогнозирования, сгенерированные в режиме оптимального прогнозирования между кадрами, в модуль 136 выбора.

На этапе S167, модуль 136 выбора определяет, в качестве оптимального режима прогнозирования, один из оптимального режима прогнозирования внутри кадра и оптимального режима прогнозирования между кадрами, в зависимости от того, для которого из них значение функции стоимости является минимальным, на основе значения функции стоимости, предоставляемого модулем 135 коррекции и модулем 133 прогнозирования внутри кадров. Затем модуль 136 выбора предоставляет изображение прогнозирования в оптимальном режиме прогнозирования в модуль 123 арифметической работы и в модуль 130 суммирования.

На этапе S168 модуль 136 выбора определяет, является или нет оптимальный режим прогнозирования оптимальным режимом прогнозирования между кадрами или нет. Когда определяют, что оптимальный режим прогнозирования является оптимальным режимом прогнозирования между кадрами, на этапе S168, модуль 136 выбора уведомляет модуль 135 коррекции о выборе изображения прогнозирования, сгенерированного в оптимальном режиме прогнозирования между кадрами.

На этапе S169, модуль 135 коррекции выводит информацию о движении в модуль 62 кодирования заголовка среза (фиг.5), и переходит к обработке на этапе S171.

С другой стороны, когда определяют, что оптимальный режим прогнозирования не является оптимальным режимом прогнозирования между кадрами на этапе S168, и более конкретно, когда оптимальный режим прогнозирования представляет собой оптимальный режим прогнозирования внутри кадра, тогда модуль 136 выбора уведомляет модуль 133 прогнозирования внутри кадров о выборе изображения прогнозирования, сгенерированного в оптимальном режиме прогнозирования внутри кадра.

Затем, на этапе S170, модуль 133 прогнозирования внутри кадра выводит информацию о прогнозировании внутри кадра в модуль 62 кодирования заголовка среза, и после этого обработка переходит на этап S171.

На этапе S171, модуль 123 арифметической операции вычитает изображение прогнозирования, предоставляемое модулем 136 выбора, из изображения параллакса, предоставляемого буфером 122 сортировки экрана. Модуль 123 арифметической операции выводит изображение, полученное в результате вычитания, как остаточную информацию, в модуль 124 ортогонального преобразования.

На этапе S172, модуль 124 ортогонального преобразования применяет ортогональное преобразование к остаточной информации, предоставляемой из модуля 123 арифметической операции, и предоставляет полученные таким образом коэффициенты в модуль 125 квантования.

На этапе S173, модуль 125 квантования квантует коэффициенты, переданные из модуля 124 ортогонального преобразования. Квантованные коэффициенты подают в модуль 126 кодирования без потерь и в модуль 128 обратного квантования.

На этапе S174, модуль 126 кодирования без потерь выполняет кодирование без потерь квантованных коэффициентов, предоставляемых модулем 125 квантования.

На этапе S175, на фиг. 14, модуль 126 кодирования без потерь предоставляет кодированные данные, полученные в результате кодирования без потерь, в буфер 127 накопления, и накапливает в нем данные.

На этапе S176, буфер 127 накопления выводит накопленные кодированные данные в модуль 62 кодирования заголовка среза.

На этапе S177, модуль 128 обратного квантования выполняет обратное квантование квантованных коэффициентов, предоставляемых модулем 125 квантования.

На этапе S178, модуль 129 обратного ортогонального преобразования применяет обратное ортогональное преобразование к коэффициентам, предоставляемым модулем 128 обратного квантования, и предоставляет остаточную информацию, полученную в результате, в модуль 130 суммирования.

На этапе S179, модуль 130 суммирования добавляет остаточную информацию, предоставленную модулем 129 обратного ортогонального преобразования, и изображение прогнозирования, предоставляемое модулем 136 выбора, и получает локально декодированное изображение параллакса. Модуль 130 суммирования предоставляет полученное изображение параллакса в фильтр 131 удаления блоков, и предоставляет изображение, как опорное изображение, в модуль 133 прогнозирования внутри кадра.

На этапе S180, фильтр 131 удаления блоков фильтрует локально декодированное изображение параллакса, предоставляемое модулем 130 суммирования, устраняя, таким образом, искажение блоков.

На этапе S181, фильтр 131 удаления блоков предоставляет фильтрованное изображение параллакса в запоминающее устройство 132 кадра, таким образом, что изображение накапливается в нем. Изображение параллакса, накапливаемое в запоминающем устройстве 132 кадра, выводят, как опорное изображение, в модуль 134 прогнозирования/компенсации движения. Затем обработка завершается.

Обработка на этапах S162-S181 на фиг. 13 и 14 выполняется, например, в модуле кодирования, имеющем иерархическую структуру. Для упрощения пояснения, при обработке кодирования изображения параллакса по фиг. 13 и 14, обработку прогнозирования внутри кадров и обработку компенсации движения выполняют всегда, но, в действительности, любая одна из них может быть выполнена в соответствии с типом изображения и т.п.

Как описано выше, устройство 50 кодирования использует информацию об изображении параллакса для коррекции изображения прогнозирования и использует скорректированное изображение прогнозирования для кодирования изображения параллакса. Более конкретно, в устройстве 50 кодирования используются, в качестве информации об изображении параллакса, расстояние между камерами, максимальное значение параллакса и минимальное значении параллакса для коррекции изображения прогнозирования таким образом, что значения параллакса становятся такими же, когда положения субъекта в направлении глубины являются такими же, в изображении прогнозирования, как и в изображении параллакса, и использует скорректированное изображение прогнозирования для кодирования изображения параллакса. Поэтому, разность между изображением параллакса и изображением прогнозирования, сгенерированную на основе информации об изображении параллакса, уменьшают, и эффективность кодирования улучшают. В частности, когда информация об изображения параллакса изменяется в каждом изображении, эффективность кодирования улучшается.

Вместо передачи коэффициентов коррекции, в качестве информации, используемой для коррекции прогнозируемого изображения, устройство 50 кодирования передает расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса, используемые для расчета коэффициентов коррекции. В этом случае, расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса составляют часть информации о генерировании точки обзора. Поэтому, расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса могут совместно использоваться, как часть информации, используемой для коррекции изображения прогнозирования и информации о генерировании точки обзора. В результате, количество информации битов потока кодирования может быть уменьшено.

Пример конфигурации первого варианта осуществления устройства декодирования

На фиг. 15 показана блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления устройства декодирования, в котором применяется настоящая технология, которое декодирует кодированный поток битов, передаваемый из устройства 50 кодирования по фиг. 1.

Устройство 150 декодирования по фиг. 15 состоит из модуля 151 декодирования изображения множества точек обзора, модуля 152 составления точки обзора и модуля 153 дисплея изображения для множества точек обзора. Устройство 150 декодирования декодирует поток битов кодирования, передаваемый из устройства 50 кодирования, и использует полученное, таким образом, цветное изображение для множества точек обзора, изображение параллакса для множества точек обзора, и информацию о генерировании точки обзора для генерирования и отображения цветного изображения при отображении точки обзора.

Более конкретно, модуль 151 декодирования изображения для множества точек обзора устройства 150 декодирования принимает кодированный поток битов, передаваемый из устройства 50 кодирования по фиг. 1. Модуль 151 декодирования изображения для множества точек обзора выделяет параметр точности параллакса и флаг передачи из PPS, включенного в принятый кодированный поток битов. Модуль 151 декодирования изображения для множества точек обзора выделяет расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса из заголовка среза кодированного потока битов, в соответствии с флагом передачи. Модуль 151 декодирования изображения для множества точек обзора генерирует информацию о генерировании точки обзора, включающую в себя параметр точности параллакса, расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса, и предоставляет их в модуль 152 составления точки обзора.

Модуль 151 декодирования изображения для множества точек обзора декодирует кодированные данные цветного изображения, скорректированного для множества точек обзора, в единицах срезов, включенных в кодированный поток битов, в соответствии со способом, соответствующим способу кодирования модуля 55 кодирования изображения для множества точек обзора по фиг. 1, и генерирует скорректированное цветное изображение для множества точек обзора. Модуль 151 декодирования изображения для множества точек обзора функционирует, как модуль декодирования. Модуль 151 декодирования изображения для множества точек обзора декодирует кодированные данные изображения параллакса для множества точек обзора, включенные в поток битов кодирования, в соответствии со способом, соответствующим способу кодирования модуля 55 кодирования изображения для множества точек обзора, используя расстояния между камерами, максимальное значение параллакса и минимальное значение параллакса, и генерирует изображение параллакса для множества точек обзора. Модуль 151 декодирования изображения для множества точек обзора предоставляет скорректированные цветные изображения для множества точек обзора и изображение параллакса для множества точек обзора, которые были сгенерированы, в модуль 152 составления точки обзора.

Модуль 152 составления точки обзора выполняет обработку деформации изображения параллакса для множества точек обзора, предоставляемого модулем 151 декодирования изображения для множества точек обзора, для такого количества точек обзора отображения, какое соответствует количеству точек обзора, соответствующих модулю 153 отображения изображения, для множества точек обзора, используя информацию генерирования точки обзора, предоставляемую модулем 151 декодирования изображения для множества точек обзора. Более конкретно, модуль 152 составления точки обзора выполняет обработку деформации изображения параллакса для множества точек обзора для деформирования изображения в соответствии с точкой обзора для отображения с точностью, соответствующей параметру точности параллакса, на основе расстояния между камерами, максимального значения параллакса, минимального значения параллакса и т.п., включенных в информацию о генерировании точки обзора. Обработка деформации предназначена для геометрического преобразования изображения с определенной точки обзора в изображение для других точек обзора. Точки обзора отображения включают в себя другие точки обзора, кроме точки обзора, соответствующие цветному изображению для множества точек обзора.

Модуль 152 составления точки обзора выполняет обработку деформации скорректированных цветных изображений для множества точек обзора, предоставляемых модулем 151 декодирования изображения для множества точек обзора, для последующей их деформации, в соответствии с точками обзора отображения, используя изображение параллакса для точек обзора отображения, полученных в результате обработки деформации. Модуль 152 составления точки обзора предоставляет цветные изображения для отображения полученных в результате точек обзора в модуль 153 отображения изображения для множества точек обзора, как составленные цветные изображения для множества точек обзора.

Модуль 153 отображения изображения для множества точек обзора отображает цветные изображения, составленные для множества точек обзора, предусмотренные модулем 152 составления точки обзора, таким образом, чтобы наблюдаемый угол отличался для каждой точки обзора. Зритель рассматривает изображения из двух заданных точек обзора своим правым и левым глазами, таким образом, видя 3-D изображение для множества точек обзора, без использования очков.

Как описано выше, модуль 152 составления точки обзора выполняет обработку деформации для скорректированных цветных изображений для множества точек обзора, предоставляемых модулем 81 декодирования изображения для множества точек обзора, для их деформации, в соответствии с точками обзора отображения с точностью, соответствующей параметру точности точки обзора, на основе параметра точности параллакса, и, поэтому, нет необходимости для модуля 152 составления точки обзора расточительно выполнять обработку деформации с высокой степенью точности.

Модуль 152 составления точки обзора выполняет обработку деформации для изображения параллакса для множества точек обзора в точку обзора отображения на основе расстояния между камерами, и, поэтому, когда параллакс, соответствующий значению параллакса для изображения параллакса для множества точек обзора, подвергают обработке деформации, не соответствующей степени, значение параллакса может быть скорректировано до значения, соответствующему параллаксу в соответствующем диапазоне на основе расстояния между камерами.

Пример конфигурации модуля декодирования изображения для множества точек обзора

На фиг. 16 показана блок-схема, иллюстрирующая пример конфигурации модуля 151 декодирования изображения для множества точек обзора по фиг. 15.

Модуль 151 декодирования изображения для множества точек обзора по фиг. 16 включает в себя модуль 171 декодирования SPS, модуль 172 декодирования PPS, модуль 173 декодирования заголовка среза и модуль 174 декодирования среза.

Модуль 171 декодирования SPS модуля 151 декодирования изображения для множества точек обзора, функционирует, как модуль приема, и принимает кодированный поток битов, передаваемый из устройства 50 кодирования по фиг. 1, и выделяет SPS в кодированном потоке битов. Модуль 171 декодирования SPS предоставляет модуль 172 декодирования PPS, выделенный SPS, и другой кодированный поток битов, кроме SPS.

Модуль 172 декодирования PPS выделяет PPS из другого кодированного потока битов, чем SPS, предоставляемый модулем 171 декодирования SPS. Модуль 172 декодирования PPS предоставляет модуль 173 декодирования заголовка среза с выделенными PPS и SPS, кодированным потоком битов, другим, чем SPS и PPS.

Модуль 173 декодирования заголовка среза выделяет заголовок среза из кодированного потока битов, другого, чем SPS и PPS, предоставляемого из модуля 172 декодирования PPS. Когда флаг передачи, включенный в PPS, предоставленный модулем 172 декодирования PPS, равен "1", что обозначает присутствие передачи, модуль 173 декодирования заголовка среза выдерживает расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса, включенные в заголовок среза, или обновляет расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса, которые содержатся в нем, на основе кодированного по разности результата расстояния между камерами, максимального значения параллакса и минимального значения параллакса. Модуль 173 декодирования заголовка среза генерирует информацию о генерировании точки обзора из сохраненных расстояний между камерами, максимального значения параллакса и минимального значения параллакса, и параметра точности параллакса, включенному в PPS, и предоставляет его в модуль 152 составления точки обзора.

Кроме того, модуль 173 декодирования заголовка среза предоставляет в модуль 174 декодирования среза другую информацию, кроме информации об SPS, PPS, расстоянии между камерами, максимальном значении параллакса, минимальном значении параллакса заголовка среза, и кодированные данные в единицах срезов, которые представляют собой кодированный поток битов, другой, чем SPS, PPS и заголовок среза. Модуль 173 декодирования заголовка среза предоставляет расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса в модуль 174 декодирования среза.

Модуль 174 декодирования среза декодирует кодированные данные мультиплексированного цветного изображения в единицах срезов, в соответствии со способом, соответствующим способу кодирования модуля 61 кодирования среза (фиг.5) на основе другой информации, чем расстояние между камерам, максимальное значение параллакса и минимальное значение параллакса заголовка среза, SPS и PPS, предоставляемых из модуля 173 декодирования заголовка среза. Модуль 174 декодирования среза декодирует кодированные данные мультиплексированного цветного изображения в единицах срезов, в соответствии со способом, соответствующим способу кодирования модуля 61 кодирования среза, на основе другой информации, кроме расстояния между камерами, максимального значения параллакса и минимального значения параллакса заголовка среза, SPS и PPS и на основе расстояния между камерами, максимального значения параллакса и минимального значения параллакса. Модуль 173 декодирования заголовка среза предоставляет в модуль 152 составления точки обзора по фиг. 15 скорректированное цветное изображение для множества точек обзора и изображение параллакса для множества точек обзора, полученное в результате декодирования.

Пример конфигурации модуля декодирования среза

На фиг. 17 показана блок-схема, иллюстрирующая пример конфигурации модуля декодирования, предназначенного для декодирования изображения параллакса для любой заданной точки обзора в модуле 174 декодирования среза по фиг. 16. Более конкретно, модуль декодирования, предназначенный для декодирования изображения параллакса для множества точек обзора, в модуле 174 декодирования среза состоит из такого количества модулей 250 декодирования по фиг. 17, каково количество точек обзора.

Модуль 250 декодирования по фиг. 17 включают в себя буфер 251 накопления, модуль 252 декодирования без потерь, модуль 253 обратного квантования, модуль 254 обратного ортогонального преобразования, модуль 255 суммирования, фильтр 256 удаления блоков, буфер 257 сортировки экрана, модуль 258 D/A преобразования, запоминающее устройство 259 кадра, модуль 260 прогнозирования внутри кадров, модуль 261 генерирования векторов движения, модуль 262 компенсации движения, модуль 263 коррекции и переключатель 264.

Буфер 251 накопления модуля 250 декодирования принимает и накапливает кодированные данные изображений параллакса для заданной точки обзора в единицах срезов из модуля 173 декодирования заголовка среза по фиг. 16. Буфер 251 накопления предоставляет накопленные кодированные данные в модуль 252 декодирования без потерь.

Модуль 252 декодирования без потерь применяет декодирование без потерь, такое как арифметическое декодирование и декодирование с переменной длиной к кодированным данным, переданным из буфера 251 накопления, получая, таким образом, квантованные коэффициенты. Модуль 252 декодирования без потерь предоставляет квантованные коэффициенты в модуль 253 обратного квантования.

Модуль 253 обратного квантования, модуль 254 обратного ортогонального преобразования, модуль 255 суммирования, фильтр 256 удаления блоков, запоминающее устройство 259 кадра, модуль 260 прогнозирования внутри кадра, модуль 262 компенсации движения и модуль 263 коррекции выполняют ту же обработку, что и модуль 128 обратного квантования, модуль 129 обратного ортогонального преобразования, модуль 130 суммирования, фильтр 131 удаления блоков, запоминающее устройство 132 кадра, модуль 133 прогнозирования внутри кадра, модуль 134 прогнозирования/компенсации движения и модуль 135 коррекции по фиг. 6, таким образом, что декодируется изображение параллакса для заданной точки обзора.

Более конкретно, модуль 253 обратного квантования выполняет обратное квантование для квантованных коэффициентов, предоставляемых модулем 252 декодирования без потерь, и предоставляет полученные таким образом коэффициенты в модуль 254 обратного ортогонального преобразования.

Модуль 254 обратного ортогонального преобразования применяет обратное ортогональное преобразование, такое как обратное дискретное косинусное преобразование и обратное преобразование Карунена-Лоэве для коэффициентов, предоставляемых модулем 253 обратного квантования, и предоставляет полученную остаточную информацию, как результат, в модуль 255 суммирования.

Модуль 255 суммирования функционирует, как модуль декодирования, и суммирует остаточную информацию, используемую как изображение параллакса цели декодирования, предоставляемую из модуля 254 обратного ортогонального преобразования, и изображение прогнозирования, предоставляемое переключателем 264, декодируя, таким образом, изображение параллакса цели декодирования. Модуль 255 суммирования предоставляет полученное таким образом изображение параллакса в фильтр 256 удаления блоков, и предоставляет это изображение, как опорное изображение, в модуль 260 прогнозирования внутри кадра. Когда изображение прогнозирования не поступает в переключатель 264, модуль 255 суммирования предоставляет изображение параллакса, которое представляет собой остаточную информацию, предоставляемую из модуля 254 обратного ортогонального преобразования, в фильтр 256 удаления блоков, и предоставляет изображение, как опорное изображение, в модуль 260 прогнозирования внутри кадра.

Фильтр 256 удаления блоков фильтрует изображение параллакса, предоставляемое модулем 255 суммирования, устраняя, таким образом, искажение блоков. Фильтр 256 удаления блоков предоставляет полученное таким образом изображение параллакса в запоминающее устройство 259 кадра, так, чтобы изображение накапливалось в нем, и также предоставляет изображение в буфер 257 сортировки экрана. Изображение параллакса, накопленное в запоминающем устройстве 259 кадра, предоставляют, как опорное изображение, в модуль 262 компенсации движения.

Буфер 257 сортировки экрана сохраняет изображение параллакса, предусмотренное фильтром 256 удаления блоков, в единицах кадров. Буфер 257 сортировки экрана сортирует изображения параллакса, сохраняемые в единицах кадров, в порядке для кодирования, в оригинальном порядке отображения и предоставляет изображения параллакса в модуль 258 D/A преобразования.

Модуль 258 D/A преобразования выполняет D/A преобразование для изображения параллакса в единицах кадров, предоставляемых из буфера 257 сортировки экрана, и предоставляет изображение, такое как изображение параллакса для заданной точки обзора, в модуль 152 составления точки обзора (фиг.15).

Модуль 260 прогнозирования внутри кадра выполняет прогнозирование внутри кадра в оптимальном режиме прогнозирования внутри кадра, представленном информацией прогнозирования внутри кадра, предоставленной модулем 173 декодирования заголовка среза (фиг.16), используя опорное изображение, предоставленное модулем 255 суммирования, и генерирует прогнозируемое изображение. Затем модуль 260 прогнозирования внутри кадра предоставляет изображение прогнозирования в переключатель 264.

Модуль 261 генерирования векторов движения суммирует остаток вектора движения и вектор движения, представленный индексом вектора прогнозирования, включенным в информацию движения, предоставляемую модулем 173 декодирования заголовка среза в сохраненных векторах движения, и восстанавливает вектор движения. Модуль 261 генерирования векторов движения сохраняет восстановленный вектор движения. Модуль 261 генерирования векторов движения предоставляет восстановленный вектор движения, оптимальный режим прогнозирования между кадрами, включенный в информацию движения, и т.п. в модуль 262 компенсации движения.

Модуль 262 компенсации движения функционирует, как модуль генерирования изображения прогнозирования, и выполняет обработку компенсации движения, считывая опорное изображение из запоминающего устройства 259 кадра на основе оптимального режима прогнозирования между кадрами и векторов движения, предоставляемых модулем 261 генерирования векторов движения. Модуль 262 компенсации движения предоставляет генерируемое таким образом изображение прогнозирования в модуль 263 коррекции.

Так же, как и модуль 135 коррекции на фиг. 6, модуль 263 коррекции генерирует коэффициенты коррекции, используемые для коррекции прогнозируемого изображения, на основе максимального значения параллакса, минимального значения параллакса и расстояния между камерами, предоставляемого модулем 173 декодирования заголовка среза по фиг. 16. Так же, как модуль 135 коррекции, модуль 263 коррекции корректирует прогнозируемое изображение в оптимальном режиме прогнозирования между кадрами, предоставляемое модулем 262 компенсации движения, используя коэффициенты коррекции. Модуль 263 коррекции предоставляет скорректированное прогнозируемое изображение в переключатель 264.

Когда модуль 260 прогнозирования внутри кадра предоставляет прогнозируемое изображение, переключатель 264 предоставляет свое прогнозируемое изображение в модуль 255 суммирования. Когда модуль 262 компенсации движения предоставляет прогнозируемое изображение, переключатель 264 предоставляет свое прогнозируемое изображение в модуль 255 суммирования.

Пояснение обработки устройства декодирования

На фиг. 18 показана блок-схема последовательности операций, поясняющая обработку декодирования устройства 150 декодирования по фиг. 15. Такая обработка декодирования начинается, например, когда кодированный поток битов передают из устройства 50 кодирования на фиг. 1.

На этапе S201 на фиг. 18, модуль 151 декодирования изображения множества точек обзора устройства 150 декодирования принимает кодированный поток битов, передаваемый из устройства 50 кодирования на фиг. 1.

На этапе S202, модуль 151 декодирования изображения для множества точек обзора выполняет обработку декодирования для множества точек обзора, для декодирования принятого кодированного потока битов. Подробности обработки декодирования для множества точек обзора будут описаны со ссылкой на фиг. 19, описанную ниже.

На этапе S203, модуль 152 составления точки обзора функционирует, как модуль генерирования, и генерирует составленное цветное изображение для множества точек обзора, используя информацию о генерировании точки обзора, скорректированные цветные изображения для множества точек обзора и изображение параллакса для множества точек обзора, предоставляемое модулем 151 декодирования изображения для множества точек обзора.

На этапе S204, модуль 153 отображения изображения для множества точек обзора отображает составленное цветное изображение для множества точек обзора, предоставленное модулем 152 составления точки обзора таким образом, что угол возможного просмотра отличается для каждой точки обзора, и прекращает обработку.

На фиг. 19 показана блок-схема последовательности операций, подробно поясняющая обработку декодирования для множества точек обзора на этапе S202 по фиг. 18.

На этапе S221 на фиг. 19 модуль 171 декодирования SPS модуля 151 декодирования изображения для множества точек обзора (фиг.16) выделяет SPS из принятого кодированного потока битов. Модуль 171 декодирования SPS предоставляет в модуль 172 декодирования PPS выделенные SPS и кодированный поток битов, другой, чем SPS.

На этапе S222, модуль 172 декодирования PPS выделяет PPS из кодированного потока битов, другого, чем SPS, предоставляемого из модуля 171 декодирования SPS. Модуль 172 декодирования PPS предоставляет в модуль 173 декодирования заголовка среза PPS и SPS, которые были выделены, и кодированный поток битов, другой, чем SPS и PPS.

На этапе S223, модуль 173 декодирования заголовка среза предоставляет параметр точности параллакса, включенный в PPS, предоставляемый модулем 172 декодирования PPS, в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора.

На этапе S224, модуль 173 декодирования заголовка среза определяет, равен или нет "1" флаг передачи, включенный в PPS, предоставляемый модулем 172 декодирования PPS, что обозначает присутствие передачи. Следует отметить, что следующая обработка на этапах S225-S234 выполняется в единицах срезов.

Когда определяют, что флаг передачи равен "1", что обозначает присутствие передачи на этапе S224, обработка переходит на этап S225. На этапе S225, модуль 173 декодирования заголовка среза выделяет максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, или заголовок среза, включающий в себя кодированный по разности результат максимального значения параллакса, минимального значения параллакса и расстояния между камерами, из кодированного потока битов, другого, чем SPS и PPS, предоставляемые из модуля 172 декодирования PPS.

На этапе S226, модуль 173 декодирования заголовка среза определяет, является ли тип среза типом внутри среза или нет. Когда на этапе S226 определяют, что тип среза является типом внутри среза, обработка переходит на этап S227.

На этапе S227, модуль 173 декодирования заголовка среза содержит минимальное значение параллакса, включенное в заголовок среза, выделенный на этапе S225, и предоставляет его в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора.

На этапе S228, модуль 173 декодирования заголовка среза содержит минимальное значение параллакса, включенное в заголовок среза, выделенный на этапе S225, и предоставляет его в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора.

На этапе S229, модуль 173 декодирования заголовка среза содержит расстояние между камерами, включенное в заголовок среза, выделенный на этапе S225, и предоставляет его в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора. Затем обработка переходит на этап S235.

С другой стороны, когда на этапе S226 определяют, что тип среза не является типом внутри среза, более конкретно, когда определяют, что тип среза представляет собой тип между срезами, обработка переходит на этап S230.

На этапе S230, модуль 173 декодирования заголовка среза добавляет кодированный по разности результат минимального значения параллакса, включенного в заголовок среза, выделенный на этапе S225, к содержащемуся минимальному значению параллакса. Модуль 173 декодирования заголовка среза предоставляет минимальное значение параллакса, восстановленное в результате операции суммирования, в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора.

На этапе S231, модуль 173 декодирования заголовка среза добавляет кодированный по разности результат минимального значения параллакса, включенного в заголовок среза, выделенный на этапе S225, к сохраненному минимальному значению параллакса. Модуль 173 декодирования заголовка среза предоставляет минимальное значение параллакса, восстановленное в операции суммирования, а модуль 152 составления точки обзора, как часть информации о генерировании точки обзора.

На этапе S232, модуль 173 декодирования заголовка среза добавляет кодированный по разности результат расстояния между камерами, включенный в заголовок среза, выделенный на этапе S225, к сохраненному расстоянию между камерами. Модуль 173 декодирования заголовка среза предоставляет расстояние между камерами, восстановленное с помощью операции суммирования, в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора. Затем обработка переходит на этап S235.

Когда определяют, что флаг передачи не равен "1", что обозначает присутствие передачи на этапе S224, то есть, когда определяют, что флаг передачи равен "0", что обозначает отсутствие передачи, обработка переходит на этап S233.

На этапе S233, модуль 173 декодирования заголовка среза выделяет максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, и заголовок среза, не включающий в себя кодированный по разности результат максимального значения параллакса, минимального значения параллакса и расстояния между камерами, из кодированного потока битов, другого, чем SPS и PPS, предоставляемого из модуля 172 декодирования PPS.

На этапе S234, модуль 173 декодирования заголовка среза определяет, что максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, которое было сохранено, то есть, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза, в порядке кодирования, представляет собой максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среза цели обработки, в результате чего, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среза цели обработки восстановлено. Затем модуль 173 декодирования заголовка среза предоставляет максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, восстановленные, таким образом, в модуль 152 составления точки обзора, как часть информации о генерировании точки обзора, и переходит к обработке на этапе S235.

На этапе S235, модуль 174 декодирования среза декодирует кодированные данные в единицах срезов, в соответствии со способом, соответствующим способу кодирования модуля 61 кодирования среза (фиг.5). Более конкретно, модуль 174 декодирования среза декодирует кодированные данные цветного изображения для множества точек обзора в единицах срезов, в соответствии со способом, соответствующим способу кодирования модуля 61 кодирования среза, на основе SPS, PPS и заголовка среза, других, чем информация о расстоянии между камерами, максимальное значение параллакса и минимальное значение параллакса, предоставляемые модулем 173 декодирования заголовка среза. Модуль 174 декодирования среза выполняет обработку декодирования изображения параллакса для декодирования кодированных данных в изображения коррекции для множества точек обзора в единицах срезов, в соответствии со способом, соответствующим способу кодирования модуля 61 кодирования среза, на основе SPD, PPS и заголовка среза, других, чем информация о расстоянии между камерами, максимальное значение параллакса и минимальное значение параллакса, предоставленные модулем 173 декодирования заголовка среза, и расстояние между камерами, максимального значения параллакса и минимального значения параллакса. Детали обработки декодирования изображения параллакса будут описаны со ссылкой на фиг. 20, описанную ниже. Модуль 173 декодирования заголовка среза предоставляет в модуль 152 составления точки обзора по фиг. 15 скорректированное цветное изображение для множества точек обзора и изображение параллакса для множества точек обзора, полученное в результате декодирования.

На фиг. 20 показана блок-схема последовательности операций, поясняющая детали обработки декодирования изображения параллакса, выполняемой модулем 174 декодирования среза по фиг. 16. Такая обработка декодирования изображения параллакса выполняется для каждой точки обзора.

На этапе S261 по фиг. 20 буфер 251 накопления из модуля 250 декодирования принимает и накапливает кодированные данные изображений параллакса для заданной точки обзора в единицах срезов из модуля 173 декодирования заголовка среза по фиг. 16. Буфер 251 накопления предоставляет накопленные кодированные данные в модуль 252 декодирования без потерь.

На этапе S262, модуль 252 декодирования без потерь выполняет декодирование без потерь кодированных данных, предоставляемых буфером 251 накопления, и предоставляет полученные таким образом квантованные коэффициенты в модуль 253 обратного квантования.

На этапе S263, модуль 253 обратного квантования выполняет обратное квантование квантованных коэффициентов, представленных модулем 252 декодирования без потерь, и предоставляет полученные таким образом коэффициенты в модуль 254 обратного ортогонального преобразования.

На этапе S264, модуль 254 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов, заданных модулем 253 обратного квантования, и предоставляет полученную, таким образом, остаточную информацию в модуль 255 суммирования.

На этапе S265, модуль 261 генерирования векторов движения определяет, предоставляет ли модуль 173 декодирования заголовка среза по фиг. 16 информацию движения или нет. Когда модуль 173 декодирования заголовка среза определен для предоставления информации движения на этапе S265, выполняется обработка на этапе S266.

На этапе S266 модуль 261 генерирования векторов движения восстанавливает и содержит векторы движения на основе содержащихся векторов движения и информации о движении. Модуль 261 генерирования векторов движения предоставляет, например, восстановленные векторы движения, оптимальный режим прогнозирования между кадрами, включенный в информацию о движении, в модуль 262 компенсации движения.

На этапе S267, модуль 262 компенсации движения выполняет обработку компенсации движения, считывая опорное изображение из запоминающего устройства 259 кадра на основе оптимального режима прогнозирования между кадрами и векторов движения, предоставляемых модулем 261 генерирования векторов движения. Модуль 262 компенсации движения предоставляет прогнозируемое изображение, сгенерированное, как результат обработки компенсации движения, в модуль 263 коррекции.

На этапе S268, так же, как и модуль 135 коррекции по фиг. 6, модуль 263 коррекции рассчитывает коэффициенты коррекции, на основе максимального значения параллакса, минимального значения параллакса и расстояния между камерами, предоставляемыми модулем 173 декодирования заголовка среза по фиг. 16.

На этапе S269, так же, как и модуль 135 коррекции, модуль 263 коррекции использует коэффициенты коррекции для коррекции прогнозируемого изображения в оптимальном режиме прогнозирования между кадрами, предоставляемом модулем 262 компенсации движения. Модуль 263 коррекции предоставляет скорректированное изображение прогнозирования через переключатель 264 в модуль 255 суммирования, и обработка переходит на этап S271.

С другой стороны, когда определяют, что информация движения не будет предоставлена на этапе S265, и более конкретно, когда информация о прогнозировании внутри кадра предоставляется из модуля 173 декодирования заголовка среза в модуль 260 прогнозирования внутри кадра, обработка переходит на этап S270.

На этапе S270, модуль 260 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра в оптимальном режиме прогнозирования внутри кадра, представленном информацией прогнозирования внутри кадра, предоставляемой из модуля 173 декодирования заголовка среза, используя опорное изображение, предоставляемое модулем 255 суммирования. Модуль 260 прогнозирования внутри кадра предоставляет генерируемое в результате прогнозируемое изображение в модуль 255 суммирования через переключатель 264, и затем обработка переходит на этап S271.

На этапе S271 модуль 255 суммирования суммирует остаточную информацию, предоставляемую модулем 254 обратного ортогонального преобразования и изображение прогнозирования, предоставляемое переключателем 264. Модуль 255 суммирования предоставляет полученное таким образом изображение параллакса, в фильтр 256 устранения блоков, и предоставляет изображение, как опорное изображение, в модуль 260 прогнозирования внутри кадра.

На этапе S272, фильтр 256 устранения блоков фильтрует изображение параллакса, предоставляемое модулем 255 суммирования, устраняя, таким образом, искажение блоков.

На этапе S273, фильтр 256 устранения блоков предоставляет отфильтрованное изображение параллакса в запоминающее устройство 259 кадра, таким образом, что изображение накапливается в нем, и также предоставляет это изображение в буфер 257 сортировки экрана. Изображение параллакса, накопленное в запоминающем устройстве 259 кадра, предоставляется, как опорное изображение, в модуль 262 компенсации движения.

На этапе S274, буфер 257 сортировки экрана сохраняет изображения параллакса, сохраненные в единицах кадров, предоставляемые в фильтр 256 устранения блоков, и сортирует сохраненные изображения параллакса для кодирования в оригинальном порядке отображения, и предоставляет изображения параллакса в модуль 258 D/A преобразования.

На этапе S275, модуль 258 D/A преобразования выполняет D/A преобразование для изображения параллакса в единицах кадров, предоставляемых из буфера 257 сортировки экрана, и передает это изображение, как изображения параллакса для заданной точки обзора в модуль 152 составления точки обзора по фиг. 15.

Как описано выше, устройство 150 декодирования принимает кодированные данные изображений параллакса, эффективность кодирования которых была улучшена в результате выполнения кодирования, используя изображение прогнозирования, скорректированное с использованием информации об изображении параллакса, и кодированный поток битов, включающий в себя информацию об изображении параллакса. Устройство 150 декодирования использует информацию об изображении параллакса для коррекции изображения прогнозирования, и декодирует кодированные данные изображения параллакса, используя скорректированное изображение прогнозирования, используя скорректированное изображение прогнозирования.

Более конкретно, устройство 150 декодирования приняло кодированные данные, кодированные с использованием изображения прогнозирования, скорректированные, используя расстояния между камерами, максимальное значение параллакса и минимальное значения параллакса, как информацию об изображении параллакса, и расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса. Устройство 150 декодирования корректирует изображение прогнозирования, используя расстояние между камерами, максимальное значение параллакса и минимальное значение параллакса, и использует скорректированное изображение прогнозирования для декодирования кодированных данных изображения параллакса. Поэтому, устройство 150 декодирования может декодировать кодированные данные изображений параллакса, эффективность кодирования которых улучшена, в результате выполнения кодирования с использованием изображения прогнозирования, скорректированного с использованием информации об изображении параллакса.

Устройство 50 кодирования передает, как информацию, используемую для коррекции изображения прогнозирования, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами таким образом, что они включены в заголовок среза. Однако способ передачи не ограничен этим.

Пояснение способа передачи информации, используемой для коррекции прогнозируемого изображения

На фиг. 21 показана таблица, поясняющая способ передачи информации, используемой для коррекции прогнозируемого изображения.

Первый способ передачи на фиг. 21 представляет собой, как описано выше, способ для передачи, в качестве информации, используемой для коррекции прогнозируемого изображения, максимального значения параллакса, минимального значения параллакса и расстояния между камерами таким образом, что они включены в заголовок среза. В этом случае информация, используемая для коррекции изображения прогнозирования и информация о генерировании точки обзора, могут использоваться совместно, и количество информации потока битов кодирования может быть уменьшено. Однако устройство 150 декодирования должно рассчитывать коэффициенты коррекции, используя максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, и нагрузка на обработку устройства 150 декодирования будет больше по сравнению со вторым способом передачи, описанным ниже.

С другой стороны, второй способ передачи по фиг. 21 представляет собой способ передачи коэффициентов коррекции в качестве информации, используемой для коррекции прогнозируемого изображения, таким образом, что они включены в заголовок среза. В этом случае, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами не используются для коррекции изображения прогнозирования, и, поэтому, их передают, как часть информации о генерировании точки обзора, например, таким образом, что они включены в SEI (дополнительная улучшенная информация), которую не требуется проверять во время кодирования. Во втором способе передачи коэффициенты коррекции передают, и, поэтому, устройству 150 декодирования не требуется рассчитывать коэффициенты коррекции, и нагрузка на обработку устройства 150 декодирования будет меньше, чем в первом способе передачи. Однако, поскольку передают новые коэффициенты коррекции, количество информации потока битов кодирования увеличивается.

В приведенном выше пояснении изображение прогнозирования корректируют, используя максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами. В качестве альтернативы, изображение прогнозирования может быть скорректировано, также используя другую информацию о параллаксе (например, информацию о положении захвата изображения, представляющую положение захвата изображения в направлении глубины модулем 51 съемки изображения для цветного изображения для множества точек обзора).

В этом случае, в соответствии с третьим способом передачи по фиг. 21, дополнительный коэффициент коррекции, который представляет собой коэффициент коррекции, генерируемый при использовании максимального значения параллакса, минимального значения параллакса и расстояния между камерами, и другую информацию о параллаксе, передают, как информацию, используемую для коррекции изображения параллакса таким образом, что она включена в заголовок среза. Как описано выше, когда изображение прогнозирования корректируют, также используя другую информацию о параллаксе, кроме максимального значения параллакса, минимального значения параллакса и расстояния между камерами, разность изображения параллакса и прогнозируемого изображения на основе информации о параллаксе дополнительно уменьшается, в результате чего, эффективность кодирования может быть улучшена. Однако, поскольку дополнительный коэффициент коррекции будет вновь передан, количество информации потока битов кодирования увеличивается по сравнению с первым способом передачи. Кроме того, устройство 150 декодирования должно рассчитывать коэффициенты коррекции, используя максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, и, поэтому, нагрузка на обработку устройства 150 декодирования будет больше по сравнению со вторым способом передачи.

На фиг. 22 показана схема, иллюстрирующая пример конфигурации кодированного потока битов, в случае, когда информацию, используемую для коррекции прогнозируемого изображения, передают в соответствии со вторым способом передачи.

В примере на фиг. 22, коэффициенты коррекции одного среза кодирования типа внутри среза и двух срезов для типа между срезами, составляющие один и тот же модуль PPS для PPS #0, не являются такими же, как коэффициенты коррекции, соответственно, предыдущего среза в порядке кодирования. Поэтому, PPS #0 включает в себя флаг передачи, равный "1", обозначающий присутствие передачи. В этом случае флаг передачи представляет собой флаг, который обозначает присутствие/отсутствие передачи коэффициентов коррекции.

В примере на фиг. 22 коэффициент а коррекции для среза типа внутри среза, составляющего тот же модуль PPS, что у PPS #0, равен 1, и его коэффициент b коррекции равен 0. Поэтому, заголовок среза для его среза включает в себя коэффициент а коррекции, равный "1", и коэффициент b коррекции, равный "0".

Кроме того, в примере на фиг. 22, коэффициент а коррекции первого среза типа между срезами, составляющий тот же модуль PPS для PPS #0, равен 3, и коэффициент b коррекции равен 2. Поэтому, заголовок среза для среза включает в себя, как кодированный по разности результат, коэффициенты коррекции, разность "+2", которую получают путем вычитания коэффициента а коррекции, равного "1" для среза кодирования типа внутри среза, который расположен перед рассматриваемым срезом, в порядке кодирования из коэффициента а коррекции, равного "3" рассматриваемого среза. Аналогично, разность "+2" коэффициента b коррекции включена, как результат кодирования разности коэффициента b коррекции.

Кроме того, в примере на фиг. 22, коэффициент а коррекции второго среза для типа между срезами, составляющий тот же модуль PPS для PPS #0, равен 0, и коэффициент b коррекции равен -1. Поэтому, заголовок среза для среза включает в себя, как кодированный по разности результат коэффициентов коррекции, разность "-3", которую получают путем вычитания коэффициента коррекции, равного "3" первого среза для типа внутри среза, который расположен перед рассматриваемым срезом в порядке кодирования, из коэффициента а коррекции, равного "О" рассматриваемого среза. Аналогично, разность "-3" для коэффициента b коррекции включена, как результат кодирования разности коэффициента b коррекции.

В примере на фиг. 22 коэффициенты коррекции для одного среза типа внутри среза и двух срезов типа между срезами, составляющих тот же модуль PPS, что и PPS #1, являются такими же, как и коэффициенты коррекции, соответственно, предыдущего среза в порядке кодирования. Поэтому, PPS #1 включает в себя передачу флага "0", обозначающего отсутствие передачи.

На фиг. 23 показана схема, иллюстрирующая пример конфигурации кодированного потока битов в случае, когда информацию, используемую для коррекции изображения прогнозирования, передают в соответствии с третьим способом передачи.

В примере на фиг. 23 минимальное значение параллакса, максимальное значение параллакса, расстояние между камерами и дополнительные коэффициенты коррекции для одного среза типа внутри среза и двух срезов между срезами, составляющих один и тот же модуль PPS для PPS #0, не являются такими же, как минимальное значение параллакса, максимальное значение параллакса, расстояние между камерами и дополнительные коэффициенты коррекции, соответственно, предыдущего среза в порядке кодирования. Поэтому, PPS #0 включает в себя флаг передачи, равный "1", обозначающий присутствие передачи. В этом случае флаг передачи представляет собой флаг, который обозначает присутствие/отсутствие передачи минимального значения параллакса, максимального значения параллакса, расстояния между камерами и дополнительных коэффициентов коррекции.

В примере на фиг. 23 минимальное значение параллакса, максимальное значение параллакса и расстояние между камерам для среза, составляющего тот же модуль PPS для PPS #0, являются такими же, как и в случае на фиг. 7, и информация о минимальном значении параллакса, максимальном значении параллакса и расстояние между камерами, включенное в заголовок среза в каждом срезе, является такой же, как и в случае на фиг. 7, и ее пояснение исключено.

В примере на фиг. 23 дополнительный коэффициент коррекции для среза типа внутри среза, составляющего тот же модуль PPS для PPS #0, равен 5. Поэтому, заголовок среза для его среза включает в себя дополнительные коэффициенты коррекции, равные "5".

Далее, в примере на фиг. 23, дополнительный коэффициент коррекции для первого среза для типа между срезами, составляющего тот же модуль PPS, что и для PPS #0, равен 7. Поэтому, заголовок среза для этого среза включает в себя, как кодированный по разности результат, дополнительного коэффициента коррекции разности, разность "+2", которую получают путем вычитания дополнительного коэффициента "5" коррекции для среза типа внутри среза, который расположен перед рассматриваемым срезом, в порядке кодирования, из дополнительного коэффициента коррекции, равного "7" рассматриваемого среза.

Кроме того, в примере на фиг. 23, дополнительный коэффициент коррекции второго среза для типа между срезами, составляющего тот же модуль PPS для PPS #0, равен 8. Поэтому, заголовок среза для среза включает в себя, как кодированный по разности результат дополнительного коэффициента коррекции, разность "+1", которую получают путем вычитания дополнительного коэффициента "7" коррекции для первого среза типа внутри среза, который расположен перед рассматриваемым срезом, в порядке кодирования, из дополнительного коэффициента коррекции, равного "8" рассматриваемого среза.

В примере на фиг. 23 минимальное значение параллакса, максимальное значение параллакса, расстояние между камерами и дополнительные коэффициенты коррекции одного среза типа внутри кадра и двух срезов типа между срезами, составляющих тот же модуль PPS для PPS #1, являются такими же, как и минимальное значение параллакса, максимальное значение параллакса, расстояние между камерами, и дополнительные коэффициенты коррекции, соответственно, для предыдущего среза в порядке кодирования. Поэтому, PPS #1 включает в себя флаг "0" передачи, обозначающий отсутствие передачи.

Устройство 50 кодирования может передавать информацию, используемую для коррекции изображения прогнозирования, в соответствии с любым одним из способов по первому-третьему способам передачи на фиг. 21. Устройство 50 кодирования может передавать информацию идентификации, для идентификации любого одного из первого-третьего способов передачи, используемых, как способ передачи (например, флаг, ID) таким образом, что информация идентификации включена в кодированный поток битов. Кроме того, первый-третий способы передачи по фиг. 21 могут быть соответствующим образом выбраны с учетом баланса между количеством данных при кодировании потока битов и нагрузкой обработки для декодирования, в соответствии с вариантом применения, используя поток битов кодирования.

В настоящем варианте осуществления информация, используемая для коррекции изображения прогнозирования, расположена в заголовке среза, как информация о кодировании, но область компоновки информации, используемой для коррекции изображения прогнозирования, не ограничена заголовком среза, поскольку он представляет собой область, проверяемую во время кодирования. Например, информация, используемая для коррекции изображения прогнозирования, может быть расположена в существующем модуле NAL (уровень абстракции сети), таком как модуль NAL PPS, и в новом модуле NAL, таком как модуль NAL APS (набор параметров адаптации), который предложен в стандарте HEVC.

Например, когда коэффициенты коррекции и дополнительные коэффициенты коррекции являются одинаковыми во множестве изображений, одинаковое значение размещают в модуле NAL, который можно применять для множества изображений (например, в модуле NAL PPS), и эффективность передачи может быть улучшена. Более конкретно, в этом случае, одинаковые коэффициенты коррекции и дополнительные коэффициенты коррекции могут быть переданы между множеством изображений, и, поэтому, как и в случае, когда они размещены в заголовке среза, нет необходимости передавать коэффициенты коррекции и дополнительные коэффициенты коррекции для каждого среза.

Поэтому, например, когда цветное изображение представляет собой цветное изображение, имеющее эффект вспышки и эффект затемнения, параметры, такие как минимальное значение параллакса, максимальное значение параллакса и расстояние между камерами, вероятно, не будет меняться, и, поэтому, коэффициенты коррекции и дополнительные коэффициенты коррекции размещают в модуле NAL PPS, таким образом, что эффективность передачи может быть улучшена.

Когда, например, коэффициенты коррекции и дополнительные коэффициенты коррекции являются разными для каждого изображения, их размещают в заголовке среза, и когда они одинаковые во множестве изображений, их можно разместить на уровне выше заголовка среза (например, в модуле NAL PPS).

Кроме того, изображение параллакса может представлять собой изображение, включающее в себя значение глубины, представляющее положение в направлении глубины субъекта каждого пикселя цветного изображения для точки обзора, соответствующей изображению параллакса. В таком случае, максимальное значение параллакса и минимальное значение параллакса представляют собой максимальное значение и минимальное значение, соответственно, для значений мировых координат для положений в направлении глубины, которые могут возникать в изображении параллакса для множества точек обзора.

Настоящая технология также может применяться к другим способам кодирования, кроме способа HEVC, таким как AVC, MVC (кодирование видеоданных для множества точек обзора) и т.п.

Второй вариант осуществления

Пояснение компьютера, в котором применяется настоящая технология

Затем описанная выше последовательность обработки может выполняться либо в аппаратных средствах, или программных средствах. Когда последовательности обработки выполняется программными средствами, программа, составляющая программное обеспечение, установлена в компьютере общего назначения и т.п.

На фиг. 24 показана примерная конфигурация варианта осуществления компьютера, в котором установлена программа для выполнения описанной выше последовательности обработки.

Программа может быть заранее сохранена в модуле 808 сохранения и ROM (постоянное запоминающее устройство) 802, которое используется в качестве носителя записи, встроенного в компьютер.

В качестве альтернативы, программа может быть сохранена (записана) на съемный носитель 811 записи. Такой съемный носитель 811 записи может быть представлен, как, так называемое, пакетное программное обеспечение. В этом случае, примеры съемного носителя 811 записи включают в себя, например, гибкий диск, CD-ROM (постоянное запоминающее устройство на компактных дисках), МО (магнитооптический) диск, DVD (цифровой универсальный диск), магнитный диск, полупроводниковое запоминающее устройство и т.п.

Программа может быть установлена в компьютер со съемного носителя 811 записи как описано выше, используя привод 810. В качестве альтернативы, программа может быть загружена в компьютер через сеть передачи данных или широковещательную сеть, и программа может быть установлена в модуле 808 накопителя, предусмотренном в компьютере. Более конкретно, программа может быть, например, передана с сайта загрузки в компьютер по беспроводному каналу передачи через искусственный спутник для цифровой спутниковой широковещательной передачи, или может быть передана в компьютер по проводам, то есть, через сеть, такую как LAN (Локальная вычислительная сеть) и Интернет.

Компьютер имеет CPU (центральное процессорное устройство) 801. CPU 801 соединено с интерфейсом 805 ввода-вывода через шину 804.

Когда пользователь работает с модулем 806 ввода для ввода команды в CPU 801 через интерфейс 805 ввода-вывода, CPU 801 исполняет программу, сохраняемую в ROM 802. в ответ на команду. В качестве альтернативы, CPU 801 загружает программу, сохраняемую в модуле 808 сохранения, в RAM (оперативное запоминающее устройство) 803. и исполняет эту программу.

Таким образом, CPU 801 выполняет обработку в соответствии с описанными выше блок-схемами последовательности операций, или обработку, выполняемую с конфигурациями в блок-схемах, как описано выше. Затем, в соответствии с необходимостью, CPU 801 выводит результат своей обработки из модуля 807 вывода через интерфейс 805 ввода-вывода, передает его результат обработки из модуля 809 передачи данных, или записывает результат своей обработки, например, в модуль 808 сохранения.

Модуль 806 ввода состоит из клавиатуры, мыши, микрофона и т.п. Модуль 807 вывода состоит из LCD (жидкокристаллического дисплея), громкоговорителя и т.п.

Здесь, в данном описании, обработка, выполняемая в соответствии с программой в компьютере, необязательно должна выполняться во временной последовательности, в соответствии с порядком, описанным в блок-схемах последовательности операций. Другими словами, обработка, выполняемая компьютером в соответствии с программой, включает в себя обработку, выполняемую независимо или параллельно (например, обработку, выполняемую объектами в параллельной обработки).

Программа может быть обработана одним компьютером (процессором), или может обрабатываться множеством компьютеров в ходе распределенной обработки. Кроме того, программа может быть передана в компьютер, расположенный на расстоянии, и может быть там выполнена.

Настоящая технология может применяться в устройстве кодирования и устройстве декодирования, используемым для передачи данных через сетевую среду передачи, такую как спутниковая широковещательная передача, кабельное ТВ (телевидение), Интернет и портативный телефон, или для обработки на носителях записи, таких как оптические диски, магнитные диски и запоминающее устройство флэш.

Описанное выше устройство кодирования и устройство декодирования могут применяться в любых заданных электронных устройствах. Ниже будет описан пример такого устройства.

Третий вариант осуществления

Пример конфигурации телевизионного устройства

На фиг. 25 иллюстрируется пример схематичной конфигурации телевизионного устройства, в котором применяется настоящая технология. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 дисплея, модуль 907 обработки аудиосигнала, громкоговоритель 908, модуль 909 внешнего интерфейса. Кроме того, телевизионное устройство 900 включает в себя модуль 910 управления и модуль 911 интерфейса пользователя.

Тюнер 902 настраивается на и демодулирует требуемый канал среди сигналов широковещательной передачи, принимаемых антенной 901, и выводит кодированный поток битов, полученный таким образом, в демультиплексор 903

Демультиплексор 903 выделяет из пакета видеоданных и аудиоданных телепрограмму, которая представляет собой цель просмотра, из кодированного потока битов, и выводит эти данные выделенных пакетов в декодер 904. Демультиплексор 903 также предоставляет пакеты данных, такие как EPG (электронная программа передач) в модуль 910 управления. В случае скремблирования, демультиплексор и т.п. выполняет дескремблирование.

Декодер 904 выполняет пакетную обработку декодирования и выводит видеоданные, сгенерированные в процессе декодирования, в модуль 905 обработки видеосигнала, и аудиоданные в модуль 907 обработки аудиосигнала.

Модуль 905 обработки видеосигнала выполняет уменьшение уровня шумов и видеообработку, в соответствии с установками пользователя для видеоданных. Модуль 905 обработки видеосигнала генерирует, например, видеоданные телепрограммы, отображаемой в модуле 906 дисплея, и данные изображения, полученные в результате обработки, на основе приложения, предоставляемого через сеть. Модуль 905 обработки видеосигнала генерирует видеоданные для отображения экрана меню и т.п., который обеспечивает возможность выбора пунктов, и накладывает эти видеоданные на видеоданных в телепрограмме. Модуль 905 обработки видеосигнала генерирует сигнал управления на основе видеоданных, сгенерированных таким образом, и выполняет управление модулем 906 дисплея.

Модуль 906 дисплея отображает, например, телевизионные программы в результате управления устройством дисплея (например, устройством жидкокристаллического дисплея и т.п.) на основе сигнала управления, передаваемого из модуля 905 обработки видеосигнала.

Модуль 907 обработки аудиосигнала выполняет заданную обработку, такую как уменьшение уровня шумов, для аудиоданных, и обработку D/A преобразования и обработку усиления аудиоданных, которые были обработаны, и предоставляет эти данные в громкоговоритель 908, выводя, таким образом, звуковой сигнал.

Модуль 909 внешнего интерфейса представляет собой интерфейс для соединения внешнего устройства и сети, и выполняет обмен данными, такими как видеоданные и аудиоданные.

Модуль 910 управления соединен с модулем 911 интерфейса пользователя. Модуль 911 интерфейса пользователя состоит, например, из управляющих переключателей и модуля приема сигнала пульта дистанционного управления, и предоставляет сигнал операции, в соответствии с операцией пользователя, в модуль 910 управления.

Модуль 910 управления состоит из CPU (центральное процессорное устройство), запоминающего устройства и т.п. В запоминающем устройстве содержатся, например, программы, выполняемые CPU, различного рода данные, требуемые для обработки в CPU, данные EPG и данные, полученные через сеть. Программы, содержащиеся в запоминающем устройстве, считывают и выполняют с помощью CPU в заданные моменты времени, такие как во время активации телевизионного устройства 900. CPU выполняет программу, управляя, таким образом, каждым модулем, для обеспечения работы телевизионного устройства 900, в соответствии с операцией пользователя.

В телевизионном устройстве 900 предусмотрена шина 912 для соединения тюнера 902, демультиплексора 903, модуля 905 обработки видеосигнала, модуля 907 обработки аудиосигнала, модуля 909 внешнего интерфейса и т.п., с модулем 910 управления.

В телевизионном устройстве, выполненном, как описано выше, функции устройства декодирования (способа декодирования), в соответствии с настоящей заявкой, обеспечиваются в декодере 904. Поэтому, могут быть декодированы кодированные данные изображения параллакса, эффективность кодирования которых была улучшена в результате выполнения кодирования, используя информацию об изображении параллакса.

Четвертый вариант осуществления

Пример конфигурации портативного телефона

На фиг. 26 иллюстрируется пример схематичной конфигурации портативного телефона, в котором применяется настоящая технология. Портативный телефон 920 включает в себя модуль 922 передачи данных, аудиокодек 923, модуль 926 камеры, модуль 927 обработки изображений, модуль 928 демультиплексирования, модуль 929 записи/воспроизведений, модуль 930 дисплея и модуль 931 управления. Они соединены друг с другом через шину 933.

Модуль 922 передачи данных соединен с антенной 921, и аудиокодек 923 соединен с громкоговорителем 924 и микрофоном 925. Кроме того, модуль 931 управления соединен с модулем 932 операций.

Портативный телефон 920 выполняет различного вида операции, такие как передача и прием аудиосигнала, передача и прием электронной почты и данных изображения, съемка изображения или запись данных, в различных видах режимов, таких как режим голосового телефонного вызова и режим передачи данных.

В режиме голосового телефонного вызова аналоговый звуковой сигнал, генерируемый микрофоном 925, преобразуют, например, в аудиоданные и сжимают с помощью аудиокодека 923, и подают в модуль 922 передачи данных. Модуль 922 передачи данных выполняет, например, обработку модуляции и обработку преобразования частоты для аудиоданных, и генерирует сигнал передачи. Модуль 922 передачи данных подает сигнал передачи в антенну 921 и передает этот сигнал передачи в базовую станцию, которая не показана. Модуль 922 передачи данных выполняет, например, усиление, обработку преобразования частоты и обработку демодуляции для сигнала приема, принимаемого антенной 921, и передает полученные аудиоданные в аудиокодек 923. Аудиокодек 923 выполняет, например, расширение данных для аудиоданных и преобразование в аналоговый аудиосигнал, и выводит эти данные в громкоговоритель 924.

Когда почту передают в режиме передачи данных, модуль 931 управления принимает данные знака, которые вводят, выполняя операцию с модулем 932 операций, и отображает введенные знаки в модуле 930 дисплея. Модуль 931 управления также генерирует данные почты на основе, например, инструкции пользователя с модулем 932 операций и предоставляет данные почты в модуль 922 передачи данных. Модуль 922 передачи данных выполняет, например, обработку модуляции и обработку преобразования частоты для данных почты, и передает полученный сигнал передачи через антенну 921. Модуль 922 передачи данных выполняет, например, усиление, обработку преобразования частоты и обработку модуляции для сигнала приема, принимаемого антенной 921, и восстанавливает данные почты. Данные почты предоставляют в модуль 930 дисплея, и отображают содержание данных почты.

Портативный телефон 920 также может сохранять принимаемые данные почты на носителе записи, используя модуль 929 записи/воспроизведений. Носитель записи представляет собой любой заданный носитель записи с возможностью перезаписи.

Например, носитель записи может представлять собой полупроводниковое запоминающее устройство, такое как RAM, и внутреннее запоминающее устройство флэш, жесткий диск или съемный носитель записи, такой как магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB или карта памяти.

Когда данные изображения передают в режиме передачи данных, данные изображения, генерируемые модулем 926 камеры, предоставляют в модуль 927 обработки изображений. Модуль 927 обработки изображений выполняет обработку кодирования данных изображения и генерирует кодированные данные.

Модуль 928 демультиплексирования мультиплексирует кодированные данные, сгенерированные модулем 927 обработки изображений, и аудиоданные, предоставляемые из аудиокодека 923, в соответствии с заданным способом, и предоставляет эти данные в модуль 922 передачи данных. Модуль 922 передачи данных выполняет, например, обработку модуляции и обработку преобразования частоты для мультиплексированных данных, и передает полученный сигнал передачи через антенну 921. Модуль 922 передачи данных выполняет, например, усиление, обработку преобразования частоты и обработку усиления для принятого сигнала, принятого антенной 921, и восстанавливает мультиплексированные данные. Мультиплексированные данные предоставляют в модуль 928 демультиплексирования. Модуль 928 демультиплексирования разделяет мультиплексированные данные и предоставляет кодированные данные в модуль 927 обработки изображений и аудиоданные в аудиокодек 923. Модуль 927 обработки изображений выполняет обработку декодирования для кодированных данных и генерирует данные изображения. Данные изображения предоставляют в модуль 930 дисплея, и отображают принятое изображение. Аудиокодек 923 преобразует аудиоданные в аналоговый аудиосигнал, и предоставляет этот аналоговый аудиосигнал в громкоговоритель 924 для вывода принятых аудиоданных.

В портативном телефоне, выполненном, как описано выше, в модуле 927 обработки изображений предусмотрена функция устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), в соответствии с настоящей заявкой. Поэтому, эффективность кодирования изображения параллакса может быть улучшена при использовании информации об изображении параллакса. Кроме того, могут быть декодированы кодированные данные изображения параллакса, эффективность кодирования которых была улучшена, в результате выполнения кодирования, используя информацию об изображении параллакса.

Пятый вариант осуществления

Пример конфигурации устройства записи/воспроизведения

На фиг. 27 иллюстрируется пример схематичной конфигурации устройства записи/воспроизведения, в котором применима настоящая технология. Например, устройство 940 записи/воспроизведения записывает аудиоданные и видеоданные принятой программы широковещательной передачи на носитель записи, и предоставляет пользователю записанные данные в момент времени, в соответствии с инструкцией пользователя. Например, устройство 940 записи/воспроизведения может получать аудиоданные и видеоданные из другого устройства, и может записывать их на носитель записи. Кроме того, устройство 940 записи/воспроизведения декодирует и выводит аудиоданные и видеоданные, записанные на носителе записи, позволяя, таким образом, выводить отображаемые изображения и звук с использованием устройства монитора и т.п.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, модуль 942 внешнего интерфейса, кодер 943, модуль 944 HDD (привод жесткого диска), привод 945 диска, селектор 946, декодер 947, модуль 948 OSD (отображения на экране), модуль 949 управления, и модуль 950 интерфейса пользователя.

Тюнер 941 настраивается на требуемый канал из широковещательных сигналов, принимаемых с помощью антенны, которая не показана. Тюнер 941 выводит в селектор 946 кодированный поток битов, полученный в результате демодуляции принимаемого сигнала требуемого канала.

Модуль 942 внешнего интерфейса может быть составлен, например, из любого из интерфейса IEEE1394, модуля сетевого интерфейса, интерфейса USB, интерфейса запоминающего устройства флэш и т.п. Модуль 942 внешнего интерфейса представляет собой интерфейс, для подключения внешнего устройства, сети, карты памяти и т.п.и принимает данные, такие как видеоданные, аудиоданные и т.п., записанные таким образом.

Кодер 943 выполняет кодирование в соответствии с заданным способом, когда видеоданные и аудиоданные, предоставляемые из модуля 942 внешнего интерфейса, не были кодированы, и выводит кодированный поток битов в селектор 946.

Модуль 944 HDD записывает данные содержания, такие как видеоданные и аудиоданные, другие данные разного вида программ, и т.п.на внутренний жесткий диск, и считывает их с жесткого диска, во время воспроизведения и т.п.

Привод 945 жесткого диска записывает и воспроизводит сигнал на/с загруженного оптического диска. Например, оптический диск представляет собой диск DVD (Видео DVD, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW и т.п.), диск Blu-ray, и т.п.

Во время записи видеоданных и аудиоданных, селектор 946 выбирает кодированный поток битов из любого из тюнера 941 и кодера 943 и предоставляет их в любой один из модуля 944 HDD и привода 945 диска. Во время воспроизведения видеоданных и аудиоданных, селектор 946 предоставляет в декодер 947 кодированный поток битов, который он выводит из модуля 944 HDD или из привода 945 диска.

Декодер 947 выполняет обработку декодирования кодированного потока битов. Декодер 947 выполняет обработку декодирования, предоставляя, таким образом, сгенерированные видеоданные в модуль 948 OSD. Декодер 947 выполняет обработку декодирования, выводя, таким образом, сгенерированные аудиоданные.

Модуль 948 OSD генерирует видеоданные для отображения экрана меню и т.п., например, для выбора пункта меню, и накладывает их на видеоданные, которые выводят из декодера 947.

Модуль 949 управления соединен с модулем 950 интерфейса пользователя. Модуль 950 интерфейса пользователя состоит, например, из переключателя операций и модуля приема сигнала пульта дистанционного управления, и предоставляет сигнал операции, в соответствии с операцией пользователя, в модуль 949. управления

Модуль 949 управления состоит из CPU, запоминающего устройства и т.п. В запоминающем устройстве сохраняют, например, программы, исполняемые в CPU, различного вида данные, требуемые при выполнении обработки в CPU. Программы, сохраненные в запоминающем устройстве, считывают и исполняют с помощью CPU в заданные моменты времени, такие как во время активации устройства 940 записи/воспроизведения. CPU исполняет программу, управляя, таким образом, каждым модулем, для обеспечения работы устройства 940 записи/воспроизведения в соответствии с операцией пользователя.

В устройстве записи/воспроизведения, выполненном, как описано выше, в декодере 947 предусмотрена функция устройства декодирования (способа декодирования) настоящей заявки. Поэтому, могут быть декодированы кодированные данные изображения параллакса, эффективность кодирования которого была улучшена, путем выполнения кодирования, используя информацию об изображении параллакса.

Шестой вариант осуществления

Пример конфигурации устройства съемки изображения

На фиг. 28 иллюстрируется пример схематичной конфигурации устройства съемки изображения, в котором применяется настоящая технология. Устройство 960 съемки изображения снимает изображение субъекта, отображает изображение субъекта в модуле дисплея и записывает данные изображения на носителе записи.

Устройство 960 съемки изображения включает в себя оптический блок 961, модуль 962 съемки изображения, модуль 963 обработки сигналов камеры, модуль 964 обработки данных изображения, модуль 965 дисплея, модуль 966 внешнего интерфейса, модуль 967 памяти, привод 968 носителя информации, модуль 969 OSD и модуль 970 управления. Модуль 970 управления соединен с модулем 971 интерфейса пользователя. Кроме того, модуль 964 обработки данных изображения, модуль 966 внешнего интерфейса, модуль 967 памяти, привод 968 носителя информации, модуль 969 OSD, модуль 970 управления и т.п. соединены через шину 972.

Оптический блок 961 состоит, например, из линзы фокусирования и механизма диафрагмы. Оптический блок 961 формирует оптическое изображение субъекта на поверхности формирования изображения модуля 962 съемки изображения. Модуль 962 съемки изображения включает в себя CCD или датчик изображения CMOS, и генерирует электрический сигнал, в соответствии с оптическим изображением, выполняя фотоэлектрическое преобразование, и предоставляет этот электрический сигнал в модуль 963 обработки сигналов камеры.

Модуль 963 обработки сигналов камеры выполняет различного рода обработку сигналов камеры, такую как коррекция изгиба характеристики передачи уровней яркости, гамма-коррекция и коррекция цвета электрического сигнала, предоставляемого модулем 962 съемки изображения. Модуль 963 обработки сигналов камеры предоставляет в модуль 964 обработки данных изображения данные изображения, для которых была выполнена обработка сигналов камеры.

Модуль 964 обработки данных изображения выполняет обработку кодирования для данных изображения, предоставляемых модулем 963 обработки сигналов камеры. Модуль 964 обработки данных изображения предоставляет в модуль 966 внешнего интерфейса и в привод 968 носителя записи кодированные данные, генерируемые в результате выполнения обработки кодирования. Модуль 964 обработки данных изображения выполняет обработку декодирования для кодированных данных, предоставляемых модулем 966 внешнего интерфейса и приводом 968 носителя записи. Модуль 964 обработки данных изображения предоставляет в модуль 965 дисплея данные изображения, генерируемые в результате выполнения обработки декодирования. Модуль 964 обработки данных изображения выполняет обработку для предоставления в модуль 965 дисплея данных изображения, предоставляемых из модуля 963 обработки сигналов камеры, и накладывает данные отображения, полученные из модуля 969 OSD, на данные изображения, и предоставляет эти данные в модуль 965 дисплея.

Модуль 969 OSD генерирует данные отображения, такие как экран меню и пиктограммы, включающие в себя символы, знаки или цифры, и выводит данные отображения в модуль 964 обработки данных изображения.

Модуль 966 внешнего интерфейса состоит, например, из разъема ввода-вывода USB, и когда изображение требуется напечатать, к этому разъему подключают принтер. Модуль 966 внешнего интерфейса также соединяют с приводом, в соответствии с необходимостью, и съемный носитель записи, такой как магнитный диск, оптический диск загружают, в соответствии с необходимостью, и компьютерную программу, считываемую с него, устанавливают в соответствии с необходимостью. Далее, модуль 966 внешнего интерфейса включает в себя сетевой интерфейс, соединенный с заданной сетью, такой как LAN или Интернет. Например, модуль 970 управления считывает кодированные данные из модуля 967 памяти, в соответствии с командой из модуля 971 интерфейса пользователя, и может предоставлять эти данные в другое устройство, соединенное через сеть, из модуля 966 внешнего интерфейса. Модуль 970 управления получает через модуль 966 внешнего интерфейса кодированные данные и данные изображения, предоставляемые из другого устройства через сеть, и может предоставлять эти данные, например, в модуль 964 обработки данных изображения.

Носитель записи, управляемый приводом 968 носителя записи, может представлять собой любой заданный съемный носитель записи, с которого могут быть считаны данные и на которые могут быть записаны данные, такой как магнитный диск, оптико-магнитный диск, оптический диск или полупроводниковое запоминающее устройство. Носитель записи может представлять собой съемный носитель любого типа, и может представлять собой ленточное устройство, или диск, или карту памяти. Следует понимать, что он может представлять собой бесконтактную 1C карту и т.п.

Привод 968 носителя записи и носитель записи могут быть интегрированы, и тому подобное, например, как внутренний привод жесткого диска и SSD (твердотельное устройство), привод 968 носителя записи и носитель записи могут быть выполнены в виде стационарного носителя записи.

Модуль 970 управления состоит из CPU, запоминающего устройства и т.п. В запоминающем устройстве содержатся, например, программы, исполняемые CPU, различного вида данные, требуемые, когда выполняется обработки CPU. Программы, сохраненные в запоминающем устройстве, считывают и исполняют с помощью CPU в заданные моменты времени, такие как во время активации устройства 960 съемки изображения. CPU исполняет программу, управляя, таким образом, каждым модулем, для обеспечения работы устройства 960 съемки изображения в соответствии с операцией пользователя.

В устройстве съемки изображения, выполненном, как описано выше, в модуле 964 обработки данных изображения предусмотрена функция устройства кодирования и устройства декодирования (способ кодирования и способ декодирования), в соответствии с настоящей заявкой. Поэтому, эффективность кодирования изображения параллакса может быть улучшена путем использования информации об изображении параллакса. Кроме того, могут быть декодированы кодированные данные изображения параллакса, эффективность кодирования которых была улучшена в результате выполнения кодирования, используя информацию об изображении параллакса.

Более конкретно, варианты осуществления настоящей технологии не ограничены вариантами осуществления, пояснявшимися выше, и могут изменяться различным образом, если только они находятся в пределах сущности настоящей технологии.

Следует отметить, что настоящая технология может быть выполнена следующим образом.

(1) Устройство кодирования, включающее в себя:

модуль коррекции, выполненный с возможностью коррекции изображения прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора;

модуль кодирования, выполненный с возможностью кодирования изображения параллакса с опорной точки обзора с использованием изображения прогнозирования, скорректированного модулем коррекции; и

модуль передачи, выполненный с возможностью передачи изображения параллакса с опорной точки обзора, кодированного модулем кодирования, и информации об изображении параллакса с опорной точки обзора.

(2) Устройство кодирования по п. (1), в котором информация об изображении параллакса с опорной точки обзора включает в себя информацию о генерировании точки обзора, которая представляет собой информацию, используемую для генерирования цветного изображения с точки обзора, отличной от опорной точки обзора с использованием изображения параллакса с опорной точки обзора и цветного изображения с опорной точки обзора,

при этом модуль передачи передает информацию о генерировании точки обзора в качестве параметра кодирования, используемого для кодирования изображения параллакса с опорной точки обзора.

(3) Устройство кодирования по п. (2), в котором модуль коррекции корректирует изображение прогнозирования с использованием коэффициента коррекции, используемого для коррекции изображения прогнозирования на основе информации о генерировании точки обзора, а

модуль передачи передает коэффициент коррекции в качестве параметра кодирования.

(4) Устройство кодирования по п. (2), в котором информация об изображении параллакса с опорной точки обзора включает в себя информацию о положении съемки изображения, представляющую положение съемки изображения в направлении глубины для модуля съемки изображения для съемки цветного изображения с опорной точки обзора,

модуль коррекции корректирует изображение прогнозирования с использованием коэффициента коррекции, используемого для коррекции изображения прогнозирования на основе информации о положении съемки изображения и информации о генерировании точки обзора, а

модуль передачи передает коэффициент коррекции в качестве параметра кодирования.

(5) Устройство кодирования по пп. (3) или (4), в котором модуль коррекции устанавливает коэффициент коррекции.

(6) Устройство кодирования по любому из пп. (1)-(5), в котором модуль кодирования кодирует изображение параллакса с опорной точки обзора в модуле, имеющем иерархическую структуру.

(7) Устройство кодирования по любому из пп. (1)-(6), дополнительно включающее в себя модуль генерирования изображения прогнозирования для генерирования изображения прогнозирования для изображения параллакса с опорной точки обзора.

(8) Способ кодирования для устройства кодирования, включающий в себя:

этап коррекции, на котором корректируют изображение прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора;

этап кодирования, на котором кодируют изображение параллакса с опорной точки обзора с использованием изображения прогнозирования, скорректированного в результате обработки на этапе коррекции; и

этап передачи, на котором передают изображение параллакса с опорной точки обзора, кодированное посредством обработки на этапе кодирования, и информацию об изображении параллакса с опорной точки обзора.

(9) Устройство декодирования, включающее в себя:

модуль приема, выполненный с возможностью приема изображения параллакса с опорной точки обзора, кодированного с использованием изображения прогнозирования для изображения параллакса с опорной точки обзора, скорректированного с использованием информации об изображении параллакса с опорной точки обзора и информации об изображении параллакса с опорной точки обзора;

модуль коррекции, выполненный с возможностью коррекции изображения прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора, принимаемой модулем приема; и

модуль декодирования, выполненный с возможностью декодирования кодированного изображения параллакса с опорной точки обзора, принимаемого модулем приема, с использованием изображения прогнозирования, скорректированного модулем коррекции.

(10) Устройство декодирования по п. (9), дополнительно включающее в себя модуль генерирования цветного изображения, выполненный с возможностью генерировать цветное изображение с точки обзора, отличной от опорной точки обзора, с использованием изображение параллакса с опорной точки обзора, декодированного модулем декодирования, и цветного изображение с опорной точки обзора,

при этом информация об изображении параллакса с опорной точки обзора включает в себя информацию о генерировании точки обзора, которая представляет собой информацию, используемую для генерирования цветного изображения с точки обзора, отличной от опорной точки обзора, с использованием изображения параллакса с опорной точки обзора и цветного изображения с опорной точки обзора,

модуль приема принимает информацию о генерировании точки обзора, передаваемую в качестве параметра кодирования, используемого для декодирования кодированного изображения параллакса с опорной точки обзора, а

модуль генерирования цветного изображения генерирует цветное изображение с точки обзора, отличной от опорной точки обзора, с использованием изображения параллакса с опорной точки обзора, декодируемого модулем декодирования, цветного изображение с опорной точки обзора и информации о генерировании точки обзора, принимаемой модулем приема.

(11) Модуль декодирования по п. (10), в котором модуль приема принимает коэффициент коррекции, используемый для коррекции изображения прогнозирования во время кодирования и передаваемый в качестве параметра кодирования,

коэффициент коррекции сгенерирован на основе информации о генерировании точки обзора, а

модуль коррекции корректирует изображение прогнозирования с использованием коэффициента коррекции, принимаемого модулем приема.

(12) Модуль декодирования по п. (10), в котором информация об изображении параллакса с опорной точки обзора включает в себя информацию о положении съемки изображения, представляющую положение съемки изображения в направлении глубины для модуля съемки изображения, для съемки цветного изображения с опорной точки обзора,

модуль приема принимает коэффициент коррекции, используемый для коррекции прогнозируемого изображения во время кодирования и передаваемый в качестве параметра кодирования, а

модуль коррекции корректирует изображение прогнозирования с использованием коэффициента коррекции, принимаемого модулем приема, и информации о генерировании точки обзора.

(13) Устройство по п. (12), в котором коэффициент коррекции установки на основе информации о генерировании точки обзора.

(14) Устройство декодирования по любому из пп. (9)-(13), в котором изображение параллакса опорной точки обзора кодировано в модуле, имеющем иерархическую структуру.

(15) Устройство декодирования по любому из пп. (9)-(14), дополнительно включающее в себя модуль генерирования изображения прогнозирования для генерирования изображения прогнозирования изображения параллакса с опорной точки обзора.

(16) Способ декодирования для устройства декодирования, включающий в себя:

этап приема, на котором принимают изображение параллакса с опорной точки обзора, кодированное с использованием изображения прогнозирования для изображения параллакса с опорной точки обзора, скорректированного с использованием информации об изображении параллакса с опорной точки обзора, и информацию об изображении параллакса с опорной точки обзора;

этап коррекции, на котором корректируют изображение прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора, принятой в результате обработки на этапе приема; и

этап декодирования, на котором декодируют кодированное изображение параллакса с опорной точки обзора, принятое в результате обработки на этапе приема, с использованием изображения прогнозирования, скорректированного при обработке на этапе коррекции.

Список номеров ссылочных позиций

50 устройство кодирования, 64 модуль кодирования SPS, 123 модуль арифметической операции, 134 модуль прогнозирования/компенсации движения, 135 модуль коррекции, 150 устройство декодирования, 152 модуль составления точки обзора, 171 модуль декодирования SP, 255 модуль суммирования, 262 модуль компенсации движения, 263 модуль коррекции

1. Устройство кодирования для кодирования изображения параллакса, содержащее:
модуль прогнозирования, выполненный с возможностью генерирования изображения прогнозирования на основе опорного изображения и вектора движения, причем вектор движения характеризует разность между изображением параллакса и опорным изображением;
модуль коррекции, выполненный с возможностью генерирования набора коэффициентов коррекции на основе информации об изображении параллакса и коррекции изображения прогнозирования с использованием набора коэффициентов коррекции;
модуль кодирования, выполненный с возможностью генерирования кодированного изображения параллакса на основе разности между изображением параллакса и изображением прогнозирования, скорректированным модулем коррекции; и
модуль передачи, выполненный с возможностью передачи кодированного изображения параллакса и информации об изображении параллакса.

2. Устройство кодирования по п. 1, в котором информация об изображении параллакса включает в себя информацию о генерировании точки обзора, являющуюся информацией, используемой для генерирования цветного изображения с точки обзора, отличной от точки обзора изображения параллакса, с использованием изображения параллакса и цветного изображения с указанной точки обзора,
при этом модуль передачи выполнен с возможностью передачи информации о генерировании точки обзора в качестве параметра кодирования, используемого для кодирования изображения параллакса.

3. Устройство кодирования по п. 1, в котором модуль передачи выполнен с возможностью передачи дополнительного максимального значения параллакса, дополнительного минимального значения параллакса и дополнительного расстояния между камерами в качестве дополнительной информации, к которой не обращаются при кодировании или декодировании.

4. Устройство кодирования по п. 3, в котором модуль передачи выполнен с возможностью передачи максимального значения параллакса, минимального значения параллакса и расстояния между камерами в качестве дополнительной улучшенной информации (SEI).

5. Устройство кодирования по п. 2, в котором информация об изображении параллакса включает в себя информацию о положении съемки изображения, представляющую положение съемки изображения модуля съемки изображения, предназначенного для съемки цветного изображения, в направлении глубины,
при этом модуль коррекции выполнен с возможностью коррекции изображения прогнозирования с использованием коэффициента коррекции, используемого для коррекции изображения прогнозирования на основе информации о положении съемки изображения и информации о генерировании точки обзора, а
модуль передачи выполнен с возможностью передачи коэффициента коррекции в качестве параметра кодирования.

6. Устройство кодирования по п. 5, в котором модуль коррекции выполнен с возможностью установки коэффициента коррекции.

7. Способ кодирования для кодирования изображения параллакса, содержащий:
этап прогнозирования, на котором генерируют изображение прогнозирования на основе опорного изображения и вектора движения, характеризующего разность между изображением параллакса и опорным изображением;
этап коррекции, на котором генерируют набор коэффициентов коррекции на основании информации об изображении параллакса и корректируют изображение прогнозирования с использованием указанного набора коэффициентов коррекции;
этап кодирования, на котором генерируют кодированное изображение параллакса на основании разности между изображением параллакса и изображением прогнозирования, скорректированным на этапе коррекции; и
этап передачи, на котором передают изображение параллакса, кодированное на этапе кодирования, и информацию об изображении параллакса.

8. Способ по п. 1, в котором информация об изображении параллакса включает в себя информацию о генерировании точки обзора, являющуюся информацией, используемой для генерирования цветного изображения с точки обзора, отличной от точки обзора изображения параллакса, с использованием изображения параллакса и цветного изображения с указанной точки обзора,
при этом на этапе передачи дополнительно передают информацию о генерировании точки обзора в качестве параметра кодирования, используемого для кодирования изображения параллакса.

9. Способ по п. 7, в котором на этапе передачи дополнительно передают дополнительное максимальное значение параллакса, дополнительное минимальное значение параллакса и дополнительное расстояние между камерами в качестве информации, к которой не обращаются при кодировании или декодировании.

10. Способ по п. 9, в котором на этапе передачи передают максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами в качестве дополнительной улучшенной информации (SEI).

11. Способ по п. 8, в котором информация об изображении параллакса включает в себя информацию о положении съемки изображения, представляющую положение съемки изображения модуля съемки изображения, предназначенного для съемки цветного изображения, в направлении глубины,
при этом на этапе коррекции дополнительно выполняют коррекцию изображения прогнозирования с использованием коэффициента коррекции, используемого для коррекции изображения прогнозирования на основе информации о положении съемки изображения и информации о генерировании точки обзора, а
на этапе передачи дополнительно передают коэффициент коррекции в качестве параметра кодирования.

12. Способ по п. 10, дополнительно содержащий этап, на котором устанавливают коэффициент коррекции.