Комбинированная передача изображения и соответствующих данных о глубине
Изобретение относится воспроизведению трехмерных изображений посредством комбинированного обмена данными изображения и соответствующими данными о глубине. Техническим результатом является адаптирование передачи данных для создания трехмерного впечатления к существующим видеоинтерфейсам. Результат достигается тем, что преобразуют входной сигнал изображения, представляющий данные изображения, содержащие заданное количество входных компонентов (R, G, В) цвета, в выходной сигнал изображения, содержащий компонент яркости и компонент цветности; комбинируют выходной сигнал с соответствующими данными о глубине с получением комбинированного сигнала, содержащего компонент яркости, компонент цветности и компонент (D) глубины, который основан на данных о глубине; и передают этот комбинированный сигнал по множеству каналов (108-112), количество которых равно заданному количеству входных компонентов (R, G, В) цвета. 6 н. и 4 з.п. ф-лы, 4 ил., 1 табл.
Изобретение относится к способам комбинированной передачи данных изображения и соответствующих данных о глубине.
Изобретение, кроме того, относится к модулю передачи, предназначенному для комбинированной передачи данных изображения и соответствующих данных о глубине.
Кроме того, изобретение относится к устройствам обработки изображения, которые содержат такой модуль передачи.
Изобретение, помимо этого, относится к модулю приема, предназначенному для комбинированного обмена данными изображения и соответствующими данными о глубине.
Кроме того, изобретение относится к многопроекционному устройству дисплея, содержащему такой модуль приема.
С момента появления устройств дисплея, реалистичное трехмерное устройство дисплея представляло собой мечту для многих людей. Были исследованы множество принципов, которые могли бы привести к созданию такого устройства дисплея. В соответствии с некоторыми принципами, делались попытки создать реалистичный трехмерный объект в некотором объеме. Например, в устройстве дисплея, раскрытом в статье "Solid-state Multi-planar Volumetric Display", by A. Sullivan in proceedings of SID'03, 1531-1533, 2003, визуальные данные смещаются в массиве плоскостей с помощью быстродействующего проектора. Каждая плоскость представляет собой переключаемый диффузор. Если количество плоскостей достаточно велико, мозг человека интегрирует изображение и наблюдает реалистичный трехмерный объект. Такой принцип позволяет зрителю рассматривать объект в некоторой степени с разных сторон. В таком устройстве дисплея все объекты представлены полупрозрачными.
Было сделано также множество других попыток создания трехмерного устройства дисплея, работающего на основе только бинокулярного несоответствия. В этих системах левый и правый глаз зрителя воспринимает разные изображения и, следовательно, зритель воспринимает трехмерное изображение. Обзор этих концепций можно найти в книге "Stereo Computer Graphics and Other True 3-D Technologies", by D.F.McAllister (Ed.), Princeton University Press, 1993. В первом принципе используются очки с заслонками-прерывателями в комбинации, например, с CRT (ЭЛТ, электронно-лучевая трубка). При отображении нечетного кадра свет блокируется для левого глаза, и когда отображают четный кадр, свет блокируется для правого глаза.
Устройства дисплея, которые представляют трехмерные изображения без необходимости использования дополнительных приспособлений, называются автостереоскопическими устройствами дисплея.
Первое устройство дисплея, в котором не требуется использовать очки, содержит барьер для создания конусов света, направленных в левый и правый глаза зрителя. Эти конусы соответствуют, например, четной и нечетной колонкам подпикселей. При передаче в этих колонках соответствующей информации зритель получает разные изображения в его левом и правом глазу, если он располагается в правильной точке, и может воспринимать трехмерное изображение.
Второе устройство дисплея, для которого не требуются очки, содержит массив линз, которые формируют световые изображения нечетных и четных колонок подпикселей для левого и правого глаза зрителя.
Недостаток упомянутых выше устройств дисплея, для которых не требуются очки, состоит в том, что зритель должен оставаться в фиксированном положении. Для установки положения зрителя были предложены индикаторы, которые показывают зрителю, что он находится в правильном положении. См., например, патент US 5986804, в котором барьерная пластина скомбинирована с красным и зеленым светодиодами. В случае, когда зритель находится в правильном положении, он видит зеленый свет, красный свет - в противном случае.
Чтобы устранить необходимость для зрителя сидеть в фиксированном положении, были предложены автостереоскопические многопроекционные устройства дисплея. Смотри, например, патенты US 60064424 и US 20000912. В устройствах дисплея, как раскрыто в US 60064424 и US 20000912, используются наклонные двояковыпуклые линзы, в результате чего ширина двояковыпуклой линзы больше, чем два подпикселя. Таким образом, существует несколько изображений, расположенных рядом друг с другом, и зритель имеет некоторую свободу перемещения влево и вправо.
Для генерирования трехмерного впечатления с помощью устройства многопроекционного дисплея необходимо снять изображения с разных точек зрения. Это требует либо ввода множества видов, либо наличия некоторой трехмерной информации или информации о глубине. Такая информация о глубине может быть записана, сгенерирована с помощью систем камер с множеством точек обзора или может быть сгенерирована из обычного двумерного видеоматериала. Для генерирования информации о глубине из двумерных видеоданных можно применять несколько типов меток глубины: таких как структура, полученная по движению, информация о фокусе, геометрических формах и динамической преграде. Цель состоит в генерировании плотной карты глубины, то есть, по значению глубины на каждый пиксель. Такую карту глубины затем используют для получения многопроекционного изображения, для того чтобы передать зрителю впечатление о глубине. В статье "Synthesis of multi viewpoint images at non-intermediate positions" by P. A. Redert, E. A. Hendriks, and J. Biemond, in Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN 0-8186-7919-0, pages 2749-2752, IEEE Computer Society, Los Alamitos, California, 1997 раскрыт способ получения информации о глубине и получения многопроекционного изображения на основе входного изображения и карты глубины. Многопроекционное изображение представляет собой набор изображений, отображаемых многопроекционным устройством дисплея для создания трехмерного впечатления. Как правило, изображения набора создают на основе входного изображения. Создание одного из этих изображений выполняют путем сдвига пикселей входного изображения на соответствующую величину сдвига. Такие величины сдвига называют несоответствиями. Таким образом, обычно для каждого пикселя имеется соответствующее значение несоответствия, которые вместе формируют карту несоответствия. Значения несоответствия и значения глубины обычно имеют обратную взаимозависимость, то есть:
где S представляет собой несоответствие, α - постоянное значение и D представляет глубину. Создание карты глубины рассматривается эквивалентным созданию карты несоответствий. В данном описании значения несоответствия и значения глубины оба охватываются термином глубина, который относится к элементам данных.
Между различными модулями обработки изображения и, в конечном итоге, устройством дисплея требуется осуществлять обмен видеоданными, то есть сигналом изображения и соответствующими данными о глубине, в частности, в многопроекционном устройстве дисплея. Обычно обмен видеоданными осуществляют с помощью линии RGB (КЗС, система цветопередачи "красный-зеленый-синий"). Это означает, что три коррелированных, но разделенных потока данных передают по трем каналам. Примеры стандартов, которые основаны на такой линии RGB, представляют собой DVI (ЦВИ, цифровой видеоинтерфейс) и LVDS (ДСНН, дифференциальная сигнализация низкого напряжения). Однако в случае трехмерного изображения, вместе с видеоданными, также требуется осуществлять обмен данными, относящимися к глубине.
Цель изобретения состоит в создании способа такого вида, как описано во вводных параграфах, который был бы адаптирован к существующим видеоинтерфейсам.
Эта цель изобретения достигается тем, что способ содержит:
- преобразуют входной сигнал изображения, представляющий данные изображения, содержащий заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, в выходной сигнал изображения, содержащий компонент яркости и компонент цветности;
- комбинируют выходной сигнал изображения с соответствующими данными о глубине с получением комбинированного сигнала, содержащего компонент яркости, компонент цветности и компонент глубины, который основан на данных о глубине; и
- передают комбинированный сигнал по множеству каналов, количество которых равно заданному количеству входных компонентов цвета.
Благодаря преобразованию входного сигнала изображения, содержащего заданное количество входных компонентов цвета, в выходной сигнал изображения, имеющий, по меньшей мере, на один компонент меньше, чем входной сигнал изображения, создают пространство для обмена данными о глубине.
Как правило, входные компоненты цвета содержат красный компонент (R), зеленый компонент (G) и синий компонент (B).
Предпочтительно, компонент яркости передают по первому одному из каналов, компонент цветности передают по второму одному из каналов и компонент глубины передают по третьему одному из каналов.
Каждый из каналов имеет определенную полосу пропускания, то есть максимальное количество информации, которая может быть передана за единицу времени. Предпочтительно, комбинированная передача данных изображения и соответствующих данных о глубине выполняется таким образом, что применяемая полоса пропускания для множества каналов, по существу, является взаимно одинаковой. Это означает, что, по существу, выполняют передачу одинакового количества информации по соответствующим каналам. Для достижения этого, предпочтительно, чтобы компонент цветности содержал дополнительное количество выходных компонентов цвета, которые рассчитывают на основе пространственной подвыборки входного сигнала изображения, и чтобы дополнительное количество выходных компонентов было передано по второму из каналов путем мультиплексирования.
Обмен информацией содержит передачу и прием. Способ, описанный и рассмотренный выше, относится к передающей части обмена данными. Другая цель изобретения состоит в создании соответствующего способа, который относится к приемной части обмена данными и который также адаптирован к существующим видеоинтерфейсам.
Эта цель изобретения достигается тем, что соответствующий способ содержит:
- принимают комбинированный сигнал, содержащий компонент яркости и компонент цветности, представляющий данные изображения и содержащий компонент глубины, который основан на данных о глубине, причем комбинированный сигнал передают по множеству каналов;
- выделяют компонент яркости и компонент цветности из комбинированного сигнала; и
- преобразуют компонент яркости и компонент цветности в сигнал изображения, представляющий данные изображения, причем этот сигнал изображения содержит заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, в соответствии с чем заданное количество входных компонентов цвета равно количеству каналов.
Дополнительная цель изобретения состоит в предоставлении передающего модуля такого типа, как описан во вводном параграфе, и который адаптирован к существующим видеоинтерфейсам.
Эта цель изобретения достигается тем, что передающий модуль содержит:
- средство преобразования, предназначенное для преобразования входного сигнала изображения, представляющего данные изображения, содержащие заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, в выходной сигнал изображения, содержащий компонент яркости и компонент цветности;
- средство комбинирования, предназначенное для комбинирования выходного сигнала изображения с соответствующими данными о глубине, с получением комбинированного сигнала, содержащего компонент яркости, компонент цветности и компонент глубины, который основан на данных о глубине; и
- средство вывода, предназначенное для вывода комбинированного сигнала по множеству каналов, количество которых равно заданному количеству входных компонентов цвета.
Дополнительная цель изобретения состоит в создании приемного модуля такого типа, как описан во вводном параграфе, который является адаптированным к существующим видеоинтерфейсам.
Эта цель изобретения достигается тем, что приемный модуль содержит:
- средство приема, предназначенное для приема комбинированного сигнала, содержащего компонент яркости и компонент цветности, представляющий данные изображения и содержащий компонент глубины, который основан на данных о глубине, причем комбинированный сигнал передают по множеству каналов;
- средство выделения, предназначенное для выделения компонента яркости и компонента цветности из комбинированного сигнала;
- средство преобразования, предназначенное для преобразования компонента яркости и компонента цветности в сигнал изображения, представляющий данные изображения, причем сигнал изображения содержит заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, в соответствии с чем заданное количество входных компонентов цвета равно количеству каналов.
Дополнительная цель изобретения состоит в предоставлении устройства обработки изображения такого типа, как описано во вводном параграфе, которое адаптировано к существующим видеоинтерфейсам.
Эта цель изобретения достигается тем, что устройство обработки изображения содержит модуль передачи, как описано выше.
Еще одна цель изобретения состоит в предоставлении многопроекционного устройства дисплея такого типа, как описано во вводном параграфе, которое адаптировано к существующим видеоинтерфейсам.
Эта цель изобретения достигается тем, что многопроекционное устройство дисплея содержит приемный модуль, как описано выше.
Модификации передающего модуля, приемного модуля и их варианты могут соответствовать модификациям и их вариантам устройства обработки изображения, многопроекционного устройства дисплея и описываемых способов.
Эти и другие аспекты передающего модуля, приемного модуля, устройства обработки изображения, многопроекционного устройства дисплея и способов в соответствии с изобретением будут понятны из и могут быть выведены для вариантов воплощения и вариантов осуществления, описанных ниже и со ссылкой на прилагаемые чертежи, на которых:
на фиг.1 схематично представлено первое устройство обработки, соединенное со вторым устройством обработки;
на фиг.2 схематично представлен вариант воплощения передающего модуля в соответствии с изобретением;
на фиг.3 схематично показан вариант воплощения приемного модуля в соответствии с изобретением; и
на фиг.4 схематично показано устройство обработки изображения, содержащее многопроекционное устройство дисплея, также в соответствии с изобретением.
Одинаковые номера ссылочных позиций используются для обозначения аналогичных частей на чертежах.
На фиг.1 схематично показано первое устройство 100 обработки, соединенное со вторым устройством 102 обработки. Первое устройство 100 обработки и второе устройство обработки могут представлять собой интегральные схемы (IC, ИС), такие как процессор для обработки изображений и устройство управления дисплеем соответственно. В качестве альтернативы, первое устройство 100 обработки является более сложным устройством, таким как персональный компьютер (ПК), и второе устройство 102 обработки представляет собой многопроекционное устройство дисплея, например монитор. Первое 100 и второе устройство 102 обработки соединены с помощью физического соединения. Физическое соединение основано, например, на витой паре или на витой паре с проводом заземления для последовательной передачи данных. Следует отметить, что также возможна параллельная передача данных.
На основе физического соединения реализованы три логических соединения. Каждое логическое соединение соответствует каналу 108-112 для транспортировки данных между первым устройством 100 обработки и вторым устройством 102 обработки. Примеры соединений основаны на стандартах, таких как DVI или LVDS.
Формат данных, применяемый в контексте первого устройства 100 обработки, основан на четырех компонентах. Имеется три входных компоненты цвета R, G, B, которые вместе представляют данные изображения, и имеется четвертый компонент D, который соответствует данным, относящимся к глубине. Обычно данные содержатся в виде двумерных матриц, содержащих для каждого пикселя Pi выборку Ri, выборку Gi, выборку Bi и выборку Di.
Формат данных, применяемый в контексте второго устройства 102 обработки, эквивалентен формату данных, применяемому в контексте первого устройства 100 обработки и, следовательно, также основан на четырех компонентах.
Как упомянуто выше, имеется только три логических соединения между первым 100 и вторым устройством 102 обработки. Для обмена данными изображения в комбинации с соответствующими данными о глубине, первое устройство 100 обработки содержит передающий модуль 104 в соответствии с изобретением, и второе устройство 102 обработки содержит приемный модуль 106 в соответствии с изобретением. Комбинация передающего модуля 104, физического соединения между первым 100 и вторым 102 устройствами обработки и приемного модуля 106 позволяет выполнять обмен данными между первым 100 и вторым 102 устройствами обработки. В основном, обмен основан на первом преобразовании данных изображения в промежуточные данные, комбинировании промежуточных данных с данными о глубине, передаче, отделении данных о глубине от промежуточных данных и втором преобразовании промежуточных данных в данные изображения.
На фиг.2 схематично показан вариант воплощения передающего модуля 104 в соответствии с изобретением. Передающий модуль 104 выполнен с возможностью комбинировать данные изображения и соответствующие данные о глубине для передачи комбинированных данных. Передающий модуль 104 содержит:
- модуль 202 преобразования, предназначенный для преобразования входного сигнала изображения, представляющего данные изображения, содержащего заданное количество входных компонентов цвета R, G, B, в выходной сигнал изображения, содержащий компонент Y яркости и компонент C цветности;
- модуль 204 комбинирования, предназначенный для комбинирования выходного сигнала с соответствующими данными D о глубине в комбинированный сигнал, содержащий компонент Y яркости, компонент C цветности и компонент D глубины, который основан на данных о глубине; и
- модуль 206 вывода, предназначенный для вывода комбинированного сигнала по множеству каналов, количество которых равно заданному количеству входных компонентов цвета.
Модуль 202 преобразования, модуль 204 комбинирования и модуль 206 вывода могут быть воплощены с использованием одного процессора. Обычно эти функции выполняются под управлением программного продукта. Во время выполнения, обычно, программный продукт загружают в запоминающее устройство, такое как ОЗУ, и выполняют из него. Программа может быть загружена из фонового запоминающего устройства, такого как ПЗУ, жесткий диск или магнитный и/или оптический накопитель, или может быть загружена через сеть, такую как Интернет. В случае необходимости, раскрытые функции воплощаются в виде специализированной интегральной схемы.
Предпочтительно, компонент C цветности содержит два выходных компонента U и V цвета. Модуль 202 преобразования выполнен с возможностью расчета выборок компонента яркости и двух выходных компонентов цвета, на основе трех входных компонентов R, G, B цвета, как определено в Уравнениях 2-4
Y=R*0,299+G*0,587+B*0,114 (2)
U=R*-0,147+G*-0,289+B*0,437 (3)
V=R*0,615+G*-0,515+B*-0,1 (4)
Предпочтительно, пространственную подвыборку применяют для уменьшения количества выборок U и V в два раза. В результате, количество Y i выборок в два раза больше, чем количество выборок Ui , и в два раза больше количества выборок V i. Перед выполнением подвыборки, предпочтительно, применяют фильтр низкой частоты.
Модуль 204 комбинирования выполнен с возможностью комбинирования соответствующих выборок компонента Y яркости, первого компонента U выходного цвета, второго компонента V выходного цвета и компонента D глубины в последовательности триплетов выборок, например:
(Y1,U1,D1),(Y2,V1,D2),(Y3,U3,D3),(Y4,V3,D4),(Y5,U5,D5),(Y6,V5,D6)…
Следует отметить, что триплеты, в качестве альтернативы, включают в себя выборку первого выходного компонента U цвета и второго выходного компонента V цвета.
Модуль 206 вывода выполнен с возможностью вывода триплетов выборок в логические соединения, например, каналы. В представленной ниже таблице указано, как распределяют выборки по каналам.
| Первый канал | Y 1 | Y 2 | Y 3 | Y 4 | Y 5 | Y 6 | Y 7 | Y 8 | Y 9 |
| Второй канал | U 1 | V 1 | U 3 | V 3 | U 5 | V 5 | U 7 | V 7 | U 9 |
| Третий канал | D 1 | D 2 | D 3 | D 4 | D 5 | D 6 | D 7 | D 8 | D 9 |
Предпочтительно, модуль 206 вывода содержит параллельно-последовательный преобразователь. Как правило, выборки представлены количеством битов в диапазоне от 8 до 12. Предпочтительно, передачу данных по физическому соединению осуществляют с помощью последовательной передачи. По этой причине биты, представляющие последовательные выборки, располагают в виде последовательности по времени.
На фиг.3 схематично представлен вариант воплощения приемного модуля 106 в соответствии с изобретением. Приемный модуль 106 выполнен с возможностью приема комбинированных данных, содержащих данные изображения и соответствующие данные о глубине, и выполнен с возможностью разложения комбинированных данных. Приемный модуль 106 содержит:
- модуль 306 приема, предназначенный для приема комбинированного сигнала, содержащего компонент яркости и компонент цветности, представляющие данные изображения, и содержащего компонент глубины, который основан на данных о глубине, причем комбинированный сигнал передают по множеству каналов;
- модуль 304 выделения, предназначенный для выделения компонента яркости и компонента цветности из комбинированного сигнала; и
- модуль 302 преобразования, предназначенный для преобразования компонента яркости и компонента цветности в сигнал изображения, представляющий данные изображения, причем сигнал изображения содержит заданное количество входных компонентов цвета, в результате чего заданное количество входных компонентов цвета равно количеству каналов.
Модуль 306 приема, модуль 304 выделения и модуль 302 преобразования могут быть воплощены с использованием одного процессора. Обычно эти функции выполняются под управлением программного продукта. Во время выполнения обычно программный продукт загружают в запоминающее устройство, такое как ОЗУ, и выполняют из него. Программа может быть загружена из фонового запоминающего устройства, такого как ПЗУ, жесткий диск или магнитный, и/или оптический накопитель, или может быть загружена через сеть, такую как Интернет. В случае необходимости, раскрытые функции могут быть обеспечены с использованием специализированной интегральной микросхемы.
Предпочтительно, модуль 306 приема содержит последовательно-параллельный преобразователь. По физическому соединению, по которому передают комбинированный сигнал в приемный модуль 106, данными предпочтительно обмениваются с использованием последовательной передачи. Однако обычно формат данных в контексте приемного модуля 106 является таким, что более удобным является непосредственный доступ ко всем битам выборок, то есть, параллельный доступ к данным.
Модуль 304 выделения выполнен с возможностью выделения компонента Y яркости и компонента C цветности из комбинированного сигнала в том виде, как его принимает модуль 306 приема из приемного модуля 106. Компонент C цветности содержит два выходных компонента U и V цвета. Модуль 304 выделения также выполнен с возможностью выделения выборок глубины из комбинированного сигнала.
Модуль 202 преобразования выполнен с возможностью расчета выборок трех входных компонентов R, G, B цвета на основе выборок компонента Y яркости и двух выходных компонентов U и V цвета, как представлено в Уравнениях 5-7:
R=Y∗1+U∗0+V∗1,14 (5)
G=Y∗1+U∗-0,39+V∗-0,58 (6)
B=Y∗1+U∗2,03+V∗0 (7)
Следует отметить, что вместо модели цвета YUV может использоваться альтернативная модель компонентов цвета, например, YIQ, YCbCr, PhotoYCC.
На фиг.4 схематично показано устройство 400 обработки изображения, содержащее многопроекционное устройство 406 дисплея, оба в соответствии с изобретением. Устройство 400 обработки изображения содержит:
- приемник 402, предназначенный для приема видеосигнала, представляющего входные изображения;
- модуль 404 анализа изображения, предназначенный для выделения данных, относящихся к глубине, из входных изображений; и
- многопроекционное устройство 406 дисплея, предназначенное для отображения многопроекционных изображений, которые получают с помощью многопроекционного устройства отображения на основе предоставленных данных изображения и в соответствии с данными о глубине.
Данные изображения и соответствующие данные о глубине передают между модулем 404 анализа изображения и многопроекционным устройством 406 дисплея с использованием комбинированного сигнала, как описано со ссылкой на фиг.2 и 3. Модуль 404 анализа изображения содержит передающий модуль 104, описанный со ссылкой на фиг.2. Многопроекционное устройство 406 дисплея содержит приемный модуль 106, как описано со ссылкой на фиг.3.
Видеосигнал может представлять собой широковещательный сигнал, принимаемый через антенну или кабель, но также может представлять собой сигнал из устройства-накопителя, такого как VCR (КВЗ, кассетное устройство видеозаписи) или цифровой универсальный диск (ЦУД, DVD). Сигнал подают на входной соединитель 410. Устройство 400 обработки изображения может представлять собой, например, телевизор. В качестве альтернативы, устройство 400 обработки изображения может не содержать необязательное устройство дисплея, но может предоставлять выходные изображения на устройство, которое действительно содержит устройство 406 дисплея. Затем устройство 400 обработки изображения может представлять собой, например, телевизионную приставку, спутниковый тюнер, проигрыватель VCR, проигрыватель DVD или устройство записи. Необязательно устройство 400 обработки изображения содержит средство накопителя, такое как жесткий диск или средство сохранения на съемном носителе, например на оптических дисках. Устройство 500 обработки изображения также может представлять собой систему, используемую киностудией или широковещательной студией.
Многопроекционное устройство 406 дисплея содержит модуль 408 просчета изображений, который выполнен с возможностью генерирования последовательности многопроекционных изображений на основе принимаемого комбинированного сигнала. Модуль 408 просчета изображений выполнен с возможностью подачи, по меньшей мере, двух коррелированых потоков видеоизображений в многопроекционное устройство дисплея, которое выполнено с возможностью визуализации первой последовательности видов на основе первого из коррелированных потоков видеоизображений и визуализации второй последовательности видов на основе второго из коррелированных потоков видеоизображений. Если пользователь, то есть зритель, наблюдает первую последовательность видов своим левым глазом и вторую последовательность видов своим правым глазом, он воспринимает трехмерные изображения. Возможен случай, когда первый из коррелированных потоков видеоизображений соответствует последовательности видеоизображений в том виде, как они принимаются посредством комбинированного сигнала, и что второй из коррелированных потоков видеоизображений получают путем соответствующего сдвига на основе предоставленных данных о глубине. Предпочтительно, оба потока видеоизображений получают на основе последовательности видеоизображений в том виде, как она принимается.
В статье "Synthesis of multi viewpoint images at non-intermediate positions" by P.A. Redert, E. A. Hendriks, and J. Biemond, in Proceedings of International Conference on Acoustics, Speech, and Signal Processing, Vol. IV, ISBN 0-8186-7919-0, pages 2749-2752, IEEE Computer Society, Los Alamitos, California, 1997 раскрыт способ выделения информации о глубине и получения многопроекционного изображения на основе входного изображения и карты глубины. Модуль 404 анализа изображения представляет собой вариант воплощения для раскрытого способа выделения информации о глубине. Модуль 408 просчета изображения представляет собой вариант воплощения способа просчета, описанного в статье.
Следует отметить, что упомянутые выше варианты воплощения представляют собой скорее иллюстрацию, чем ограничения изобретения, и что для специалиста в данной области техники будет понятно, как можно сконструировать альтернативные варианты воплощения без выхода за пределы объема прилагаемой формулы изобретения. В формуле изобретения любые номера ссылочных позиций, помещенные между круглыми скобками, не следует рассматривать как ограничение пункта формулы изобретения. Слово "содержащий" не исключает присутствие элементов или этапов, не представленных в пункте формулы изобретения. Слова "a" или "an" (неопределенные артикли единственного числа в английском языке), расположенные перед элементом, не исключают присутствие множества таких элементов. Изобретение может быть воплощено с использованием аппаратных средств, содержащих несколько различных элементов, и с использованием соответствующего запрограммированного компьютера. В пунктах формулы изобретения, направленных на устройство, в которых представлено несколько средств, несколько из этих средств могут быть воплощены с использованием одного и того же элемента аппаратных или программных средств. Использование слов первый, второй и третий и так далее не обозначает какой-либо порядок. Эти слова следует интерпретировать как названия.
1. Способ комбинированной передачи данных изображения и соответствующих данных о глубине, содержащий следующие этапы:
преобразуют входной сигнал изображения, представляющий данные изображения, содержащие заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты (R, G, В) цвета, в выходной сигнал изображения, содержащий компонент яркости и компонент цветности; комбинируют выходной сигнал изображения с соответствующими данными о глубине с получением комбинированного сигнала, содержащего компонент яркости, компонент цветности и компонент (D) глубины, который основан на данных о глубине; и передают комбинированный сигнал по множеству каналов (108-112), количество которых равно заданному количеству входных компонентов (R, G, В) цвета.
2. Способ по п.1, в соответствии с которым компонент яркости передают по первому одному из каналов, компонент цветности передают по второму одному из каналов, и компонент глубины передают по третьему одному из каналов.
3. Способ по пп.1 или 2, в соответствии с которым доступная полоса пропускания, по существу, имеет взаимноравную величину для множества каналов.
4. Способ по п.1, в соответствии с которым компонент цветности содержит дополнительное количество выходных компонентов цвета, которые рассчитывают на основе пространственной подвыборки входного сигнала изображения.
5. Способ по п.4, в соответствии с которым дополнительное количество выходных компонентов передают по второму одному из каналов с использованием мультиплексирования.
6. Передающий модуль (104), предназначенный для комбинированной передачи данных изображения и соответствующих данных о глубине, содержащий
средство (202) преобразования, предназначенное для преобразования входного сигнала изображения, представляющего данные изображения, содержащие заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, в выходной сигнал изображения, содержащий компонент яркости и компонент цветности;
средство (204) комбинирования, предназначенное для комбинирования выходного сигнала изображения с соответствующими данными о глубине с получением комбинированного сигнала, содержащего компонент яркости, компонент цветности и компонент глубины, который основан на данных о глубине; и
средство (206) вывода, предназначенное для вывода комбинированного сигнала по множеству каналов, количество которых равно заданному количеству входных компонентов цвета.
7. Устройство обработки (400) изображения, содержащее передающий модуль по п.6.
8. Способ комбинированного обмена данными изображения и соответствующими данными о глубине, содержащий
принимают комбинированный сигнал, содержащий компонент яркости и компонент цветности, представляющие данные изображения, и содержащий компонент глубины, который основан на данных о глубине, причем комбинированный сигнал является переданным по множеству каналов;
выделяют компонент яркости и компонент цветности из комбинированного сигнала;
преобразуют компонент яркости и компонент цветности в сигнал изображения, представляющий данные изображения, причем сигнал изображения содержит заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, причем заданное количество входных компонентов цвета равно количеству каналов.
9. Приемный модуль (106), предназначенный для комбинированного обмена данными изображения и соответствующими данными о глубине, содержащий
средство (306) приема, предназначенное для приема комбинированного сигнала, содержащего компонент яркости и компонент цветности, представляющие данные изображения, и содержащий компонент глубины, который основан на данных о глубине, причем комбинированный сигнал передан по множеству каналов;
средство (304) выделения, предназначенное для выделения компонента яркости и компонента цветности из комбинированного сигнала; и
средство (302) преобразования, предназначенное для преобразования компонента яркости и компонента цветности в сигнал изображения, представляющий данные изображения, причем сигнал изображения содержит заданное количество входных компонентов цвета, содержащих красный, зеленый и синий компоненты цвета, причем заданное количество входных компонентов цвета равно количеству каналов (108-112).
10. Многопроекционное устройство (408) дисплея, содержащее приемный модуль (106) по п.9.
