Устройство формирования изображений и способ управления им
Изобретение относится к устройству формирования изображения и способу управления им. Устройство включает множество элементов формирования изображений, имеющих множество фотодиодов, которые осуществляют фотоэлектрическое преобразование светового потока. Устройство формирования изображений формирует составное изображение на основе изображения для левого глаза и изображения для правого глаза. Устройство формирования также вычисляет величину позиционного сдвига изображения для левого глаза относительно позиции составного изображения в качестве величины параллакса и сохраняет информацию, касающуюся величины параллакса, в качестве карты параллакса. Устройство формирования изображений формирует подлежащие воспроизведению изображение для левого глаза и изображение для правого глаза посредством сдвига объекта, содержащегося на составном изображении, в позицию, соответствующую величине параллакса, указанной картой параллакса. 2 н. и 3 з.п. ф-лы, 9 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству формирования изображений и способу управления им.
Уровень техники
В последние годы наблюдался стремительный рост распространения устройств, связанных со стереоскопическими изображениями, таких как трехмерные (3D) кинотеатры, устройства 3D-отображения или т.п. Фотографирование стереоскопических изображений обычно осуществлялось кинокамерами или т.п. Тем не менее, с распространением цифровых устройств формирования изображений стало общепринятым фотографирование исходных изображений для формирования стереоскопических изображений с использованием цифровых камер, цифровых видеокамер или т.п.
Согласно технике, с помощью которой пользователь просматривает стереоскопическое изображение, данные изображения для правого глаза и изображения для левого глаза с параллаксом в левом и правом направлении создаются так, чтобы соответствовать изображению объекта, просматриваемого левым глазом, и изображению объекта, просматриваемого правым глазом. Пользователь может просматривать стереоскопические изображения путем просмотра изображения для правого глаза и изображения для левого глаза его/ее правым глазом и левым глазом соответственно. Примеры такого способа включают в себя способ разделения подлежащего просмотру изображения с параллаксом, такой как способ с параллаксным барьером, лентикулярный способ или т.п. Также известен способ обеспечения разных изображений для левого глаза и правого глаза пользователя через фильтр, обладающий разными характеристиками между своими левой и правой сторонами.
С другой стороны, в качестве способа съемки изображения, которое просматривается как стереоскопическое изображение, в патентной литературе 1 и 2 раскрываются способы одновременной съемки изображений в разных точках наблюдения. Патентная литература 1 раскрывает твердотельный элемент формирования изображений, в котором сформировано множество микролинз и расположена по меньшей мере одна пара фотодиодов вблизи каждой из микролинз. В этой паре фотодиодов первый сигнал изображения получается с выхода одного фотодиода, а второй сигнал изображения получается с выхода другого фотодиода. Пользователь может просматривать стереоскопическое изображение, используя первый и второй сигналы изображения в качестве изображения для левого глаза и изображения для правого глаза соответственно.
Также в патентной литературе 2 раскрывается выходная карта параллакса, обладающая выходным элементом с выходным значением, соответствующим сдвигу, который должен быть применен к каждому пикселю первого изображения. Второе изображение можно сформировать на основе выходной карты параллакса и первого изображения.
Список цитированной литературы
Патентная литература
[Патентная литература 1] Опубликованный японский патент № 58-24105
[Патентная литература 2] Опубликованный японский патент № 2008-518317
Для просмотра стереоскопического изображения требуется просматривать изображения с параллаксом в левом и правом направлении соответствующими , глазами, как описано в данной области техники. Таким образом, в любой из технологий, описанных в данной области техники, требуется создать «изображение для левого глаза» для просмотра левым глазом пользователя и «изображение для правого глаза» для просмотра правым глазом пользователя.
Тем не менее, при осуществлении фотографирования с использованием твердотельного элемента формирования изображений, раскрытого в патентной литературе 1, в котором сформировано множество микролинз и расположена по меньшей мере одна пара фотодиодов вблизи каждой из микролинз, могут возникнуть следующие проблемы. Предположим, что один из пары фотодиодов выводит изображение для левого глаза, которое получено посредством фотоэлектрического преобразования светового потока, прошедшего через область выходного зрачка оптической системы формирования изображений, а другой фотодиод выводит изображение для правого глаза, которое получено посредством фотоэлектрического преобразования светового потока, прошедшего через область, отличную от области выходного зрачка. В этом случае, в зависимости от типа объекта, ни изображение для левого глаза, ни изображение для правого глаза не может быть изображением, отражающим форму объекта.
Например, в фотокадре, в котором свет от точечного источника света фотографируется размытым образом, должна исходно получаться фотография источника света, размытого в виде кругов. Однако при съемке изображения твердотельным элементом формирования изображений, раскрытым в патентной литературе 1, снятое изображение может быть в форме полукруга или эллипса, не отражающего форму объекта. Кроме того, например, форма объекта, которая получается на снятом изображении, фотографируется разным способом между изображением для левого глаза и изображением для правого глаза, так что отсутствует левая половина объекта на изображении для левого глаза и отсутствует правая половина объекта на изображении для правого глаза. Причина этого состоит в том, что из светового потока, испускаемого из выходного зрачка оптической системы формирования изображений, область света, принятого фотодиодом, различается вдоль оптической оси, случающей в качестве границы.
Даже когда устройство формирования изображений выполнено с возможностью формирования изображения для правого глаза на основе изображения для левого глаза и карты параллакса, применяя технологию, раскрытую в патентной литературе 2, все еще возникают следующие проблемы. В частности, форма объекта на изображении для левого глаза, на основе которого формируется изображение для правого глаза, отличается от формы фактического объекта, и, тем самым, изображение для правого глаза, корректно отражающее форму объекта, не может быть сформировано, даже если используется карта параллакса.
Раскрытие изобретения
Устройство формирования изображений по настоящему изобретению включает в себя элемент формирования изображений, имеющий множество блоков фотоэлектрического преобразования, выполненных с возможностью фотоэлектрического преобразования светового потока, прошедшего через другую область выходного зрачка оптической системы формирования изображений, и вывода изображения, и формирует изображение для правого глаза/изображение для левого глаза, корректно отражающее форму объекта, на основе выходного изображения и величины параллакса.
Согласно аспекту настоящего изобретения, предложено устройство формирования изображений, которое включает в себя элемент формирования изображений, содержащий множество пикселей, каждый из которых имеет первый блок фотоэлектрического преобразования, выполненный с возможностью вывода изображения для левого глаза путем фотоэлектрического преобразования светового потока, прошедшего через область выходного зрачка оптической системы формирования изображений, и второй блок фотоэлектрического преобразования, выполненный с возможностью вывода изображения для правого глаза путем фотоэлектрического преобразования светового потока, прошедшего через область, отличную от области выходного зрачка; первый блок формирования изображений, выполненный с возможностью формирования составного изображения путем сложения изображения для левого глаза, выведенного первым блоком фотоэлектрического преобразования, и изображения для правого глаза, выведенного вторым блоком фотоэлектрического преобразования, для каждого пикселя; блок вычисления параллакса, выполненный с возможностью вычисления величины позиционного сдвига изображения для левого глаза/изображения для правого глаза относительно позиции сформированного составного изображения в качестве величины параллакса и сохранения вычисленной величины параллакса в блоке памяти; и второй блок формирования изображений, выполненный с возможностью формирования подлежащих воспроизведению изображения для левого глаза и изображения для правого глаза посредством сдвига объекта, содержащегося на сформированном составном изображении, в позицию, соответствующую величине параллакса, сохраненной в блоке памяти.
Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания примерных вариантов осуществления со ссылкой на приложенные чертежи.
Краткое описание чертежей
Фиг. 1 - схема, схематично иллюстрирующая общую конфигурацию элемента формирования изображений в соответствии с вариантом осуществления настоящего изобретения.
Фиг. 2А - схема, иллюстрирующая конфигурацию одного пикселя.
Фиг. 2В - схема, иллюстрирующая расположение массива 101 пикселей.
Фиг. 3 - концептуальная схема, иллюстрирующая, как световые потоки, испущенные из выходного зрачка фотообъектива, поступают в элемент формирования изображений.
Фиг. 4 - схема, иллюстрирующая примерную конфигурацию устройства формирования изображений по настоящему изобретению.
Фиг. 5А-5С - схемы, иллюстрирующие пример обработки для формирования карты параллакса в соответствии с первым вариантом осуществления.
Фиг. 6 - схема, схематично иллюстрирующая карту параллакса. Осуществление изобретения
Фиг. 1 - схема, схематично иллюстрирующая примерную конфигурацию элемента формирования изображений, который применяется в устройстве формирования изображений по настоящему изобретению. Элемент 100 формирования изображений включает в себя массив 101 пикселей, схему 102 выбора по вертикали, которая выбирает ряд в массиве 101 пикселей, и схему 104 выбора по горизонтали, которая выбирает столбец в массиве 101 пикселей. Схема 103 считывания считывает сигнал пикселя, который был выбран из пикселей в массиве 101 пикселей схемой 102 выбора по вертикали. Схема 103 считывания обладает памятью для накопления сигналов, усилителем с коэффициентом усиления и AD-преобразователем или т.п. для каждого столбца.
Блок 105 последовательных интерфейсов (SI) определяет режим работы каждой схемы в соответствии с инструкциями, предоставленными внешней схемой. Схема 102 выбора по вертикали последовательно выбирает множество рядов массива 101 пикселей так, что сигнал(ы) пикселя выводятся схеме 103 считывания. Схема 104 выбора по горизонтали также последовательно выбирает множество сигналов пикселя, считанных схемой 103 считывания для каждого ряда. Следует отметить, что элемент 100 формирования изображений включает в себя синхрогенератор, который предоставляет синхросигнал схеме 102 выбора по вертикали, схеме 104 выбора по горизонтали, схеме 103 считывания и т.п., схему управления и т.п. в дополнение к компонентам, показанным на Фиг. 1, но их подробное описание будет опущено.
Фиг. 2А и 2В - схемы, иллюстрирующие примерную конфигурацию пикселя элемента 100 формирования изображений. Фиг. 2А схематически показывает конфигурацию одного пикселя. Фиг. 2В показывает расположение массива 101 пикселей. Пиксель 201, показанный на Фиг. 2А, имеет микролинзу 202, служащую в качестве оптического элемента, и множество фотодиодов (далее сокращенно упоминаемых как «PD»), служащих в качестве элементов для приема света.
Хотя на Фиг. 2А показан пример, в котором левосторонний PD 203 и правосторонний PD 204 предусмотрены в отношении одного пикселя, три или более (например, четыре или девять) PD также могут быть использованы. PD 203 осуществляет фотоэлектрическое преобразование принятого светового потока, чтобы, тем самым, вывести изображение для левого глаза. PD 204 осуществляет фотоэлектрическое преобразование принятого светового потока, чтобы, тем самым, вывести изображение для правого глаза. Следует отметить, что помимо компонентов, показанных на Фиг. 2А, пиксель 201 также включает в себя усилитель пикселя для вывода PD-сигнала схеме 103 считывания, переключатель выбора ряда и переключатель сброса для сбрасывания PD-сигнала.
Чтобы обеспечить двумерное изображение, массив 101 пикселей сформирован в виде двумерного массива, такого как множество пикселей 301, 302, 303 и 304, показанных на Фиг. 2В. Каждый из PD 301L, 302L, 303L и 304L соответствует PD 203, показанному на Фиг. 2А. Каждый из PD 301R, 302R, 303R и 304R также соответствует PD 204, показанному на Фиг. 2А. Другими словами, устройство формирования изображений в настоящем варианте осуществления включает в себя элемент формирования изображений, включающий в себя множество пикселей, каждый из которых имеет первый блок фотоэлектрического преобразования (PD 203), выполненный с возможностью вывода изображения для левого глаза, и второй блок фотоэлектрического преобразования (PD 204), выполненный с возможностью вывода изображения для правого глаза.
Далее будет дано описание приема света элементом 100 формирования изображений, имеющим конфигурацию пикселей, показанную на Фиг. 2В. Фиг. 3 - концептуальная схема, иллюстрирующая, как световые потоки, испущенные из выходного зрачка фотообъектива, поступают в элемент 100 формирования изображений.
Массив 101 пикселей имеет микролинзу 202, цветофильтр 403 и PD 404 и 405. PD 404 и 405 соответствуют PD 203 и 204, показанным на Фиг. 2А, соответственно.
На Фиг. 3 центральная ось светового потока, испущенного из выходного зрачка 406 фотообъектива в микролинзу 202, представляет собой оптическую ось 409. Свет, испущенный из выходного зрачка 406, поступает в элемент 100 формирования изображений вокруг оптической оси 409. Каждая из частичных областей 407 и 408 представляет собой область выходного зрачка 406 фотообъектива. Световые пучки 410 и 411 являются наиболее удаленными периферийными световыми пучками света, проходящего через частичную область 407. Световые пучки 412 и 413 являются наиболее удаленными периферийными световыми пучками света, проходящего через частичную область 408.
Из световых потоков, испущенных из выходного зрачка 406, верхний световой поток поступает на PD 405, а нижний световой поток поступает на PD 404, причем оптическая ось 409 служит в качестве границы. Другими словами, каждый из PD 404 и 405 принимает световой поток, испущенный из другой области выходного зрачка фотографирующей оптической системы. Таким образом, каждый из элементов для приема света (PD 404 и 405) обнаруживает свет, который прошел через другую область выходного зрачка. Следовательно, в случае, когда свет от точечного источника света фотографируется размытым образом, каждый из элементов для приема света получает фотоизображение с разной формой.
Фиг. 4 - схема, иллюстрирующая примерную конфигурацию устройства формирования изображений в настоящем варианте осуществления. Со ссылкой на Фиг. 4 будет дано описание примерного применения элемента 100 формирования изображений, показанного на Фиг. 1, в цифровой камере, служащей в качестве устройства формирования изображений. Блок 501 объектива, составляющий оптическую систему формирования изображений, фокусирует свет, отраженный от объекта на элемент 505 формирования изображений. Элемент 505 формирования изображений соответствует элементу 100 формирования изображений, показанному на Фиг. 1, и имеет конфигурацию пикселей, показанную на Фиг. 2В.
Приводное устройство 502 объектива выполняет управление увеличением, управление фокусировкой, управление диафрагмой или т.п. Механический затвор 503 управляется приводным устройством 504 затвора. Элемент 505 формирования изображений преобразует изображение объекта, сфокусированное блоком 501 объектива, в сигнал изображения. Схема 506 обработки сигнала изображения выполняет различные виды обработки или коррекции по отношению к сигналу изображения, выведенному элементов 505 формирования изображений. Блок 507 формирования синхросигналов выводит синхросигнал, необходимый для элемента 505 формирования изображений или схемы 506 обработки сигнала изображения.
Блок 509 системного управления представляет собой блок управления, который выполняет различные вычисления и управляет устройством формирования изображений в целом. CPU (центральный блок обработки) (не показан), обеспеченный в нем, исполняет программу для выполнения обработки. В качестве операции, свойственной настоящему варианту осуществления, блок 509 системного управления формирует изображение для левого глаза и изображение для правого глаза, корректно отражающие форму объекта, на основе составного изображения, сформированного схемой 513 составления изображений, и карты параллакса, сформированной схемой 514 формирования карты параллакса. Блок 509 системного управления также воспроизводит сформированные изображения для левого глаза и правого глаза, и пользователь может, тем самым, просматривать стереоскопическое изображение. Следует отметить, что блок 509 системного управления может также устанавливать разность фаз AF путем обнаружения разности фаз между изображением для левого глаза и изображением для правого глаза.
Блок 508 памяти включает в себя память, которая временно хранит данные изображения. Интерфейсный блок 510 управления носителем данных (далее сокращенно упоминаемый как «I/F-блок») обеспечен для записи/считывания данных изображения в/с носителя 511 записи. Носитель 511 записи, который выполнен с возможностью извлечения из устройства формирования изображений, является полупроводниковым запоминающим устройством или т.п. Внешний I/F-блок 512 передает/принимает данные на/от внешнего устройства. Блок 516 отображения отображает различные виды информации или фотоизображений в соответствии с данными отображения из схемы 517 управления отображением.
Схема 506 обработки сигнала изображения выполняет обработку изображения посредством отнесения данных изображения, выведенных из элемента 505 формирования изображений, к изображению для левого глаза и изображению для правого глаза. Блок 508 памяти служит в качестве запоминающего блока, который хранит выходные данные, выведенные из схемы 506 обработки сигнала изображения, составное изображение, сформированное схемой составления изображений, и карту параллакса, сформированную схемой формирования карты параллакса.
Схема 513 составления изображений служит в качестве первого блока формирования изображений, который объединяет изображение для левого глаза с изображением для правого глаза, чтобы, тем самым, сформировать составное изображение. Схема 514 формирования карты параллакса служит в качестве блока вычисления параллакса, который выполняет следующую обработку. Схема 514 формирования карты параллакса вычисляет величину позиционного сдвига между изображением для левого глаза и изображением для правого глаза на основе позиции составного изображения в качестве величины параллакса и сохраняет информацию, касающуюся вычисленной величины параллакса, в качестве карты параллакса в блоке 508 памяти. Фотометрическое устройство 515 получает фотометрическое значение, необходимое для управления экспонированием.
Далее будет дано описание работы цифровой камеры во время формирования изображений. Когда включен основной источник питания, то включен источник питания блока схемы системного управления и также включен источник питания схемы системы обработки для формирования изображений, такой как схема 506 обработки сигнала изображения. Когда пользователь нажимает пусковую кнопку (не показана), схема 509 системного управления осуществляет вычисление применительно к обнаружению состояния фокусировки на основе данных от элемента 505 формирования изображений, чтобы, тем самым, вычислить расстояние между устройством формирования изображений и объектом. Затем приводное устройство 502 объектива приводит в действие перемещаемый объектив блока 501 объектива, и блок 509 системного управления определяет, соответствует ли состояние фокусировки состоянию «в фокусе».
Когда блок 509 системного управления определяет, что состояние фокусировки соответствует состоянию «не в фокусе», блок 509 системного управления управляет снова приводом блока 501 объектива, чтобы, тем самым, выполнить обработку обнаружения состояния фокусировки. Для вычисления расстояния между устройством формирования изображений и объектом, помимо способа вычисления расстояния из данных от элемента 505 формирования изображений, может также использоваться способ вычисления расстояния с использованием специализированного устройства измерения расстояния (не показано). Блок 509 системного управления начинает операцию фотографирования после определения того, что состояние фокусировки соответствует состоянию «в фокусе». При завершении операции фотографирования схема 506 обработки сигнала изображения обрабатывает сигнал изображения, выведенный из элемента 505 формирования изображений, и блок 509 системного управления управляет записью данных изображения в блок 508 памяти.
Данные изображения, выводимые из элемента 505 формирования изображений, выводятся в качестве сигналов изображения от множества PD. В примере, показанном на Фиг. 2В, сигналы изображения выводятся в порядке PD 301L, 301R, 302L, 302R, 303L, 303R, 304L и 304R. Схема 506 обработки сигналов изображения выполняет обработку изображения путем отнесения данных изображения, выведенных из элемента 505 формирования изображений, к данным изображения для левого глаза и данным изображения для правого глаза. Данные изображения для левого глаза представляют собой данные изображения, полученные в результате выбора и обработки только выходных сигналов от левосторонних PD 301L, 302L, 303L и 304L, показанных на Фиг. 2В. Данные изображения для правого глаза также представляют собой данные изображения, полученные в результате выбора и обработки только выходных сигналов от правосторонних PD 301R, 302R, 303R и 304R, показанных на Фиг. 2В. Данные изображения для левого глаза и данные изображения для правого глаза раздельно хранятся в блоке 508 памяти.
Блок 513 составления изображений считывает данные изображения для левого глаза и данные изображения для правого глаза, хранимые в блоке 508 памяти, чтобы, тем самым, сформировать составное изображение. Сформированные данные составного изображения сохраняются в блоке 508 памяти. Обработка изображения, выполняемая блоком 513 составления изображений, представляет собой обработку для вычисления дополнительного среднего значения для каждого пикселя изображения для левого глаза и изображения для правого глаза. Таким образом, составное изображение, сформированное посредством обработки изображения, имеет форму, отражающую форму объекта. Например, если объект имеет круглую форму и оба изображения для левого глаза и правого глаза имеют полукруглую форму, то составное изображение имеет такую же круглую форму, как у объекта.
Даже когда объект фотографируется с помощью элемента 505 формирования изображений в состоянии, в котором форма объекта различается между изображением для левого глаза и изображением для правого глаза, форма изображения объекта интерполируется посредством обработки изображений, выполняемой блоком 513 составления изображений, что приводит к формированию данных изображения в корректной форме. Следует отметить, что схема 506 обработки сигнала изображения может быть также выполнена с возможностью объединения изображения для левого глаза и изображения для правого глаза, оба из которых подлежат обработке изображений.
Далее схема 514 формирования карты параллакса формирует карту параллакса и сохраняет карту параллакса в блоке 508 памяти. Схема 514 формирования карты параллакса формирует карту параллакса посредством использования величины позиционного сдвига между изображением для левого глаза и изображением для правого глаза на основе позиции составного изображения в качестве величины параллакса.
Первый вариант осуществления
Далее будет дано описание первого варианта осуществления. Фиг. 5А-5С - схемы, иллюстрирующие пример обработки для формирования карты параллакса в соответствии с первым вариантом осуществления. Ссылочная позиция 601, показанная на Фиг. 5А, обозначает композицию изображения, полученного фотографированием объектов. Ссылочные позиции 602, 603 и 604 обозначают объекты. В композиции, показанной на Фиг. 5А, объекты 602, 603 и 604 расположены в виде массива в порядке сверху вниз. Кроме того, как показано на Фиг. 5С, объекты расположены рядом в направлении вглубь. Ссылочная позиция 604 обозначает ближайший объект, а ссылочная позиция 602 обозначает самый дальний объект.
На Фиг. 5В показано стереоизображение, полученное посредством фотографирования композиции, показанной на Фиг. 5А. Изображение 605 представляет собой изображение для левого глаза, а изображение 606 - изображение для правого глаза. На изображении 605 для левого глаза объекты 602, 603 и 604 обозначены как 607L, 608L и 609L соответственно. На изображении 606 для правого глаза объекты 602, 603 и 604 обозначены как 607R, 608R и 609R соответственно.
Имеется позиционный сдвиг между объектом на изображении 60 5 для левого глаза и тем же объектом на изображении 606 для правого глаза. В настоящем варианте осуществления величина позиционного сдвига определяется в качестве величины параллакса.
Ссылочная позиция 610 обозначает величину сдвига в позиции объекта 602 на изображении 606 для правого глаза относительно объекта 602 на изображении 605 для левого глаза в качестве опорной величины, т.е. величины параллакса между 607L и 607R. Аналогично этому, ссылочная позиция 611 обозначает величину сдвига в позиции объекта 604 на изображении 606 для правого глаза относительно объекта 604 на изображении 605 для левого глаза в качестве опорной величины, т.е. величины параллакса между 609L и 609R. Позиция объекта 603 на изображении 605 для левого глаза является такой же, как и на изображении 606 для правого глаза. Другими словами, не предусмотрена величина параллакса для объекта 603.
Сначала схема 514 формирования карты параллакса обнаруживает объекты, содержащиеся на изображении 605 для левого глаза и изображении 606 для правого глаза, используя известный способ сопоставления с шаблоном. Схема 514 формирования карты параллакса выполняет следующую обработку для каждого обнаруженного объекта. Схема 514 формирования карты параллакса вычисляет величину позиционного сдвига между средней точкой, которая расположена между центром объекта на изображении 605 для левого глаза и центром объекта на изображении 606 для правого глаза, и центром объекта на изображении 605 для левого глаза в качестве величины параллакса. Другими словами, схема 514 формирования карты параллакса вычисляет величину позиционного сдвига центра объекта на изображении для левого глаза относительно позиции центра объекта на составном изображении, сформированном на основе изображения 605 для левого глаза и изображения 606 для правого глаза, в качестве величины параллакса. Вычисленная величина параллакса представляет собой величину параллакса, соответствующую изображению для левого глаза. Разумеется, схема 514 формирования карты параллакса может также вычислять величину позиционного сдвига центра объекта на изображении для правого глаза относительно позиции центра объекта на составном изображении в качестве величины параллакса, соответствующей изображению для правого глаза.
В примере, показанном на Фиг. 5В, для объекта 602 схема 514 формирования карты параллакса вычисляет величину 612 параллакса, которая представляет собой половину величины 610 параллакса. Для объекта 604 схема 514 формирования карты параллакса вычисляет величину 613 параллакса, которая представляет собой половину величины 611 параллакса. Схема 514 формирования карты параллакса сохраняет информацию, касающуюся вычисленных величин 612 и 613 параллакса, и информацию о позиции изображения, служащей в качестве опорной точки для величины параллакса, в качестве карты параллакса в блоке 508 памяти. В этом примере информация о позиции изображения, служащей в качестве опорной точки для величины параллакса, указывает центр объекта на составном изображении. Как описано выше, в примере, показанном на Фиг. 5В, не предусмотрена величина параллакса для объекта 603.
Фиг. 6 - схема, схематично иллюстрирующая карту параллакса. Карта 801 параллакса включает в себя величину 802 параллакса и информацию 803 о позиции (центре) изображения, служащей в качестве опорной точки для величины параллакса.
Далее будет дано описание обработки для воспроизведения изображения. Блок 509 системного управления служит в качестве второго блока формирования изображений, который выполняет следующую обработку. Блок 509 системного управления считывает составное изображение и карту параллакса из блока 508 памяти. Блок 509 системного управления подтверждает, что позиция изображения, служащая в качестве опорной точки для величины параллакса, указанной картой параллакса, является центром объекта на составном изображении. Затем блок 509 системного управления формирует подлежащее воспроизведению изображение для левого глаза, т.е. данные для воспроизведения изображения, соответствующего величине параллакса, посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса, указанную картой параллакса.
Блок 509 системного управления также инвертирует величину параллакса, указанную картой параллакса. Блок 509 системного управления задает величину параллакса, полученную инверсией величины параллакса, указанной картой параллакса, в качестве величины позиционного сдвига центра объекта на изображении для правого глаза относительно центра объекта на составном изображении. Затем блок 509 системного управления формирует подлежащее воспроизведению изображение для правого глаза, т.е. данные для воспроизведения изображения, отличного от изображения, соответствующего величине параллакса, указанной картой параллакса, посредством сдвига объекта, содержащегося на составном изображении, в пределах инверсии величины параллакса, указанной картой параллакса.
За счет сдвига объекта на составном изображении пиксель в позиции, в которой расположен объект, является пропущенным пикселем. Таким образом, например, блок 509 системного управления передает информацию о цветовом пространстве пропущенному пикселю с использованием известной технологии, раскрытой в японском патенте № 3524147. Другими словами, блок 509 системного управления вычисляет среднее из значений пикселей в окрестности пропущенного пикселя в качестве информации о цветовом пространстве и передает вычисленную информацию о цветовом пространстве пропущенному пикселю.
Устройство формирования изображений в первом варианте осуществления объединяет изображение для левого глаза с изображением для правого глаза, чтобы, тем самым, сформировать составное изображение, отражающее форму объекта. Устройство формирования изображений формирует информацию, касающуюся величины параллакса, на основе позиции сформированного составного изображения в качестве карты параллакса. Затем устройство формирования изображений формирует подлежащие воспроизведению изображение для левого глаза и изображение для правого глаза на основе составного изображения и величины параллакса, указанной картой параллакса.
Таким образом, согласно устройству формирования изображений в первом варианте осуществления, даже если форма изображения для левого глаза/изображения для правого глаза, полученного фотоэлектрическим преобразованием светового потока, прошедшего через другую область выходного зрачка фотографической оптической системы, отлична от формы объекта, изображение, корректно отражающее форму объекта, может воспроизводиться после воспроизведения этого изображения. Другими словами, согласно устройству формирования изображений в первом варианте осуществления, изображение для правого глаза/изображение для левого глаза, корректно отражающее форму объекта, можно формировать на основе изображения, выводимого посредством осуществления фотоэлектрического преобразования светового потока, прошедшего через другую область выходного зрачка оптической системы формирования изображений, и величины параллакса.
Второй вариант осуществления
Далее будет дано описание второго варианта осуществления. Блок 509 системного управления, обеспеченный в устройстве формирования изображений во втором варианте осуществления, вычисляет величину позиционного сдвига изображения, отличного от изображения, которое представляет собой изображение для левого глаза или изображение для правого глаза, в позиции, служащей в качестве опорной точки, в виде величины параллакса на основе позиции изображения для левого глаза/изображения для правого глаза. Блок 509 системного управления сохраняет вычисленную величину параллакса и информацию о позиции изображения, служащей в качестве опорной точки для величины параллакса, в виде карты параллакса в блоке 508 памяти. В этом примере подразумевается, что позиция изображения для левого глаза является позицией, служащей в качестве опорной точки для величины параллакса.
В примере, показанном на Фиг. 5В, для объекта 602 схема 514 формирования карты параллакса вычисляет величину позиционного сдвига центра объекта на изображении 606 для правого глаза относительно центра объекта на изображении 605 для левого глаза, т.е. величину 610 параллакса. Для объекта 604 схема 514 формирования карты параллакса вычисляет величину позиционного сдвига центра объекта на изображении 606 для правого глаза относительно центра объекта на изображении 605 для левого глаза, т.е. величину 611 параллакса.
Схема 514 формирования карты параллакса сохраняет информацию, касающуюся вычисленных величин 610 и 611 параллакса, и информацию о позиции изображения, служащей в качестве опорной точки для величины параллакса, в виде карты параллакса в блоке памяти. В этом примере информация о позиции изображения, служащей в качестве опорной точки для величины параллакса, указывает центр объекта на изображении для левого глаза. Разумеется, позиция изображения, служащая в качестве опорной точки для величины параллакса, может также представлять собой центра объекта на изображении для правого глаза.
Далее будет дано описание обработки для воспроизведения изображений. Блок 509 системного управления считывает составное изображение и карту параллакса из блока 508 памяти. Блок 509 системного управления определяет, является ли величина параллакса величиной параллакса на основе позиции изображения для левого глаза или изображения для правого глаза, исходя из информации о позиции изображения, служащей в качестве опорной точки для величины параллакса, включенной в карту параллакса. Когда блок 509 системного управления определяет, что величина параллакса основана на позиции изображения для левого глаза, блок 509 системного управления задает составное изображение в качестве подлежащего воспроизведению изображения для левого глаза и формирует подлежащее воспроизведению изображение для правого глаза посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса. Также, когда блок системного управления определяет, что величина параллакса основана на позиции изображения для правого глаза, блок 509 системного управления задает составное изображение в качестве подлежащего воспроизведению изображения для правого глаза и формирует подлежащее воспроизведению изображение для левого глаза посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса.
В этом примере блок 509 системного управления определяет, что позиция изображения, служащая в качестве опорной точки для величины параллакса, указанной картой параллакса, является центром объекта на изображении для левого глаза. Таким образом, блок 509 системного управления задает считанное составное изображение в качестве подлежащего воспроизведению изображения для левого глаза. В настоящем варианте осуществления изображение для левого глаза является изображением, отличным от изображения, соответствующего величине параллакса, указанной картой параллакса. Блок 509 системного управления также формирует подлежащее воспроизведению изображение для правого глаза, т.е. данные для воспроизведения изображения, соответствующего величине параллакса, посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса, указанную картой параллакса.
Согласно устройству формирования изображений во втором варианте осуществления, составное изображение используется в качестве подлежащего воспроизведению изображения для левого глаза во время обработки для воспроизведения изображений, и подлежащее воспроизведению изображение для правого глаза можно формировать посредством сдвига составного изображения на величину параллакса, указанную картой параллакса. Таким образом, по сравнению с первым вариантом осуществления, можно снизить объем обработки изображения, требуемый для воспроизведения изображения, что приводит к увеличению скорости операции воспроизведения.
Аспекты настоящего изобретения можно также реализовать посредством компьютера системы или устройства (или устройств, таких как CPU или MPU), которое считывает и исполняет программу, записанную на устройстве памяти, чтобы выполнить функции вышеописанных вариантов осуществления, и посредством способа, этапы которого выполняются компьютером системы или устройства, например, считывая и исполняя программу, записанную на устройстве памяти для выполнения функций вышеописанных вариантов осуществления. Для этого программа предоставляется компьютеру, например, через сеть или из носителя записи различных типов, служащего в качестве устройства памяти (например, машиночитаемого носителя).
Несмотря на то, что настоящее изобретение было описано со ссылкой на примерные варианты осуществления, следует понимать, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем нижеследующей формулы изобретения должен быть широко интерпретирован с тем, чтобы охватить все такие модификации и эквивалентные структуры и функции.
Данная заявка испрашивает приоритет японской патентной заявки № 2011-199068, поданной 13 сентября 2011 года, содержимое которой, полностью включено сюда посредством ссылки.
1. Устройство формирования изображений, содержащее:
элемент формирования изображений, содержащий множество пикселей, каждый из которых имеет первый блок фотоэлектрического преобразования, выполненный с возможностью вывода изображения для левого глаза посредством осуществления фотоэлектрического преобразования светового потока, прошедшего через область выходного зрачка оптической системы формирования изображений, и второй блок фотоэлектрического преобразования, выполненный с возможностью вывода изображения для правого глаза посредством осуществления фотоэлектрического преобразования светового потока, прошедшего через область, отличную от области выходного зрачка;
первый блок формирования изображений, выполненный с возможностью формирования составного изображения посредством сложения изображения для левого глаза, выведенного первым блоком фотоэлектрического преобразования, и изображения для правого глаза, выведенного вторым блоком фотоэлектрического преобразования, для каждого пикселя;
блок вычисления параллакса, выполненный с возможностью вычисления величины позиционного сдвига изображения для левого глаза/изображения для правого глаза относительно позиции сформированного составного изображения в качестве величины параллакса и сохранения вычисленной величины параллакса в блоке памяти; и
второй блок формирования изображений, выполненный с возможностью формирования подлежащих воспроизведению изображения для левого глаза и изображения для правого глаза посредством сдвига объекта, содержащегося на сформированном составном изображении, в позицию, соответствующую величине параллакса, сохраненной в блоке памяти.
2. Устройство формирования изображений по п. 1, в котором второй блок формирования изображений формирует данные для воспроизведения изображения, которое является изображением для левого глаза или изображением для правого глаза, соответствующим величине параллакса, посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса, сохраненную в блоке памяти, и формирует данные для воспроизведения изображения, отличного от упомянутого изображения, которое является изображением для левого глаза или изображением для правого глаза, соответствующим величине параллакса, посредством сдвига объекта, содержащегося на составном изображении, в пределах инверсной величины параллакса.
3. Устройство формирования изображений по п. 1, в котором блок вычисления параллакса вычисляет величину позиционного сдвига изображения, отличного от упомянутого изображения, которое является изображением для левого глаза или изображением для правого глаза в позиции, служащей в качестве опорной точки, в виде величины параллакса на основе позиции изображения для левого глаза/изображения для правого глаза, при этом второй блок формирования изображений формирует данные для воспроизведения изображения, которое является изображением для левого глаза или изображением для правого глаза, соответствующим величине параллакса, посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса, сохраненную в блоке памяти, и задает сформированное составное изображение в качестве данных для воспроизведения изображения, отличного от упомянутого изображения, которое является изображением для левого глаза или изображением для правого глаза, соответствующим величине параллакса.
4. Устройство формирования изображений по п. 3, в котором блок вычисления параллакса сохраняет величину параллакса и информацию о позиции изображения, служащей в качестве опорной точки для величины параллакса, в блоке памяти; и
при этом второй блок формирования изображений определяет, является ли величина параллакса, сохраненная в блоке памяти, величиной параллакса на основе позиции изображения для левого глаза или изображения для правого глаза, исходя из информации о позиции изображения, служащей в качестве опорной точки для величины параллакса, сохраненной в блоке памяти;
при этом, когда второй блок формирования изображений определяет, что величина параллакса является величиной параллакса на основе позиции изображения для левого глаза, второй блок формирования изображений задает составное изображение в качестве подлежащего воспроизведению изображения для левого глаза и формирует данные для воспроизведения изображения для правого глаза посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса; и
при этом, когда второй блок формирования изображений определяет, что величина параллакса является величиной параллакса на основе позиции изображения для правого глаза, второй блок формирования изображений задает составное изображение в качестве подлежащего воспроизведению изображения для правого глаза и формирует данные для воспроизведения изображения для левого глаза посредством сдвига объекта, содержащегося на составном изображении, на величину параллакса.
5. Способ управления устройством формирования изображений, содержащим элемент формирования изображений, содержащий множество пикселей, каждый из которых имеет первый блок фотоэлектрического преобразования, выполненный с возможностью вывода изображения для левого глаза посредством осуществления фотоэлектрического преобразования светового потока, прошедшего через область выходного зрачка оптической системы формирования изображений, и второй блок фотоэлектрического преобразования, выполненный с возможностью вывода изображения для правого глаза посредством осуществления фотоэлектрического преобразования светового потока, прошедшего через область, отличную от области выходного зрачка, при этом способ содержит этапы, на которых:
формируют составное изображение посредством сложения изображения для левого глаза, выведенного первым блоком фотоэлектрического преобразования, и изображения для правого глаза, выведенного вторым блоком фотоэлектрического преобразования, для каждого пикселя;
вычисляют величину позиционного сдвига изображения для левого глаза/изображения для правого глаза относительно позиции сформированного составного изображения в качестве величины параллакса и сохраняют вычисленную величину параллакса в блоке памяти; и
формируют подлежащие воспроизведению изображение для левого глаза и изображение для правого глаза посредством сдвига объекта, содержащегося на сформированном составном изображении, в позицию, соответствующую величине параллакса, сохраненной в блоке памяти.
