Устройство и способ обработки изображений и программа
Изобретение относится к способу и устройству обработки изображений. Техническим результатом является снижение вероятности возникновения параллакса при отображении двух панорамных изображения из множества снятых неподвижных изображений. Устройство обработки изображений генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие относительно друг друга, на основе множества снятых изображений, полученных в результате съемки с использованием средства формирования изображений, при перемещении средства формирования изображения. Устройство обработки изображений содержит первое и второе средства генерирования синтетических изображений. Устройство обработки изображений включает в себя средство управления несоответствием, предназначенное для регулировки несоответствия первого синтетического изображения и второго синтетического изображения. 3 н. и 2 з.п. ф-лы, 12 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу обработки изображений и программе, в частности к устройству и способу обработки изображений и программе, которые позволяют отображать стереоскопическое изображение, которое обеспечивает более естественное восприятие глубины.
Уровень техники
Из уровня техники известна технология, в которой панорамное изображение генерируется путем наложения и синтеза множества неподвижных изображений, полученных в результате съемки с помощью устройства формирования изображения при выполнении панорамной съемки с помощью устройства формирования изображения в заданном направлении (см., например, PTL 1). Поскольку панорамное изображение представляет собой изображение, получаемое в результате размещения и синтеза множества неподвижных изображений в соответствии с панорамным изображением, область, более широкая, чем область в пространстве, снимаемая при съемке одного неподвижного изображения, может отображаться как субъект.
Кроме того, в случае, когда снимают множество неподвижных изображений при выполнении панорамной съемки с помощью устройства формирования изображения для получения панорамного изображения, один и тот же субъект иногда попадает в несколько неподвижных изображений. В таком случае, поскольку один и тот же субъект, находящийся в разных неподвижных изображениях, снимают из положений, которые отличаются друг от друга, это означает, что формируется несоответствие или параллакс.
Когда это явление используется для генерирования двух панорамных изображений, имеющих несоответствие относительно друг друга, из множества неподвижных изображений, в результате одновременного отображения этих панорамных изображений с помощью схемы, в которой используется множество экрана с линзами, снимаемый субъект может отображаться стереоскопически. Следует отметить, что в дальнейшем описании, стереоскопическое изображение, отображаемое на основе двух панорамных изображений, также называется стереоскопическим панорамным изображением.
Список литературы
Патентная литература
PTL 1: Японский патент №3168443
Сущность изобретения
Техническая задача
В частности, при отображении стереоскопического панорамного изображения в блоке дисплея, если не возникает какое-либо несоответствие между двумя панорамными изображениями, отображаемыми одновременно, основной субъект в стереоскопическом панорамном изображении будет расположен на поверхности дисплея блока дисплея.
В это время, если абсолютно отсутствует какое-либо несоответствие для всего субъекта между двумя панорамными изображениями, субъект в стереоскопическом панорамном изображении не выглядит стереоскопически. Однако если существует несоответствие в части субъекта, соответствующая часть субъекта располагается в положении, отличающемся от поверхности дисплея, и, таким образом, отображается субъект, который обеспечивает стереоскопическое восприятие в целом. Таким образом, пока отдельные части субъекта в двух панорамных изображениях имеют соответствующее несоответствие относительно друг друга, субъект отображается стереоскопически.
В отличие от этого, если существует несоответствие между двумя панорамными изображениями, в зависимости от несоответствия, основной субъект стереоскопического панорамного изображения располагается на стороне перед или позади поверхности отображения, так как ее просматривает наблюдатель. В таком случае не может быть получено естественное стереоскопическое восприятие. Кроме того, в этом случае, хотя наблюдатель фокусирует свои глаза на поверхности дисплея в блоке дисплея, основной субъект в стереоскопическом панорамном изображении располагается в положении, отличающемся от поверхности дисплея, что вызывает усталость глаз и мозга наблюдателя.
Обычно между двумя панорамными изображениями отдельные части субъекта в панорамных изображениях имеют разное несоответствие. Следовательно, независимо от того, в каком положении располагается основной субъект в панорамных изображениях, субъект в стереоскопическом панорамном изображении должен выглядеть стереоскопически. Поэтому можно сказать, что два панорамных изображения, имеющих такое несоответствие, которое обеспечивает размещение основного субъекта в стереоскопическом панорамном изображении на поверхности дисплея, представляют собой пару панорамных изображений, имеющих наиболее соответствующее несоответствие.
Однако, при использовании описанной выше технологии, до настоящего времени было трудно получить два панорамных изображения, имеющих соответствующее несоответствие из множества снятых неподвижных изображений. Вследствие этого не было возможным отображать стереоскопическое изображение с естественным восприятием глубины (стереоскопическое восприятие).
Настоящее изобретение было выполнено с учетом описанных выше обстоятельств, и, соответственно, цель настоящего изобретения состоит в том, чтобы обеспечить возможность отображения стереоскопического изображения, которое предусматривает более естественное восприятие глубины.
Решение задачи
Устройство обработки изображений в соответствии с аспектом настоящего изобретения представляет собой устройство обработки изображений, которое генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие относительно друг друга, на основе множества снятых изображений, полученных в результате съемки с использованием средства формирования изображений, при перемещении средства формирования изображения, и включает в себя первое средство генерирования синтетического изображения, предназначенное для генерирования первого синтетического изображения путем синтеза каждого из изображений в области первой полосы снятых изображений, второе средство генерирования синтетического изображения, предназначенное для генерирования второго синтетического изображения, путем синтеза каждого из изображений во второй области полосы снятых изображений, которая отличается от области первой полосы, и средство управления несоответствием, предназначенное для регулировки несоответствия первого синтетического изображения и второго синтетического изображения, путем сдвига, по меньшей мере, одно из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига.
Средство управления несоответствием может быть выполнено с возможностью расчета значения корреляции, обозначающего степень корреляции между областью первого синтетического изображения и областью второго синтетического изображения, детектирования доминирующего несоответствия первого синтетического изображения и второго синтетического изображения, используя значения корреляции, и расчета величины сдвига, который компенсирует доминирующее несоответствие.
Средство управления несоответствием может быть выполнено с возможностью расчета разности между первым синтетическим изображением и вторым синтетическим изображением как значения корреляции путем смещения положения второго синтетического изображения относительно первого синтетического изображения.
Средство управления несоответствием может быть выполнено с возможностью расчета величины сдвига на основе расстояния между областью первой полосы и областью второй полосы в каждом из снятых изображений.
Способ обработки изображений или программа в соответствии с аспектом настоящего изобретения представляет собой способ обработки изображений или программу, которая генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие в отношении друг друга, на основе множества снятых изображений, полученных в результате съемки с помощью средства формирования изображений, при перемещении средства формирования изображения, и включает в себя этапы генерирования первого синтетического изображения, путем синтеза каждого из изображений в области первой полосы снятых изображений, генерирования второго синтетического изображения путем синтеза каждого из изображений в области второй полосы снятых изображений, которая отличается от области первой полосы, и регулирования несоответствия первого синтетического изображения и второго синтетического изображения путем сдвига, по меньшей мере, одно из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига.
В соответствии с аспектом настоящего изобретения, при обработке изображений, в ходе которой генерируют первое синтетическое изображение и второе синтетическое изображение, используемых для отображения стереоскопического синтетического изображения и имеющих несоответствие относительно друг друга, на основе множества снятых изображений, полученных в результате съемки с помощью средства формирования изображений, при перемещении средства формирования изображения, первое синтетическое изображение генерируют путем синтеза каждого из изображений в области первой полосы снятых изображений, второе синтетическое изображение генерируют путем синтеза каждого из изображений в области второй полосы снятых изображений, которая отличается от области первой полосы, и несоответствие первого синтетического изображения и второго синтетического изображения регулируют путем сдвига, по меньшей мере, одного из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига.
Предпочтительные эффекты изобретения
В соответствии с аспектом настоящего изобретения, может быть отображено стереоскопическое изображение, которое обеспечивает более естественное восприятие глубины.
Краткое описание чертежей
Фиг.1 представляет собой схему для пояснения стереоскопического панорамного изображения.
Фиг.2 представляет собой схему примера конфигурации варианта осуществления устройства формирования изображения, в котором применено настоящее изобретение.
Фиг.3 представляет собой блок-схему последовательности операций для пояснения стереоскопического панорамного процесса отображения изображения.
Фиг.4 представляет собой схему для пояснения областей полосы.
Фиг.5 представляет собой схему для пояснения детектирования доминирующего несоответствия.
Фиг.6 представляет собой схему для пояснения детектирования доминирующего несоответствия.
Фиг.7 представляет собой схему для пояснения детектирования доминирующего несоответствия.
Фиг.8 представляет собой схему для пояснения детектирования доминирующего несоответствия.
Фиг.9 представляет собой схему для пояснения регулирования несоответствия.
Фиг.10 представляет собой схему для пояснения взаимосвязи между величиной смещения и несоответствием.
Фиг.11 представляет собой блок-схему последовательности операций для пояснения стереоскопического панорамного процесса отображения изображения.
Фиг.12 представляет собой схему примера конфигурации компьютера.
Подробное описание изобретения
Ниже, со ссылкой на чертежи, будут описаны варианты осуществления, в которых применяется настоящее изобретение.
Первый вариант осуществления
Пояснение стереоскопического панорамного изображения
Устройство формирования изображения, в котором применяется настоящее изобретение, сформировано, например, на основе камеры. Стереоскопическое панорамное изображение генерируют из множества снятых изображений, которые последовательно снимают с помощью устройства формирования изображения в состоянии, в котором устройство формирования изображения перемещается. Стереоскопическое панорамное изображение состоит из двух панорамных изображений, имеющих несоответствие.
Когда пользователь желает получить стереоскопическое панорамное изображение, сгенерированное с помощью устройства формирования изображения, пользователь выполняет операции с устройством формирования изображения для съемки снимаемых изображений, которые используются для генерирования стереоскопического панорамного изображения.
Например, как показано с левой стороны на фиг.1, когда виртуальную поверхность VS формирования изображений снимают в состоянии, в котором главная точка объектива устройства формирования изображения находится в положении fp1, получают снятое изображение IM. Например, субъекты, которые присутствуют в области SER и области SEL в реальном пространстве, соответственно, отображаются в области TRR и в области TRL в снятом изображении IM.
Затем, когда пользователь выполняет съемку с помощью устройства формирования изображения множества снятых изображений, перемещая устройство формирования изображения в разные стороны, как показано на фиг.1, полученные в результате снятые изображения имеют несоответствие. В частности, как показано в середине фиг.1, когда снятое изображение снимают в состоянии, в котором главная точка объектива находится в положении fp1 в момент времени T=t, и снятое изображение снимают в состоянии, в котором главная точка объектива находится в положении fp2 в момент времени T=t+Δt, один и тот же субъект ОВ1 отображается в этих снятых изображениях. В это время формируется несоответствие, поскольку субъект ОВ1 снимают из разных положений. Используя это, получают панорамные изображения, в которых отображается один и тот же субъект и которые имеют несоответствие относительно друг друга.
Таким образом, когда области, соответствующие области TRR и области TRL снятого изображения IM выделяют из каждого из снятых изображений, полученных в результате съемки с использованием устройства формирования изображения, при перемещении устройства формирования изображения и синтеза их вместе, как показано с правой стороны на фиг.1, получают панорамное изображение PR и панорамное изображение PL.
Здесь панорамное изображение PR представляет собой изображение, получаемое путем размещения и синтеза областей снимаемых изображений, соответствующих области TRR. Такое панорамное изображение PR представляет собой изображение, полученное путем съемки субъекта с положением fp3, как положением главной точки виртуального объектива. С другой стороны, панорамное изображение PL представляет собой изображение, получаемое путем размещения и синтеза областей снятых изображений, соответствующих области TRL. Такое панорамное изображение PL представляет собой изображение, полученное путем съемки субъекта в положении fp4, как положение виртуальной главной точки объектива. Кроме того, панорамное изображение PR и панорамное изображение PL представляют собой изображения, которые имеют несоответствие относительно друг друга и в которых отображается один и тот же субъект.
В соответствии с этим, с панорамным PR изображением как изображением для правого глаза и панорамным изображением PL как изображением для левого глаза, когда эти панорамные изображения отображают одновременно с помощью схемы, в которой используется экран с линзами, панорамное изображение, которое представляет собой стереоскопическое изображение (ниже также называется стереоскопическим панорамным изображением), представляют для глаз пользователя.
Таким образом, когда выделяют заданные области (ниже называются областями полосы) во множестве снятых изображений, и эти частичные изображения размещают и синтезируют вместе в одно изображение, получают одно панорамное изображение. Кроме того, когда области полосы смещают для генерирования другого панорамного изображения, может быть получена пара панорамных изображений, имеющих несоответствие относительно друг друга. Благодаря использованию этих панорамных изображений может отображаться стереоскопическое панорамное изображение.
Конфигурация устройства формирования изображения
На фиг.2 показана схема, представляющая пример конфигурации варианта осуществления устройства формирования изображения, в котором используется настоящее изобретение.
Устройство 11 формирования изображения включает в себя блок 21 формирования изображения, блок 22 расчета движения, блок 23 определения области полосы, блок 24 определения области синтеза, блок 25-1 генерирования панорамного изображения, блок 25-2 генерирования панорамного изображения, блок 26 управления несоответствием и блок 27 дисплея.
Блок 21 формирования изображения сформирован из оптической системы, такой как оптический объектив, устройство формирования изображения и т.п. Блок 21 формирования изображения снимает изображение субъекта, преобразуя свет от субъекта в электрический сигнал, и подает снятое изображение, полученное, как результат, в блок 22 расчета движения.
Например, когда пользователь передает инструкции на последовательную съемку снимаемых изображений, перемещая устройство 11 формирования изображения в заданном направлении, снимаемые изображения, последовательно снимаемые по времени, последовательно подают в блок 22 расчета движения. Следует отметить, что в дальнейшем среди снимаемых изображения, снимаемых последовательно, m-е снятое изображение называется снятым изображением кадра m.
Блок 22 расчета движения рассчитывает, на основе снятых изображений, подаваемых из блока 21 формирования изображения параметры компенсации движения, предназначенные для компенсации движения (перемещения) устройства 11 формирования изображения между кадрами снятых изображений, и подает эти снятые изображения и параметры компенсации движения в блок 23 определения области полосы.
Параметры компенсации движения представляют информацию, обозначающую относительную взаимосвязь положений между снятыми изображениями, в случае, когда множество снятых изображений расположены по-отдельности в реальном пространстве таким образом, что одни и те же субъекты, которые являются неподвижными, по существу, накладываются друг на друга.
Например, рассмотрим двумерную плоскость, определенную направлением x и направлением y, которые являются ортогональными друг другу (ниже называется плоскостью проекции), направление х представляет собой направление, соответствующее направлению, в котором пользователь перемещает устройство 11 формирования изображения при съемке снимаемых изображений. Кроме того, предположим, что кромки каждого снятого изображения расположены, по существу, параллельно направлению x и направлению y. В этом случае, в качестве параметра компенсации движения, блок 22 расчета движения рассчитывает информацию, обозначающую относительную взаимосвязь положений между двумя соседними снятыми изображениями, то есть между снятыми изображениями последовательных кадров, когда отдельные снятые изображения расположены в плоскости проекции.
Следует отметить, что в дальнейшем, среди направлений, параллельных направлению x, то же направление, что и направление движения устройства 11 формирования изображения, будет, в частности, также называться направлением +x, и направление, противоположное направлению +x, будет также называться направлением -х. Поэтому, когда снятые изображения отдельных кадров размещают на плоскости проекции, снятое изображение кадра m размешают на стороне направления +x относительно снятого изображения кадра (m-1).
Блок 23 определения области полосы определяет области полос, которые представляют собой области в снятых изображениях, которые должны быть выделены для формирования панорамных изображений, на основе снятых изображений и параметров компенсации движения, подаваемых из блока 22 расчета движения, и введенной величины смещения.
Здесь области полосы представляют собой область TRR и область TRL, показанные на фиг.1. Две разные области в каждом снятом изображении установлены, как области полосы. Например, две области полосы установлены в одном снятом изображении, так, что TRR представляет собой область полосы, расположенную на стороне в направлении -x в снятого изображения, и TRL представляет собой область полосы, расположенную на стороне в направлении +x.
В таком случае расстояния от области TRR полосы до области TRL полосы в снятом изображении вводят, как величину смещения в блок 23 определения области полосы. Эта величина смещения может быть установлена заранее, или может быть изменяемой пользователем.
После определения областей полосы в отдельных снятых изображениях блок 23 определения области полосы подает снятые изображения, параметры компенсации движения и информацию о положении области полосы, обозначающую положения областей полосы, в блок 24 определения области синтеза.
Блок 24 определения области синтеза определяет область синтеза на основе снятых изображений, параметров компенсации движения и информации о положении области полосы, подаваемых из блока 23 определения области полосы.
В устройстве 11 формирования изображения области полосы в отдельных снятых изображениях выделяют и синтезируют для генерирования одного панорамного изображения. Даже когда пользователь снимает снимаемые изображения, перемещая устройство 11 формирования изображения в направлении x, устройство 11 формирования изображения незначительно перемещается также в направлении y. Следовательно, когда снятые изображения размещают на плоскости проекции, возникают вариации в положениях снятых изображений относительно направления y.
В соответствии с этим, блок 24 определения области синтеза определяет наибольшую прямоугольную область, вписанную в область, составленную из областей полосы отдельных снятых изображений, когда снятые изображения размещают на плоскости проекции, как область синтеза, из которой выделяют изображения, используемые для генерирования каждого панорамного изображения. Поэтому, когда области, включенные в пределы области синтеза, выделяют из областей полосы отдельных снятых изображений и синтезируют, получают панорамное изображение, имеющее прямоугольную форму.
Блок 24 определения области синтеза подает заданную область синтеза, то есть информацию области синтеза, обозначающую конечные правильные положения отдельных областей полосы снятых изображений и параметры компенсации движения, в блок 25-1 генерирования панорамного изображения и в блок 25-2 генерирования панорамного изображения.
Блок 25-1 генерирования панорамного изображения и блок 25-2 генерирования панорамного изображения, соответственно, генерируют панорамное изображение PR и панорамное изображение PL путем использования информации об области синтеза снятых изображений и параметров компенсации движения, подаваемых из блока 24 определения области синтеза, и передает эти панорамные изображения в блок 26 управления несоответствием. Следует отметить, что в дальнейшем, в частности, когда не требуется различать блок 25-1 генерирования панорамного изображения и блок 25-2 генерирования панорамного изображения, блок 25-1 генерирования панорамного изображения и блок 25-2 генерирования панорамного изображения также будут называться блоком 25 генерирования панорамного изображения.
Блок 26 управления несоответствием выполняет операции с панорамными изображениями, подаваемыми из блока 25 генерирования панорамного изображения, для выполнения регулировки несоответствия панорамных изображений, и подает пару панорамных изображений, полученных в результате, в блок 27 дисплея, отображая, таким образом, стереоскопическое панорамное изображение.
Блок 27 дисплея сформирован, например, на основе жидкокристаллического дисплея (LCD) или экрана с линзами. Блок 27 дисплея отображает пару панорамных изображений, подаваемых из блока 26 управления несоответствием, одновременно с использованием схемы экрана с линзами, в результате чего осуществляется стереоскопическое отображение панорамных изображений.
Пояснение процесса стереоскопического отображения панорамного изображения
В частности, когда пользователь выполняет операции с использованием устройства 11 формирования изображения для передачи инструкции для генерирования стереоскопического панорамного изображения, устройство 11 формирования изображения начинает процесс отображения стереоскопического панорамного изображения, который представляет собой процесс для генерирования и отображения стереоскопического панорамного изображения. Ниже процесс отображения стереоскопического панорамного изображения с помощью устройства 11 формирования изображения будет описан со ссылкой на блок-схему последовательности операций, показанную на фиг.3.
На этапе S11 блок 21 формирования изображения снимает субъект в состоянии, в котором устройство 11 формирования изображения 11 перемещается. Например, пользователь последовательно выполняет съемку с помощью устройства 11 формирования изображения множества снятых изображений при повороте устройства 11 формирования изображения в заданном направлении.
По мере того как свет от субъекта падает в блок 21 формирования изображения, блок 21 формирования изображения выполняет фотоэлектрическое преобразование падающего света, с тем чтобы, таким образом, снять снимаемые изображения. Полученные снимаемые изображения последовательно подают из блока 21 формирования изображения в блок 22 расчета движения. Следует отметить, что каждое снятое изображение может представлять собой одно неподвижное изображение, которое было снято, или может представлять собой один кадр, представляющий изображение, которое составляет движущееся изображение, которое было снято.
На этапе S12 для каждого отдельного снятого изображения, подаваемого из блока 21 формирования изображения, блок 22 расчета движения рассчитывает параметр компенсации движения для снятого изображения, и подает эти снятые изображения и параметры компенсации движения в блок 23 определения области полосы.
Например, блок 22 расчета движения использует снятые изображения двух последовательных кадров для расчета глобального вектора движения для каждого снятого изображения путем сопоставления блоков как параметр компенсации движения.
Таким образом, блок 22 расчета движения разделяет снятое изображение целевого кадра на множество блоков, и для каждого из блоков выполняет сопоставление блока со снятым изображением кадра, непосредственно предшествующим цели, детектируя, таким образом, вектор движения для блока. Затем, среди векторов движения, определенных для каждого блока, определяют вектор движения с максимальной величиной магнитуды и направления как глобальный вектор движения для снятого изображения.
Глобальный вектор движения представляет собой глобальный вектор движения, обозначающий движение между кадрами всего субъекта в снятых изображениях. Поскольку многие из субъектов в снятых изображениях представляют собой неподвижные объекты, которые не движутся в реальном пространстве, можно сказать, что глобальный вектор движения представляет собой вектор, обозначающий движение между кадрами неподвижного объекта в снятых изображениях, то есть, движение устройства 11 формирования изображения, при съемке снятых изображений.
Следует отметить, что параметр компенсации движения, в качестве альтернативы, может быть определен путем использования расширенного аффинного преобразования и т.п. Например, в случае расчета параметра компенсации движения, используя расширенное аффинное преобразование, блок 22 расчета движения определяет вектор (V, W), обозначающий движение между кадрами снятых изображений, путем расчета Уравнения (1), представленного ниже, и устанавливает полученный вектор (V, W) как параметр компенсации движения.
Уравнение 1
Следует отметить, что в Уравнении (1), каждый от а до 1 обозначает аффинный параметр, и x и y, соответственно, обозначают компонент x и компонент у в центральном положении характерного блока в снятом изображении в системе координат xy.
Таким образом, блок 22 расчета движения разделяет снятое изображение целевого кадра на множество блоков и для каждого из блоков выполняет сопоставление блока со снятым изображением кадра, непосредственно предшествующего целевому, детектируя, таким образом, вектор движения для блока. Затем, используя детектор угла и т.п., блок 22 расчета движения определяет вероятности векторов движения отдельных блоков, выбирает блок с наиболее надежным вектором движения как характерный блок, и рассчитывает Уравнение (1), описанное выше.
Следует отметить, что аффинный параметр рассчитывают с помощью способа наименьших квадратов, используя центральные координаты каждого блока, и вектор движения каждого блока.
На этапе S13 блок 23 определения области полосы определяет области полосы отдельных снятых изображений на основе снятых изображений и параметров компенсации движения, подаваемых из блока 22 расчета движения, и величины смещения.
Например, как показано с левой стороны на фиг.4, блок 23 определения области полосы размещает снятое изображение 1М(1) кадра 1 и снятое изображение 1М(2) кадра 2 на плоскости проекции, на основе параметра компенсации движения. Следует отметить, что на фиг.4, на чертеже, в горизонтальном направлении обозначено направление x и, в частности, в направлении направо обозначено направление +x. Кроме того, на фиг.4 для простоты описания, показано только соотношение положений между снятыми изображениями в направлении х. В действительности, когда снятые изображения расположены на плоскости проекции, эти снятые изображения накладываются друг на друга.
Блок 23 определения области полосы определяет положение центра в направлении x области, где снятое изображение 1М(1) и снятое изображение 1М(2), расположенные на плоскости проекции, накладываются друг на друга (ниже называется опорным положением), и дополнительно устанавливает, как опорное положение R, положение, отделенное на специфичном расстоянии в направлении -x от опорного положения. Такое специфичное расстояние установлено, например, как расстояние, равное половине величины смещения.
В снятом изображении 1М(1), блок 23 определения области полосы устанавливает область, центр которой установлен в опорном положении R и имеет заданную ширину, которая установлена заранее в направлении x, как область CR (1) наложения. Кроме того, в снятом изображении 1М(2), блок 23 определения области полосы 23 устанавливает область с центром, в опорном положении R и имеющую заданную ширину, которая установлена заранее в направлении x, как область CR (2) наложения. Здесь область CR (1) наложения и область CR (2) наложения представляют собой области, которые наложены друг на друга на плоскости проекции (одна и та же область).
Затем, как показано с правой стороны на чертеже, блок 23 определения области полосы устанавливает, как область TRR (1) полосы снятого изображения кадра 1, область в снятом изображении 1М(1) от левой кромки снятого изображения 1М(1) до правой кромки области CR (1) наложения. Аналогично, блок 23 определения области полосы устанавливает, как область TRR (2) полосы снятого изображения кадра 2, область в снятом изображении 1М(2) от левой кромки области CR (2) наложения до правой кромки снятого изображения 1М(2).
Следует отметить, что, более конкретно, от кадра 2 и далее, при установке области TRR полосы целевого кадра, требуется рассматривать кадры, предшествующие кадру и следующие после него. Поэтому, например, область TRR (m) полосы кадра m (где m≥2) установлена, как область в снятом изображении от левой кромки области наложения с кадром (m-1) до правой кромки области наложения с кадром (m+1).
После установки области TRR полосы в каждом кадре, таким образом, блок 23 определения области полосы выполняет аналогичную обработку для установки области TRL полосы в каждом кадре. В это время положение, отделенное специфичным расстоянием в направлении +x, например расстоянием, равным половине величины смещения от опорного положения в снятом изображении, устанавливают, как опорное положение L, соответствующее опорному положению R. Затем, например, блок 23 определения области полосы устанавливает, как область TRL полосы снятого изображения кадра 1, область в снятом изображении 1М(1) от левой кромки снятого изображения 1М(1) до правой кромки области наложения, установленной относительно опорного положения L.
Таким образом, путем установки опорного положения R и опорного положения L, как положения, смещенного в направлении x от опорного положения, разделение между областью TRR полосы и областью TRL полосы становится равным величине смещения, в результате чего получают панорамные изображения, имеющие несоответствия относительно друг друга.
Возвращаясь к описанию блок-схемы последовательности операций, показанной на фиг.3, после определения областей полосы, блок 23 определения области полосы подает снятые изображения, параметры компенсации движения и информацию о положении области полосы, обозначающую положения областей полосы, в блок 24 определения области синтеза.
На этапе S14 блок 24 определения области синтеза определяет область синтеза на основе снятых изображений, параметров компенсации движения и информации о положении области полосы из блока 23 определения области полосы и передает информацию об области синтеза, обозначающую положение определенной области синтеза, снятые изображения и параметры компенсации движения в блок 25 генерирования панорамного изображения. В это время информацию области синтеза для генерирования панорамного PR изображения подают в блок 25-1 генерирования панорамного изображения и информацию области синтеза для генерирования панорамного изображения PL подают в блок 25-2 генерирования панорамного изображения.
На этапе S15 блок 25 генерирования панорамного изображения генерирует панорамные изображения, используя информацию об области синтеза, снятые изображения и параметры компенсации движения, из блока 24 определения области синтеза и подает эти панорамные изображения в блок 26 управления несоответствием.
Например, используя параметры компенсации движения, блок 25-1 генерирования панорамного изображения размещает снятые изображения на плоскости проекции таким образом, что одинаковые субъекты, в которых отсутствует движение, по существу, накладываются друг на друга. Затем блок 25-1 генерирования панорамного изображения выделяет изображение из конечной области TRR полосы отдельных снятых изображений, которая обозначена информацией об области синтеза, и синтезирует выделенные изображения для генерирования, таким образом, панорамного изображения PR.
Таким образом, когда выполняют обработку на этапе S15 с помощью блока 25-1 генерирования панорамного изображения и блока 25-2 генерирования панорамного изображения, получают два панорамных изображения, в которых отображают субъект, просматриваемый с разных точек обзора. В то время как один и тот же субъект отображают на этих панорамных изображениях, этот субъект имеет несоответствие. Следовательно, если два панорамных изображения отображают одновременно, субъект в панорамных изображениях выглядит стереоскопически для пользователя, который наблюдает эти панорамные изображения.
На этапе S16, блок 26 управления несоответствием детектирует доминирующее несоответствие в паре панорамных изображений, подаваемой из блока 25 генерирования панорамного изображения.
Здесь доминирующее несоответствие относится к несоответствию, которое имеет основной субъект в панорамных изображениях, то есть наибольший субъект (имеющий самую широкую область). Блок 26 управления несоответствием определяет несоответствие для каждого пикселя в панорамных изображениях и генерирует таблицу значений оценки, включающую в себя магнитуды отдельных несоответствий, и значений оценки, обозначающих количества пикселей в панорамных изображениях, которые имеют соответствующие магнитуды несоответствия, определяя, таким образом, доминирующее несоответствие.
В частности, как показано на фиг.5, среди двух панорамных изображений, блок 26 управления несоответствием устанавливает панорамное изображение PR, генерируемое каждым из изображений, выделенное из области полосы, расположенной по большей части на стороне в направлении -x, как панорамное изображение для правого глаза и другое панорамное изображение PL как панорамное изображение для левого глаза. Следует отметить, что на фиг.5 горизонтальное направление и вертикальное направление обозначают направление x и направление y, соответственно. В частности, на чертеже направление направо обозначает направление +x.
Здесь панорамное изображение PR для правого глаза относится к панорамному изображению, которое отображают так, чтобы пользователь мог наблюдать его правым глазом, когда пару панорамных изображений отображают стереоскопически, и панорамное изображение PL для левого глаза обозначает панорамное изображение, которое отображают так, чтобы пользователь мог наблюдать его левым глазом.
Кроме того, блок 26 управления несоответствием устанавливает целевую область ER оценки и целевую область EL оценки, соответственно, в панорамном изображения PR и панорамном изображении PL.
Целевая область ER оценки представляет собой прямоугольную область, центр которой расположен в том же положении, что и центр панорамного изображения PR, и которая короче, чем панорамное изображение PR на заданную длину, то есть в направлении х. Аналогично, целевая область EL оценки представляет собой прямоугольную область, центр которой расположен в том же положении, что и центр панорамного изображения PL, и которая короче, чем панорамное изображение PL на заданную длину в направлении х. Кроме того, целевая область ER оценки и целевая область EL оценки представляют собой области с одинаковым размером. Блок 26 управления несоответствием устанавливает пиксели, расположенные в пределах этих целевых областей оценки, как цели среди пикселей в панорамных изображениях, и определяет значения оценки для отдельных пикселей.
Вначале блок 26 управления несоответствием инициализирует значения оценки для отдельных несоответствий в таблице значения оценки, устанавливая их в "0", и определяет значение оценки для несоответствия "0". Таким образом, как показано на фиг.6, блок 26 управления несоответствием устанавливает заданный пиксель GR(i) в пределах целевой области ER оценки в панорамном изображении PR, и заданный пиксель GL(i) в пределах целевой области EL оценки в панорамном изображении PL, как целевые пиксели. Следует отметить, что пиксель GR(i) и пиксель GL(i) представляют собой пиксели, которые расположены в одном и том же положении, когда панорамное изображение PR и панорамное изображение PL накладывают друг на друга.
Далее блок 26 управления несоответствием устанавливает пороговое значение th, используя пиксель GL(i+1) и пиксель GL(i-1), которые расположены рядом с пикселем GL(i) в панорамном изображении PL в направлении x, и пиксель GL(i). Таким образом, блок 26 управления несоответствием определяет динамический диапазон DL в направлении x для пикселя GL(i), определяя абсолютное значение разности между наибольшим значением и наименьшим значением среди соответствующих значений пикселя для пикселя GL(i-1), пикселя GL(i) и пикселя GL(i+1).
Если определенный динамический диапазон DL равен или больше, чем заданное значение, которое установлено заранее, блок 26 управления несоответствием устанавливает пороговое значение th для заданного значения, которое установлено заранее, и если динамический диапазон DL меньше, чем заданное значение, которое установлено заранее, блок 26 управления несоответствием устанавливает пороговое значение th как значение, меньшее, чем установленное значение.
Затем блок 26 управления несоответствием определяет абсолютное значение разности между значениями пикселя для пикселя GR(i) и пикселя GL(i), и если определенное абсолютное значение меньше, чем пороговое значение th, блок 26 управления несоответствием добавляет "1" к значению оценки для несоответствия "0" в таблице оценки значения. В отличие от этого, если определенное абсолютное значение равно или больше, чем пороговое значение th, блок 26 управления несоответствием оставляет значение оценки для несоответствия "0" в том виде, как оно есть.
Если абсолютное значение разности между целевым пикселем GR(i) и пикселем GL(i) несколько меньше, тогда один и тот же субъект следует отображать в этих пикселях. Кроме того, поскольку пиксель GR(i) и пиксель GL(i) представляют собой пиксели, которые расположены в одном и том же положении в панорамном изображении PR и панорамном изображении PL, если один и тот же субъект отображается в этих пикселях, из этого следует, что этот субъект не имеет несоответствия. Таким образом, субъект, отображаемый в пикселе GR(i) и в пикселе GL(i), располагается на экране дисплея блока 27 дисплея, когда отображают стереоскопическое панорамное изображение.
Следует отметить, что причина, по которой пороговое значение th изменяют в соответствии с динамическим диапазоном DL, состоит в том, чтобы предотвратить ошибочное определение наличия/отсутствия корреляции между целевыми пикселями. Например, предположим, что в качестве субъекта отображается плоский субъект (например, небо и т.п.) с небольшими вариациями в значении пикселя относительно пространственного направления на участке пикселя GL(i).
В этом случае, значения пикселя для пикселей, расположенных рядом с пикселем GL(i), близки к значению пикселя для пикселя GL(i), и даже если разные участки субъекта отображаются в пикселе GR(i) и в пикселе GL(i), абсолютное значение разности между этими пикселями может стать меньше, чем пороговое значение th в некоторых случаях. Таким образом, ошибочное определение может возникнуть в некоторых случаях. В соответствии с этим, когда динамический диапазон DL мал, пороговое значение th устанавливают как значение меньшее, чем нормальное установленное значение, так что возникновение такого ошибочного определения становится менее вероятным.
Следует отметить, что для предотвращения ошибочного определения, если динамический диапазон DL меньше, чем заданное значение, которое устанавливают заранее, пиксель GR(i) и пиксель GL(i) могут не быть установлены как цели, и расчет их разности не может быть выполнен.
Таким образом, когда определяют разность между пикселями, установленными, как цели, и "1" добавляют к значению оценки в таблице значения оценки в соответствии с результатом пороговой обработки с порогом th, блок 26 управления несоответствием выбирает пиксели в пределах целевой области ER оценки и целевой области EL оценки, которые еще не были установлены, как цели и устанавливает пиксели как цели. Таким образом, абсолютное значение разности между пикселями, вновь установленными, как цели, и пороговое значение th сравнивают друг с другом, и в соответствии с результатом сравнения, обновляют таблицу оценки.
Затем, когда все пиксели в пределах целевой области ER оценки и целевой области EL оценки были установлены как цели, значение оценки для несоответствия "0" в таблице значения оценки тогда рассматривают как конечное значение оценки. Такое значение оценки обозначает количество пикселей, в которых отображают субъект с несоответствием "0", в пределах целевой области оценки в каждом панорамном изображении. Другими словами, в пределах целевой области оценки в каждом панорамном изображении пиксели, в которых отображается субъект с несоответствием "0", существуют в количестве, равном числу, обозначенному значением оценки.
Кроме того, при смещении положения панорамного изображения PR относительно целевой области ER оценки блок 26 управления несоответствием определяет значения оценки для отдельных магнитуд несоответствия путем установки пикселей, расположенных в одном и том же положении в пределах целевой области ER оценки и целевой области EL оценки как цели. Таким образом, при смещении положения панорамного изображения PR относительно панорамного изображения PL, блок 26 управления несоответствием определяет разность между панорамными изображениями и определяет значения оценки для отдельных несоответствий.
Например, как показано на фиг.7, блок 26 управления несоответствием смещает положение панорамного изображения PR в направлении влево на чертеже относительно целевой области ER оценки и определяет разности для пикселей в пределах целевой области оценки. Следует отметить, что на чертеже горизонтальное направление и вертикальное направление, соответственно, обозначают направление х и направление y и, в частности, направление вправо обозначает направление +x.
В примере, показанном на фиг.7, панорамное изображение PR смещено в направлении -x на 128 пикселей относительно целевой области ER оценки, и кромки правой стороны целевой области ER оценки и панорамного изображения PR выровнены относительно друг друга. В этом состоянии блок 26 управления несоответствием выполняет обработку, описанную выше, со ссылкой на фиг.5 и фиг.6. Таким образом, блок 26 управления несоответствием определяет абсолютное значение разности между пикселями в панорамном изображении PR и в панорамном изображении PL, которые расположены в одном и том же положении в пределах целевой области оценки, и сравнивает это абсолютное значение с порогом th. Если абсолютное значение меньше, чем пороговое значение, как результат сравнения, блок 26 управления несоответствием добавляет "1" к значению оценки для несоответствия "-128" в таблице значения оценки, и если абсолютное значение равно или больше, чем пороговое значение, блок 26 управления несоответствием не обновляет значение оценки.
Когда таблицу значения оценки обновляют путем установки всех пикселей в пределах целевой области оценки как цели, таким образом, получают конечное значение оценки для несоответствия "-128". Во время обновления значения оценки для несоответствия "-128" этот процесс выполняют путем смещения панорамного изображения PR на 128 пикселей. Таким образом, субъект, отображаемый в пикселях, абсолютное значение разности которых меньше, чем пороговое значение, отображают в положениях, которые отделены на 128 пикселей между панорамным изображением PR и панорамным изображением PL. Таким образом, субъект имеет несоответствие, равное 128 пикселям. Затем, после отображения стереоскопического панорамного изображения, субъект, отображаемый в пикселях, несоответствие которых составляет "-128", располагается на стороне позади экрана дисплея блока 27 дисплея, если рассматривать со стороны пользователя.
Аналогично, при смещении положения панорамного изображения PR относительно целевой области ER оценки также в направлении, противоположном направлению, показанном на примере на фиг.7, блок 26 управления несоответствием определяет значения оценки для отдельных магнитуд несоответствия, путем установки пикселей, расположенных в одном и том же положении, в пределах целевой области ER оценки и целевой области EL оценки как цели.
Например, как показано на фиг.8, блок 26 управления несоответствием смещает положение панорамного изображения PR в направлении вправо на чертеже относительно целевой области ER оценки и определяет различия для пикселей в пределах этой целевой области оценки. Следует отметить, что на чертеже, горизонтальное направление и вертикальное направление, соответственно, обозначают направление x и направление y и, в частности, направление вправо обозначает направление +x.
В примере по фиг.8 панорамное изображение PR смещено в направлении +x на 128 пикселей относительно целевой области ER оценки, и кромки левой стороны целевой области ER оценки, и панорамного изображения PR выравниваются друг с другом. В этом состоянии блок 26 управления несоответствием определяет абсолютное значение разности между пикселями в панорамном изображении PR и панорамном изображении PL, которые расположены в одном и том же положении, в пределах целевой области оценки, и сравнивает это абсолютное значение с пороговым значением th. Если абсолютное значение меньше, чем пороговое значение в результате сравнения, блок 26 управления несоответствием добавляет "1" к значению оценки для несоответствия "128" в таблице значения оценки, и если абсолютное значение равно или больше, чем пороговое значение, блок 26 управления несоответствием не обновляет значение оценки.
Когда таблицу значения оценки обновляют путем установки всех пикселей в пределах целевой области оценки как цели, таким образом, получают конечное значение оценки для несоответствия "128". После отображения стереоскопического панорамного изображения субъект, отображаемый в пикселях, несоответствие которых составляет "128", размещается на стороне перед экраном дисплея блока 27 дисплея так, как его просматривает пользователь.
После определения значения оценки для отдельных магнитуд несоответствия таким образом, блок 26 управления несоответствием определяет, как доминирующее несоответствие панорамных изображений, несоответствие с наибольшим значением оценки среди значений оценки в таблице значения оценки. В таблице значения оценки значение оценки для каждого несоответствия представляет количество пикселей, имеющих соответствующую магнитуду несоответствия, то есть размер (площадь) области субъекта в панорамных изображениях. Поэтому можно сказать, что в панорамных изображениях область (пиксели), имеющая несоответствие с наибольшим значением оценки, является самой широкой областью, и несоответствие с максимальным значением оценки представляет собой доминирующее несоответствие для субъекта в панорамных изображениях.
Следует отметить, что в качестве способа определения доминирующего несоответствия в панорамных изображениях, в то время, как описание было представлено для случая определения разности для каждого пикселя в панорамных изображениях, достаточно определить значение корреляции, обозначающее степень корреляции между областью в панорамном изображении PR и областью в панорамном изображении PL, и определить значение оценки для каждого отдельного несоответствия на основе значения корреляции. Например, значение, основанное не разности для каждого отдельного пикселя в панорамных изображениях, но на разности для каждого отдельного блока (например, сумма абсолютных разностей между пикселями в пределах блока) может использоваться в качестве значения корреляции.
Кроме того, при определении доминирующего несоответствия, используя разности между панорамными изображениями, панорамное изображение PR и панорамное изображение PL могут быть прорежены, и разности между прореженными и уменьшенными панорамными изображениями, могут быть определены для определения доминирующего несоответствия.
Возвращаясь к блок-схеме последовательности операций на фиг.3, когда блок 26 управления несоответствием детектирует доминирующее несоответствие панорамных изображений, обработка переходит с этапа S16 на этап S17.
На этапе S17 блок 26 управления несоответствием выполняет регулировку несоответствия панорамного изображения PR и панорамного изображения PL на основе определенного доминирующего несоответствия между панорамным изображением PR и панорамным изображением PL.
Таким образом, блок 26 управления несоответствием сдвигает (перемещает) все панорамное изображение PR и панорамное изображение PL на величину, эквивалентную несоответствию так, что определенное доминирующее несоответствие компенсируется. Когда выполняют регулировку несоответствия путем смещения положений всех панорамных изображений так, что доминирующее несоответствие компенсируется, доминирующее несоответствие между панорамными изображениями с отрегулированным несоответствием становится равным "0". Таким образом, когда панорамное изображение PR и панорамное изображение PL одновременно отображаются стереоскопически, основной субъект в стереоскопическом панорамном изображении будет расположен в положении на экране дисплея блока 27 дисплея.
Если основной субъект в стереоскопическом панорамном изображении, то есть большой субъект будет расположен в положении на экране дисплея блока 27 дисплея, положение размещения и положение фокусирования глаз пользователя совпадают друг с другом, в результате чего устраняется усталость глаз и мозга пользователя. Кроме того, в то время как основной субъект в стереоскопическом панорамном изображении расположен в положении на экране дисплея, участки других субъектов располагаются по сторонам перед или позади экрана дисплея. Таким образом, стереоскопическое панорамное изображение отображается в достаточной степени стереоскопическим, и получающееся в результате стереоскопическое панорамное изображение обеспечивает естественное восприятие глубины (стереоскопическое восприятие).
Таким образом, путем определения доминирующего несоответствия панорамных изображений и выполнения регулировки несоответствия панорамных изображений так, что доминирующее несоответствие будет скомпенсировано, может быть получена пара панорамных изображений, имеющих соответствующее несоответствие, и, в результате, может быть воссоздано более естественное стереоскопическое восприятие.
Например, как показано на фиг.9, регулировку несоответствия панорамных изображений выполняют с помощью панорамного изображения PR и панорамного изображения PL, которые сдвинуты на величину сдвига, определенную относительно доминирующего несоответствия. Следует отметить, что на чертеже горизонтальное направление и вертикальное направление обозначают направление x и направление y и, в частности, направление вправо и направление вниз обозначают направление +x и направление +y, соответственно. Кроме того, на фиг.9 участки, соответствующие показанным в случае на фиг.8, обозначены теми же символами, и их описание исключено, соответственно.
Теперь, предположим, что Ра получают, как доминирующее несоответствие панорамного изображения PR и панорамного изображения PL, путем установки величины, сдвига панорамных изображений S=Pa, при этом блок 26 управления несоответствием выполняет сдвиг панорамного изображения PR в направлении +x на S/2, и панорамного изображения PL в направлении -x на S/2.
Например, если величина сдвига S имеет положительное значение (S>0), как показано на фиг.9, все панорамное изображение PR сдвигается на S/2 в направлении вправо (направление +x) относительно целевой области ER оценки, и все панорамное изображение PL сдвигается на S/2 в направлении влево (направление -x) относительно целевой области EL оценки. Затем области панорамного изображения PR и панорамного изображения PL, которые после сдвига находятся в пределах области ER оценки и целевой области EL оценки, используются, как конечная пара панорамных изображений для отображения стереоскопического панорамного изображения.
Если доминирующее несоответствие Ра имеет положительное значение, основной субъект в стереоскопическом панорамном изображении будет расположен на стороне перед экраном дисплея блока 27 дисплея. В соответствии с этим, в результате сдвига панорамного изображения PR и панорамного изображения PL относительно друг друга по фиг.9 таким образом, что несоответствие становится малым, то есть, таким образом, что доминирующее несоответствие становится равным "0", основной субъект в панорамных изображениях со сдвигом будет расположен в положении на экране дисплея блока 27 дисплея.
И, наоборот, если величина сдвига S будет иметь отрицательное значение (S<0), все панорамное изображение PR будет сдвинуто в направлении влево (направление -x) на чертеже относительно целевой области ER оценки, и все панорамное изображение PL будет сдвинуто в направлении вправо (направление +x) на чертеже относительно целевой области EL оценки. Таким образом, если доминирующее несоответствие Ра будет иметь отрицательное значение, основной субъект в стереоскопическом панорамном изображении будет расположен на стороне позади экрана дисплея. Таким образом, в результате сдвига панорамных изображений в направлении друг к другу на фиг.9 так, что несоответствие становится большим, основной субъект может быть расположен на экране дисплея.
Процесс сдвига панорамных изображений, описанный выше, поясняется следующим образом с использованием уравнений. В системе координат xy, если установить, что целевой пиксель в панорамном изображении PR обозначен, как pr, и целевой пиксель в панорамном изображении PL обозначен как р1, координаты этих пикселей pr и pl определяются как (xr, yr) и (х1, y1), соответственно.
Кроме того, если установить величину сдвига равной S, блок 26 управления несоответствием выполняет регулировку несоответствия, путем расчета Уравнения (2) и Уравнения (3), представленных ниже, и перемещения пикселя pr и пикселя pl в координаты (xr', yr') и (xl', yl'), соответственно.
Когда положения отображения отдельных пикселей в панорамных изображениях смещают таким образом, может быть получена пара панорамных изображений, имеющих более соответствующее несоответствие.
Возвращаясь к описанию блок-схемы последовательности операций, представленной на фиг.3, после регулировки несоответствия пары панорамных изображений, блок 26 управления несоответствием передает пару панорамных изображений, полученную в результате, в блок 27 дисплея, и обработка переходит на этап S18.
На этапе S18, используя пару панорамных изображений, передаваемых из блока 26 управления несоответствием, как панорамные изображения для правого глаза и левого глаза, блок 27 дисплея стереоскопически отображает эти панорамные изображения одновременно, используя схему экрана с линзами. Таким образом, стереоскопическое панорамное изображение отображают на экране дисплея блока 27 дисплея. Когда отображают стереоскопическое панорамное изображение, обработка отображения стереоскопического панорамного изображения заканчивается.
Таким образом, устройство 11 формирования изображения определяет области полосы в отдельных снятых изображениях на основе величины смещения и выделяет изображения из областей полосы для генерирования панорамных изображений. Затем устройство 11 формирования изображения выполняет регулировку несоответствия для полученных панорамных изображений и отображает полученную в результате пару панорамных изображений как стереоскопическое панорамное изображение.
Таким образом, что касается сгенерированных панорамных изображений, путем определения разности между пикселями в панорамных изображениях, доминирующее несоответствие панорамных изображений может быть определено более легко и быстро. Когда панорамные изображения подвергают обработке сдвига для компенсации несоответствия, полученного таким образом, может быть получена пара панорамных изображений, имеющая более соответствующее несоответствие. Поэтому, когда полученную пару панорамных изображений отображают стереоскопически, может быть воссоздано более естественное стереоскопическое восприятие.
Следует отметить, что хотя выше было описано, что регулировку несоответствия панорамных изображений выполняют на основе доминирующего несоответствия панорамных изображений, также возможно использовать определенное доминирующее несоответствие для установки новой величины смещения и генерирования конечной пары панорамных изображений из снятых изображений. В этом случае, области полосы определяют на основе величины смещения, которая была установлена вновь, и изображения в областях полос синтезируют для генерирования конечных панорамных изображений.
Второй вариант осуществления
Пояснение доминирующего несоответствия
В частности, хотя выше было описано, что доминирующее несоответствие определяют по панорамным изображениям и регулировку несоответствия панорамных изображений выполняют в соответствии с этим несоответствием, настоящий заявитель подтвердил, что абсолютное значение доминирующего несоответствия панорамных изображений, по существу, равно величине смещения между областями полос.
Например, предположим, что, как показано на фиг.10, пользователь выполняет с помощью устройства 11 формирования изображения съемку снимаемых изображений, перемещая устройство 11 формирования изображения таким образом, что главная точка L0 объектива, формирующего блок 21 формирования изображения поворачивается в направлении по часовой стрелке на чертеже вокруг центра ОС вращения. Здесь, пусть расстояние от главной точки L0 объектива до центра ОС вращения, то есть радиус вращения составляет r и фокусное расстояние блока 21 формирования изображения составляет f.
Кроме того, предположим, что поверхность VS(t) формирования изображения и поверхность VS(t+1) формирования изображения последовательно снимают по времени, область TRR-1 и область TRL-1 на поверхности VS(t) формирования изображения, соответственно, соответствуют области TRR полосы и области TRL полосы, и область TRR-2, и область TRL-2 на поверхности VS(t+1) формирования изображения, соответственно, соответствуют области TRR полосы и области TRL полосы. В это время, если предположить, что величина смещения равна 2Н, расстояние между областью TRR-1 и областью TRL-1 и расстояние между областью TRR-2 и областью TRL-2 оба равны величине смещения 2Н.
В примере, показанном на фиг.10, один и тот же субъект ОВ21 отображается в соответствующих снятых изображениях, соответствующих поверхности VS(t) формирования изображения и поверхности VS(t+1) формирования изображения, и субъект ОВ21 отображается в соответствующих областях, соответствующих области TRL-1 и области TRR-2. Фактическое несоответствие субъекта ОВ21 в этом случае представляет собой расстояние 2d между областью TRL-1 и областью TRR-2.
Кроме того, когда два панорамных изображения PR и PL генерируют из снятых изображений, снятых в примере по фиг.10, несоответствие этих панорамных изображений составляет расстояние D от области TRR-1 до области TRR-2. Затем, в то время как это несоответствие D может быть представлено суммой расстояния от области TRR-1 до области TRL-1, то есть величиной смещения 2Н, и несоответствия 2d субъекта ОВ21, в случае когда последовательно снимают снимаемые изображения, несоответствие 2d становится бесконечно малой величиной и, таким образом, им можно пренебречь. Поэтому, несоответствие D панорамных изображений может быть аппроксимировано величиной смещения 2Н.
Как описано выше, поскольку несоответствие D между панорамным изображением PR и панорамным изображением PL, по существу, является таким же, как и величина смещения 2Н, когда выполняют регулировку несоответствия панорамных изображений на основе величины смещения, соответствующее управление несоответствием может быть выполнено, даже без определения доминирующего несоответствия панорамных изображений.
Пояснение процесса отображения стереоскопического панорамного изображения
В случае, когда устройство 11 формирования изображения выполняет регулировку несоответствия панорамных изображений на основе величины смещения, величину смещения подают не только в блок 23 определения области полосы, но также и в блок 26 управления несоответствием.
Ниже, со ссылкой на блок-схему последовательности операций, показанную на фиг.11, будет представлено описание процесса отображения стереоскопического панорамного изображения, выполняемого устройством 11 формирования изображения в этом случае.
Следует отметить, что поскольку обработка на этапе S51 - этапе S55 является такой же, что и обработка на этапе S11 - этапе S15 по фиг.3, ее описание здесь не представлено. Таким образом, снятые изображения снимают, и панорамное изображение PR и панорамное изображение PL генерируют из этих снятых изображений.
На этапе S56, блок 26 управления несоответствием выполняет регулировку несоответствия панорамного изображения PR и панорамного изображения PL, подаваемых из блока 25 генерирования панорамного изображения, используя введенную величину смещения 2Н.
Таким образом, путем установки величины сдвига панорамных изображений S=-2Н, блок 26 управления несоответствием регулирует несоответствие панорамного изображения PR и панорамного изображения PL, выполняя ту же обработку, что и обработка, описанная выше со ссылкой на фиг.9. Таким образом, панорамное изображение PR и панорамное изображение PL каждое сдвигают на величину S/2 в направлении х.
Затем, на этапе S57, используя пару панорамных изображений, подаваемую из блока 26 управления несоответствием, как панорамные изображения для правого глаза и левого глаза, блок 27 дисплея стереоскопически отображает эти панорамные изображения одновременно с помощью схемы экрана с линзами, и обработка отображения стереоскопического панорамного изображения заканчивается.
Таким образом, устройство 11 формирования изображения выполняет регулировку несоответствия панорамных изображений на основе величины смещения и отображает пару панорамных изображений как стереоскопическое панорамное изображение.
Пара панорамных изображений, имеющая более соответствующее несоответствие, может быть получена таким образом также путем выполнения регулировки несоответствия панорамных изображений, используя величину смещения, и может отображаться стереоскопическое панорамное изображение, которое обеспечивает более естественное стереоскопическое восприятие. В этом случае, несоответствие может быть быстро отрегулировано, используя более простую обработку, чем в случае определения доминирующего несоответствия.
Следует отметить, что хотя выше было описано, что величину сдвига устанавливают равной величине смещения, значение, получаемое путем незначительного увеличения или уменьшения величины смещения, можно использовать, как величину сдвига.
Кроме того, хотя было описано, что две разных области в каждом снятом изображении установлены как области полосы, три или больше области одного снятого изображения, которые отличаются друг от друга, каждая может быть установлена, как область полосы. В таком случае панорамные изображения генерируют для каждой из этих областей полосы. Такое множество панорамных изображений используют для отображения, например, стереоскопического панорамного изображения, снятого из множества точек съемки. Например, путем отображения нескольких из множества панорамных изображений одновременно, используя схему экрана с линзами, может быть отображено панорамное изображение, несоответствие которого изменяется в зависимости от точки съемки, из которой рассматривают блок 27 дисплея. Даже в этом случае устройство 11 формирования изображения может выполнять регулировку несоответствия для каждой пары панорамных изображений.
Кроме того, хотя было описано, что как панорамное изображение PR, так и панорамное изображение PL сдвинуты, с тем чтобы, таким образом, выполнять регулировку несоответствия этих панорамных изображений, достаточно, чтобы несоответствие было отрегулировано путем сдвига, по меньшей мере, одного из панорамного изображения PR и панорамных изображения PL. Таким образом, например, несоответствие может быть отрегулировано путем сдвига только панорамного изображения PR на величину сдвига S.
Кроме того, хотя представленное выше описание было направлено на случай, в котором отображается стереоскопическое панорамное изображение, стереоскопическое изображение, предназначенное для отображения, не обязательно может иметь более широкое поле обзора, чем у снятых изображений. Например, может отображаться стереоскопическое изображение с тем же полем обзора, что и у снятых изображений. В таком случае поле обзора генерируемых панорамных изображений установлено равным полю обзора снятых изображений.
Следует отметить, что последовательность обработки, описанная выше, может быть выполнена либо с использованием аппаратных средств, или может быть выполнена с помощью программных средств. Если последовательность обработки должна быть выполнена с помощью программных средств, программу, составляющую программное средство, устанавливают в компьютер, встроенный в специализированные аппаратные средства, или, например, в персональный компьютер общего назначения, который может выполнять различного вида функции, когда в нем установлены различного вида программы с носителя записи программы.
На фиг.12 показана блок-схема, представляющая пример конфигурации аппаратных средств компьютера, который выполняет описанную выше последовательность обработки с использованием программы.
В компьютере центральное процессорное устройство (CPU) 201, постоянное запоминающее устройство (ROM) 202 и оперативное запоминающее устройство (RAM) 203 соединены друг с другом через шину 204.
Шина 204 дополнительно соединена с интерфейсом 205 ввода/вывода. Интерфейс 205 ввода/вывода соединен с входным блоком 206, сформированным из клавиатуры, мыши, микрофона и т.п., выходным блоком 207, сформированным из дисплея, громкоговорителя и т.п., блоком 208 записи, сформированным из жесткого диска, энергонезависимого запоминающего устройства и т.п., блоком 209 передачи данных, сформированным сетевым интерфейсом и т.п., и приводом 210 для привода съемного носителя 211 записи, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.
В компьютере, выполненном, как описано выше, описанную выше последовательность обработки выполняют, когда, например, CPU 201 загружает программу, записанную в блоке 208 записи в RAM 203 через интерфейс 205 входа/выхода и шину 204, и выполняет эту программу.
Программа, выполняемая компьютером (CPU 201), предоставляется в виде записи на съемном носителе 211 записи, который представляет собой упакованный носитель, сформированный, например, магнитным диском (включающим в себя гибкий диск), оптическим диском (таким как Постоянное запоминающее устройство на компакт-диске (CD-ROM) или Цифровой универсальный диск (DVD)), магнитооптическом диске, полупроводниковом запоминающем устройстве и т.п., или через кабельную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет или цифровая широковещательная спутниковая передача.
Затем программа может быть установлена в блок 208 записи через интерфейс 205 входа/выхода путем установки съемного носителя 211 в привод 210. Кроме того, программа может быть принята с помощью блока 209 передачи данных через кабельную или беспроводную среду передачи и установлена в блок 208 записи. В качестве альтернативы, программа может быть предварительно установлена в ROM 202 или в блок 208 записи.
Следует отметить, что программа, выполняемая компьютером, может представлять собой программу, в которой обработку выполняют во временной последовательности, в порядке, описанном в данном описании, или может представлять собой программу, в которой обработку выполняют параллельно или в необходимые моменты времени, например, по вызову.
Следует отметить, что варианты осуществления настоящего изобретения не ограничиваются описанными выше вариантами осуществления, и различные модификации возможны, без выхода за пределы объема настоящего изобретения.
Список номеров ссылочных позиций
11 устройство формирования изображения
21 блок формирования изображения
22 блок расчета движения
23 блок определения области полосы
24 блок определения области синтеза
25-1,25-2,25 блок генерирования панорамного изображения
26 блок управления несоответствием
27 блок дисплея.
1. Устройство обработки изображений, которое генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие относительно друг друга, на основе множества снятых изображений, полученных в результате съемки с использованием средства формирования изображений, при перемещении средства формирования изображения, содержащее:
первое средство генерирования синтетического изображения, предназначенное для генерирования первого синтетического изображения путем синтеза каждого из изображений в области первой полосы снятых изображений;
второе средство генерирования синтетического изображения, предназначенное для генерирования второго синтетического изображения путем синтеза каждого из изображений во второй области полосы снятых изображений, которая отличается от области первой полосы; и
средство управления несоответствием, предназначенное для регулировки несоответствия первого синтетического изображения и второго синтетического изображения, путем сдвига, по меньшей мере, одного из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига, в котором средство управления несоответствием вычисляет значение корреляции, обозначающее степень корреляции между областью первого синтетического изображения и областью второго синтетического изображения, детектирует доминирующее несоответствие первого синтетического изображения и второго синтетического изображения, используя значения корреляции, и вычисляет величину сдвига, который компенсирует доминирующее несоответствие.
2. Устройство обработки изображений по п.1, в котором средство управления несоответствием вычисляет разность между первым синтетическим изображением и вторым синтетическим изображением как значение корреляции, перемещая положение второго синтетического изображения относительно первого синтетического изображения.
3. Устройство обработки изображений по п.1, в котором средство управления несоответствием вычисляет величину сдвига на основе расстояния между первой областью полосы и второй областью полосы в каждом из снятых изображений.
4. Способ обработки изображений для устройства обработки изображений, которое генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие в отношении друг друга, на основе множества снятых изображений, полученных в результате съемки с помощью средства формирования изображений, при перемещении средства формирования изображения, устройство обработки изображений, включающее в себя
средство генерирования первого синтетического изображения, предназначенное для генерирования первого синтетического изображения путем синтеза каждого из изображений в области первой полосы снятых изображений,
средство генерирования второго синтетического изображения, предназначенное для генерирования второго синтетического изображения путем синтеза каждого из изображений в области второй полосы снятых изображений, которая отличается от области первой полосы, и
средство управления несоответствием, предназначенное для регулирования несоответствия первого синтетического изображения и второго синтетического изображения, смещая, по меньшей мере, одно из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига, способ обработки изображений, содержащий следующие этапы:
средство генерирования первого синтетического изображения генерирует первое синтетическое изображение путем синтеза каждого из изображений в области первой полосы снятых изображений;
средство генерирования второго синтетического изображения генерирует второе синтетическое изображение путем синтеза каждого из изображений в области первой полосы снятых изображений; и
средство управления несоответствием регулирует несоответствие первого синтетического изображения и второго синтетического изображения на основе величины сдвига, в котором средство управления несоответствием вычисляет значение корреляции, обозначающее степень корреляции между областью первого синтетического изображения и областью второго синтетического изображения, детектирует доминирующее несоответствие первого синтетического изображения и второго синтетического изображения, используя значения корреляции, и вычисляет величину сдвига, который компенсирует доминирующее несоответствие.
5. Носитель записи, содержащий записанную на нем программу для обеспечения выполнения компьютером обработки, причем компьютер управляет устройством обработки изображений, которое генерирует первое синтетическое изображение и второе синтетическое изображение, используемые для отображения стереоскопического синтетического изображения и имеющие несоответствие в отношении друг друга, на основе множества снятых изображений, полученных в результате съемки с помощью средства формирования изображений, при перемещении средства формирования изображения, обработка, включающая в себя следующие этапы:
генерируют первое синтетическое изображение путем синтеза каждого из изображений в области первой полосы снятых изображений;
генерируют второе синтетическое изображение путем синтеза каждого из изображений в области второй полосы снятых изображений, которая отличается от области первой полосы; и
регулируют несоответствие первого синтетического изображения и второго синтетического изображения, смещая, по меньшей мере, одно из первого синтетического изображения и второго синтетического изображения на основе заданной величины сдвига, в котором на этапе регулирования несоответствия первого синтетического изображения и второго синтетического изображения, вычисляют значение корреляции, обозначающее степень корреляции между областью первого синтетического изображения и областью второго синтетического изображения, детектируют доминирующее несоответствие первого синтетического изображения и второго синтетического изображения, используя значения корреляции, и вычисляют величину сдвига, который компенсирует доминирующее несоответствие.
