Устройство захвата изображений, способ управления этим устройством и программа

Изобретение относится к устройствам захвата изображения и может быть использовано для создания изображений для бинокулярного стереоэффекта. Левое и правое захваченные изображения выводятся при приеме световых лучей, прошедших через одну оптическую систему формирования изображений. Обнаруживают разницу между левым и правым захваченными изображениями каждого из объектов, включенных в левое и правое изображения. Изображение извлечения, извлеченное из области, которая включает в себя главный объект и имеет заранее установленный размер, выводится для каждого из левого и правого захваченных изображений. В то же время область устанавливается так, чтобы разница между левым и правым захваченными изображениями объекта, который отличается от главного объекта и включается в оба изображения извлечения, имела заранее установленное значение. Технический результат - улучшение восприятия стереоскопического эффекта, предотвращая потерю диспарантности. 5 н. и 8 з.п. ф-лы, 28 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к устройству захвата изображений, способу управления этим устройством и к программе, и в частности, к методике создания изображения для бинокулярного стереоэффекта.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] В последние годы, например, с развитием обрабатывающей способности у арифметической схемы и увеличением количества пикселей в области отображения доступны некоторые виды устройств отображения, то есть так называемые устройства отображения трехмерного изображения (в дальнейшем будут называться 3D-телевизорами), допускающие предоставление наблюдателю возможности воспринимать трехмерные визуальные эффекты.

[0003] 3D-телевизор часто применяет, например, способ выборочного отображения изображений для левого и правого глаза с заранее установленной частотой обновления или одновременного отображения левого и правого изображений, чтобы предоставить наблюдателю возможность наблюдать разные изображения обоими глазами, используя некий оптический элемент, например линзорастровую пленку. 3D-телевизор отображает изображения или видео, представленные изображениями для левого и правого глаза, имеющими заданную разницу (диспаратность), которая позволяет наблюдателю воспринимать информацию о глубине.

[0004] Когда люди наблюдают объект при возникновении диспаратности, когда угол, образованный прямой линией, которая соединяет объект с каждым глазным яблоком, больше угла сходимости, образованного линией визирования, которая соединяет это глазное яблоко с точкой взгляда (диспаратность отсутствует), они воспринимают объект как находящийся на переднем плане относительно точки взгляда. Однако когда люди наблюдают объект при возникновении диспаратности, когда угол, образованный прямой линией, которая соединяет объект с каждым глазным яблоком, меньше угла сходимости, образованного линией визирования, которая соединяет это глазное яблоко с точкой взгляда, они воспринимают объект как находящийся на заднем плане относительно точки взгляда.

[0005] В настоящее время, дабы не отставать от распространения бытовых 3D-телевизоров, в продажу уже выпущены бытовые устройства захвата изображений (3D-камеры), например цифровые камеры и цифровые видеокамеры. В этих условиях пользователь получил возможность отображать и просматривать захваченные им самим изображения или видео на бытовом 3D-телевизоре.

[0006] В качестве 3D-камер, допускающих захват изображения для бинокулярного стереоэффекта, доступна не только 3D-камера, которая включает в себя две оптические системы формирования изображений для левого и правого глаза, но также и камера, которая использует одну оптическую систему формирования изображений. Точнее говоря, световые лучи, прошедшие через разные области в выходном зрачке одной оптической системы формирования изображений, захватываются независимо, чтобы получить изображение, эквивалентное изображению для бинокулярного стереоэффекта, полученному устройством захвата изображений, включающим в себя две оптические системы формирования изображений, имеющие в качестве длины базы расстояние между центрами тяжести областей, через которые прошли световые лучи. Этого можно добиться с использованием датчика изображений, имеющего составную структуру пикселя (см. фиг. 2), который используется для обнаружения фокуса в схеме обнаружения разности фаз, включает в себя множество светоприемных элементов в каждом пикселе и образует изображения разных световых лучей на соответствующих светоприемных элементах с использованием микролинзы, как описано в патенте Японии № 4027113.

[0007] При обнаружении фокуса в схеме обнаружения разности фаз световые лучи, прошедшие через разные области в выходном зрачке, образуют на разных пикселях изображение объекта в фокусном положении, и изображения объектов соответственно на заднем плане и переднем плане относительно фокусного положения, как показано на фиг. 12A-12C.

[0008] Когда составная структура пикселя у датчика изображений включает в себя два горизонтально расположенных светоприемных элемента, сдвиг в горизонтальном положении изображения объекта, который формируется между изображениями A и B, выведенными из светоприемных элементов всех пикселей, меняется для изображений объекта на соответствующих расстояниях, как показано на фиг. 12D-12F. В фактической операции обнаружения фокуса выводы из светоприемных элементов a и b используются в сочетании в направлении столбца (или направлении строки) в качестве выводов из групп ячеек пикселей, имеющих одинаковый цвет, чтобы создать изображения A и B и преобразовать их в данные, посредством этого получая сдвиг в соответствующей точке между изображениями A и B с помощью вычисления корреляции.

[0009] Таким образом, когда датчик изображений, имеющий составную структуру пикселя, используется для создания изображения для бинокулярного стереоэффекта из световых лучей, прошедших через разные области в выходном зрачке оптической системы формирования изображений, плоскость, в которой находится точка взгляда в устройстве захвата изображений, включающем в себя две оптические системы формирования изображений, соответствует фокусному положению, почти не имеющему диспаратности. То есть, когда устройство захвата изображений фокусируется на главном объекте для съемки изображения с использованием одной оптической системы формирования изображений, главный объект изображается почти на одних и тех же пикселях на изображении для левого глаза (изображении A) и изображении для правого глаза (изображении B), и естественно не имеет диспаратности.

[0010] Когда отображается такое изображение для бинокулярного стереоэффекта, снятое устройством захвата изображений (монокулярным устройством захвата изображений), включающим в себя одну оптическую систему формирования изображений и датчик изображений, имеющий составную структуру, наблюдателю трудно воспринимать стереоскопический эффект главного объекта, потому что главный объект никогда не имеет диспаратности.

[0011] Также, когда на устройстве отображения последовательно считываются и воспроизводятся движущиеся изображения, снятые одновременно с фокусировкой на главном объекте, или непрерывно снятые неподвижные изображения, изображение, ассоциированное с главным объектом, не имеет диспаратности даже после того, как перемещается главный объект, поэтому изменяется диспаратность объекта, отсутствующего в фокусном положении.

[0012] Например, в сцене 1, когда устройство захвата изображений, главный объект, ближний объект и дальний объект имеют взаимные расположения, которые показаны на фиг. 13A, изображение 1301 для левого глаза и изображение 1302 для правого глаза снимаются, как показано на фиг. 13B. Как видно из изображений 1301 и 1302 для левого и правого глаза, ближний объект на переднем плане относительно главного объекта в фокусном положении и дальний объект на заднем плане относительно главного объекта имеют горизонтальные разницы (Zn и Zf1) между этими изображениями. Когда такое изображение для бинокулярного стереоэффекта отображается на устройстве отображения, главный объект в фокусном положении не имеет разницы между захваченными изображениями для левого и правого глаза, поэтому наблюдатель воспринимает его как находящийся в положении поверхности отображения, как показано на фиг. 13C. Также наблюдатель воспринимает ближний объект и дальний объект относительно поверхности отображения как находящийся соответственно на переднем плане и заднем плане.

[0013] Затем в сцене 2, когда главный объект перемещается в такое же положение по глубине, как у ближнего объекта, в то время как ближний объект и дальний объект остаются неподвижными, как показано на фиг. 13D, изображение 1303 для левого глаза и изображение 1304 для правого глаза снимаются, как показано на фиг. 13E. Как описано выше, при фокусировке на главном объекте объект на плоскости, в которой находится фокусное положение, не имеет диспаратности, поэтому ближний объект и главный объект не имеют отличий между захваченными изображениями для левого и правого глаза. В отличие от этого дальний объект удаляется из фокусного положения в направлении глубины и поэтому имеет разницу Zf2 между захваченными изображениями для левого и правого глаза, которая больше разницы Zf1 между этими изображениями в сцене 1.

[0014] В то же время, когда изображения 1303 и 1304 для левого и правого глаза отображаются на устройстве отображения, наблюдатель воспринимает главный объект и ближний объект как остающиеся неподвижными в положениях, заданных на поверхности отображения, как показано на фиг. 13F, поэтому наблюдателю трудно воспринимать перемещение главного объекта. То есть ближний объект остается неподвижным, но тем не менее наблюдатель воспринимает его как переместившийся в положение поверхности отображения, где находится главный объект. Также дальний объект остается неподвижным, но тем не менее наблюдатель воспринимает его как переместившийся на задний план относительно поверхности отображения, где находится главный объект.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0015] Настоящее изобретение создано с учетом вышеупомянутой традиционной проблемы. Настоящее изобретение предоставляет методику предоставления наблюдателю возможности подходящим образом воспринимать стереоскопический эффект главного объекта, предотвращая при этом потерю диспаратности у главного объекта, при воспроизведении изображения для бинокулярного стереоэффекта, созданного с использованием светового луча, прошедшего через одну оптическую систему формирования изображений.

[0016] В соответствии с одной особенностью настоящего изобретения предоставляется устройство захвата изображений, содержащее: одну оптическую систему формирования изображений; датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через одну оптическую систему формирования изображений; средство обнаружения для обнаружения разницы между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение; средство управления для управления средством фокусировки в оптической системе формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной средством обнаружения; и средство извлечения для создания изображения для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения, где средство извлечения устанавливает область так, что разница между левым захваченным изображением и правым захваченным изображением объекта, который отличается от заданного объекта и включается в оба изображения извлечения, имеет заранее установленное значение.

[0017] В соответствии с другой особенностью настоящего изобретения предоставляется устройство захвата изображений, содержащее: одну оптическую систему формирования изображений; датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через одну оптическую систему формирования изображений; средство обнаружения для обнаружения разницы между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение; средство управления для управления средством фокусировки в оптической системе формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной средством обнаружения; и средство извлечения для создания изображения для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения, при этом средство извлечения устанавливает область так, что разница между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, отличном от расстояния между заданным объектом и устройством захвата изображений, имеет заранее установленное значение, где средство извлечения устанавливает область на основе расстояния между центрами тяжести световых лучей, используемых для вывода соответственно левого захваченного изображения и правого захваченного изображения, расстояния между датчиком изображений и выходным зрачком одной оптической системы формирования изображений и разницы между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, которая получается из заранее установленного расстояния.

[0018] В соответствии с еще одной особенностью настоящего изобретения предоставляется способ управления устройством захвата изображений, включающим в себя одну оптическую систему формирования изображений и датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через одну оптическую систему формирования изображений, при этом способ содержит: этап обнаружения, состоящий в обнаружении разницы между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение; этап управления, состоящий в управлении средством фокусировки в оптической системе формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной на этапе обнаружения; и этап извлечения, состоящий в создании изображения для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения, где на этапе извлечения область устанавливается так, что разница между левым захваченным изображением и правым захваченным изображением объекта, который отличается от заданного объекта и включается в оба изображения извлечения, имеет заранее установленное значение.

[0019] В соответствии с еще одной особенностью настоящего изобретения предоставляется способ управления устройством захвата изображений, включающим в себя одну оптическую систему формирования изображений и датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через одну оптическую систему формирования изображений, при этом способ содержит: этап обнаружения, состоящий в обнаружении разницы между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение; этап управления, состоящий в управлении средством фокусировки в оптической системе формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной на этапе обнаружения; и этап извлечения, состоящий в создании изображения для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения, при этом этап извлечения устанавливает область так, что разница между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, отличном от расстояния между заданным объектом и устройством захвата изображений, имеет заранее установленное значение, где на этапе извлечения область устанавливается на основе расстояния между центрами тяжести световых лучей, используемых для вывода соответственно левого захваченного изображения и правого захваченного изображения, расстояния между датчиком изображений и выходным зрачком одной оптической системы формирования изображений и разницы между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, которая получается из заранее установленного расстояния.

[0020] Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания типовых вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0021] Фиг. 1 - блок-схема, показывающая функциональную конфигурацию цифровой камеры в соответствии с вариантом осуществления настоящего изобретения;

[0022] Фиг. 2 - вид, показывающий конфигурацию единичного пикселя в датчике изображений в соответствии с вариантом осуществления настоящего изобретения;

[0023] Фиг. 3 - вид для объяснения конфигурации захваченного изображения в соответствии с вариантом осуществления настоящего изобретения;

[0024] Фиг. 4A и 4B - виды для объяснения способа вычисления разницы между изображениями в соответствии с вариантом осуществления настоящего изобретения;

[0025] Фиг. 5 - блок-схема последовательности операций, иллюстрирующая пример процесса съемки в соответствии с вариантом осуществления настоящего изобретения;

[0026] Фиг. 6 - блок-схема последовательности операций, иллюстрирующая пример процесса регулирования разницы изображений в соответствии с вариантом осуществления настоящего изобретения;

[0027] Фиг. 7A и 7B - виды для объяснения связи между величиной расфокусировки и разницей между изображениями;

[0028] Фиг. 8 - график для объяснения процесса регулирования разницы изображений в соответствии с вариантом осуществления настоящего изобретения;

[0029] Фиг. 9A и 9B - другие виды для объяснения процесса регулирования разницы изображений в соответствии с вариантом осуществления настоящего изобретения;

[0030] Фиг. 10A и 10B - графики для объяснения модификации процесса регулирования разницы изображений в соответствии с вариантом осуществления настоящего изобретения;

[0031] Фиг. 11A и 11B - виды, показывающие формат записи данных изображения для бинокулярного стереоэффекта в соответствии с вариантом осуществления настоящего изобретения;

[0032] Фиг. 12A, 12B, 12C, 12D, 12E и 12F - виды для объяснения обнаружения фокуса в схеме обнаружения разности фаз; и

[0033] Фиг. 13A, 13B, 13C, 13D, 13E и 13F - виды для объяснения изображения для бинокулярного стереоэффекта, которое захватывается с использованием датчика изображений, имеющего составную структуру пикселя.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0034][ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]

Далее будет подробно описан типовой вариант осуществления настоящего изобретения со ссылкой на прилагаемые чертежи. Отметим, что вариант осуществления, который будет описан ниже, будет иллюстрировать устройство захвата изображений путем применения настоящего изобретения к цифровой камере, которая включает в себя датчик изображений, имеющий составную структуру пикселя и допускающий создание изображения для бинокулярного стереоэффекта из световых лучей, прошедших через разные области в выходном зрачке одной оптической системы формирования изображений. Однако настоящее изобретение применимо к произвольному устройству, допускающему создание изображения для бинокулярного стереоэффекта из световых лучей, прошедших через одну оптическую систему формирования изображений.

[0035] Также в этом описании изобретения "разница между изображениями" означает величину, представляющую сдвиг для каждого пикселя в относительном горизонтальном положении одного и того же объекта на изображениях для левого и правого глаза (левое изображение и правое изображение), который формируется между этими изображениями. Разница между изображениями равна нулю для объекта без диспаратности и имеет положительное значение для объекта дальше, чем объект без диспаратности, и отрицательное значение для объекта ближе, чем объект без диспаратности. Также "величина сдвига" означает величину, представляющую сдвиг для каждого пикселя в относительном горизонтальном положении записывающей области пикселей, из которой извлекается изображение, которое будет выведено, в эффективную область пикселей для каждого из левого и правого захваченных изображений.

[0036] Отметим, что этот вариант осуществления проводит различие между "захваченным изображением", заданным сигналом изображения, который получается с помощью фотоэлектрического преобразования с использованием датчика изображений и создает стереоскопический эффект, определенный в соответствии с установочными условиями оптической системы формирования изображений, и "изображением извлечения", заданным сигналом изображения, полученным путем извлечения частичной области захваченного изображения для вывода, чтобы создать нужный стереоскопический эффект.

[0037]<ФУНКЦИОНАЛЬНАЯ КОНФИГУРАЦИЯ ЦИФРОВОЙ КАМЕРЫ 100>

Фиг. 1 - блок-схема, показывающая функциональную конфигурацию цифровой камеры 100 в соответствии с вариантом осуществления настоящего изобретения.

[0038] Узел 101 управления системой является, например, CPU и управляет работой каждого узла, предоставленного в цифровой камере 100. Точнее говоря, узел 101 управления системой управляет работой каждого узла, например, путем считывания рабочей программы для процесса съемки изображения со стереоэффектом (будет описан позже), которая хранится в ROM 102, развертывания ее в RAM 103 и ее исполнения.

[0039] ROM 102 является, например, перезаписываемым энергонезависимым запоминающим устройством и хранит не только рабочую программу для процесса съемки изображения со стереоэффектом, но также и параметры, необходимые для работы каждого узла цифровой камеры 100, или информацию, например, о настройках захвата изображений у цифровой камеры 100.

[0040] RAM 103 является энергозависимым запоминающим устройством и используется для временного хранения не только области развертывания для рабочей программы, но также, например, промежуточных данных, выведенных при работе каждого узла цифровой камеры 100.

[0041] Оптическая система 104 формирования изображений является узлом, образованным, например, линзой объектива, фокусирующей линзой и диафрагмой, и ее положение линз и F-число (апертура) управляются, например, приводным узлом 105 в ответ на управляющий сигнал от узла 101 управления системой. Также затвор 106 является элементом для управления величиной экспозиции при разовой съемке и открывается/закрывается в подходящий момент под управлением узла 101 управления системой, посредством этого управляя временем, затраченным на образование изображения светового луча, падающего на узел 107 захвата изображений (будет описан позже) через оптическую систему 104 формирования изображений.

[0042] Узел 107 захвата изображений является датчиком изображений, например КМОП-датчиком, и фотоэлектрически преобразует оптическое изображение, образованное на поверхности датчика изображений оптической системой 104 формирования изображений, посредством этого выводя аналоговый сигнал изображения. В этом варианте осуществления каждый пиксель датчика изображений имеет составную структуру пикселя, которая включает в себя два горизонтально расположенных светоприемных элемента 1a и 1b (левый и правый) и микролинзу 2, как описано выше со ссылкой на фиг. 2. Узел 107 захвата изображений фотоэлектрически преобразует световые лучи, которые образовали изображения на соответствующих светоприемных элементах и прошли через разные области в выходном зрачке оптической системы 104 формирования изображений, и выводит полученные аналоговые сигналы левого и правого изображения в узел 108 обработки сигналов.

[0043] Хотя для примера в этом варианте осуществления будет взята составная структура пикселя, включающая в себя два светоприемных элемента в каждой единичной ячейке пикселей, применение настоящего изобретения на практике этим не ограничивается, и может применяться составная структура пикселя, включающая в себя три или более светоприемных элементов в каждой единичной ячейке пикселей. В этом случае, например, путем добавления выводов из соответствующих светоприемных элементов, предоставленных в каждой единичной ячейке пикселей, можно получить два типа разделенных выводов сигнала изображения в виде по меньшей мере сигналов левого и правого захваченного изображения. Когда, например, каждый единичный пиксель включает в себя четыре светоприемных элемента, расположенных в квадратной матрице, сигналы левого и правого захваченного изображения можно получить путем сложения выводов из двух вертикально соседних светоприемных элементов на каждой из правой и левой сторон или с использованием вывода из светоприемного элемента, выбранного из выводов на каждой из левой и правой сторон. Когда каждый единичный пиксель включает в себя пять светоприемных элементов: четыре светоприемных элемента, расположенных в квадратной матрице, и один светоприемный элемент в центре, сигналы левого и правого захваченного изображения можно получить аналогичным образом с использованием светоприемных элементов помимо центрального светоприемного элемента.

[0044] Узел 108 обработки сигналов является схемой обработки сигналов, реализованной, например, с помощью AFE (Аналоговый препроцессор) и DFE (Цифровой препроцессор), и выводит цифровой сигнал изображения после выполнения различных процессов для аналогового сигнала изображения, введенного из узла 107 захвата изображений. Например, AFE применяет такие процессы, как фиксирование уровня OB для регулирования оптического уровня черного до опорного уровня и процесс аналого-цифрового преобразования, посредством этого преобразуя аналоговый сигнал изображения в цифровой сигнал изображения (изображение) и выводя его. Также DFE выполняет различные корректирующие процессы или цифровой процесс, например сортировку, для пикселей на левом и правом захваченных изображениях.

[0045] Отметим, что операции узла 107 захвата изображений и узла 108 обработки сигналов выполняются в соответствии с синхронизирующим сигналом, выведенным из TG 109 (схема формирования синхронизации). Узел 101 управления системой управляет формированием синхронизирующего сигнала от TG 109.

[0046] Узел 110 измерения расстояний выполняет вычисление горизонтальной корреляции для левого и правого захваченных изображений, выведенных из узла 108 обработки сигналов, посредством этого вычисляя величину расфокусировки у оптической системы 104 формирования изображений и выводя ее в узел 101 управления системой. Отметим, что в этом варианте осуществления узел 110 измерения расстояний включает в себя узел 120 обнаружения разницы изображений, который выполняет вычисление корреляции для введенного левого и правого захваченных изображений, чтобы вычислить разницу между этими изображениями у каждого объекта, присутствующего на этих изображениях.

[0047] Узел 120 обнаружения разницы изображений вычисляет разницу, сформированную между левым и правым захваченными изображениями для каждого пикселя или каждого блока в заранее установленной области, полученной путем разделения каждого изображения на заранее установленное количество областей, посредством этого формируя известную карту диспаратности, в которой разница между этими изображениями отображается в опорное изображение разницы изображений. Карта диспаратности представляет собой разницу каждой соответствующей точки, сформированную между левым и правым захваченными изображениями из-за разницы между областями в выходном зрачке, через которые прошли световые лучи, образующие эти изображения, и расстояние у каждого объекта можно оценить с использованием этой карты диспаратности.

[0048] Каждое из левого и правого захваченных изображений, введенных в узел 110 измерения расстояний, образуется с помощью области 301 пикселей оптического черного (OB), служащей в качестве опорной в контексте обработки изображений, и эффективной области 302 пикселей, как проиллюстрировано, например, на изображении 300, показанном на фиг. 3. В то же время для левого и правого захваченных изображений изображение базовой записывающей области 303 пикселей, образованной концентрически с эффективной областью 302 пикселей, используется в качестве изображения для вычисления горизонтальной корреляции. Карта диспаратности может формироваться путем ассоциации характерных точек с использованием, например, согласования стереопары.

[0049] Отметим, что область, которая не включается в базовую записывающую область 303 пикселей в эффективной области 302 пикселей, является граничной областью, используемой при регулировании диспаратности объекта на изображении для бинокулярного стереоэффекта, которое будет создано. При регулировании диспаратности объекта на изображении для бинокулярного стереоэффекта по меньшей мере одно из левого и правого изображений извлечения получается путем установки и извлечения записывающей области пикселей, имеющей такой же размер, как и базовая записывающая область 303 пикселей, так что она включает в себя граничную область в эффективной области 302 пикселей. То есть в этом варианте осуществления положение записывающей области пикселей, из которой извлекается изображение, горизонтально сдвигается в эффективную область 302 пикселей сигнала изображения, выведенного из узла 108 обработки сигналов, посредством этого получая изображение для бинокулярного стереоэффекта, которое имеет отрегулированную диспаратность.

[0050](СПОСОБ ОБНАРУЖЕНИЯ РАЗНИЦЫ ИЗОБРАЖЕНИЙ (СОГЛАСОВАНИЕ СТЕРЕОПАРЫ))

Для согласования стереопары доступны различные способы. Однако ниже будет описываться ассоциация характерных точек между левым и правым захваченными изображениями, которая использует простой способ сравнения с шаблоном на основе суммы разниц.

[0051] Сначала при задании одного из левого и правого захваченных изображений в качестве опорного изображения базовая записывающая область 303 пикселей на опорном изображении разделяется на заранее установленное количество (n) блоков 400-1 - 400-n, имеющих одинаковый размер, как показано на фиг. 4A. Хотя область, включающая в себя множество пикселей, в этом варианте осуществления разделяется на блоки, один блок может быть образован единичным пикселем. На другом изображении (изображение поиска) вычисляется корреляционное значение площади окна, имеющего такой же размер, как и каждый блок, наряду с горизонтальным перемещением окна для поиска положения пикселя, соответствующего положению пикселя, включенного в этот блок, посредством этого вычисляя разницу между левым и правым захваченными изображениями у этого блока на изображении поиска.

[0052] Например, отыскивается точка на правом захваченном изображении 411, служащем в качестве изображения поиска, которая соответствует интересующей точке 402 (x, y) на левом захваченном изображении 401, служащем в качестве опорного изображения, как показано на фиг. 4B, с использованием изображения блока 403, включающего в себя интересующую точку 402, в качестве шаблона. Область 412 поиска соответствующей точки в качестве диапазона на правом захваченном изображении 411, в рамках которого вычисляется корреляционное значение площади для шаблона, определяется в соответствии с той же координатой, что и интересующая точка 402, и разницей K между левым и правым захваченными изображениями 401 и 411, предполагаемой в качестве центра в горизонтальном направлении при задании этой координаты. Отметим, что в этом варианте осуществления два светоприемных элемента горизонтально помещаются рядом в каждом единичном пикселе датчика изображений, поэтому одномерная корреляция вычисляется только для поиска в горизонтальном направлении.

[0053] Каждый пиксель в области 412 поиска соответствующей точки последовательно выбирается в качестве пикселя 413 поиска, и степень подобия шаблону вычисляется для изображения, включенного в область 414 окна, которая имеет этот пиксель в качестве центра и такую же площадь, как и шаблон. В то же время степень подобия в окрестности соответствующей точки - кандидата в пиксель 413 поиска - вычисляется с помощью суммы квадратов разницы между значениями пикселей в виде:

где I(x, y) является сигналом изображения от интересующей точки 402 (x, y) на левом захваченном изображении 401, xb+i является координатой x пикселя 413 поиска на правом захваченном изображении 411, и I0(xb+i, y) является сигналом изображения от пикселя 413 поиска на правом захваченном изображении 411. Отметим, что JSDD называется "остаточной суммой квадратов" и равна нулю тогда, когда все значения пикселей одинаковы. То есть точка на правом захваченном изображении 411, которая соответствует интересующей точке 402 на левом захваченном изображении 401, является пикселем (xc, y), где сводится к минимуму JSDD, представляющая степень подобия между сигналом изображения от интересующей точки 402 и сигналом от пикселя 413 поиска. Это означает, что горизонтальная разница Z у объекта в интересующей точке 402 между левым и правым захваченными изображениями имеет вид:

Z=x-xc

Характерное значение для разницы между левым и правым захваченными изображениями в каждом разделенном блоке определяется с использованием максимального или среднего значения разниц между интересующими точками на опорном изображении и соответствующими точками на изображении поиска, которые вычисляются для всех пикселей в этом разделенном блоке. Используя характерные значения разниц между левым и правым захваченными изображениями, вычисленные для всех блоков, узел 120 обнаружения разницы изображений формирует карту диспаратности и выводит ее в узел 111 обработки изображений (будет описан позже). Отметим, что формирование карты диспаратности узлом 120 обнаружения разницы изображений и вычисление величины расфокусировки узлом 110 измерения расстояний может выполняться одновременно, либо величина расфокусировки может вычисляться с использованием карты диспаратности.

[0054] Узел 111 обработки изображений выполняет корректирующие процессы, например процесс преобразования цветов и процесс увеличения/уменьшения для левого и правого захваченных изображений, выведенных из узла 108 обработки сигналов. Также, чтобы создать изображения извлечения, имеющие отрегулированную разницу между левым и правым захваченными изображениями, узел 111 обработки изображений извлекает области, имеющие заранее установленный размер, из вышеупомянутых изображений эффективных областей 302 пикселей. В то же время узел 101 управления системой обращается к карте диспаратности, чтобы определить величины сдвига из базовых записывающих областей 303 пикселей у записывающих областей пикселей в эффективных областях 302 пикселей, из которых извлекаются левое и правое изображения извлечения.

[0055] Узел 112 формирования ассоциированной информации формирует ассоциированную информацию, включающую в себя информацию о регулировке разницы изображений и информацию о настройках камеры при съемке, для левого и правого изображений извлечения, имеющих разницу между левым и правым захваченными изображениями, которая регулируется узлом 111 обработки изображений, как описано выше. Ассоциированная информация записывается совместно с левым и правым изображениями извлечения, имеющими отрегулированную разницу между левым и правым захваченными изображениями, которые создаются узлом 111 обработки изображений. Отметим, что информацией о регулировке разницы изображений может быть, например, информация о величинах сдвига из базовых записывающих областей 303 пикселей у записывающих областей пикселей, из которых извлекаются левое и правое изображения извлечения, информация о координатах вершин записывающих областей пикселей в эффективных областях 302 пикселей или информация о разнице между левым и правым изображениями извлечения в опорном положении (будет описано позже).

[0056] Носителем 113 записи является, например, внутреннее запоминающее устройство, встроенное в цифровую камеру 100, или записывающее устройство, съемно подключенное к цифровой камере 100, например карта памяти или HDD. Изображение для бинокулярного стереоэффекта, захваченное, когда пользователь нажимает на спусковую кнопку (не показана), записывается на носитель 113 записи в виде данных изображения. Отметим, что форматом записи данных изображения предпочтительно является формат с несколькими изображениями (MPO), формат JPEG или файл движущихся изображений (например, файл AVI), который не требует пост-обработки. Также данные изображения для бинокулярного стереоэффекта могут включать в себя только данные изображения (изображения извлечения) в записывающих областях пикселей, извлеченные из эффективных областей 302 пикселей, либо данные могут записываться для эффективных областей пикселей или всех областей пикселей, как, например, в формате RAW. Отметим, что если данные изображения для бинокулярного стереоэффекта не записываются в виде данных изображения в записывающих областях пикселей, то устройство воспроизведения, которое воспроизводит данные изображения, например, может извлечь и отобразить изображения, соответствующие левому и правому изображениям записи в соответствии с ассоциированной информацией.

[0057] Узел 114 отображения является устройством отображения, например компактным LCD TFT-типа. Узел 114 отображения отображает при необходимости сигналы изображения, выведенные из узла 108 обработки сигналов, посредством этого функционируя в качестве электронного видоискателя. Отметим, что узел 114 отображения может быть устройством отображения, которое предоставляет возможность стереоэффекта невооруженным глазом.

[0058]<ПРОЦЕСС СЪЕМКИ>

Ниже будет подробно описываться процесс съемки цифровой камерой 100 с вышеупомянутой конфигурацией в этом варианте осуществления со ссылкой на блок-схему последовательности операций, показанную на фиг. 5. Процесс, соответствующий показанной на фиг. 5 блок-схеме последовательности операций, может быть реализован с использованием узла 101 управления системой, например, для считывания программы соответствующего процесса, сохраненной в ROM 102, развертывания ее в RAM 103 и ее исполнения. Отметим, что нижеследующее описание предполагает, что этот процесс съемки начинается, например, когда цифровая камера 100 готовится к съемке при полунажатии спусковой кнопки (не показана) пользователем.

[0059] На этапе S501 узел 101 управления системой выполняет операцию предварительной съемки для измерения расстояния/фотометрии перед операцией съемки для записи. Точнее говоря, узел 101 управления системой управляет TG 109 и затвором 106 для воздействия на узел 107 захвата изображений и узел 108 обработки сигналов, чтобы вывести левое и правое захваченные изображения для предварительной съемки.

[0060] На этапе S502 узел 101 управления системой управляет узлом 110 измерения расстояний для вычисления величины расфокусировки для каждого из левого и правого захваченных изображений, выведенных после операции предварительной съемки, и управляет приводным узлом 105 для приведения в действие фокусирующей линзы в оптической системе 104 формирования изображений, чтобы сфокусироваться на главном объекте, посредством этого выполняя операцию фокусировки. Точнее говоря, узел 101 управления системой управляет узлом 110 измерения расстояний для вычисления величины расфокусировки для изображения, включенного в базовую записывающую область 303 пикселей каждого из левого и правого захваченных изображений, выведенных из узла 108 обработки сигналов после операции предварительной съемки. Узел 101 управления системой определяет положение приведения фокусирующей линзы, чтобы сфокусироваться на главном объекте, в соответствии с информацией о величине расфокусировки, выведенной из узла 110 измерения расстояний, и управляет приводным узлом 105 для перемещения фокусирующей линзы в определенное положение приведения.

[0061] На этапе S503 узел 101 управления системой определяет условия экспозиции при съемке для записи, при которых объект экспонируется подходящим образом, например F-число и время экспозиции, на основе левого или правого захваченного изображения, выведенного после операции предварительной съемки.

[0062] На этапе S504 узел 101 управления системой определяет, выдана ли команда на выполнение съемки для записи при полном нажатии спусковой кнопки (не показана) пользователем. Точнее говоря, узел 101 управления системой определяет, выдана ли команда на выполнение съемки для записи, на основе того, принял ли он сигнал SW2, вводимый при полном нажатии спусковой кнопки. Если узел 101 управления системой определяет, что выдана команда на выполнение съемки для записи, то узел 101 управления системой продвигает процесс к этапу S506; в противном случае он продвигает процесс к этапу S505.

[0063] На этапе S505 узел 101 управления системой определяет, изменил ли пользователь состояние спусковой кнопки (не показана) с полунажатого состояние на отпущенное состояние. Точнее говоря, узел 101 управления системой определяет, изменилось ли состояние спусковой кнопки на отпущенное состояние, на основе того, прекратился ли ввод сигнала SW1, принимаемого, пока спусковая кнопка удерживается полунажатой. Если узел 101 управления системой определяет, что состояние спусковой кнопки изменилось на отпущенное состояние, то узел 101 управления системой завершает процесс съемки; в противном случае он возвращает процесс к этапу S501, на котором он снова выполняет операцию предварительной съемки.

[0064] С другой стороны, если на этапе S504 узел 101 управления системой определяет, что выдана команда на выполнение съемки для записи, то на этапе S506 узел 101 управления системой выполняет операцию съемки для записи при условиях экспозиции, определенных на этапе S503, посредством этого получая левое и правое захваченные изображения. Хотя в этом варианте осуществления процесс съемки выполняется в операции съемки неподвижных изображений, на практике настоящее изобретение может применяться к операции съемки движущегося изображения. В операции съемки движущегося изображения нельзя обеспечить время на выполнение операции прикрытия света затвором 106 для каждого кадра, поэтому кадр, имеющий подходящую экспозицию, можно получить в результате приведении в действие сдвигаемого щелевого затвора с помощью датчика изображений.

[0065] На этапе S507 узел 101 управления системой управляет узлом 120 обнаружения разницы изображений для формирования карты диспаратности для левого и правого захваченных изображений, полученных с помощью операции съемки для записи. Точнее говоря, узел 101 управления системой определяет одно из левого и правого захваченных изображений, полученных с помощью операции съемки для записи, в качестве опорного изображения, а другое - в качестве изображения поиска. Узел 101 управления системой затем разделяет изображение, включенное в базовую записывающую область 303 пикселей опорного изображения, на заранее установленное количество блоков и управляет узлом 120 обнаружения разницы изображений для вычисления разницы между левым и правым захваченными изображениями в базовой записывающей области 303 пикселей изображения поиска в каждом блоке, посредством этого формируя карту диспаратности.

[0066] На этапе S508 узел 101 управления системой выполняет процесс регулирования разницы изображений для создания изображения для бинокулярного стереоэффекта, которое позволяет наблюдателю воспринимать подходящий стереоскопический эффект главного объекта, не имеющего диспаратности, используя карту диспаратности, сформированную узлом 120 обнаружения разницы изображений на этапе S507.

[0067](ПРОЦЕСС РЕГУЛИРОВАНИЯ РАЗНИЦЫ ИЗОБРАЖЕНИЙ)

Ниже будет описываться процесс регулирования разницы изображений со ссылкой на блок-схему последовательности операций, показанную на фиг. 6.

[0068] На этапе S601 узел 101 управления системой определяет опорное положение (блок) на опорном изображении, на котором находится объект, имеющий диспаратность, которая будет устранена, на изображении для бинокулярного стереоэффекта, которое будет создано, посредством этого получая разницу Z0 между левым и правым захваченными изображениями в опорном положении из карты диспаратности. В этом варианте осуществления в качестве опорного положения выбирается один из возможных блоков, включающих в себя объект на заднем плане относительно главного объекта. Способом выбора блока в качестве опорного положения может быть, например, способ представления возможных блоков пользователю, чтобы позволить ему или ей выбрать один из них, или способ автоматического выбора блока, содержащего объект с максимальной разницей между изображениями в пределах глубины резкости. Отметим, что в нижеследующем описании блок, содержащий объект с максимальной разницей между левым и правым захваченными изображениями в пределах глубины резкости, выбирается в качестве опорного положения, а объект в выбранном опорном положении будет называться самым дальним объектом.

[0069] На следующих этапах, чтобы создать изображение для бинокулярного стереоэффекта, на котором самый дальний объект в выбранном таким образом опорном положении не имеет диспаратности, положение записывающей области пикселей, из которой извлекается изображение извлечения, определяется из эффективной области 302 пикселей правого захваченного изображения, служащего в качестве изображения поиска.

[0070] На этапе S602 узел 101 управления системой определяет, не превышает ли разница Z0 у самого дальнего объекта между левым и правым захваченными изображениями в опорном положении горизонтальной ширины M граничной области, в которой записывающую область пикселей можно сдвинуть в эффективную область 302 пикселей, как показано на фиг. 3.

[0071] В этом варианте осуществления, если левое изображение извлечения в изображении для бинокулярного стереоэффекта, которое будет выведено в конечном счете, является изображением, извлеченным из базовой записывающей области 303 пикселей, то величина X сдвига из базовой записывающей области 303 пикселей у записывающей области пикселей, из которой извлекается правое изображение извлечения, ограничивается горизонтальной шириной M граничной области. То есть на этом этапе, когда величина X сдвига из базовой записывающей области 303 пикселей у записывающей области пикселей, из которой извлекается правое изображение извлечения, устанавливается в разницу Z0 между левым и правым захваченными изображениями, чтобы устранить диспаратность у самого дальнего объекта, определяется, является ли величина X сдвига меньше либо равной горизонтальной ширине M граничной области. Это означает, что на этом этапе узел 101 управления системой определяет, возможно ли создать изображение для стереоэффекта, на котором самый дальний объект не имеет диспаратности.

[0072] Если узел 101 управления системой определяет, что разница Z0 не превышает горизонтальной ширины M граничной области, то узел 101 управления системой продвигает процесс к этапу S603; в противном случае он продвигает процесс к этапу S604.

[0073] На этапе S603 узел 101 управления системой в качестве правого изображения извлечения извлекает изображение области пикселей извлечения, образованной в положении, сдвинутом на Z0 из базовой записывающей области 303 пикселей в эффективную область 302 пикселей правого захваченного изображения, служащего в качестве изображения поиска. То есть после выполнения процесса на этом этапе узел 101 управления системой может получить правое изображение извлечения, имеющее разницу между левым и правым захваченными изображениями, которая регулируется до нуля для самого дальнего объекта. Отметим, что узел 101 управления системой в то же время выводит информацию о величине сдвига (X=Z0) в узел 112 формирования ассоциированной информации.

[0074] С другой стороны, если на этапе S602 узел 101 управления системой определяет, что разница Z0 превышает горизонтальную ширину M граничной области, то на этапе S604 узел 101 управления системой в качестве правого изображения извлечения извлекает изображение записывающей области пикселей, образованной в положении, сдвинутом на M из базовой записывающей области 303 пикселей в эффективную область пикселей правого захваченного изображения. То есть после выполнения процесса на этом этапе узел 101 управления системой может получить правое изображение извлечения, имеющее разницу между левым и правым захваченными изображениями, которая регулируется, чтобы быть как можно ближе к нулю для самого дальнего объекта. Отметим, что узел 101 управления системой в то же время выводит информацию о величине сдвига (X=M) в узел 112 формирования ассоциированной информации.

[0075] На этапе S605 узел 101 управления системой выводит в узел 111 обработки изображений левое изображение извлечения, извлеченное из базовой записывающей области 303 пикселей левого захваченного изображения, и правое изображение извлечения, извлеченное из записывающей области пикселей, сдвинутой на величину X сдвига из базовой записывающей области 303 пикселей в эффективную область 302 пикселей правого захваченного изображения.

[0076] Таким образом, процесс регулирования разницы изображений позволяет получить левое и правое изображения извлечения для бинокулярного стереоэффекта, имеющие разницу между левым и правым захваченными изображениями, которая регулируется до нуля не для главного объекта, а для объекта в установленном опорном положении.

[0077] Отметим, что в этом варианте осуществления изображение извлечения извлекается из базовой записывающей области 303 пикселей на захваченном изображении левого и правого захваченных изображений, которое устанавливается в качестве опорного изображения, и изображение извлечения извлекается из сдвинутой записывающей области пикселей только из захваченного изображения, установленного в качестве изображения поиска. Однако применение настоящего изобретения на практике этим не ограничивается, и может применяться любая конфигурация при условии, что сдвиг в относительном горизонтальном положении записывающей области пикселей, из которой извлекается изображение извлечения для каждого из левого и правого захваченных изображений, в конечном счете становится как можно ближе к разнице у самого дальнего объекта между левым и правым захваченными изображениями.

[0078] Например, изображение извлечения для каждого глаза можно извлечь из записывающей области пикселей, образованной в положении, сдвинутом из базовой записывающей области 303 пикселей на каждом захваченном изображении на значение, соответствующее половине разницы Z0 или одной из двух частей, полученных путем деления разницы Z0 в произвольном отношении, между левым и правым захваченными изображениями самого дальнего объекта, полученного из карты диспаратности.

[0079] Также, например, когда изображение извлечения извлекается из записывающей области пикселей, сдвинутой из базовой записывающей области 303 пикселей на M, то есть предел сдвига меньше разницы Z0 у самого дальнего объекта между левым и правым захваченными изображениями на изображении поиска, может выполняться следующая операция. А именно, изображение извлечения можно извлечь из записывающей области пикселей, сдвинутой из базовой записывающей области 303 пикселей на Z0-M, чтобы разница у самого дальнего объекта между левым и правым захваченными изображениями стала нулем.

[0080] С другой стороны, когда разницу у объекта в опорном положении между левым и правым захваченными изображениями нельзя установить в ноль, даже если записывающие области пикселей, из которых извлекаются левое и правое изображения извлечения, сдвигаются вплоть до пределов сдвига (Z0>2M), может выполняться следующая операция. Например, левое и правое изображения извлечения можно извлечь из базовых записывающих областей 303 пикселей левого и правого захваченных изображений без регулирования разницы между левым и правым захваченными изображениями. Также, например, когда пользователь устанавливает объект, имеющий нулевую разницу между левым и правым захваченными изображениями, либо опорное положение, в котором находится объект, может отправляться уведомление, что процесс регулирования разницы объекта между левым и правым захваченными изображениями до нуля невозможен.

[0081] На этапе S509 узел 101 управления системой управляет узлом 112 формирования ассоциированной информации для формирования ассоциированной информации, включающей в себя информацию о регулировке разницы изображений, для левого и правого изображений извлечения. Отметим, что информацией регулировки разницы изображений может быть по меньшей мере одна из информации о величинах сдвига из базовых записывающих областей 303 пикселей у записывающих областей пикселей, из которых извлекаются левое и правое изображения извлечения для левого и правого захваченных изображений, информации о координатах записывающих областей пикселей в эффективных областях 302 пикселей и информации о разнице между левым и правым изображениями извлечения в опорном положении, как описано выше. Также ассоциированная информация может включать в себя настроечную информацию, ассоциированную со съемкой, например время экспозиции и F-число, в операции съемки для записи.

[0082] На этапе S510 узел 101 управления системой добавляет ассоциированную информацию, сформированную узлом 112 формирования ассоциированной информации, в левое и правое изображения извлечения, полученные с помощью процесса регулирования разницы изображений на этапе S508, записывает полученные данные на носитель 113 записи в качестве данных изображения для бинокулярного стереоэффекта и завершает процесс съемки. Отметим, что форматом записи данных изображения для бинокулярного стереоэффекта, записанных на носитель записи, в то же время может быть формат, образованный ассоциированной информацией и левым и правым изображениями извлечения, как показано, например, на фиг. 11A. В качестве альтернативы форматом записи данных изображения для бинокулярного стереоэффекта, записанных на носитель записи, в то же время может быть формат, образованный ассоциированной информацией, изображениями JPEG, служащими в качестве левого и правого изображений извлечения, и изображениями RAW, служащими в качестве изображений эффективных областей 302 пикселей левого и правого захваченных изображений, как показано, например, на фиг. 11B. В этом случае независимые порции ассоциированной информации могут записываться соответственно для изображений JPEG и RAW.

[0083](СВЯЗЬ МЕЖДУ ВЕЛИЧИНОЙ РАСФОКУСИРОВКИ И РАЗНИЦЕЙ МЕЖДУ ИЗОБРАЖЕНИЯМИ)

Будет подробнее объясняться то, как выполнять регулировку в вышеупомянутом процессе регулирования разницы изображений в показателях величины расфокусировки и разницы между изображениями.

[0084] Величина расфокусировки (обратная величина расстояния между объектом и цифровой камерой 100) и разница между левым и правым изображениями пропорциональны друг другу, как показано на фиг. 7A. А именно, величина D расфокусировки имеет вид:

D=K×Z+H

где Z является разницей произвольного объекта, сформированной между левым и правым изображениями, H является гиперфокальным смещением, и K является коэффициентом пропорциональности, вычисленным в виде:

K=B/p

где B является расстоянием между центрами тяжести световых лучей в выходном зрачке оптической системы 104 формирования изображений, через которые проходят световые лучи, чтобы образовать левое и правое изображения объекта, а p является расстоянием между этим выходным зрачком и датчиком изображений, как показано на фиг. 7B. Однако, поскольку отдельные используемые оптические системы 104 формирования изображений формируют, например, виньетирование с разными свойствами из-за факторов, ассоциированных с их структурами и аберрациями линз, коэффициент K пропорциональности предпочтительно заранее сохраняется в области памяти оптической системы 104 формирования изображений или цифровой камеры 100 вместо его вычисления с использованием вышеупомянутого уравнения.

[0085] Когда распределение разницы между левым и правым захваченными изображениями, полученными с помощью операции съемки для записи, является таким, как показано, например, на фиг. 7A, распределение разницы между левым и правым изображениями извлечения, полученными с помощью выполнения процесса регулирования разницы изображений, является таким, как указано пунктирной линией на фиг. 8. То есть, чтобы отрегулировать разницу между левым и правым захваченными изображениями до нуля после выполнения процесса регулирования разницы изображений для самого дальнего объекта дальше главного объекта, имеющего нулевую разницу между левым и правым захваченными изображениями на фиг. 7A, этот процесс выполняется, чтобы удовлетворять соотношению между величиной расфокусировки D' и разницей Z между левым и правым захваченными изображениями в виде:

D'=K×Z+H-Z0

где Z0 - разница между левым и правым захваченными изображениями перед тем, как обрабатывается самый дальний объект.

[0086] Таким образом, при создании изображения для бинокулярного стереоэффекта с использованием световых лучей, прошедших через разные области в выходном зрачке оптической системы формирования изображений, разница между левым и правым захваченными изображениями регулируется до нуля для объекта, имеющего глубину, отличную от таковой у главного объекта, посредством этого предоставляя наблюдателю возможность воспринимать подходящий стереоскопический эффект главного объекта. Когда взаимные расположения между устройством захвата изображений, главным объектом, ближним объектом и дальним объектом являются вышеупомянутыми расположениями, как показано, например, на фиг. 13A, процесс регулирования разницы изображений выполняется, чтобы разница у дальнего объекта между левым и правым захваченными изображениями стала нулем, посредством этого получая левое и правое изображения извлечения, как показано на фиг. 9A. Когда отрегулированные таким образом левое и правое изображения извлечения отображаются с использованием устройства отображения, которое делает бинокулярный стереоэффект возможным, устройство отображения позволяет наблюдателю воспринимать стереоскопический эффект, при котором главный объект находится на переднем плане относительно поверхности отображения, как показано на фиг. 9B.

[0087] Как описано выше, устройство захвата изображений в этом варианте осуществления может предоставить наблюдателю возможность подходящим образом воспринимать стереоскопический эффект главного объекта при воспроизведении изображения для бинокулярного стереоэффекта, созданного с использованием световых лучей, прошедших через разные области в выходном зрачке одной оптической системы формирования изображений. Точнее говоря, устройство захвата изображений принимает световые лучи, прошедшие через одну оптическую систему формирования изображений, выводит левое и правое захваченные изображения и обнаруживает разницу между этими изображениями у каждого из объектов, включенных в эти изображения. Устройство захвата изображений затем выводит изображение извлечения, извлеченное из некой области, которая включает в себя главный объект и имеет заранее установленный размер, для каждого из левого и правого захваченных изображений. В то же время область устанавливается так, чтобы разница между левым и правым захваченными изображениями у объекта, отличного от главного объекта, включенного в оба изображения извлечения, имела заранее установленное значение.

[0088] Хотя в этом варианте осуществления процесс регулирования разницы изображений выполняется, чтобы разница у самого дальнего объекта в опорном положении между левым и правым захваченными изображениями стала нулем, применение настоящего изобретения на практике этим не ограничивается. Процесс регулирования разницы изображений может выполняться, чтобы терялась диспаратность в положении, расположенном в направлении глубины на заранее установленном расстоянии L от вычисленного расстояния до главного объекта от устройства захвата изображений, как показано, например, на фиг. 10A. Также процесс регулирования разницы изображений может выполняться путем вычисления расстояний между устройством захвата изображений и ближайшим объектом и самым дальним объектом, обнаруженным в пределах глубины резкости, чтобы диспаратность терялась на промежуточном расстоянии между этими двумя объектами, как показано, например, на фиг. 10B. Отметим, что в двух приведенных в этом документе примерах, когда разницу между левым и правым захваченными изображениями нужно отрегулировать, чтобы устранить диспаратность в плоскости, расположенной на определенном расстоянии от устройства захвата изображений, на этом расстоянии может не находиться никакого объекта, поэтому величина X сдвига может определяться с использованием соотношения между величиной расфокусировки и разницей между левым и правым захваченными изображениями.

[0089] Также, хотя в этом варианте осуществления разница у самого дальнего объекта в опорном положении между левым и правым захваченными изображениями регулируется до нуля, применение настоящего изобретения на практике этим не ограничивается. То есть настоящее изобретение может применять любую конфигурацию при условии, что оно определяет величину X сдвига, чтобы отрегулировать записывающую область пикселей так, что объект в положении по глубине, отличном от такового у главного объекта, имеет заранее установленную разницу между левым и правым захваченными изображениями.

[0090][МОДИФИКАЦИЯ 1]

Хотя в вышеупомянутом варианте осуществления объяснено то, как снимать неподвижное изображение для бинокулярного стереоэффекта, настоящее изобретение также применимо, когда изображения захватываются непрерывно, например, как при непрерывной съемке или съемке движущихся изображений.

[0091] При съемке неподвижных изображений, как в первом варианте осуществления, разница у объекта в установленном опорном положении между левым и правым захваченными изображениями регулируется до нуля, посредством этого предоставляя наблюдателю возможность подходящим образом воспринимать стереоскопический эффект у главного объекта. Однако при непрерывной съемке или съемке движущихся изображений время съемки больше, чем при съемке неподвижных изображений, поэтому объект в установленном опорном положении может переместиться. В этом случае изображение для бинокулярного стереоэффекта в качестве каждого изображения извлечения при непрерывной съемке или каждого кадра при съемке движущихся изображений, которое получается путем выполнения процесса регулирования разницы изображений, может иметь стереоскопический эффект у главного объекта, который меняется между непрерывными изображениями или кадрами, несмотря на съемку изображения одного и того же объекта. То есть, даже если главный объект, например, остается неподвижным, стереоскопический эффект у главного объекта может меняться в ответ на изменение расстояния между устройством захвата изображений и объектом в опорном положении. Стереоскопический эффект у главного объекта также может меняться, когда другой объект определяется в качестве объекта в опорном положении при перемещении объекта в опорном положении, и регулируется разница у другого объекта между левым и правым захваченными изображениями.

[0092] Чтобы избежать этой проблемы, при установке, например, режима непрерывной съемки или съемки движущихся изображений узел 101 управления системой может управлять процессом съемки и процессом регулирования разницы изображений следующим образом. Узлу 101 управления системой нужно только получить разницу между левым и правым захваченными изображениями в опорном положении при предварительной съемке и выполнить процесс регулирования разницы изображений для левого и правого захваченных изображений, полученных путем непрерывной съемки или съемки движущихся изображений во время съемки для записи, используя величину сдвига, определенную на основе полученной разницы между изображениями. То есть при установке режима непрерывной съемки или съемки движущихся изображений узлу 101 управления системой нужно только выполнить процесс регулирования разницы изображений во время съемки для записи, используя величину сдвига в фиксированном значении.

[0093] После этой операции, даже когда изображения захватываются непрерывно, можно предотвратить неестественное изменение стереоскопического эффекта у главного объекта между захваченными изображениями.

[0094] Также узел 101 управления системой может обнаружить объект, остающийся неподвижными во время предварительной съемки, чтобы определить область, включающую в себя тот объект, в качестве опорного положения. Точнее говоря, узел 101 управления системой может, например, выполнить захват изображений множество раз во время предварительной съемки и обнаружить вектор движения у объекта на последовательности изображений, полученной путем захвата изображений, посредством этого определяя в качестве опорного положения блок, соответствующий области, в которой находится объект, имеющий вектор движения, меньше либо равный некой пороговой величине. Отметим, что в этом случае величина сдвига, вычисленная в процессе регулирования разницы изображений, может иметь фиксированное значение или получаться из карты диспаратности при необходимости.

[0095][МОДИФИКАЦИЯ 2]

Также причина изменения стереоскопического эффекта у главного объекта на изображении или кадре для бинокулярного стереоэффекта, полученных путем непрерывной съемки или съемки движущихся изображений, не ограничивается перемещением объекта в опорном положении. Как описано выше, поскольку время съемки больше при непрерывной съемке и съемке движущихся изображений, чем при съемке неподвижных изображений, может создаваться такая же проблема, как и в случае, где перемещается объект в опорном положении, например, из-за тряски камеры фотографом, который держит устройство захвата изображений, или изменения в композиции после операции панорамирования.

[0096] То есть, хотя в Модификации 1 процесс регулирования разницы изображений выполняется с использованием величины сдвига, которая приводит к нулю разницу у объекта в опорном положении между левым и правым изображениями, захваченными во время предварительной съемки, расстояние между устройством захвата изображений и объектом в опорном положении во время предварительной съемки может изменяться, если перемещается само устройство захвата изображений. Это означает, что расстояния между цифровой камерой 100 и всеми объектами на захваченном изображении, конечно, изменяются, поэтому стереоскопический эффект у главного объекта может меняться, даже когда процесс регулирования разницы изображений выполняется с использованием величины сдвига, определенной после предварительной съемки.

[0097] Чтобы избежать этой проблемы, при установке, например, режима непрерывной съемки или съемки движущихся изображений узел 101 управления системой может управлять процессом съемки и процессом регулирования разницы изображений следующим образом. Узел 101 управления системой регистрирует в качестве шаблона величину признака, извлеченную для объекта в опорном положении, установленном при предварительной съемке. Узлу 101 управления системой затем нужно только найти положение объекта, используя зарегистрированный шаблон, во время съемки для записи при непрерывной съемке или съемке движущихся изображений и получить разницу между левым и правым захваченными изображениями в найденном положении из карты диспаратности, посредством этого выполняя процесс регулирования разницы изображений.

[0098] После этой операции пользователь может всегда воспринимать один и тот же объект как находящийся на поверхности отображения, когда отображается этот объект, так что разница между левым и правым захваченными изображениями становится нулем, то есть становится возможным бинокулярный стереоэффект, посредством этого предотвращая неестественное изменение стереоскопического эффекта у главного объекта между захваченными изображениями, даже если цифровая камера 100 перемещается во время съемки.

[0099][ДРУГИЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ]

Особенности настоящего изобретения также могут быть реализованы с помощью компьютера в системе или устройстве (или устройств, таких как CPU или MPU), который считывает и исполняет программу, записанную в запоминающем устройстве, чтобы выполнить функции вышеописанного варианта (вариантов) осуществления, и с помощью способа, этапы которого выполняются компьютером в системе или устройстве путем, например, считывания и исполнения программы, записанной в запоминающем устройстве, чтобы выполнить функции вышеописанного варианта (вариантов) осуществления. С этой целью программа предоставляется компьютеру, например, по сети или с носителя записи различных типов, служащего в качестве запоминающего устройства (например, машиночитаемого носителя).

[0100] Хотя настоящее изобретение описано со ссылкой на типовые варианты осуществления, нужно понимать, что изобретение не ограничивается раскрытыми типовыми вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать самой широкой интерпретации, чтобы заключать в себе все такие модификации и равноценные конструкции и функции.

[0101] Данная заявка испрашивает приоритет заявки на патент Японии с № 2011-177743, поданной 15 августа 2011 г., которая настоящим полностью включается в данный документ путем отсылки.

1. Устройство захвата изображений, содержащее:
одну оптическую систему формирования изображений;
датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через упомянутую одну оптическую систему формирования изображений;
средство обнаружения для обнаружения разницы между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение;
средство управления для управления средством фокусировки упомянутой оптической системы формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной упомянутым средством обнаружения; и
средство извлечения для создания изображения для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения,
причем упомянутое средство извлечения устанавливает область так, что разница между левым захваченным изображением и правым захваченным изображением объекта, который отличается от заданного объекта и включен в оба изображения извлечения, имеет заранее установленное значение.

2. Устройство по п. 1, в котором объект, отличный от заданного объекта, является объектом, помещенным дальше от устройства захвата изображений, чем заданный объект.

3. Устройство по п. 1, в котором объект, отличный от заданного объекта, является объектом, который определяется остающимся неподвижным на множестве захваченных изображений, полученных до того, как получены левое захваченное изображение и правое захваченное изображение, среди объектов, включенных в левое захваченное изображение и правое захваченное изображение.

4. Устройство по п. 1, в котором объект, отличный от заданного объекта, является объектом, имеющим максимальную разницу между левым захваченным изображением и правым захваченным изображением, полученными во время предварительной съемки перед съемкой для записи, которая обнаруживается упомянутым средством обнаружения.

5. Устройство по любому из пп. 1-4, в котором, когда по меньшей мере одна из областей, установленных для левого захваченного изображения и правого захваченного изображения, выходит за пределы диапазона эффективного пикселя упомянутого датчика изображений, упомянутое средство извлечения устанавливает область в диапазоне эффективного пикселя.

6. Устройство по любому из пп. 1-4, в котором, когда по меньшей мере одна из областей, установленных для левого захваченного изображения и правого захваченного изображения, выходит за пределы диапазона эффективного пикселя упомянутого датчика изображений, упомянутое средство извлечения устанавливает область, чтобы устранить разницу заданного объекта между левым захваченным изображением и правым захваченным изображением.

7. Устройство по п. 1, в котором упомянутый левый светоприемный элемент и упомянутый правый светоприемный элемент принимают световые лучи, прошедшие через разные области в выходном зрачке упомянутой одной оптической системы формирования изображений.

8. Устройство захвата изображений, содержащее:
одну оптическую систему формирования изображений;
датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через упомянутую одну оптическую систему формирования изображений;
средство обнаружения для обнаружения разницы между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение;
средство управления для управления средством фокусировки в упомянутой оптической системе формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной упомянутым средством обнаружения; и
средство извлечения для создания изображения для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения, при этом упомянутое средство извлечения устанавливает область так, что разница между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, отличном от расстояния между заданным объектом и устройством захвата изображений, имеет заранее установленное значение,
причем упомянутое средство извлечения устанавливает область на основе расстояния между центрами тяжести световых лучей, используемых для вывода левого захваченного изображения и правого захваченного изображения, соответственно, расстояния между упомянутым датчиком изображений и выходным зрачком упомянутой одной оптической системы формирования изображений и разницы между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, которая получена из заранее установленного расстояния.

9. Устройство по п. 8, в котором, когда по меньшей мере одна из областей, установленных для левого захваченного изображения и правого захваченного изображения, выходит за пределы диапазона эффективного пикселя упомянутого датчика изображений, упомянутое средство извлечения устанавливает область в диапазоне эффективного пикселя.

10. Устройство по п. 8, в котором, когда по меньшей мере одна из областей, установленных для левого захваченного изображения и правого захваченного изображения, выходит за пределы диапазона эффективного пикселя упомянутого датчика изображений, упомянутое средство извлечения устанавливает область, чтобы устранить разницу заданного объекта между левым захваченным изображением и правым захваченным изображением.

11. Способ управления устройством захвата изображений, включающим в себя одну оптическую систему формирования изображений и датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через одну оптическую систему формирования изображений, при этом упомянутый способ содержит:
этап обнаружения, на котором обнаруживают разницу между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение;
этап управления, на котором управляют средством фокусировки оптической системы формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной на этапе обнаружения; и
этап извлечения, на котором создают изображение для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения,
причем на этапе извлечения область устанавливается так, что разница между левым захваченным изображением и правым захваченным изображением объекта, который отличается от заданного объекта и включается в оба изображения извлечения, имеет заранее установленное значение.

12. Способ управления устройством захвата изображений, включающим в себя одну оптическую систему формирования изображений и датчик изображений, который включает в себя левый светоприемный элемент и правый светоприемный элемент и выводит левое захваченное изображение для левого глаза и правое захваченное изображение для правого глаза при приеме световых лучей, прошедших через одну оптическую систему формирования изображений, при этом упомянутый способ содержит:
этап обнаружения, на котором обнаруживают разницу между левым захваченным изображением и правым захваченным изображением каждого из объектов, включенных в левое захваченное изображение и правое захваченное изображение;
этап управления, на котором управляют средством фокусировки оптической системы формирования изображений, чтобы сфокусироваться на заданном объекте, включенном в левое захваченное изображение и правое захваченное изображение, на основе разницы заданного объекта между левым захваченным изображением и правым захваченным изображением, обнаруженной на этапе обнаружения; и
этап извлечения, на котором создают изображение для бинокулярного стереоэффекта, используя изображение извлечения, извлеченное из области, которая включает в себя заданный объект и имеет заранее установленный размер, для каждого из левого захваченного изображения и правого захваченного изображения, при этом этап извлечения устанавливает область так, что разница между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, отличном от расстояния между заданным объектом и устройством захвата изображений, имеет заранее установленное значение,
причем на этапе извлечения область устанавливается на основе расстояния между центрами тяжести световых лучей, используемых для вывода левого захваченного изображения и правого захваченного изображения, соответственно, расстояния между датчиком изображений и выходным зрачком одной оптической системы формирования изображений и разницы между левым захваченным изображением и правым захваченным изображением на заранее установленном расстоянии, которая получается из заранее установленного расстояния.

13. Машиночитаемый носитель записи, записывающий программу для побуждения компьютера выполнить каждый этап в способе управления устройством захвата изображений по п. 11 или 12.



 

Похожие патенты:

Устройство формирования стереоскопических изображений содержит объектив формирования изображения объекта в виде действительного изображения или мнимого изображения, а также множество оптических систем формирования изображений, которые формируют множество световых потоков объекта от съемки, выходящих по разным путям из оптической системы объектива, далее в виде изображений с параллаксом, используя множество независимых оптических систем.

Изобретение относится к формированию стереоскопических изображений. Формирователь стереоскопических изображений, в котором оптические оси блока формирования изображений, имеющего формирующие изображения объективы и формирующие изображения элементы, разнесены в поперечном направлении параллельно друг другу на расстояние, равное межзрачковому расстоянию человека.

Изобретение относится к штативному модулю камеры для стереокиносъемки. .

Изобретение относится к профессиональной кинематографии, в частности к стереоскопическому кинематографу. .

Изобретение относится к фотографии и может быть использовано для получения стереопар. .

Изобретение относится к полиграфической промьшшенности и м.б. .

Изобретение относится к устройству формирования изображения и способу управления им. Устройство включает множество элементов формирования изображений, имеющих множество фотодиодов, которые осуществляют фотоэлектрическое преобразование светового потока. Устройство формирования изображений формирует составное изображение на основе изображения для левого глаза и изображения для правого глаза. Устройство формирования также вычисляет величину позиционного сдвига изображения для левого глаза относительно позиции составного изображения в качестве величины параллакса и сохраняет информацию, касающуюся величины параллакса, в качестве карты параллакса. Устройство формирования изображений формирует подлежащие воспроизведению изображение для левого глаза и изображение для правого глаза посредством сдвига объекта, содержащегося на составном изображении, в позицию, соответствующую величине параллакса, указанной картой параллакса. 2 н. и 3 з.п. ф-лы, 9 ил.
Наверх