Устройство и способ формирования изображения и программа

Изобретение относится к устройствам формирования изображения. Техническим результатом является фиксирование композиций двух изображений, имеющих различные диапазоны изображений. Результат достигается тем, что модуль (432) формирования изображения принимает свет из линзы (431) и формирует изображение, получаемое при формировании изображения; извлекающий модуль (435) извлекает извлекаемое изображение, которое является изображением, имеющим размер, отличный от изображения, полученного при формировании изображения, и которое включает в себя объект, имеющий высокую степень фокусировки; синтезирующий модуль (436) синтезирует извлеченное изображение таким образом, чтобы положения объекта совпадали с изображением, полученным при формировании изображения; и модуль (438) отображения отображает изображение, полученное при формировании изображения, участков, соответствующих заранее заданной области, имеющей тот же самый размер, что и извлеченное изображение в области отображения, в которой может быть отображено все изображение, полученное при формировании изображения, и отображает извлеченное изображение, которое было синтезировано, с изображением, полученным при формировании изображения. Настоящее изобретение может быть применено, например, к цифровой фотокамере. 6 н. и 13 з.п. ф-лы, 35 ил.

 

Область техники, к которой относится изобретение

Изобретение относится к устройству и способу формирования изображения и программе, и, в частности, оно относится к устройству и способу формирования изображения и программе, посредством которых можно более просто фиксировать композицию.

Уровень техники

Вообще говоря, в устройстве формирования изображения, таком как цифровая фотокамера или тому подобное, может быть две системы формирования изображения.

Например, было предложено устройство формирования изображения, имеющее направленную вперед фотокамеру, которая отображает то, что спереди от пользователя, и направленную назад фотокамеру, которая отображает то, что сзади пользователя (например, смотри патентную литературу 1).

Однако с вышеописанным устройством формирования изображения пользователь не может отображать один предмет одновременно в двух системах формирования изображения.

Кроме того, в обычной цифровой фотокамере в одной системе формирования изображения может быть выполнено переключение между стандартным режимом и широкоугольным режимом, но пользователь не может одновременно фиксировать композицию в каждом режиме.

Кроме того, была предложена фотокамера, которая имеет два модуля отображения, каждый из которых отображает изображение, которое было сформировано соответствующими системами формирования изображения. Однако, поскольку имеется два модуля отображения, пользователь должен определять композицию для каждого изображения.

Список упоминаемых документов

Патентная литература

PTL 1: публикация японской нерассмотренной патентной заявки номер 2007 - 60721

Сущность изобретения

Техническая задача

Как было сказано выше, осуществить простым способом фиксирование композиций двух изображений, имеющих различные диапазоны изображений, непросто.

Настоящее изобретение было сделано в свете вышесказанного и позволяет фиксировать композиции более простым способом.

Решение задачи

Устройство формирования изображения, соответствующее одному аспекту настоящего изобретения, включает в себя синтезирующее средство для того, чтобы синтезировать первое изображение, которое представляет собой изображенный объект, и второе изображение, имеющее диапазон изображения, отличный от первого изображения, таким образом, чтобы совмещать положения объекта; и средство отображения, предназначенное для того, чтобы отображать первое изображение и второе изображение, которые были синтезированы синтезирующим средством.

Устройство формирования изображения может дополнительно включать в себя средство формирования изображения, предназначенное для того, чтобы принимать свет из оптической системы и формировать первое изображение объекта; и извлекающее средство для того, чтобы извлекать из первого изображения второе изображение, которое является изображением, имеющим размер, отличный от первого изображения, и которое включает в себя объект, имеющий высокую степень фокусировки; при этом синтезирующее средство может синтезировать второе изображение, которое извлечено извлекающим средством, таким образом, чтобы положение объекта соответствовало первому изображению, и при этом средство отображения может отображать первое изображение соответствующего участка на заранее заданную область, имеющую тот же самый размер, что и второе изображение в области отображения, которая может отображать первое изображение полностью, и может отображать второе изображение, которое было синтезировано с первым изображением.

Средство отображения может усиливать и отображать второе изображение в области отображения.

Область отображения может представлять собой область, в которой первое изображение отображается полностью в случае, когда режим формирования изображения представляет собой стандартный режим, при котором формируется изображение, имеющее форматное соотношение, составляющее 4:3, и в которой заранее заданная область в области отображения представляет собой область, в которой отображается участок первого изображения в случае, когда режим формирования изображения представляет собой панорамный режим, при котором формируется изображение, имеющее форматное соотношение, составляющее 16:9.

Устройство формирования изображения может дополнительно включать в себя "обрезающее" средство для того, чтобы "обрезать" первое изображение заранее заданной области; и записывающее средство для того, чтобы записывать первое изображение, которое было "вырезано" "обрезающим" средством, и второе изображение, которое было извлечено извлекающим средством.

Синтезирующее средство может синтезировать первое изображение, которое было "вырезано" "обрезающим" средством, и второе изображение, которое было извлечено извлекающим средством, а записывающее средство может записывать первое изображение и второе изображение, которые были синтезированы синтезирующим средством.

Устройство формирования изображения может дополнительно включать в себя первое средство формирования изображения, предназначенное для того, чтобы принимать свет из первой оптической системы и формировать первое изображение объекта; второе средство формирования изображения, предназначенное для того, чтобы принимать свет из второй оптической системы и формировать второе изображение, которое имеет угол обзора, отличный от первого изображения объекта; и первое средство регулирования качества изображения, предназначенное для того, чтобы регулировать качество изображения для второго изображения таким образом, чтобы оно отличалось от качества изображения для первого изображения; при этом синтезирующее средство синтезирует первое изображение по отношению ко второму изображению таким образом, чтобы положения объекта совпадали со вторым изображением, у которого качество изображения было отрегулировано первым средством регулирования качества изображения.

Устройство формирования изображения может дополнительно включать в себя средство обнаружения предмета, предназначенное для того, чтобы обнаруживать предмет в пределах второго изображения; и второе средство регулирования качества изображения, предназначенное для того, чтобы регулировать качество изображения области предмета в пределах второго изображения, который был обнаружен средством обнаружения предмета, таким образом, чтобы оно отличалось от качества изображения для второго изображения, при этом синтезирующее средство синтезирует первое изображение и изображение предмета в области предмета в пределах второго изображения, у которого качество изображения было отрегулировано вторым средством регулирования качества изображения, таким образом, чтобы положения объекта совпадали, со вторым изображением.

Средство обнаружение предмета может обнаруживать в пределах второго изображения предмет, имеющий движение.

Средство обнаружения предмета может обнаруживать в пределах второго изображения лицо человека.

Устройство формирования изображения может дополнительно включать в себя средство анализа композиции, предназначенное для того, чтобы анализировать композицию второго изображения; и средство извлечения композиции, предназначенное для того, чтобы извлекать из второго изображения композицию с углом обзора, отличным от угла обзора первого изображения, основываясь при этом на композиции, проанализированной средством анализа композиции; при этом синтезирующее средство синтезирует первое изображение и извлеченное изображение композиции, извлеченной средством извлечения композиции, таким образом, чтобы положения объекта совпадали, со вторым изображением.

Второе средство формирования изображения может принимать свет из второй оптической системы для того, чтобы формировать второе изображение имеющим более широкий угол обзора объекта, чем первое изображение.

Устройство формирования изображения может дополнительно включать в себя средство корректирования искажения, предназначенное для того, чтобы корректировать искажение второго изображения, и средство корректирования оптической оси, предназначенное для того, чтобы согласовывать оптическую ось второй оптической системы с оптической осью первой оптической системы и определять положение первого изображения, синтезируемого со вторым изображением.

Первое средство регулирования качества изображения может регулировать уровень цветового сигнала второго изображения таким образом, чтобы он был ниже, чем уровень цветового сигнала первого изображения.

Устройство формирования изображения может быть дополнительно снабжено вторым средством регулирования качества изображения, предназначенным для того, чтобы регулировать качество изображения для первого изображения таким образом, чтобы оно отличалось от качества изображения второго изображения.

Второе средство регулирования качества изображения может регулировать уровень цветовых сигналов первого изображения таким образом, чтобы он был больше, чем уровень цветовых сигналов второго изображения.

Способ формирования изображения, соответствующий одному аспекту настоящего изобретения, включает в себя: этап синтезирования, на котором синтезируют первое изображение, которое представляет собой изображенный объект, и второе изображение, имеющее диапазон изображения, отличный от первого изображения; и этап отображения, на котором отображают первое изображение и второе изображение, которые были синтезированы при обработке данных на этапе синтезирования.

Программа в соответствии с одним аспектом настоящего изобретения заставляет компьютер выполнять обработку данных, включающую в себя: этап синтезирования первого изображения, которое представляет собой изображенный объект, и второго изображения, имеющего диапазон изображения, отличный от первого изображения; и этап отображения первого изображения и второго изображения, которые были синтезированы при обработке данных на этапе синтезирования.

В соответствии с аспектом настоящего изобретения синтезируется первое изображение, которое представляет собой изображенный объект, и второе изображение, имеющее диапазон изображения, отличный от первого изображения; и синтезированные первое изображение и второе изображение отображаются.

Полезные результаты изобретения

В соответствии с аспектом настоящего изобретения можно с большей легкостью утверждать композицию.

Краткое описание чертежей

Фиг.1 представляет собой схематический чертеж, показывающий пример внешнего вида цифровой фотокамеры как варианта реализации устройства формирования изображения, к которому применено настоящее изобретение.

Фиг.2 представляет собой схему, показывающую пример отображения формируемого изображения, которое формирует цифровая фотокамера.

Фиг.3 представляет собой структурную схему, показывающую пример функциональной конфигурации цифровой фотокамеры.

Фиг.4 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображения.

Фиг.5 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображения.

Фиг.6 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображений.

Фиг.7 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображения.

Фиг.8 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображения.

Фиг.9 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображения.

Фиг.10 представляет собой блок-схему алгоритма, описывающую обработку данных при отображении изображения в цифровой фотокамере, показанной на Фиг.3.

Фиг.11 представляет собой схему, описывающую обработку данных при корректировании искажения, проводимую в модуле корректирования искажения.

Фиг.12 представляет собой схему, описывающую обработку данных при корректировании искажения, проводимую в модуле корректирования искажения.

Фиг.13 представляет собой схему, описывающую обработку данных при корректировании оптической оси, проводимую в модуле корректирования оптической оси.

Фиг.14 представляет собой схему, описывающую настройку размера изображения для основного изображения и вспомогательного изображения при синтезирующей обработке данных в модуле синтезирования.

Фиг.15 представляет собой структурную схему, показывающую другой пример конфигурации цифровой фотокамеры.

Фиг.16 представляет собой структурную схему, показывающую пример конфигурации модуля обнаружения предмета.

Фиг.17 представляет собой структурную схему, показывающую пример конфигурации модуля обнаружения предмета.

Фиг.18 представляет собой структурную схему, показывающую пример конфигурации модуля обработки изображения.

Фиг.19 представляет собой блок-схему алгоритма, описывающую обработку данных при отображении изображений в цифровой фотокамере, показанной на Фиг.15.

Фиг.20 представляет собой блок-схему алгоритма, описывающую пример обработки данных при обнаружении предмета.

Фиг.21 представляет собой блок-схему алгоритма, описывающую пример обработки данных при обнаружении предмета.

Фиг.22 представляет собой схему, показывающую пример синтезированного изображения, на котором изображение обнаруженного предмета было усилено и отображено.

Фиг.23 представляет собой структурную схему, показывающую другой пример конфигурации цифровой фотокамеры.

Фиг.24 представляет собой блок-схему алгоритма, описывающую обработку данных при отображении изображения в цифровой фотокамере, показанной на Фиг.23.

Фиг.25 представляет собой схему, показывающую пример рекомендованной композиции.

Фиг.26 представляет собой схему, показывающую пример синтезированного изображения, отображающего рекомендованную композицию.

Фиг.27 представляет собой схему, описывающую форматное соотношение в приборе формирования изображения.

Фиг.28 представляет собой структурную схему, показывающую еще один другой пример конфигурации цифровой фотокамеры.

Фиг.29 представляет собой блок-схему алгоритма, описывающую обработку данных при отображении изображения в цифровой фотокамере, показанной на Фиг.28.

Фиг.30 представляет собой схему, описывающую "обрезанное" изображение.

Фиг.31 представляет собой схему, описывающую извлеченное изображение.

Фиг.32 представляет собой схему, описывающую пример синтезированного изображения, отображаемого на модуле отображения.

Фиг.33 представляет собой блок-схему алгоритма, описывающую обработку данных при записи изображения в цифровой фотокамере, показанной на Фиг.28.

Фиг.34 представляет собой схему, описывающую пример синтезированного изображения, записанного в записывающем модуле.

Фиг.35 представляет собой структурную схему, показывающую пример конфигурации аппаратного обеспечения компьютера.

Описание вариантов реализации изобретения

Ниже со ссылкой на эти схемы будут описаны варианты реализации настоящего изобретения. Отметим, что описание будет даваться в следующем порядке.

1. Первый вариант реализации изобретения

2. Второй вариант реализации изобретения

3. Третий вариант реализации изобретения

4. Четвертый вариант реализации изобретения

1. Первый вариант реализации изобретения

[Внешний вид устройства формирования изображения и формируемое изображение]

На Фиг.1 показан пример внешнего вида цифровой фотокамеры, служащей в качестве варианта реализации устройства формирования изображения, к которому применено настоящее изобретение.

Цифровая фотокамера (11) на Фиг.1 имеет две оптические системы основной линзы (31) и вспомогательной линзы (32). Основная линза (31) представляет собой так называемую стандартную линзу. Вспомогательная линза (32) представляет собой широкоугольную линзу (то есть линзу "рыбий глаз" или ей подобную), и ее угол обзора является достаточно широким по сравнению с основной линзой (31).

На Фиг.2 показан пример формируемого изображения, которое формирует цифровая фотокамера (11).

Как показано на Фиг.2, цифровая фотокамера (11) выполняет обработку данных при корректировании, таком как корректирование искажения, производимое в отношении изображения (вспомогательного изображения), которое формируется посредством вспомогательной линзы (32), и выполняет заранее заданную обработку изображения (такую как затуманивание изображения или уменьшение яркости и насыщенности цвета). Кроме того, цифровая фотокамера (11) выполняет заранее заданную обработку изображения (такую как увеличение яркости и насыщенности цвета) в отношении изображения (основного изображения), которое формируется посредством основной линзы (31). Цифровая фотокамера (11) настраивает положения и углы обзора основного изображения и вспомогательного изображения и отображает изображение (синтезированное изображение), на котором основное изображение и вспомогательное изображение синтезированы, на не показанном на фигурах модуле отображения, предусмотренном на задней поверхности цифровой фотокамеры (11), например, таким образом, как это показано на Фиг.2. Пользователь может утвердить угол обзора для формирования изображения, утверждая отображаемое содержимое на не показанном модуле отображения.

Синтезированное изображение, показанное на Фиг.2, синтезируется таким образом, чтобы совпадали положения объекта на каждом изображении из числа вспомогательного изображения (широкоугольного изображения), подвергнутого заданному корректированию и обработке изображения, и основного изображения (стандартного изображения).

[Пример функциональной конфигурации цифровой фотокамеры]

Далее со ссылкой на структурную схему, показанную на Фиг.3, будет описан пример функциональной конфигурации цифровой фотокамеры (11).

Цифровая фотокамера (11) на Фиг.3 составлена из основной линзы (31), вспомогательной линзы (32), модуля (51) формирования изображения, модуля (52) корректирования искажения, модуля (53) корректирования оптической оси, модуля (54) обработки изображения, модуля (55) формирования изображения, модуля (56) обработки изображения, синтезирующего модуля (57) и модуля (58) отображения.

Основная линза (31) и вспомогательная линза (32) являются такими же, как те, что описаны со ссылкой на Фиг.1, по этой причине их описание будет опущено.

Модуль (51) формирования изображения сконфигурирован таким образом, что включает в себя прибор формирования изображения и аналого-цифровой (A/D) преобразователь. Модуль (51) формирования изображения формирует изображение объекта, принимая свет из вспомогательной линзы (32) и выполняя фотоэлектрическое преобразование, и подвергает полученный аналоговый сигнал изображения аналого-цифровому преобразованию. Модуль (51) формирования изображения предоставляет данные цифрового изображения (широкоугольного изображения), полученного в результате аналого-цифрового преобразования, модулю (52) корректирования искажения.

Модуль (52) корректирования искажения корректирует искажение, вносимое вспомогательной линзой (32), широкоугольного изображения (вспомогательного изображения), поступающего из модуля (51) формирования изображения, и предоставляет скорректированное вспомогательное изображение модулю (53) корректирования оптической оси.

Модуль (53) корректирования оптической оси согласует оптическую ось вспомогательной линзы (32) с оптической осью основной линзы (31), определяет положение основного изображения, которое должно быть синтезировано со вспомогательным изображением, на вспомогательном изображении, поступающем из модуля (52) корректирования искажения, и предоставляет информацию о положении, указывающую положение этого основного изображения, наряду со вспомогательным изображением, модулю (54) обработки изображения.

Модуль (54) обработки изображения подвергает вспомогательное изображение, поступающее из модуля (53) корректирования оптической оси, заранее заданной обработке изображения (таким вариантам регулирования, как регулирование кадра, яркости, насыщенности цвета, оттенка цвета, резкости) таким образом, чтобы понижать качество изображения в большей степени, чем у основного изображения, и предоставляет это вспомогательное изображение, наряду с информацией о положении, синтезирующему модулю (57).

Пример конфигурации трех типов модулей (54) обработки изображений будет описан со ссылкой на структурные схемы, приведенные на фигурах с Фиг.4 по Фиг.6.

Фиг.4 представляет собой первый пример конфигурации и показывает пример конфигурации модуля (54) обработки изображения, при которой вспомогательное изображение подвергается затуманивающей обработке.

Модуль (54) обработки изображения, показанный на Фиг.4, имеет конфигурацию, содержащую преобразователь RGB/YUV (преобразователь сигнала формата RGB ("красный-зеленый-синий") в сигнал формата YUV ("яркость-цветность синего-цветность красного", где Y - яркость, U, V - цветоразностные сигналы)) (61), низкочастотный фильтр (LPF-фильтр) (62) и преобразователь YUV/RGB (преобразователь сигнала формата YUV ("яркость-цветность синего-цветность красного") в сигнал формата RGB ("красный-зеленый-синий") (63).

Преобразователь (61) RGB/YUV преобразует сигнал RGB (сигнал формата "красный-зеленый-синий"), служащий в качестве вспомогательного изображения, предоставляемого из модуля (53) корректирования оптической оси, в сигнал YUV (сигнала формата ("яркость-цветность синего-цветность красного")), основываясь при этом на Выражении (1), приведенном ниже.

[Математическое выражение 1]

Преобразователь (61) RGB/YUV предоставляет сигнал Y (сигнал яркости) из состава сигналов YUV, полученных в результате преобразования, низкочастотному фильтру (62) низких частот, предоставляя при этом сигналы U и V (цветоразностные сигналы) преобразователю (63) YUV/RGB.

Низкочастотный фильтр (62) подвергает сигнал Y, предоставляемый из преобразователя (61) RGB/YUV, сглаживающей обработке, посредством которой удаляются высокочастотные компоненты, и предоставляет его преобразователю (63) YUV/RGB.

Преобразователь (63) YUV/RGB преобразует сигнал Y, поступающий из низкочастотного фильтра (62), (сигнал Y') и сигналы U и V, поступающие из преобразователя (61) RGB/YUV, в сигнал RGB, основываясь при этом на Выражении (2), приведенном ниже.

[Математическое выражение 2]

Преобразователь (63) YUV/RGB предоставляет полученный в результате преобразования сигнал RGB (R', G', В') синтезирующему модулю (57), в качестве вспомогательного изображения.

Имея такую конфигурацию, как описана выше, модуль (54) обработки изображения может подвергать вспомогательное изображение затуманивающей обработке.

Фиг.5 представляет собой второй пример конфигурации и показывает пример конфигурации модуля (54) обработки изображения для уменьшения насыщенности цвета вспомогательного изображения.

Модуль (54) обработки изображения, показанный на Фиг.5, составлен из преобразователя RGB/HSV (преобразователя сигнала формата RGB ("красный-зеленый-синий") в сигнал формата HSV ("цветовой тон-насыщенность-значение")) (71), модуля (72) регулирования насыщенности цвета (модуля регулирования S) и преобразователя HSV/RGB (преобразователя сигнала формата HSV ("цветовой тон-насыщенность-значение") в сигнал формата RGB ("красный-зеленый-синий") (73).

Преобразователь (71) RGB/HSV преобразует сигнал RGB, служащий в качестве вспомогательного изображения, предоставляемый из модуля (53) корректирования оптической оси, в сигнал HSV (сигнал формата "цветовой тон-насыщенность-значение"), основываясь при этом на Выражении (3), приведенном ниже.

[Математическое выражение 3]

В Выражении (3) MAX представляет максимальное значение из числа R (значение "красного"), G (значение "зеленого"), В (значение "синего"), a MIN представляет, соответственно, минимальное значение из числа R, G, В. Преобразователь (71) RGB/HSV предоставляет сигнал S (сигнал насыщенности цвета) из состава сигнала HSV модулю (72) регулирования S, предоставляя при этом сигнал Н (сигнал цветового тона) и сигнал V (сигнал значения освещенности) преобразователю (73) HSV/RGB.

Модуль (72) регулирования S умножает сигнал S, предоставленный из преобразователя (71) RGB/HSV, на заранее заданный коэффициент α (0<α<1) и предоставляет это преобразователю (73) HSV/RGB.

Преобразователь (73) HSV/RGB преобразует сигнал S (S'=aS), поступающий из модуля (72) регулирования S, сигналы Н и V, поступающие из преобразователя (71) RGB/HSV, в сигнал RGB.

Иначе говоря, когда Hi=[H/60] mod 6 ([х]: максимальное целое число, равное или меньшее чем х, A mod В: остаток от А/В), f=(H/60)-Hi, p=V(1-S), q=V(1-fS), t=V(1-(1-f)S), тогда сигналы HSV преобразуются в сигналы RGB на основе Выражения (4), приведенного ниже.

[Математическое выражение 4]

Преобразователь (73) HSV/RGB предоставляет полученные в результате преобразования сигналы RGB (R', G', В') синтезирующему модулю (57), в качестве вспомогательного изображения.

Имея вышеописанную конфигурацию, модуль (54) обработки изображения может уменьшать насыщенность цвета вспомогательного изображения.

Фиг.6 представляет собой третий пример конфигурации и показывает пример конфигурации модуля (54) обработки изображения, который уменьшает значение освещенности вспомогательного изображения.

Модуль (54) обработки изображения, показанный на Фиг.6, составлен из преобразователя (81) RGB/HSV, модуля (82) регулирования значения освещенности (модуль регулирования V) и преобразователя (83) HSV/RGB.

Преобразователь (81) RGB/HSV преобразует сигналы RGB, служащие в качестве вспомогательного изображения, предоставляемого из модуля (53) корректирования оптической оси, в сигналы HSV, основываясь на вышеописанном Выражении (3), и предоставляет V - сигнал из состава сигналов HSV, полученных в результате преобразования, модулю (82) регулирования V, предоставляя при этом Н - сигнал и S - сигнал преобразователю (83) HSV/RGB.

Модуль (82) регулирования V умножает V-сигнал, предоставляемый из преобразователя (81) RGB/HSV, на заранее заданный коэффициент β (0<β<1) и предоставляет это преобразователю (83) HSV/RGB.

Преобразователь (83) HSV/RGB преобразует V-сигнал (V'=bV), поступающий из модуля (82) регулирования V и Н- и S-сигналы, поступающие из преобразователя (81) RGB/HSV, в сигналы RGB, основываясь на вышеописанном выражении (4), и предоставляет полученные в результате преобразования сигналы RGB (R', G', В') синтезирующему модулю (57), в качестве вспомогательного изображения.

Имея вышеописанную конфигурацию, модуль (54) обработки изображения может уменьшать значение освещенности вспомогательного изображения.

Таким образом, три типа модулей (54) обработки изображения, описанные со ссылкой на фигуры с Фиг.4 по Фиг.6, могут понижать качество изображения для вспомогательного изображения в большей степени, чем качество изображения основного изображения в любом из этих случаев.

Возвращаясь к описанию Фиг.3, отметим, что модуль (55) формирования изображения сконфигурирован таким образом, чтобы включать в себя прибор формирования изображения и аналого-цифровой преобразователь. Модуль (55) формирования изображения формирует изображение объекта, принимая свет из основной линзы (31) и выполняя фотоэлектрическое преобразование, и подвергает полученный аналоговый сигнал изображения аналого-цифровому преобразованию. Модуль (55) формирования изображения предоставляет данные цифрового изображения (стандартного изображения), полученные в результате аналого-цифрового преобразования, модулю (56) обработки изображения.

Модуль (54) обработки изображения подвергает основное изображение (стандартное изображение), поступающее из модуля (55) формирования изображения, заранее заданной обработке изображения (таким вариантам регулирования, как регулирование кадра, яркости, насыщенности цвета, оттенка цвета, резкости) таким образом, чтобы повысить качество изображения в большей степени, чем у вспомогательного изображения, и предоставляет это основное изображение синтезирующему модулю (57).

Теперь со ссылкой на структурные схемы, приведенные на фигурах с Фиг.7 по Фиг.9, будут описаны примеры конфигурации для трех типов модулей (56) обработки изображений.

Фиг.7 представляет собой первый пример конфигурации и показывает пример конфигурации модуля (56) обработки изображения, который выполняет усиливающую обработку для того, чтобы выделить форму и контуры основных изображений.

Модуль (56) обработки изображения, показанный на Фиг.7, составлен из преобразователя (91) RGB/YUV, высокочастотного фильтра (HPF-фильтра) (92), усилителя (93), модуля (94) суммирования и преобразователя (95) YUV/RGB.

Преобразователь (91) RGB/YUV преобразует сигнал RGB, служащий в качестве основного изображения, поступающего из модуля (55) формирования изображения, в сигналы YUV, основываясь при этом на вышеописанном Выражении (1), и предоставляет Y-сигнал из состава сигналов YUV, полученных в результате преобразования, высокочастотному фильтру (92) и модулю (94) суммирования, предоставляя при этом U- и V-сигналы преобразователю (95) YUV/RGB.

Высокочастотный фильтр (92) извлекает высокочастотные составляющие Y-сигнала, предоставляемого из преобразователя (91) RGB/YUV, и предоставляет их усилителю (93). Усилитель (93) усиливает высокочастотные составляющие Y-сигнала, поступающие из высокочастотного фильтра (92), в А (А>1) раз, и предоставляет их модулю (94) суммирования. Модуль (94) суммирования суммирует высокочастотные составляющие Y-сигнала, усиленные посредством усилителя (93), с Y-сигналом, поступающим из преобразователя (91) RGB/YUV, и предоставляет это преобразователю (95) YUV/RGB.

Преобразователь (95) YUV/RGB преобразует Y-сигнал (Y), поступающий из модуля (94) суммирования, и U- и V-сигналы, поступающие из преобразователя (91) RGB/YUV, в сигналы RGB, основываясь на вышеописанном Выражении (2), и предоставляет полученные в результате преобразования сигналы RGB (R', G', В') синтезирующему модулю (57), в качестве основного изображения.

Имея вышеописанную конфигурацию, модуль (56) обработки изображения может подвергнуть основное изображение усиливающей обработке.

Фиг.8 представляет собой второй пример конфигурации и показывает пример конфигурации модуля (56) обработки изображения для повышения насыщенности цвета основного изображения.

Модуль (56) обработки изображения, показанный на Фиг.8, составлен из преобразователя (101) RGB/HSV, модуля (102) регулирования насыщенности цвета (модуля регулирования S) и преобразователя (103) HSV/RGB. Отметим, что преобразователь (101) RGB/HSV и преобразователь (103) HSV/RGB имеют функции, аналогичные преобразователю (71) RGB/HSV и преобразователю (73) HSV/RGB, предусмотренным в модуле (54) обработки изображения, показанном на Фиг.5, так что их описание будет опущено.

Иначе говоря, модуль (102) регулирования S умножает заранее заданный коэффициент α (α≥1) на S-сигнал, предоставляемый из преобразователя (101) RGB/HSV, и предоставляет это преобразователю (103) HSV/RGB.

Имея вышеописанную конфигурацию, модуль (56) обработки изображения может увеличивать насыщенность цвета основного изображения.

Фиг.9 представляет собой третий пример конфигурации и показывает пример конфигурации модуля (56) обработки изображения, который увеличивает значение освещенности вспомогательного изображения.

Модуль (56) обработки изображения, показанный на Фиг.9, составлен из. преобразователя (111) RGB/HSV, модуля (112) регулирования значения освещенности (модуля регулирования V) и преобразователя (113) HSV/RGB. Отметим, что преобразователь (111) RGB/HSV и преобразователь (113) HSV/RGB имеют функции, аналогичные преобразователю (81) RGB/HSV и преобразователю (83) HSV/RGB, предусмотренным в модуле (54) обработки изображения, показанном на Фиг.6, так что их описание будет опущено.

Иначе говоря, модуль (112) регулирования V умножает заранее заданный коэффициент β (β≥1) на V-сигнал, предоставляемый из преобразователя (111) RGB/HSV, и предоставляет его преобразователю (113) HSV/RGB.

Имея вышеописанную конфигурацию, модуль (56) обработки изображения может увеличить значение освещенности основного изображения.

Таким образом, любой из трех типов модулей (56) обработки изображения, описанных со ссылкой на фигуры с Фиг.7 по Фиг.9, может иметь качество изображения для предоставляемого им основного изображения, повышенное в большей степени, чем качество изображения вспомогательного изображения.

Возвращаясь к описанию Фиг.3, отметим, что синтезирующий модуль (57) синтезирует основное изображение, поступающее из модуля (56) обработки изображения, и вспомогательное изображение, поступающее из модуля (54) обработки изображения, основываясь при этом на информации о положении, поступающей из модуля (54) обработки изображения, и предоставляет синтезируемое изображение, которое было синтезировано, модулю (58) отображения.

Модуль (58) отображения отображает синтезированное изображение, поступающее из синтезирующего модуля (57).

[Обработка данных при отображении изображения в цифровой фотокамере]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.10, будет описана обработка данных при отображении изображения в цифровой фотокамере.

На этапе S11 модуль (52) корректирования искажения корректирует искажение, вносимое вспомогательной линзой (32) в широкоугольное изображение (вспомогательное изображение), поступающее из модуля (51) формирования изображения, и предоставляет скорректированное вспомогательное изображение модулю (53) корректирования оптической оси.

Обработка данных при корректировании искажения, проводимая в модуле (52) корректирования искажения, будет описана со ссылкой на Фиг.11 и Фиг.12.

Фиг.11 представляет собой схему, описывающую корреляцию положения (X, Y) пикселя на скорректированном изображении заданного размера, которое получено корректированием искажения, и положением (x, y) пикселя для пикселя на вспомогательном изображении (круговое изображение "рыбий глаз") перед корректированием искажения.

Как показано на Фиг.11, мы будем рассматривать верхнее полушарие, имеющее радиус R, по сечению, выполненному по диаметру кругового изображения "рыбий глаз", при этом центр кругового изображения "рыбий глаз" выступает в качестве точки начала координат xyz. Отметим, что скорректированное изображение контактирует с верхним полушарием в точке (0, 0, R).

В случае, при котором точкой пересечения прямой линии, связывающей точку начала координат xyz и точку (X, Y, R), с поверхностью сферы верхнего полушария является (x, y, z), и расстояние между точкой начала координат xyz и этой точкой пересечения (x, y, z) составляет R, соблюдается приведенное ниже Выражение (5).

[Математическое выражение 5]

Иначе говоря, модуль (52) корректирования искажения генерирует скорректированное изображение, делая так, чтобы пиксельным значением в точке (X, Y) на корректируемом изображении после коррекции являлось пиксельное значение в точке (x, y) на соответствующем круговом изображении "рыбий глаз" перед коррекцией.

Отметим, что как показано на Фиг.12, в случае, при котором точка (x, y) на круговом изображении "рыбий глаз" перед коррекцией, которая соответствует точке (X, Y) на корректируемом изображении после коррекции, не располагается в той точке координатной сетки, в которой расположен пиксель, периферийные пиксели (значения пикселей) от а до d могут быть интерполированы, чтобы быть пиксельным значением в точке (x, y). В качестве способа интерполяции используется билинейная интерполяция или бикубическая интерполяция или подобная им интерполяция. На Фиг.12, в случае использования билинейной интерполяции, пиксельное значение p в точке (x, y) найдено при помощи формулы p=(1-t){(1-s)+sb}+t{(1-s)с+sd}.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.10, отметим, что на этапе S 12 модуль (53) корректирования оптической оси согласует оптическую ось вспомогательной линзы (32) с оптической осью основной линзы (31) и определяет положение основного изображения, синтезируемого со вспомогательным изображением, на вспомогательном изображении, поступающем из модуля (52) корректирования искажения. Модуль (53) корректирования оптической оси предоставляет информацию о положении, указывающую положение этого основного изображения, и вспомогательное изображение модулю (54) обработки изображения.

Теперь со ссылкой на Фиг.13 будет описана обработка данных при корректировании оптической оси, проводимая в модуле (53) корректирования оптической оси.

Фиг.13 представляет собой схему, описывающую соотношение между системой координат оптической оси основной линзы (31) (системой координат основной линзы) и системой координат оптической оси вспомогательной линзы (32) (системой координат вспомогательной линзы (32)).

На Фиг.13 вектор h показывает разницу в физическом расположении на плоскости x-y между основной линзой (31) и вспомогательной линзой (32), расположенными на цифровой фотокамере (11), и величина (R) поворота показывает величину поворотного смещения, при котором эталоном является ось Z оптической оси основной линзы (31) и оптической оси вспомогательной линзы (32). То есть вектор v'=(x',y',z') в системе координат вспомогательной линзы (32) использует вектор v=(x, y, z) в системе координат основной линзы и выражается формулой v'=Rv+h. То есть вектор v' в системе координат вспомогательной линзы (32) представляет собой вектор, в котором вектор v поворачивается на величину (R) поворота, и вектор h задает параллельное перемещение. Модуль (53) корректирования оптической оси использует это соотношение, согласуя, таким образом, оптическую ось (координаты) вспомогательной линзы (32) с оптической осью (координаты) основной линзы (31).

Кроме того, модуль (53) корректирования оптической оси выполняет согласование между изображением в пределах области около центра вспомогательного изображения, поступающего из модуля (52) корректирования искажения, и основным изображением, поступающим из модуля (51) формирования изображения, соответствующим этой области, определяя, таким образом, положение основного изображения, синтезируемого со вспомогательным изображением.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.10, отметим, что на этапе S13 модуль (54) обработки изображения выполняет заранее заданную обработку изображения в отношении вспомогательного изображения, поступающего из модуля (53) корректирования оптической оси, таким образом, чтобы понизить качество изображения в большей степени, чем основное изображение. Если описать это более конкретно, то модуль (54) обработки изображения понижает яркость, насыщенность или значение освещенности вспомогательного изображения. Модуль (54) обработки изображения предоставляет вспомогательное изображение с пониженным качеством изображения синтезирующему модулю (57) наряду с информацией о положении, поступающей из модуля (53) корректирования оптической оси. Теперь, модуль (54) обработки изображения извлекает только яркостной сигнал вспомогательного изображения и предоставляет монохромное изображение синтезирующему модулю (57).

На этапе S14 модуль (56) обработки изображения подвергает основное изображение, поступающее из модуля (55) формирования изображения, заранее заданной обработке изображения таким образом, чтобы повысить качество изображения выше качества вспомогательного изображения. Если описать это более конкретно, то модуль (56) обработки изображения увеличивает яркость, насыщенность или значение освещенности основного изображения. Модуль (56) обработки изображения предоставляет основное изображение, имеющее повышенное качество изображения, синтезирующему модулю (57). Теперь, модуль (56) обработки изображения может также добавить рамки, имеющие заранее заданный цвет и типы линий, по периферии основного изображения, и предоставить его синтезирующему модулю (57).

На этапе S15 синтезирующий модуль (57) синтезирует основное изображение, поступающее из модуля (56) обработки изображения, и вспомогательное изображение, поступающее из модуля (54) обработки изображения, основываясь при этом на информации о положении, поступающей из модуля (54) обработки изображения, и предоставляет синтезируемое изображение, которое было синтезировано, модулю (58) отображения.

При этом основное изображение должно иметь размер, меньший, чем у вспомогательного изображения, но это зависит от прибора формирования изображения, предусмотренного, соответственно, в модуле (51) формирования изображения и модуле (55) формирования изображения.

Например, в случае, при котором размер приборов формирования изображения, предусмотренных, соответственно, в модуле (51) формирования изображения и модуле (55) формирования изображения, является одинаковым, изображения с различными диапазонами могут быть сгенерированы как изображения одинакового размера. Соответственно, для того, чтобы синтезировать основное изображение и вспомогательное изображение, размер одного или другого изображения должен быть настроен.

Теперь, со ссылкой на Фиг.14 будет описана настройка размера изображений основного изображения и вспомогательного изображения при синтезирующей обработке в синтезирующем модуле (57).

Допустим, что, как показано в части А на Фиг.14, расстояние (в направлении оси Z) между точкой начала координат, когда точка начала координат xyz представляет собой местоположение основной линзы (31), и прибором формирования изображения, входящим в состав модуля (55) формирования изображения, для ввода основного изображения I_m составляет f_m.

Кроме того, допустим, что, как показано в части В на Фиг.14, расстояние (в направлении оси Z) между точкой начала координат, когда точка начала координат xyz представляет собой местоположение вспомогательной линзы (32), и прибором формирования изображения, входящим в состав модуля (51) формирования изображения, для ввода вспомогательного изображения I_s составляет f_s.

Допустим, если мы рассматриваем некоторое расстояние (Z) до объекта, как это показано в части С на Фиг.14, что расстояние, отраженное в приборе формирования изображения, входящем в состав модуля (55) формирования изображения, для основного изображения I_m составляет 1_m, а расстояние, отраженное в модуле (51) формирования изображения, для вспомогательного изображения I_s составляет 1_s. Кроме того, допустим, что размер приборов формирования изображения для каждого модуля из числа модуля (51) формирования изображения и модуля (55) формирования изображения составляет 1.

При этом из соотношения, показанного в части С на Фиг.14, получено следующее Выражение (6).

[Математическое выражение 6]

Кроме того, из соотношения в Выражении (6) отношение 1_m/1_s размера основного изображения I_m и размера вспомогательного изображения I_s находят при помощи Выражения (7), приведенного ниже.

[Математическое выражение 7]

При этом синтезирующий модуль (57) генерирует основное изображение I'_m, умножая размер основного изображения I_m на f_s/f_m, и синтезирует это со вспомогательным изображением I_s.

Таким образом, как показано в части D на Фиг.14, генерируется синтезируемое изображение, у которого основное изображение I'_m имеет размер, меньший чем вспомогательное изображение I_s.

Отметим, что не только в случае, при котором размер приборов формирования изображения, входящих в состав модулей (51) и (55) формирования изображения, является одинаковым, но в и случае, при котором соотношение размеров основного изображения I_m и вспомогательного изображения I_s не являются такими, как показано в части D на Фиг.14, размер основного изображения I_m умножается на некоторую заранее заданную величину, посредством чего можно настраивать размер основного изображения.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.10, отметим, что на этапе S16 модуль (58) отображения отображает синтезированное изображение, поступающее из синтезирующего модуля (57).

В соответствии с вышеописанной обработкой данных отображается синтезированное изображение, такое как то, что показано на Фиг.2, на котором стандартное изображение с углом обзора изображения, желательным для фотографирования, синтезировано в центре широкоугольного изображения, имеющего пониженное качество изображения, благодаря чему пользователь может одновременно и с легкостью утвердить изображения, имеющие эти две композиции.

Кроме того, пользователь может утвердить композицию с углом обзора, отличным от желательного для фотографирования, на широкоугольном изображении, посредством чего можно найти улучшенную композицию.

В вышеприведенном описании изображение, имеющее угол обзора, отличный от желательного для фотографирования, было описано как конфигурация, при которой качество этого изображения понижается, и утверждается только композиция, но предмет, входящий в состав изображения, имеющего угол обзора, отличный от желательного для фотографирования, может быть отображен усиленным образом.

<2. Второй вариант реализации изобретения>

[Пример конфигурации цифровой фотокамеры]

На Фиг.15 показан пример конфигурации цифровой фотокамеры, посредством которой отображается предмет на изображении, имеющем угол обзора, отличный от желательного для фотографирования. Отметим, что в случае цифровой фотокамеры (121), показанной на Фиг.15, конфигурация, имеющая те же самые функции, что и конфигурации, предусмотренные в цифровой фотокамере (11), показанной на Фиг.3, имеют те же самые наименования и ссылочные позиции, и их описание будет, соответственно, опущено.

Иначе говоря, в случае цифровой фотокамеры (121), показанной на Фиг.15, отличие от цифровой фотокамеры (11), показанной на Фиг.3, заключается в том, что дополнительно предусматриваются модуль (151) обнаружения предмета и модуль (152) обработки изображения, а вместо синтезирующего модуля (57) предусматривается синтезирующий модуль (153).

Модуль (53) корректирования оптической оси, показанный на Фиг.15, предоставляет модулю (54) обработки изображения информацию о положении, показывающий положение, в котором синтезируются вспомогательное изображение, подвергаемое корректированию оптической оси, и основное изображение на вспомогательном изображении, при этом предоставляя вспомогательное изображение, подвергнутое корректированию оптической оси, модулю (151) обнаружения предмета.

Модуль (151) обнаружения предмета обнаруживает предмет на вспомогательном изображении, поступающем из модуля (53) корректирования оптической оси, и предоставляет изображение области, включающей в себя обнаруженный предмет (изображение обнаруженного предмета), наряду с информацией о положении, показывающей положение на вспомогательном изображении, модулю (152) обработки изображения.

Со ссылкой на Фиг.16 и Фиг.17 будут описаны примеры конфигурации двух типов модуля (151) обнаружения предмета.

На Фиг.16 показан первый пример конфигурации модуля (151) обнаружения предмета.

Модуль (151) обнаружения предмета, показанный на Фиг.16, составлен из буфера (161) кадра, модуля (162) вычисления внутрикадровой разности, модуля (163) обработки с использованием пороговых значений и маркировочного модуля (164).

Буфер (161) кадра хранит вспомогательные изображения, поступающие из модуля (53) корректирования оптической оси, по каждому кадру.

Модуль (162) вычисления внутрикадровой разности считывает вспомогательное изображение I_t-1, которое было на один кадр раньше, хранящееся в буфере (161) кадра, и вычисляет значение внутрикадровой разности, которое является разностью пиксельных значений для каждого пикселя со вспомогательного изображения I_t-1 и вспомогательного изображения I_t текущего кадра, поступающего из модуля (53) корректирования оптической оси. Модуль (162) вычисления внутрикадровой разности предоставляет результаты вычисления модулю (163) обработки с использованием пороговых значений.

Модуль (163) обработки с использованием пороговых значений осуществляет преобразование в двоичную форму, устанавливая пиксель, имеющий значение разности, равное заранее заданному пороговому значению или превышающее его, в "1", а пиксель, имеющий значение разности меньшее, чем заранее заданное пороговое значение, в "0", основываясь при этом на значении внутрикадровой разности, поступающий из модуля (162) вычисления внутрикадровой разности. Кроме того, модуль (163) обработки с использованием пороговых значений разделяет преобразованное в двоичную форму изображение на заранее заданные блоки, подсчитывает для каждого блока пиксели, в которых пиксельное значение в пределах блока составляет 1, и основываясь на их подсчете, определяет блок, имеющий подсчитанное количество, равное заранее заданному пороговому значению или превышающее его, в качестве движущегося блока. Модуль (163) обработки с использованием пороговых значений предоставляет результаты этого определения (движущиеся блоки) маркировочному модулю (164).

Маркировочный модуль (164) выполняет обработку данных при маркировке, основываясь на движущихся блоках, предоставленных модулем (163) обработки с использованием пороговых значений. Кроме того, маркировочный модуль (164) определяет прямоугольник (внешнюю соприкасающуюся рамку), окружающий с внешней стороны каждый маркированный блок, и предоставляет результат этого определения в качестве изображения обнаруженного предмета модулю (152) обработки изображения.

Имея вышеописанную конфигурацию, модуль (151) обнаружения предмета может обнаруживать на вспомогательном изображении предмет, имеющий движение.

На Фиг.17 показан второй пример конфигурации модуля (151) обнаружения предмета.

Модуль (151) обнаружения предмета, показанный на Фиг.17, составлен из модуля (171) обнаружения лица.

Модуль (171) обнаружения лица обнаруживает лицо на вспомогательном изображении I_t, поступающем из модуля (53) корректирования оптической оси, извлекает изображение лица, основываясь на положении и размере области обнаружения лица, которая представляет собой область для обнаружения лица, и предоставляет это модулю (152) обработки изображения, в качестве обнаруженного изображения предмета. Например, модуль (171) обнаружения лица изучает изображение лица для лица, обращенного в различных направлениях, сравнивает изученное изображение лица с изображением в области, которая имеет тот же самый размер, что и область обнаружения лица на вспомогательном изображении I_t, и оценивает, действительно ли это - лицо, обнаруживая, таким образом, лицо.

Имея вышеописанную конфигурацию, модуль (151) обнаружения предмета может обнаруживать на вспомогательном изображении лицо человека.

Отметим, что в вышеприведенном описании модуль (151) обнаружения предмета имеет конфигурацию для обнаружения предмета, имеющего перемещение или человека (лицо), но не должен быть ограничен этим, и может осуществляться обнаружение некоторого заранее заданного предмета (автомобиля, здания и т.д.).

Возвращаясь к описанию Фиг.15, отметим, что модуль (152) обработки изображения выполняет заранее заданную обработку изображения (регулирование кадра, яркости, насыщенности цвета, оттенка цвета, резкости и тому подобное) на изображении обнаруженного предмета, поступающего из модуля (151) обнаружения предмета, таким образом, чтобы повысить качество этого изображения выше качества вспомогательного изображения, и предоставляет его, наряду с информацией о положении, синтезирующему модулю (153).

Теперь, со ссылкой на Фиг.18 будет описан пример конфигурации модуля (152) обработки изображения.

На Фиг.18 показан пример конфигурации модуля (152) обработки изображения, подвергающего изображение обнаруженного предмета усиливающей обработке.

Модуль (152) обработки изображения, показанный на Фиг.18, составлен из преобразователя (181) RGB/YUV, высокочастотного фильтра (HPF-фильтра) (182), усилителя (183), модуля (184) суммирования и преобразователя (185) YUV/RGB 185. Отметим, что преобразователь (181) RGB/YUV, высокочастотный фильтр (182), усилитель (183), модуль (184) суммирования и преобразователь (185) YUV/RGB имеют функции, аналогичные преобразователю (91) RGB/YUV, высокочастотному фильтру (92), усилителю (93), модулю (94) суммирования и преобразователю (95) YUV/RGB, предусмотренным в модуле (56) обработки изображения, показанном на Фиг.7, так что их описание будет опущено.

Имея вышеописанную конфигурацию, модуль (152) обработки изображения может подвергать изображение обнаруженного предмета усиливающей обработке.

Возвращаясь к описанию Фиг.15, отметим, что синтезирующий модуль (153) синтезирует основное изображение, поступающее из модуля (56) обработки изображения, и вспомогательное изображение, поступающее из модуля (54) обработки изображения, основываясь при этом на информации о положении, поступающей из модуля (54) обработки изображения. Кроме того, синтезирующий модуль (153) синтезирует изображение обнаруженного предмета, поступающее из модуля (151) обнаружения предмета, в области, соответствующей вспомогательному изображению синтезируемого изображения, которое было синтезировано, основываясь при этом на информации о положении, поступающей из модуля (152) обработки изображения, и предоставляет синтезированное изображение этого модулю (58) отображения.

[Обработка данных при отображении изображения в цифровой фотокамере]

Далее, со ссылкой на блок-схему алгоритма, показанную на Фиг.19, будет описана обработка данных при отображении изображения в цифровой фотокамере (121), показанной на Фиг.15. Отметим, что обработка данных на этапах с S31 по S33 и S36 на блок-схеме алгоритма, показанной на Фиг.19, является аналогичной обработке данных на этапах с S11 по S14, описанных со ссылкой на блок-схему алгоритма, показанную на Фиг.10, так что описание этих этапов будет опущено.

Иначе говоря, на этапе S34 модуль (151) обнаружения предмета выполняет обработку данных при обнаружении предмета, предназначенную для обнаружения предмета на вспомогательном изображении, поступающем из модуля (53) корректирования оптической оси. Модуль (151) обнаружения предмета предоставляет изображение области, включающей в себя обнаруженный предмет (изображение обнаруженного предмета), наряду с информацией о положении, указывающей положение на вспомогательном изображении, модулю (152) обработки изображения.

Теперь, со ссылкой на блок-схему алгоритма, показанную на Фиг.20, будет описан пример обработки данных при обнаружении предмета, предназначенной для обнаружения предмета, имеющего движение, которая соответствует обработке данных при обнаружении предмета, проводимой на этапе S34.

На этапе S51 модуль (162) вычисления внутрикадровой разности считывает вспомогательное изображение I_t-1, которое было на один кадр раньше, хранящееся в буфере (161) кадра, и вычисляет значение внутрикадровой разности для каждого пикселя со вспомогательного изображения I_t-1 и вспомогательного изображения I_t текущего кадра, поступающего из модуля (53) корректирования оптической оси. Модуль (162) вычисления внутрикадровой разности предоставляет результаты вычисления модулю (163) обработки с использованием пороговых значений.

На этапе S52 модуль (163) обработки с использованием пороговых значений осуществляет преобразование в двоичную форму, устанавливая пиксель, имеющий значение разности, равное заранее заданному пороговому значению или превышающее его, в "1", а пиксель, имеющий значение разности, меньшее, чем заранее заданное пороговое значение, в "0", основываясь при этом на значении внутрикадровой разности, поступающий из модуля (162) вычисления внутрикадровой разности. Кроме того, модуль (163) обработки с использованием пороговых значений разделяет преобразованное в двоичную форму изображение на заранее заданные блоки, подсчитывает для каждого блока пиксели, в которых пиксельное значение в пределах блока составляет 1, и основываясь на их подсчете, определяет блок, имеющий подсчитанное количество, равное заранее заданному пороговому значению или превышающее его, в качестве движущегося блока. Модуль (163) обработки с использованием пороговых значений предоставляет результаты этого определения (движущиеся блоки) маркировочному модулю (164).

На этапе S53 маркировочный модуль (164) выполняет обработку данных при маркировке, основываясь на движущихся блоках, предоставленных модулем (163) обработки с использованием пороговых значений. Кроме того, маркировочный модуль (164) определяет прямоугольник (внешнюю соприкасающуюся рамку), окружающий с внешней стороны каждый маркированный блок, и предоставляет результат этого определения в качестве изображения обнаруженного предмета модулю (152) обработки изображения.

В соответствии с вышеописанной обработкой данных на вспомогательном изображении можно обнаруживать предмет, имеющий движение.

Кроме того, в ходе обработки данных при обнаружении предмета, проводимой на этапе S34, можно обнаруживать лицо человека.

Теперь, со ссылкой на блок-схему алгоритма, показанную на Фиг.21, будет описан пример обработки данных при обнаружении предмета, предназначенной для обнаружения лица человека.

На этапе S61 модуль (171) обнаружения лица обнаруживает лицо на вспомогательном изображении I_t, поступающем из модуля (53) корректирования оптической оси, извлекает изображение лица, основываясь на положении и размере области обнаружения лица, которая представляет собой область для обнаружения лица, и предоставляет это модулю (152) обработки изображения, в качестве обнаруженного изображения предмета.

В соответствии с вышеописанной обработкой данных на вспомогательном изображении можно обнаруживать лицо человека.

Отметим, что обработка данных при обнаружения предмета, описанная со ссылкой на блок-схемы алгоритмов, показанные на Фиг.20 и Фиг.21, может выполняться параллельно модулем (151) обнаружения предмета, входящим в состав цифровой фотокамеры (121), имеющих обе из конфигураций, описанных на Фиг.16 и Фиг.17.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.19, отметим, что на этапе S35 модуль (152) обработки изображения подвергает изображение обнаруженного предмета, поступающее из модуля (151) обнаружения предмета, заранее заданной обработке изображения таким образом, чтобы повысить качество изображения выше качества вспомогательного изображения, и предоставляет его синтезирующему модулю (153), наряду с информацией о положении. Если описать это более конкретно, то модуль (152) обработки изображения увеличивает яркость, насыщенность или значение освещенности изображения обнаруженного предмета. Модуль (152) обработки изображения предоставляет изображение обнаруженного предмета, имеющее повышенное качество изображения, синтезирующему модулю (153). Теперь, модуль (152) обработки изображения может также добавить рамку заранее заданного цвета по периферии изображения обнаруженного предмета и предоставляет его синтезирующему модулю (153).

На этапе S37 синтезирующий модуль (153) синтезирует основное изображение, поступающее из модуля (56) обработки изображения, и вспомогательное изображение, поступающее из модуля (54) обработки изображения, основываясь при этом на информации о положении, поступающей из модуля (54) обработки изображения. Кроме того, синтезирующий модуль (153) синтезирует, например, так, как это показано на Фиг.22, изображение обнаруженного предмета, поступающее из модуля (151) обнаружения предмета, в области, соответствующей вспомогательному изображению синтезируемого изображения, которое было синтезировано, основываясь при этом на информации о положении, поступающей из модуля (152) обработки изображения, и предоставляет синтезированное изображение этого модулю (58) отображения.

На Фиг.22 показан пример синтезированного изображения, на котором изображение обнаруженного предмета было отображено усиленным образом.

На Фиг.22, в дополнение к синтезированному изображению, показанному на Фиг.2, в области, соответствующей вспомогательному изображению синтезированного изображения, отображаются изображение (201) обнаруженного предмета и изображение (202) обнаруженного предмета.

На Фиг.22 изображение обнаруженного предмета (201) представляет собой изображение собаки, выступающей в качестве предмета, имеющего движение, модуль (151) обнаружения предмета, показанный на Фиг.16, обнаруживает этот предмет (собаку), а модуль (152) обработки изображения повышает качество изображения для изображения (201) обнаруженного объекта, тем самым усиливая и отображая его на синтезированном изображении.

Кроме того, изображение (202) обнаруженного предмета представляет собой изображение человека, и модуль (151) обнаружения предмета, показанный на Фиг.17, обнаруживает лицо человека, а модуль (152) обработки изображения повышает качество изображения для изображения (202) обнаруженного объекта, тем самым усиливая и отображая его на синтезированном изображении.

Таким образом, на синтезированном изображении отображается, усиленным образом, изображение, на котором содержится предмет в изображении, имеющем угол обзора, отличный от желательного для фотографирования (основного изображения), благодаря чему в случае выполнения так называемого фотографирования с "предварительной фокусировкой", которое вводит неподвижное изображение в состоянии, при котором местоположение фокальной точки установлено заранее, даже если на основном изображении в кадр попадает предмет, отличный от требуемого предмета, этот предмет может быть утвержден на синтезируемом изображении, благодаря чему можно с большей легкостью отмерять время срабатывания затвора.

В соответствии с вышеописанной обработкой данных стандартное изображение с углом обзора, желательным для фотографирования, синтезируется в центре широкоугольного изображения с пониженным качеством изображения, при этом отображается синтезированное изображение, которое представляет собой изображение, на котором синтезирован "усиленный" предмет, входящий в состав изображения, имеющего угол обзора, отличный от желательного для фотографирования. Соответственно, пользователь может с легкостью утверждать изображения с двумя композициями одновременно, утверждая при этом предмет, входящий в состав изображения, имеющего угол изображения, отличный от желательного для фотографирования.

Отметим, что в случае вышеприведенного описания конфигурация является таковой, что предмет обнаруживают только на вспомогательном изображении, но конфигурация может обнаруживать предмет также и на основном изображении. При такого рода конфигурации может быть обнаружен такой предмет, как тот, что отображается между вспомогательным изображением и основным изображением, при этом, например, этот предмет может быть "усилен" в пределах вспомогательного изображения, и качество изображения может быть понижено в пределах основного изображения. Таким образом, даже в случае, при котором в кадр на основном изображении попадает предмет, отличный от требуемого объекта, отображение такого предмета может быть сделано менее заметным.

В случае вышеприведенного описания была описана конфигурация, для отображения синтезированного изображения, сосредоточенного вокруг вида на изображении, который хочет сфотографировать пользователь, но также может быть отображено синтезированное изображение под углом обзора, под которым следует фотографировать при более подходящей композиции.

<3. Третий вариант реализации изобретения>

[Пример конфигурации цифровой фотокамеры]

На Фиг.23 показан пример конфигурации цифровой фотокамеры, которая может отображать для пользователя угол обзора так, чтобы фотографировать в синтезируемом изображении, при более подходящей композиции. Отметим, что в случае цифровой фотокамеры (221), показанной на Фиг.23, конфигурации, имеющие функции, аналогичные функциям, предусмотренным в цифровой фотокамере (121), показанным на Фиг.15, будут иметь те же самые наименования и те же самые ссылочные позиции, так что их описания, соответственно, будут опущены.

Иначе говоря, в случае цифровой фотокамеры (221), показанной на Фиг.23, отличие от цифровой фотокамеры (121), показанной на Фиг.15, заключается в том, что дополнительно предусматриваются модуль (251) анализа композиции и модуль (252) извлечения рекомендуемой композиции, и вместо модуля (152) обработки изображения и синтезирующего модуля (153) предусматриваются модуль (253) обработки изображения и синтезирующий модуль (254).

Модуль (151) обнаружения предмета, показанный на Фиг.23, обнаруживает предмет на вспомогательном изображении, поступающем из модуля (53) корректирования оптической оси, и предоставляет информацию о положении, указывающую положение обнаруженного предмета на вспомогательном изображении, и вспомогательное изображение модулю (251) анализа композиции.

Модуль (251) анализа композиции анализирует вспомогательное изображение, поступающее из модуля (151) обнаружения предмета, и композицию, которая соответствует положению предмета в пределах вспомогательного изображения, основываясь при этом на информации о положении предмета в пределах вспомогательного изображения, и выполняет определение. Например, модуль (251) анализа композиции сохраняет заранее множество образцов композиции, используя сопоставление с образцами, выбирает из числа таких образцов композиции образец композиции, самый близкий к расположению предмета в пределах вспомогательного изображения, и принимает композицию, соответствующую вспомогательному изображению (рекомендуемую композицию). Модуль (251) анализа композиции предоставляет информацию о композиции, показывающую определенную таким образом композицию (например, положение в верхнем левом углу прямоугольника, который представляет собой контур композиции, и положение на его нижнем правом углу), наряду со вспомогательным изображением модулю (252) извлечения рекомендуемой композиции.

Модуль (252) извлечения рекомендуемой композиции извлекает изображение с рекомендуемой композицией (изображение рекомендуемой композиции) из вспомогательного изображения, основываясь при этом на вспомогательном изображении и информации о композиции, поступающей из модуля (251) анализа композиции, и предоставляет это, наряду с информацией о композиции, модулю (253) обработки изображения.

Модуль (253) обработки изображения имеет ту же самую функцию, что и модуль (56) обработки изображения, и выполняет заранее заданную обработку изображения (регулирование кадра, яркости, насыщенности цвета, оттенка цвета, резкости и тому подобное) на изображении рекомендуемой композиции, поступающем из модуля (252) извлечения рекомендуемой композиции, таким образом, чтобы повысить качество этого изображения выше качества вспомогательного изображения, и предоставляет это наряду с информацией о композиции синтезирующему модулю (254).

Синтезирующий модуль (254) синтезирует основное изображение, поступающее из модуля (56) обработки изображения, и вспомогательное изображение, поступающее из модуля (54) обработки изображения, основываясь при этом на информации о положении, поступающей из модуля (54) обработки изображения. Кроме того, синтезирующий модуль (254) синтезирует изображение рекомендуемой композиции, поступающее из модуля (253) обработки изображения, в области, соответствующей вспомогательному изображению синтезируемого изображения, которое было синтезировано, основываясь при этом на информации о композиции, поступающей из модуля (253) обработки изображения, и предоставляет синтезированное изображение модулю (58) отображения.

[Обработка данных при отображении изображения в цифровой фотокамере]

Далее, со ссылкой на блок-схему алгоритма, показанную на Фиг.24, будет описана обработка данных при отображении изображения в цифровой фотокамере (221), показанной на Фиг.23. Отметим, что обработка данных на этапах с S71 по S74 и S78 на блок-схеме алгоритма, показанной на Фиг.24, является аналогичной обработке данных на этапах с S31 по S34 и S36, описанных со ссылкой на блок-схему алгоритма, показанную на Фиг.10, так что описание этих этапов будет опущено.

На этапе S75 модуль (251) анализа композиции анализирует композицию, соответствующую расположению предмета в пределах вспомогательного изображения, основываясь при этом на вспомогательном изображении, поступающем из модуля (151) обнаружения предмета, и информации о положении предмета в пределах вспомогательного изображения, и определяет рекомендуемую композицию. Например, модуль (251) анализа композиции сохраняет заранее множество образцов композиции, используя сопоставление с образцами, выбирает из числа таких образцов композиции образец композиции, самый близкий к расположению предмета в пределах вспомогательного изображения, и принимает эту композицию в качестве рекомендуемой композиции, соответствующей вспомогательному изображению. Модуль (251) анализа композиции предоставляет информацию о композиции, показывающую определенную таким образом композицию, наряду со вспомогательным изображением модулю (252) извлечения рекомендуемой композиции.

На Фиг.25 показан пример рекомендуемой композиции, определенной модулем (251) анализа композиции.

Композиция, показанная на Фиг.25, представляет собой композицию, именуемую трехчастной композицией, и известна как изображение (фотография), которое сбалансировано посредством расположения предмета (объекта) в одной из позиций на пересечении вертикальных линий и горизонтальных линий (закрашенные кружки на схеме). Отметим, что композиция, определенная модулем (251) анализа композиции (образец композиции), не ограничена трехчастной композицией, и подготавливаются множественные типы, такие как композиция по горизонтальной линии, используемая для того, чтобы дать простор в горизонтальном направлении, композиция по вертикальной линии, используемая для того, чтобы расширить вертикальное направление, и пропорциональная композиция, используемая в случае, когда два одинаковых или подобных элементов расположены рядом друг с другом.

Возвращаясь к блок-схеме алгоритма, показанной на Фиг.24, отметим, что на этапе S76 модуль (252) извлечения рекомендуемой композиции извлекает изображение рекомендуемой композиции из вспомогательного изображения, основываясь при этом на информации о композиции и вспомогательном изображении, поступающих из модуля (251) анализа композиции, и предоставляет это, наряду с информацией о композиции, модулю (253) обработки изображения.

На этапе S77 модуль (253) обработки изображения подвергает изображение рекомендуемой композиции, поступающее из модуля (252) извлечения рекомендуемой композиции, заранее заданной обработке изображения таким образом, чтобы повысить качество этого изображения выше качества вспомогательного изображения, и предоставляет это наряду с информацией о композиции синтезирующему модулю (254). Теперь, модуль (253) обработки изображения может также добавить по периферии изображения рекомендуемой композиции рамку заранее заданного цвета и типа линии и предоставить это синтезирующему модулю (254).

На этапе S79 синтезирующий модуль (254) синтезирует основное изображение, поступающее из модуля (56) обработки изображения, и вспомогательное изображение, поступающее из модуля (54) обработки изображения, основываясь при этом на информации о положении, поступающей из модуля (54) обработки изображения. Кроме того, синтезирующий модуль (254) синтезирует, например, так, как это показано на Фиг.26, изображение рекомендуемой композиции, поступающее из модуля (253) обработки изображения, в области, соответствующей вспомогательному изображению синтезируемого изображения, которое было синтезировано, основываясь при этом на информации о композиции, поступающей из модуля (253) обработки изображения, и предоставляет это синтезированное изображение модулю (58) отображения.

На Фиг.26 показан пример синтезированного изображения, на котором отображена рекомендуемая композиция.

На Фиг.26 в дополнение к синтезированному изображению, показанному на Фиг.2, показана рекомендуемая композиция на этом синтезированном изображении при помощи пунктирных линий, указывающих ее контуры.

В вышеприведенном описании качество изображения для изображения в пределах рекомендуемой композиции выше, чем качество изображения для вспомогательного изображения, но в случае, когда участок основного изображения (текущий угол обзора) и участок рекомендуемой композиции перекрываются, их, возможно, нельзя будет отличить друг от друга. Таким образом, как показано на Фиг.26, рекомендуемая композиция может быть просто отображена только в виде своего контура (угла обзора).

В соответствии с вышеописанной обработкой данных, на синтезированном изображении может быть отображена рекомендуемая композиция.

Таким образом, на синтезированном изображении отображается рекомендуемая композиция, благодаря чему пользователь может утвердить более подходящую композицию, чем композиция, используемая для фотографирования (записи) в данный момент времени.

Выше была описана цифровая фотокамера, имеющая две системы формирования изображения, которые могут отображать более подходящие композиции, но даже в случае цифровой фотокамеры, имеющей только одну систему формирования изображения, могут быть отображены более подходящие композиции.

Теперь, в последнее время, по мере того, как все более популярны стали телевизионные приемники высокой четкости, увеличились потребности в формировании изображения, записи и просмотре на телевизионном приемнике, имеющем высокую четкость изображения, у которого форматное соотношение (отношение размера по горизонтали к размеру по вертикали) составляет 16:9, от устройства формирования изображения, такого как цифровая фотокамера.

По этой причине универсальное устройство формирования изображения, такое как то, что показано на Фиг.27, имеющее твердотельный прибор формирования изображения (далее именуемый прибором формирования изображения) (301), у которого форматное соотношение составляет 4:3 (или 3:2), может иметь стандартный режим для формирования изображения, у которого форматное соотношение составляет 4:3 (или 3:2), и панорамный режим для формирования изображения, у которого форматное соотношение составляет 16:9. В стандартном режиме используется весь прибор (301) формирования изображения и формируется, отображается и записывается изображение, у которого форматное соотношение составляет 4:3 (или 3:2). С другой стороны, в панорамном режиме используется прибор формирования изображения, имеющий прямоугольную область (313), благодаря чему используется форматное соотношение, составляющее 16:9, вместо прибора формирования изображения, имеющего область (311) на верхней стороне и область (312) на нижней стороне прибора (301), формирования изображения, который показан на Фиг.27, и формируется, отображается и записывается изображение, у которого форматное соотношение составляет 16:9.

В случае устройства формирования изображения, которое описано выше, область отображения в модуле (58) отображения, предназначенная для отображения так называемого "сквозного" изображения, сконфигурирована таким образом, чтобы отображать изображение, соответствующее всему прибору (301) формирования изображения, показанному на Фиг.27. Соответственно, в случае, при котором пользователь фотографирует объект в панорамном режиме, область отображения, на которой отображается "сквозное" изображение на модуле (58) отображения, становится областью, соответствующей прямоугольной области (313) из всего прибора (301) формирования изображения, показанного на Фиг.27.

Таким образом, ниже будет описана цифровая фотокамера, которая имеет только одну систему формирования изображения, в которой композиция, которая является более подходящей композицией, чем та, которую пытается сфотографировать пользователь, отображается в панорамном режиме в устройстве формирования изображения, таком как описано выше.

<4. Четвертый вариант реализации изобретения>

[Пример функциональной конфигурации цифровой фотокамеры]

На Фиг.28 показан пример конфигурации цифровой фотокамеры, имеющей только одну систему формирования изображения.

Цифровая фотокамера (411), показанная на Фиг.28, составлена из линзы (431), модуля (432) формирования изображения, модуля (433) обработки изображения, «обрезающего» модуля (434), извлекающего модуля (435), синтезирующего модуля (436), модуля (437) управления отображением, модуля (438) отображения, модуля (439) ввода команд, модуля (440) управления записью и записывающего модуля (441).

Линза (431) представляет собой так называемую стандартную линзу, аналогичную основной линзе (31) из состава цифровой фотокамеры, показанной на Фиг.1.

Модуль (432) формирования изображения сконфигурирован, например, таким образом, чтобы включать в себя прибор формирования изображения, имеющий форматное соотношение, составляющее 4:3, такой как прибор с зарядовой связью (ПЗС) или ему подобный, и аналого-цифровой преобразователь. Модуль (432) формирования изображения формирует изображение объекта, принимая свет из линзы (431) и выполняя фотоэлектрическое преобразование, и подвергает полученный аналоговый сигнал изображения аналого-цифровому преобразованию. Модуль (432) формирования изображения предоставляет цифровые данные изображения, полученные в результате этого аналого-цифрового преобразования (именуемые далее изображением, полученным при формировании изображения), модулю (433) обработки изображения.

Модуль (433) обработки изображения подвергает изображение, полученное при формировании изображения, поступающее из модуля (432) формирования изображения, заранее заданной обработке изображения. В случае, при котором режим формирования изображения в модуле (433) обработки изображения является стандартным режимом, при котором формируется изображение, у которого форматное соотношение составляет 4:3, изображение, полученное при формировании изображения, подвергнутое обработке изображения, предоставляется модулю (437) управления отображением и модулю (440) управления записью. Кроме того, в случае, при котором режим формирования изображения в модуле (433) обработки изображения является панорамным режимом, при котором формируется изображение, у которого форматное соотношение составляет 16:9, изображение, полученное при формировании изображения, подвергнутое обработке изображения, предоставляется обрезающему модулю (434) и извлекающему модулю (435).

По предоставлении изображения, полученного при формировании изображения, из модуля (433) обработки изображения "обрезающий" модуль (434) вырезает из этого изображения, полученного при формировании изображения, изображение, у которого форматное соотношение составляет 16:9, которое отличается по размеру от изображения, полученного при формировании изображения. "Обрезающий" модуль (434) предоставляет вырезанное изображение ("обрезанное" изображение), по мере необходимости, синтезирующему модулю (436), модулю (437) управления отображением или модулю (440) управления записью.

По предоставлении изображения, полученного при формировании изображения, из модуля (433) обработки изображения извлекающий модуль (435) обнаруживает на этом изображении, полученном при формировании изображения, объект с высокой степенью фокусировки, берет этот объект и извлекает изображение области, у которой форматное соотношение составляет 16:9, которое отличается от размера изображения, полученного при формировании изображения, включив в нее объект. Извлекающий модуль (435) предоставляет извлеченное изображение, по мере необходимости, синтезирующему модулю (436) или модулю (440) управления записью.

Синтезирующий модуль (436) синтезирует "обрезанное" изображение, поступающее из "обрезающего" модуля (434), и извлеченное изображение, поступающее из извлекающего модуля (435), и предоставляет синтезируемое изображение, которое было синтезировано, модулю (437) управления отображением.

Модуль (437) управления отображением управляет модулем (438) отображения и отображает различные типы изображений в модуле (438) отображения. Например, в случае, при котором режим формирования изображения является стандартным режимом, модуль (437) управления отображением отображает на модуле (438) отображения изображение, полученное при формировании изображения, предоставляемое из модуля (433) обработки изображения. Кроме того, в случае, при котором режим формирования изображения является панорамным режимом, модуль (437) управления отображением отображает на модуле (438) отображения "обрезанное" изображение, предоставляемое из "обрезающего" модуля (434), или синтезированное изображение, предоставляемое из синтезирующего модуля (436).

Модуль (438) отображения отображает под управлением модуля (437) управления отображением различные типы изображений в соответствии с тем, что требуется.

Модуль (439) ввода команд задействуется пользователем для того, чтобы вводить команды для цифровой фотокамеры (411). Модуль (439) ввода команд составлен, например, из различных типов управляющих кнопок, устройства дистанционного управления, сенсорной панели, микрофона и т.д. и принимает команды от пользователя и предоставляет сигналы (информацию), указывающие содержание таких команд, каждому блоку цифровой фотокамеры (411).

Модуль (440) управления записью управляет записывающим модулем (441). Например, в случае, при котором режим формирования изображения для модуля (440) управления записью является стандартным режимом, в записывающий модуль (441) на основе сигналов, поступающих из модуля (439) ввода команд, записывается изображение, полученное при формировании изображения, поступающее из модуля (433) обработки изображения. Кроме того, в случае, при котором режим формирования изображения для модуля (440) управления записью является панорамном режимом, в записывающий модуль (441) на основе сигналов, поступающих из модуля (439) ввода команд, записываются обрезанное изображение, поступающее из "обрезающего" модуля (434), и извлеченное изображение, поступающее из извлекающего модуля (435). Помимо этого, модуль (440) управления записью, основываясь на сигналах, поступающих из модуля (439) ввода команд, считывает изображение из записывающего модуля (441), и оно затем предоставляется модулю (437) управления отображением.

Записывающий модуль (441) записывает под управлением модуля (440) управления записью различные типы изображений в соответствии с тем, что требуется.

[Обработка данных при отображении изображения в цифровой фотокамере]

Далее со ссылкой на блок-схему алгоритма, показанную на Фиг.29, будет описана обработка данных при отображении изображения в цифровой фотокамере (411), показанной на Фиг.28. Отметим, что обработка данных при отображении изображения, показанная на Фиг.29, начинается в том случае, когда модуль (439) ввода команд принимает от пользователя команды, указывающие, что в качестве режима формирования изображения выбран панорамный режим.

На этапе S111 модуль (432) формирования изображения формирует изображения объекта. Если описать это более конкретно, то модуль (432) формирования изображения формирует изображение объекта, принимая свет из линзы (431) и выполняя фотоэлектрическое преобразование, подвергая полученный аналоговый сигнал изображения аналого-цифровому преобразованию, и предоставляя полученное изображение, получаемое при формировании изображения, модулю (433) обработки изображения.

На этапе S112 модуль (433) обработки изображения выполняет обработку изображения, такую как обработка с целью устранения мозаичности изображения, обработка с целью регулирования баланса белого, обработка с целью гамма-коррекции и т.д., в отношении изображения, полученного при формировании изображения и поступающего из модуля (432) формирования изображения, и предоставляет его обрезающему модулю (434) и извлекающему модулю (435).

На этапе S113 "обрезающий" модуль (434) "вырезает" из изображения, полученного при формировании изображения и предоставляемого из модуля (433) обработки изображения, изображение, у которого форматное соотношение составляет 16:9, и предоставляет полученное в результате этого "обрезанное" изображение синтезирующему модулю (436). Если описать это более конкретно, то "обрезающий" модуль (434) "вырезает" изображение на участке, соответствующем прямоугольной области (313) на приборе (301) формирования изображения, описанном на Фиг.27, из изображения, полученного при формировании изображения, у которого форматное соотношение составляет 4:3, поступающего из модуля (433) обработки изображения.

Например, как показано с левой стороны на Фиг.30, в случае, при котором получают изображение (511), полученное при формировании изображения (форматное соотношение составляет 4:3), в котором объектом является кошка, обрезающий модуль (434) "вырезает" изображение области, показанной штрихпунктирной линией, на изображении (511), полученном при формировании изображения, и получает "обрезанное" изображение (512), показанное с правой стороны на Фиг.30. Как показано на Фиг.30, на "обрезанном" изображении (512), у которого форматное соотношение составляет 16:9, кошка, служащая в качестве объекта, располагается полностью с верхней стороны, и обрезан участок головы, включая ушко. "Обрезанное" изображение (512) нельзя назвать изображением с хорошей композицией для изображения, фотографируемого и отображаемого в панорамном режиме.

Как было описано выше, при традиционной цифровой фотокамере, имеющей прибор формирования изображения, у которого форматное соотношение составляет 4:3, в случае, когда пользователь фотографирует объект в панорамном режиме, изображением, отображаемым на модуле отображения, становится изображение в области, показанной на Фиг.30 штрихпунктирной линией в отношении изображения (511), полученного при формировании изображения и сформированного всем прибором формирования изображения. В случае, при котором такую цифровую фотокамеру в панорамном режиме использует пользователь, не привыкший к таким операциям, модуль отображения может отобразить и записать такое изображение, как на "обрезанном" изображении (512), показанном на Фиг.30.

Возвращение к блок-схеме алгоритма, показанной на Фиг.29, отметим, что на этапе S114 извлекающий модуль (435) обнаруживает на изображении, полученном при формировании изображения, поступающем из модуля (433) обработки изображения, объект, имеющий высокую степень фокусировки. Извлекающий модуль (435) извлекает изображение области, у которой форматное соотношение составляет 16:9, которая включает в себя этот объект, и предоставляет полученное в результате этого извлеченное изображение синтезирующему модулю (436).

Если описать это более конкретно, то извлекающий модуль (435) генерирует карту информации о яркости, показывающую информацию, относящуюся к яркости, карту информации о цвете, показывающую информацию, относящуюся к цвету, карту информации о контурах, показывающую информацию, относящуюся к контурам, и карту информации о движении, показывающую информацию, относящуюся к движению, для каждой области изображения, полученного при формировании изображения.

Теперь, не имея необходимости по отдельности рассматривать карты: от карты информации о яркости до карты информации о движении, и просто называя их информационными картами, отметим, что информация, входящая в состав этих информационных карт, представляет собой информацию, показывающую более высокие количества признака для включенных в них признаков, чем в области, которая включает в себя объект. Информационная карта становится тем, в чем эта информация соотносится с каждой областью изображения, полученного при формировании изображения, и упорядочивается в виде массива. Иначе говоря, информационная карта представляет собой информацию, показывающую величины признака в каждой области изображения, полученного при формировании изображения.

Соответственно, область, имеющая большее количество информации в каждой информационной карте, то есть область на изображении, полученном при формировании изображения, соответствующая области, имеющей большее количество признака, становится областью, имеющей более высокую вероятность, что она включает в себя объект, и область, которая на изображении, полученном при формировании изображения, включает в себя объект, может быть идентифицирована по каждой информационной карте.

Извлекающий модуль (435), основываясь на карте информации о яркости, карте информации о цвете, карте информации о контурах и карте информации о движении, идентифицирует область, у которой форматное соотношение составляет 16:9, которая на изображении, полученном при формировании изображения, включает в себя объект, и извлекает изображение в этой области в качестве извлеченного изображения.

Например, как показано с левой стороны на Фиг.31, в случае, когда получено изображение (511), полученное при формировании изображения (форматное соотношение 4:3), извлекающий модуль (435) обнаруживает кошку, служащую в качестве объекта изображения, как предмет, имеющий на изображении (511), полученном при формировании изображения, высокую степень фокусировки, извлекает изображение области, показанной пунктирными линиями (форматное соотношение 16:9) таким образом, чтобы оно включало в себя объект, и получает извлекаемое изображение (513), показанное с правой стороны Фиг.31. Как показано на Фиг.31, кошка, служащая в качестве объекта, располагается примерно по центру извлеченного изображения (513), у которого форматное соотношение составляет 16:9. Извлеченное изображение (513) представляет собой изображение, имеющее хорошую композицию для изображения, фотографируемого и отображаемого в панорамном режиме.

Отметим, что способ для извлечения информации, такой как яркость, цвет и контуры, из изображения, полученного при формировании изображения, описан подробно, например, в Laurent Itti, Christof Koch, and Ernst Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis" (Лоран Итти, Кристоф Коч и Эрнст Нибур, "Модель зрительного внимания на основе выступов, предназначенная для быстрого анализа кадров").

Возвращаясь к блок-схеме, показанной на Фиг.29, отметим, что на этапе S115 синтезирующий модуль (436) синтезирует "обрезанное" изображение, поступающее из "обрезающего" модуля (434), и извлеченное изображение, поступающее из извлекающего модуля (435), таким образом, чтобы положения объекта совпадали, и предоставляет синтезируемое изображение, которое было синтезировано, модулю (437) управления отображением.

На этапе S116 модуль (437) управления отображением отображает синтезированное изображение, предоставляемое из синтезирующего модуля (436), на модуле (438) отображения.

На Фиг.32 показан пример синтезированного изображения, отображаемого на модуле (438) отображения.

На Фиг.32 область отображения в модуле (438) отображения, входящего в состав цифровой фотокамеры (411), имеет форматное соотношение, составляющее 4:3. В панорамном режиме модуль (437) управления отображением отображает черное изображение (так называемую черную полосу) в области верхней стороны и области нижней стороны области отображения в модуле (58) отображения, образуя, таким образом, область отображения, имеющую форматное соотношение, составляющее 16:9.

Как показано на Фиг.32, модуль (437) управления отображением отображает участки, соответствующие "обрезанному" изображению синтезированного изображения на области отображения, имеющей форматное соотношение, составляющее 16:9, в модуле (438) отображения. Кроме того, модуль (437) управления отображением отображает на модуле (438) отображения рамку, показанную на схеме пунктирной линией, таким образом, чтобы усиливать участок, соответствующий извлеченному изображению на синтезированном изображении. В это время участок из числа участков, соответствующих извлеченному изображению на синтезированном изображении, который попадает на черную полосу (на верхней стороне) области отображения в модуле (438) отображения, отображается как синтезированное изображение, имеющее низкую яркость. Отметим, что извлеченное изображение, отображаемое на модуле (438) отображения, может быть отображено таким образом, чтобы быть усилено рамкой, как на Фиг.32, и таким образом, чтобы пользователь мог утвердить диапазон отображения извлеченного изображения.

В соответствии с вышеописанной обработкой данных, изображение с композицией, которую пользователь пытается сфотографировать в панорамном режиме цифровой фотокамеры, имеющей только одну систему формирования изображения, и изображение с композицией, при которой объект с высокой степенью фокусировки располагается по центру этого изображения, могут быть отображены вместе, благодаря чему пользователь может утвердить композицию, более подходящую, чем композиция, которую пытается сфотографировать (записать) пользователь.

Отметим, что в случае вышеописанной обработки данных, на модуле (438) отображения отображаются вместе "обрезанное" изображение и извлеченное изображение, но могут быть отображены вместе изображение, полученное при формировании изображения, и извлеченное изображение, и на участке, попадающем на черную полосу области отображения в модуле (438) отображения, яркость может быть снижена.

Выше была описана обработка данных для того, чтобы отображать вместе изображения с композицией, которую пользователь пытается сфотографировать в панорамном режиме, и изображение с композицией, при которой по его центру располагается объект, имеющий высокую степень фокусировки, но изображение с композицией, которую пользователь пытается сфотографировать в панорамном режиме, и изображение с композицией, при которой по его центру располагается объект, имеющий высокую степень фокусировки, могут быть также записаны.

[Обработка данных при записи изображения в цифровой фотокамере]

Теперь, со ссылкой на блок-схему алгоритма, показанную на Фиг.33, будет описана обработка данных при записи изображения в цифровой фотокамере (411), показанной на Фиг.28. Отметим, что обработка данных при записи изображения, показанная на Фиг.33, начинается в том случае, когда модуль (439) ввода команд принимает от пользователя команду, указывающую, что в качестве режима формирования изображения выбран панорамный режим.

Отметим, что обработка данных на этапах с S211 по S214 на блок-схеме алгоритма, показанной на Фиг.33, является в основном той же самой, что и обработка данных на этапах с S111 по S114 на блок-схеме алгоритма, показанной на Фиг.29, за исключением того, что на этапе S213 "обрезанное" изображение предоставляется модулю (437) управления отображением и модулю (440) управления записью, и того, что на этапе S214 извлеченное изображение предоставляется модулю (440) управления записью, так что описания этих этапов будут опущены.

На этапе S215 модуль (437) управления отображением отображает "обрезанное" изображение, предоставляемое из "обрезающего" модуля (434), на модуле (438) отображения. Если описать это более конкретно, то модуль (437) управления отображением отображает "обрезанное" изображение на области отображения в модуле (438) отображения, имеющей форматное соотношение 16:9, как это показано на Фиг.32. В это время, в области отображения в модуле (438) отображения, черная полоса отображается в области верхней стороны и области нижней стороны.

На этапе S216 модуль (440) управления записью определяет, была ли нажата кнопка затвора, служащая в качестве модуля (439) ввода команд.

В случае, когда на этапе S216 определено, что кнопка затвора не была нажата, обработка данных возвращается на этап S211, и повторяется обработка данных с этого этапа.

С другой стороны, в случае, когда на этапе S216 определено, что кнопка затвора была нажата, то есть, в случае, при котором модулю (440) управления записью предоставлен сигнал из модуля (440) ввода команд, указывающий, что кнопка затвора была нажата, обработка данных переходит на этап S217.

На этапе S217 модуль (440) управления записью записывает в записывающий модуль (441) "обрезанное" изображение, поступающее из обрезающего модуля (434), и извлеченное изображение, поступающее из извлекающего модуля (435), основываясь при этом на сигналах, поступающих из модуля (440) ввода команд. Например, в записывающий модуль (441) записываются "обрезанное" изображение (512), описанное при помощи Фиг.30, и извлеченное изображение (513), описанное при помощи Фиг.31.

При традиционной цифровой фотокамере, в случае, при котором изображение, такое как "обрезанное" изображение (512), описанное на Фиг.30, представляет собой изображение с композицией, которую пользователь, незнакомый с фотографированием, пытается сфотографировать в панорамном режиме, записываемое изображение также становится таким изображением, как то, что показано на "обрезанном" изображении (512), описанном при помощи Фиг.30. В этом случае, участок объекта, не включенный в состав записанного изображения (участок, который отсутствует), не может быть сгенерирован, и изображение, имеющее более хорошую композицию, не может быть получено.

В соответствии с вышеописанной обработкой данных, в панорамном режиме могут быть записаны "обрезанное" изображение и извлеченное изображение, таким образом, могут быть записаны изображение с композицией, которую сфотографировал пользователь, не привыкший к фотографированию, и изображение с композицией, более подходящей для пользователя, чем сфотографированная им композиция.

Кроме того, благодаря тому, что записываются изображение с композиции, которую сфотографировал пользователь, и изображение с композицией, более походящей, чем композиция, сфотографированная пользователем, пользователь может сравнить эти два изображения, и это может быть полезным для пользователя при совершенствовании им своих приемов фотографирования.

В ходе вышеописанной обработки данных, в записывающем модуле (441) записывается каждое изображение из числа "обрезанного" изображения и извлеченного изображения, но в записывающем модуле (441) может быть записано синтезированное изображение, в котором синтезированы "обрезанное" изображение и извлеченное изображение, описанные при помощи блок-схемы алгоритма, показанной на Фиг.29.

На Фиг.34 показан пример синтезированного изображения, записанного в записывающем модуле (441).

В синтезированном изображении (601), показанном на Фиг.34, участок, показанный штрихпунктирной линией, соответствует "обрезанному" изображению, а участок, показанный пунктирной линией, соответствует извлеченному изображению. Теперь, мы можем рассматривать синтезированное изображение (601) как разделенное на три области с 611 по 613. При этом область (611) представляет собой участок, который не существует в "обрезанном" изображении, но существует в извлеченном изображении, область (612) представляет собой участок, который существует в обоих изображениях: "обрезанном" изображении и извлеченном изображении, а область (613) представляет собой участок, который существует в "обрезанном" изображении, но не в извлеченном изображении.

В случае, при котором, в результате команд пользователя, из модуля (439) ввода команд подаются сигналы, обозначающие команды на воспроизведение (отображение) "обрезанного" изображения, модуль (440) управления записью считывает области (612) и (613) на синтезированном изображении (601) и предоставляет их модулю (437) управления отображением. Кроме того, в случае, при котором, вследствие команд пользователя, из модуля (439) ввода команд подаются сигналы, обозначающие команды на воспроизведение извлеченного изображения, модуль (440) управления записью считывает области (611) и (612) на синтезированном изображении (601) и предоставляет их модулю (437) управления отображением.

Таким образом, в случае, если рассматривать воспроизведение (отображение) каждого изображения из числа "обрезанного" изображения и извлеченного изображения, то, даже не записывая в записывающий модуль (441) каждое изображение из числа "обрезанного" изображения и извлеченного изображения, следует записать только одно синтезированное изображение, благодаря чему количество данных, записываемых в записывающем модуле (441), может быть уменьшено.

Отметим, что в случае, при котором синтезированное изображение (601) не генерируется, изображение, соответствующее области (611), и "обрезанное" изображение могут быть записаны вместе, и изображение, соответствующее области (613), и извлеченное изображение могут быть записаны вместе.

Кроме того, в случае вышеописанной обработки данных, извлеченное изображение записывается после того, как была приведена в действие кнопка затвора, служащая в качестве модуля (439) ввода команд, но извлеченное изображение может, например, записываться в том случае, когда композиция извлеченного изображения соответствует приготовленному заранее образцу композиции, такому как трехчастная композиция, композиция по горизонтальной линии или композиция по радиальной линии.

Таким образом, даже если пользователь не приводит в действие кнопку затвора, изображение, имеющее более хорошую композицию, может быть записано.

Кроме того, в случае вышеописанной обработки данных модуль (433) обработки изображения выполняет заданную обработку изображения в отношении данных изображения, полученных от всех приборов формирования изображения, входящих в состав модуля (432) формирования изображения, но обработка изображения может, до тех пор, пока не приведена в действие кнопка затвора, служащая в качестве модуля (439) ввода команд, выполняться в отношении данных изображения, полученных от прибора формирования изображения, который соответствует области (313) прибора (301) формирования изображения, показанной на Фиг.27, а после приведения в действие кнопки затвора обработка изображения может выполняться в отношении данных изображения, полученных от всех приборов формирования изображения.

Таким образом, нагрузка по обработке данных, падающая на модуль (433) обработки изображения, до приведения в действие кнопки затвора может быть уменьшена.

Вышеописанная последовательность обработки данных может быть выполнена посредством аппаратного обеспечения или может быть выполнена посредством программного обеспечения. В случае, когда эта последовательность процессов выполняется посредством программного обеспечения, программа, составляющая программное обеспечение, устанавливается с носителя записи программы, например, на компьютер, со встроенным специализированным аппаратным обеспечением, или на универсальный персональный компьютер или тому подобное, который способен выполнять различные типы функций при установке различных типов программ.

Фиг.35 представляет собой структурную схему, показывающую пример конфигурации аппаратного обеспечения компьютера, который при помощи программы исполняет вышеописанную последовательность обработки данных.

В этом компьютере ЦП (центральный процессор) (901), ПЗУ (Постоянное запоминающее устройство) (902), ОЗУ (оперативное запоминающее устройство) (903) соединены друг с другом посредством шины (904).

Шина (904), кроме того, имеет присоединенный к ней интерфейс (905) ввода-вывода. Интерфейс (905) ввода-вывода имеет присоединенные к нему входное устройство (906), составленное из клавиатуры, "мыши", микрофона или тому подобного, выходное устройство (907), составленное из дисплея, громкоговорителя или тому подобного, запоминающее устройство (908), составленное из жесткого диска или энергонезависимого запоминающего устройства или тому подобного, устройство (909) связи, составленное из сетевого интерфейса или тому подобного, и привод (910) для приведения в действие съемного носителя (911) информации, такого как магнитный диск, оптический диск, магнитооптический диск, или полупроводниковое запоминающее устройство или тому подобное.

В случае компьютера, имеющего описанную выше конфигурацию, центральный процессор (901), например, загружает в оперативное запоминающее устройство (903) и исполняет программу, хранящуюся в запоминающем устройстве (908), посредством интерфейса (905) ввода-вывода и шины (904), благодаря чему выполняется вышеописанная последовательность обработки данных.

Программа, которую исполняет компьютер (центральный процессор (901)), записана на съемном носителе (911) информации, который представляет собой, например, компактный носитель информации, выполненный из магнитного диска (включая гибкий диск), оптического диска (CD-ROM (постоянного запоминающего устройства на компакт-диске) или DVD (универсального цифрового диска) и тому подобного), магнитооптического диска, полупроводникового запоминающего устройства или тому подобного, или, в качестве альтернативы, предоставляется посредством кабельной или беспроводной передающей среды, такой как локальная сеть, сеть Интернет или цифровое спутниковое вещание.

Эта программа может быть установлена в запоминающее устройство (908) через интерфейс (905) ввода-вывода посредством съемного носителя (611) информации, устанавливаемого на привод (910). Кроме того, программа может быть установлена в запоминающее устройство (908), будучи принятой устройством (909) связи, через кабельную или беспроводную передающую среду. В качестве альтернативы, программа может быть установлена заранее в постоянное запоминающее устройство (902) или запоминающее устройство (908).

Отметим, что программа, которую исполняет компьютер, может представлять собой программу, в которой обработка данных выполняется последовательно во времени в последовательности, описанной в настоящем описании, или может представлять собой программу, в которой обработка данных выполняется параллельно или в требуемые моменты времени, как, например, после вызова или тому подобного.

Кроме того, варианты реализации настоящего изобретения не должны ограничиваться вышеописанными вариантами реализации, и можно вносить разнообразные изменения, не выходя за рамки сущности настоящего изобретение.

Пояснение ссылочных позиций

11 - цифровая фотокамера, 31 - основная линза, 32 - вспомогательная линза, 51 - модуль формирования изображения, 52 - модуль корректирования искажения, 53 - модуль корректирования оптической оси, 54 - модуль обработки изображения, 55 - модуль формирования изображения, 56 - модуль обработки изображения, 57 - синтезирующий модуль, 58 - модуль отображения, 121 - цифровая фотокамера, 151 - модуль обнаружения предмета, 152 - модуль обработки изображения, 153 - синтезирующий модуль, 221 - цифровая фотокамера, 251 - модуль анализа композиции, 252 - модуль извлечения рекомендуемой композиции, 253 - модуль обработки изображения, 254 - синтезирующий модуль

1. Устройство формирования изображения, содержащее:
средство формирования изображения, предназначенное для того, чтобы формировать первое изображение, включающее в себя заранее задаваемый объект;
средство обнаружения, предназначенное для того, чтобы обнаруживать на упомянутом первом изображении второе изображение, включающее в себя упомянутый объект, которое является изображением, отличающимся по размеру от упомянутого первого изображения;
синтезирующее средство для того, чтобы синтезировать упомянутое второе изображение, обнаруженное упомянутым средством обнаружения, с упомянутым первым изображением таким образом, чтобы положение упомянутого объекта совпадало; и
средство отображения, предназначенное для того, чтобы отображать в заранее заданной области упомянутого второго изображения, способной к отображению всего упомянутого первого изображения, соответствующего участка упомянутого первого изображения, и отображать упомянутое второе изображение, с которым было синтезировано упомянутое первое изображение.

2. Устройство формирования изображения по п.1, в котором упомянутое средство отображения отображает упомянутое второе изображение усиленным образом.

3. Устройство формирования изображения по п.1, в котором упомянутая область отображения представляет собой область, в которой упомянутое первое изображение отображается полностью в случае, когда оно в режиме, при котором формируется изображение, имеющее форматное соотношение, составляющее 4:3; и
в которой упомянутая заранее заданная область в упомянутой области отображения представляет собой область, в которой отображается участок упомянутого первого изображения в случае, когда оно в режиме, при котором формируется изображение, имеющее форматное соотношение, составляющее 16:9.

4. Устройство формирования изображения по п.1, дополнительно содержащее:
"обрезающее" средство для того, чтобы "обрезать" упомянутое первое изображение упомянутой заранее заданной области; и
записывающее средство для того, чтобы записывать упомянутое первое изображение, которое было "обрезано" упомянутым "обрезающим" средством, и упомянутое второе изображение, которое было обнаружено упомянутым средством обнаружения.

5. Устройство формирования изображения по п.4, в котором упомянутое синтезирующее средство синтезирует упомянутое первое изображение, которое было "обрезано" упомянутым "обрезающим" средством, и упомянутое второе изображение, которое было обнаружено упомянутым средством обнаружения, и в котором упомянутое записывающее средство записывает упомянутое первое изображение и упомянутое второе изображение, которые были синтезированы упомянутым синтезирующим средством.

6. Способ формирования изображения, содержащий:
этап формирования, на котором формируют первое изображение, включающее в себя заранее задаваемый объект;
этап обнаружения, на котором обнаруживают на упомянутом первом изображении второе изображение, включающее в себя упомянутый объект, которое является изображением, отличающимся по размеру от упомянутого первого изображения; и
этап синтезирования, на котором синтезируют упомянутое второе изображение, обнаруженное при обработке данных на упомянутом этапе обнаружения, с упомянутым первым изображением таким образом, чтобы положение упомянутого объекта совпадало; и
этап отображения, на котором отображают в заранее заданной области упомянутого второго изображения, способной к отображению всего упомянутого первого изображения, соответствующий участок упомянутого первого изображения, и отображают упомянутое второе изображение, с которым было синтезировано упомянутое первое изображение.

7. Носитель записи, содержащий записанную на нем программу, под управлением которой компьютер выполняет обработку данных, включающую в себя:
этап управления формированием изображения, на котором управляют формированием первого изображения, включающего в себя заранее задаваемый объект;
этап обнаружения, на котором обнаруживают на упомянутом первом изображении второе изображение, включающее в себя упомянутый объект, которое является изображением, отличающимся по размеру от упомянутого первого изображения; и
этап синтезирования, на котором синтезируют упомянутое второе изображение, обнаруженное при обработке данных на упомянутом этапе обнаружения, с упомянутым первым изображением таким образом, чтобы положение упомянутого объекта совпадало; и
этап управления отображением, на котором отображают в заранее заданной области упомянутого второго изображения, способной к отображению всего упомянутого первого изображения, соответствующий участок упомянутого первого изображения, и отображают упомянутое второе изображение, с которым было синтезировано упомянутое первое изображение.

8. Устройство формирования изображения, содержащее:
первое средство формирования изображения, предназначенное для того, чтобы формировать упомянутое первое изображение, включающее в себя заранее задаваемый объект;
второе средство формирования изображения, предназначенное для того, чтобы формировать второе изображение, включающее в себя упомянутый заранее задаваемый объект, которое является изображением, отличающимся по углу обзора от упомянутого первого изображения;
первое средство регулирования качества изображения, предназначенное для того, чтобы регулировать качество изображения для упомянутого второго изображения таким образом, чтобы оно отличалось от качества изображения для упомянутого первого изображения; и
синтезирующее средство для того, чтобы синтезировать упомянутое первое изображение с упомянутым вторым изображением, у которого качество изображения было отрегулировано упомянутым первым средством регулирования качества изображения, причем положение упомянутого объекта выступает в качестве базиса отсчета.

9. Устройство формирования изображения по п.8, дополнительно содержащее средство отображения, предназначенное для того, чтобы отображать изображение, синтезированное упомянутым синтезирующим средством.

10. Устройство формирования изображения по п.8, дополнительно содержащее:
средство обнаружение предмета, предназначенное для того, чтобы обнаруживать предмет в пределах упомянутого второго изображения; и
второе средство регулирования качества изображения, предназначенное для того, чтобы регулировать качество изображения области упомянутого предмета в пределах упомянутого второго изображения, который был обнаружен упомянутым средством обнаружения предмета, таким образом, чтобы оно отличалось от качества изображения для упомянутого второго изображения;
при этом упомянутое синтезирующее средство синтезирует с упомянутым вторым изображением упомянутое первое изображение и изображение предмета в области упомянутого предмета в пределах упомянутого второго изображения, у которого качество изображения было отрегулировано упомянутым вторым средством регулирования качества изображения, причем положение упомянутого объекта соответствует базису отсчета.

11. Устройство формирования изображения по п.10, в котором упомянутое средство обнаружения предмета обнаруживает в пределах упомянутого второго изображения упомянутый предмет, имеющий движение.

12. Устройство формирования изображения по п.10, в котором упомянутое средство обнаружения предмета обнаруживает в пределах упомянутого второго изображения лицо человека.

13.Устройство формирования изображения по п.8, дополнительно содержащее:
средство анализа композиции, предназначенное для того, чтобы анализировать композицию упомянутого второго изображения; и
средство извлечения композиции, предназначенное для того, чтобы извлекать из упомянутого второго изображения композицию с углом обзора, отличным от угла обзора упомянутого первого изображения, основываясь при этом на композиции, проанализированной упомянутым средством анализа композиции;
при этом упомянутое синтезирующее средство синтезирует упомянутое первое изображение и извлеченное изображение композиции, извлеченной упомянутым средством извлечения композиции, со вторым изображением, причем положение упомянутого объекта выступает в качестве базиса отсчета.

14. Устройство формирования изображения по п.8, в котором упомянутое второе средство формирования изображения формирует упомянутое второе изображение имеющим более широкий угол обзора, чем упомянутое первое изображение.

15. Устройство формирования изображения по п.8, дополнительно содержащее:
средство корректирования искажения, предназначенное для того, чтобы корректировать искажение упомянутого второго изображения; и
средство корректирования оптической оси, предназначенное для того, чтобы согласовывать оптическую ось упомянутой второй оптической системы с оптической осью упомянутой первой оптической системы и определять положение упомянутого первого изображения, синтезируемого с вторым изображением.

16. Устройство формирования изображения по п.8, в котором упомянутое первое средство регулирования качества изображения регулирует уровень цветового сигнала упомянутого второго изображения таким образом, чтобы он был ниже, чем уровень цветового сигнала упомянутого первого изображения.

17. Устройство формирования изображения по п.16, в котором упомянутое первое средство регулирования качества изображения регулирует уровень цветового сигнала упомянутого второго изображения таким образом, чтобы он был ниже, чем уровень цветового сигнала упомянутого первого изображения.

18. Способ формирования изображения, содержащий:
этап формирования первого изображения, на котором формируют первое изображение, включающее в себя заранее задаваемый объект;
этап управления формированием второго изображения, на котором формируют второе изображение, включающее в себя упомянутый заранее задаваемый объект, которое является изображением, отличающимся по углу обзора от упомянутого первого изображения;
этап регулирования качества изображения, на котором регулируют качество изображения для упомянутого второго изображения таким образом, чтобы оно отличалось от качества изображения для упомянутого первого изображения; и
этап синтезирования, на котором синтезируют упомянутое первое изображение с упомянутым вторым изображением, у которого качество изображения было отрегулировано при обработке данных на упомянутом первом этапе регулирования качества изображения, причем положение упомянутого объекта выступает в качестве базиса отсчета.

19. Носитель записи, содержащий записанную на нем программу, под управлением которой компьютер выполняет обработку данных, включающую в себя:
этап управления формированием первого изображения, на котором управляют формированием первого изображения, включающего в себя заранее задаваемый объект;
этап управления формированием второго изображения, на котором управляют формированием второго изображения, включающего в себя упомянутый заранее задаваемый объект, которое является изображением, отличающимся по углу обзора от упомянутого первого изображения;
этап регулирования качества изображения, на котором регулируют качество изображения для упомянутого второго изображения таким образом, чтобы оно отличалось от качества изображения для упомянутого первого изображения; и
этап синтезирования, на котором синтезируют упомянутое первое изображение с упомянутым вторым изображением, у которого качество изображения было отрегулировано при обработке данных на упомянутом первом этапе регулирования качества изображения, причем положение упомянутого объекта выступает в качестве базиса отсчета.