Устройство обработки изображений и способ управления таковыми

Изобретение относится к компьютерной технике, а именно к устройствам и способам обработки изображений. Техническим результатом является обеспечение преобразования исходного изображения в изображение, подобное живописи, за счет настройки уровня размытости в соответствии с параметром регулировки съемки исходного изображения и объекта, включенного в исходное изображение. Предложено устройство обработки изображений для преобразования исходного изображения. Устройство содержит средство настройки, вычислительное средство, средство компоновки. Вычислительное средство формирует разностное изображение. Средство компоновки компонует разностное изображение и исходное на основании плотности разностного изображения. Средство настройки настраивает уровень размывания исходного изображения в соответствии с одним из регулировок съемки исходного изображения и объекта, включенного в исходное изображение, при этом объект определяется путем анализа исходного изображения. 14 н. и 13 з.п. ф-лы, 45 ил.

 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству обработки изображений для выполнения обработки добавления спецэффекта в изображение, например, посредством обработки исходного изображения, такого как захваченное изображение, в подобное живописи изображение и способу управления таковым.

ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

Способ увеличения четкости изображения традиционно выделяет краевые участки, такие как контуры и границы, включенные в исходное изображение, и воздействует на них, тем самым усиливая края исходного изображения. Изображение, которое представляет свои контуры и границы таким образом в качестве линейных признаков, может давать сильное впечатление зрителю.

Одно из представлений, использующих этот способ, является подобным живописи изображением, которое выглядит подобно живописи масляными красками, живописи акварелью, рисунку цветными карандашами или пастельному рисунку. Корона, называемая ореолом, которая появляется вокруг изображения объекта, также иногда упоминается как представление подобного живописи изображения. Отметим, что подобное живописи изображение в этом описании изобретения определено в качестве изображения, имеющего постепенный переход на плоском участке без контуров и границ.

В предшествующем уровне техники, однако, выделение кромок не выполняется на плоском участке без контуров и границ. Поскольку участок является однородным и не появляется никакого постепенного перехода, изображению не достает эстетической привлекательности. Например, в выложенной патентной заявке Японии № 5-167852 выполняется обработка выделения участков контура. В этом случае никакого постепенного перехода не появляется на плоских участках. Для формирования ореола усиливается контраст. Например, выложенная патентная заявка Японии № 2009-17200 раскрывает настройку кривой градаций яркости, используемой для коррекции градаций яркости, чтобы улучшать контраст на белой стороне или черной стороне изображения. Однако в способе по выложенной патентной заявке Японии № 2009-17200, поскольку одиночная кривая градаций яркости применяется ко всему целевому изображению обработки, трудно формировать надлежащий ореол, который создает целевое изображение обработки, имеющее вид с низкой контрастностью, подобный живописи.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение было создано ввиду вышеописанных проблем предшествующего уровня техники и предоставляет устройство обработки изображений, которое реализует улучшенный способ преобразования исходного изображения в подобное живописи изображение и способ управления таковым.

Согласно одному из аспектов настоящего изобретения, предусмотрено устройство обработки изображений для преобразования исходного изображения, содержащее средство настройки для применения обработки размывания изображения и обработки настройки плотности для исходного изображения, чтобы формировать настроенное изображение; вычислительное средство для формирования разностного изображения, которое является разностью между исходным изображением и настроенным изображением, полученным средством настройки; и средство компоновки для компоновки разностного изображения и исходного изображения на основании плотности разностного изображения, полученного вычислительным средством, и плотности исходного изображения.

Согласно еще одному аспекту настоящего изобретения, предусмотрен способ управления устройством обработки изображений для преобразования исходного изображения, содержащий этап настройки по применению обработки размывания изображения и обработки настройки плотности для исходного изображения, чтобы формировать настроенное изображение; этап вычисления по формированию разностного изображения, которое является разностью между исходным изображением и настроенным изображением, полученным на упомянутом этапе настройки; и этап компоновки по компоновке разностного изображения и исходного изображения на основании плотности разностного изображения, полученного на упомянутом этапе вычисления, и плотности исходного изображения.

Согласно еще одному аспекту настоящего изобретения, предусмотрен способ управления устройством обработки изображений для преобразования исходного изображения, содержащий этап настройки по применению обработки размывания изображения и обработки настройки плотности для исходного изображения, чтобы формировать настроенное изображение; этап вычисления по формированию разностного изображения, которое является разностью между плотностью исходного изображения и плотностью настроенного изображения, полученного на упомянутом этапе настройки; и этап компоновки по компоновке разностного изображения и исходного изображения на основании плотности разностного изображения, полученного на упомянутом этапе вычисления, и плотности исходного изображения.

Согласно еще одному аспекту настоящего изобретения, предусмотрено устройство обработки изображений, содержащее средство получения для получения множества изображений, снятых с множеством выдержек, в том числе правильной выдержкой; средство настройки баланса белого для выполнения настройки баланса белого для каждого из множества изображений; средство коррекции яркости для выполнения коррекции яркости для каждого из множества подвергнутых настройке баланса белого изображений посредством применения коэффициента усиления, определенного с использованием положения пикселя, и коэффициента усиления, соответствующего характерной яркости каждой из множества областей, полученных делением изображения, к каждому пикселю; средство компоновки для формирования составного изображения посредством компоновки множества подвергнутых коррекции яркости изображений; и средство управления для управления по меньшей мере одним из дальности действия и интенсивности ореола, сформированного вокруг края участка составного изображения, посредством управления по меньшей мере одним из размера области и коэффициента усиления каждой области, тем самым преобразуя составное изображение.

Согласно еще одному аспекту настоящего изобретения, предусмотрен способ управления устройством обработки изображений, содержащий этап получения по получению множества изображений, снятых с множеством выдержек, в том числе правильной выдержкой; этап настройки баланса белого по выполнению настройки баланса белого для каждого из множества изображений; этап коррекции яркости по выполнению коррекции яркости для каждого из множества подвергнутых настройке баланса белого изображений посредством применения коэффициента усиления, определенного с использованием положения пикселя, и коэффициента усиления, соответствующего характерной яркости каждой из множества областей, полученных делением изображения, к каждому пикселю; этап компоновки по формированию составного изображения посредством компоновки множества подвергнутых коррекции яркости изображений; и этап управления по управлению по меньшей мере одним из дальности действия и интенсивности ореола, сформированного вокруг края участка составного изображения посредством управления по меньшей мере одним из размера области и коэффициента усиления каждой области, тем самым преобразуя составное изображение.

Согласно еще одному аспекту настоящего изобретения, предусмотрено устройство обработки изображений, содержащее средство получения для получения множества изображений, снятых с множеством выдержек; средство настройки баланса белого для выполнения настройки баланса белого для каждого из множества изображений; средство коррекции яркости для выполнения коррекции яркости для каждого из множества подвергнутых настройке баланса белого изображений; средство определения для определения компоновочного соотношения множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений и не подвергается коррекции яркости; и средство компоновки для компоновки множества подвергнутых коррекции яркости изображений с соотношением, определенным средством определения.

Согласно еще одному аспекту настоящего изобретения, предусмотрено устройство обработки изображений, содержащее: средство получения для получения множества изображений, снятых с множеством выдержек; средство настройки баланса белого для выполнения настройки баланса белого для каждого из множества изображений; средство коррекции градаций яркости для выполнения для изображения, снятого с правильной выдержкой, вне множества подвергнутых настройке баланса белого изображений, коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой, и выполнения для данных изображения, которое не снято с правильной выдержкой, коррекции градаций яркости с использованием кривой градаций яркости, отличной от кривой градаций яркости для изображения, снятого с правильной выдержкой; средство определения для определения компоновочного соотношения множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений, и подвергается коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой; и средство компоновки для компоновки множества подвергнутых коррекции градаций яркости изображений с соотношением, определенным средством определения.

Согласно еще одному аспекту настоящего изобретения, предусмотрен способ управления устройством обработки изображений, содержащий этап получения по получению множества изображений, снятых с множеством выдержек; этап настройки баланса белого по выполнению настройки баланса белого для каждого из множества изображений; этап коррекции яркости по выполнению коррекции яркости для каждого из множества подвергнутых настройке баланса белого изображений; этап определения по определению компоновочного соотношения множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений, и не подвергается коррекции яркости; и этап компоновки по компоновке множества подвергнутых коррекции яркости изображений с соотношением, определенным на этапе определения.

Согласно еще одному аспекту настоящего изобретения, предусмотрен способ управления устройством обработки изображений, содержащий этап получения по получению множества изображений, снятых с множеством выдержек; этап настройки баланса белого по выполнению настройки баланса белого для каждого из множества изображений; этап коррекции градаций яркости по выполнению для изображения, снятого с правильной выдержкой, вне множества подвергнутых настройке баланса белого изображения, коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой, и по выполнению для данных изображения, которое не снято с правильной выдержкой, коррекции градаций яркости с использованием кривой градаций яркости, отличной от кривой градаций яркости для изображения, снятого с правильной выдержкой; этап определения по определению компоновочного соотношения множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений и подвергается коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой; и этап компоновки по компоновке множества подвергнутых коррекции градаций яркости изображений с соотношением, определенным на этапе определения.

Согласно еще одному аспекту настоящего изобретения, предусмотрен машиночитаемый носитель записи, который хранит программу, побуждающую компьютер функционировать в качестве каждого средства из устройства обработки изображений согласно настоящему изобретению.

Дополнительные признаки настоящего изобретения станут очевидными из последующего описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1A и 1B - структурные схемы, показывающие компоновку устройства захвата изображений согласно первому варианту осуществления настоящего изобретения;

фиг. 2 - структурная схема, показывающая пример компоновки блока подобной живописи обработки согласно первому варианту осуществления;

фиг. с 3A по 3C - графики, показывающие кривые преобразования, заданные для настройки значения плотности;

фиг. 4 - график, показывающий формы сигнала до и после каждой обработки сигнала изображения;

фиг. 5A и 5B - графики, показывающие кривые линий, заданные для увеличения значения плотности;

фиг. 6A и 6B - фотографии, показывающие входное изображение и изображение, преобразованное в подобное живописи изображение;

фиг. 7 - блок-схема последовательности операций способа, показывающая работу устройства захвата изображений согласно первому варианту осуществления;

фиг. 8 - структурная схема, показывающая пример компоновки блока подобной живописи обработки согласно второму варианту осуществления;

фиг. 9 - блок-схема последовательности операций способа, показывающая работу устройства захвата изображений согласно второму варианту осуществления;

фиг. 10 - график, показывающий пример таблицы компоновочных соотношений;

фиг. 11 - структурная схема, показывающая пример компоновки устройства 100 захвата изображений в качестве примера устройства обработки изображений согласно третьему варианту осуществления настоящего изобретения;

фиг. 12 - структурная схема блока коррекции яркости согласно третьему варианту осуществления из устройства 110 обработки изображений, включенного в устройство 100 захвата изображений, показанное на фиг. 11;

фиг. 13A - блок-схема последовательности операций способа, показывающая процедуру обработки изображений согласно третьему варианту осуществления настоящего изобретения;

фиг. 13B - блок-схема последовательности операций способа, показывающая процедуру обработки коррекции яркости согласно третьему варианту осуществления;

фиг. 14A - вид, показывающий пример деления на области при обработке коррекции яркости согласно третьему варианту осуществления настоящего изобретения;

фиг. 14B - вид, показывающий пример характерного значения яркости каждой области;

фиг. 15A - график, показывающий характеристику справочной таблицы, применяемой к изображению, снятому с недодержкой;

фиг. 15B - график, показывающий характеристику справочной таблицы, применяемой к изображению, снятому с передержкой;

фиг. 15C - график, показывающий характеристику справочной таблицы, применяемой к изображению, снятому с правильной выдержкой;

фиг. 16A - график, схематично показывающий операцию получения значения коэффициента усиления из характерного значения яркости с использованием справочной таблицы;

фиг. 16B - вид, схематично показывающий операцию замены характерного значения яркости значением коэффициента усиления в каждой области;

фиг. 17 - вид, схематично показывающий пример входных/выходных данных блока 1106 компоновки HDR согласно третьему варианту осуществления настоящего изобретения;

фиг. 18 - график, показывающий пример компоновочного соотношения согласно третьему варианту осуществления настоящего изобретения;

фиг. 19A - график для пояснения принципа формирования ореола;

фиг. 19B - вид, схематично показывающий пример ореола с задним освещением;

фиг. 20 - вид, показывающий еще один пример размера разделенной области согласно третьему варианту осуществления настоящего изобретения;

фиг. 21 - структурная схема блока коррекции яркости согласно четвертому варианту осуществления из устройства 110 обработки изображений, включенного в устройство 100 захвата изображений, показанное на фиг. 11;

фиг. 22 - блок-схема последовательности операций способа, показывающая процедуру обработки коррекции яркости согласно четвертому варианту осуществления настоящего изобретения;

фиг. 23 - вид, показывающий пример пространственного фильтра, используемого блоком сглаживания информации областей согласно четвертому варианту осуществления настоящего изобретения;

фиг. 24 - структурная схема функции, ассоциативно связанной с формированием составного изображения, имеющего более широкий динамический диапазон, из устройства 110 обработки изображений, включенного в устройство 100 захвата изображений, показанное на фиг. 1;

фиг. 25 - блок-схема последовательности операций способа, показывающая процедуру обработки формирования составного изображения согласно пятому варианту осуществления настоящего изобретения;

фиг. 26 - вид для пояснения примера, в котором компоновочное соотношение изменяется при коррекции яркости опорного изображения;

фиг. 27A - вид, показывающий пример изображения, снятого с выдержкой, настроенной для человека;

фиг. 27B - вид, показывающий пример изображения, снятого с выдержкой, настроенной для наружного пейзажа;

фиг. 27C - вид, показывающий пример изображения, полученного посредством применения коррекции яркости к изображению, показанному на фиг. 27A;

фиг. 28A - график, показывающий изменения значения яркости в положениях, соответствующих фиг. 27A и 27B;

фиг. 28B - график, показывающий пример изменения яркости в составном изображении в случае, в котором подвергнутое коррекции яркости изображение используется в качестве опорного изображения, и в случае, в котором изображение, которое не подвергнуто коррекции яркости, используется в качестве опорного изображения;

фиг. 29 - структурная схема функции, ассоциативно связанной с формированием составного изображения, имеющего более широкий динамический диапазон, из устройства 301 обработки изображений, включенного в устройство 100 захвата изображений, которое является примером устройства обработки изображений согласно шестому варианту осуществления настоящего изобретения;

фиг. 30 - блок-схема последовательности операций способа, показывающая процедуру обработки формирования составного изображения согласно шестому варианту осуществления настоящего изобретения; и

фиг. 31 - график, показывающий примеры кривой градаций яркости опорного изображения и кривой градаций яркости составного изображения в шестом варианте осуществления настоящего изобретения.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Примерные варианты осуществления настоящего изобретения далее будут подробно описаны в соответствии с прилагаемыми чертежами.

(ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

Фиг. 1A - структурная схема, показывающая компоновку устройства 100 захвата изображений, которое является примером устройства обработки изображений согласно первому варианту осуществления настоящего изобретения. Устройство 100 захвата изображений включает в себя устройство для захвата объекта и получения данных изображения, такое как цифровая камера или цифровая видеокамера. Со ссылкой на фиг. 1A, оптическая система 101 сформирована из линзы, затвора и диафрагмы и экспонирует датчик 102 изображений оптическим изображением объекта. Датчик 102 изображений, такой как формирователь сигнала изображений на ПЗС (приборах с зарядовой связью, CCD) или формирователь сигнала изображений на КМОП-структурах (комплементарных элементах металл-оксид-полупроводник, CMOS), преобразует оптическое изображение, сформированное оптической системой 101, в информацию яркости на пиксельной основе. ЦПУ 103, функционирующий в качестве блока управления, управляет соответственными блоками устройства 100 захвата изображений в соответствии с входными сигналами и программами, сохраненными заблаговременно, тем самым реализуя функции устройства 100 захвата изображений. Отметим, что в последующем пояснении по меньшей мере некоторые из функций, реализованных посредством побуждения ЦПУ 103 выполнять программы, могут быть реализованы специализированными аппаратными средствами, такими как ASIC (специализированная интегральная схема).

Основное запоминающее устройство 104 является энергозависимым запоминающим устройством, таким как ОЗУ (оперативное запоминающее устройство, RAM), и используется ЦПУ 103 для работы. Вспомогательное запоминающее устройство 105 является энергонезависимым запоминающим устройством, таким как ЭСППЗУ (электрически стираемое программируемое ПЗУ, EEPROM), и хранит программы (микропрограммное обеспечение) и различные виды установочной информации, используемые для управления устройством 100 захвата изображений. Запоминающий носитель 106 хранит данные изображения, полученные посредством съемки, и тому подобное. Отметим, что запоминающий носитель 106 является съемным с устройства 100 захвата изображений, например, подобным карте полупроводниковой памяти. Хранимые данные могут считываться другим устройством, таким как персональный компьютер. То есть, устройство 100 захвата изображений имеет механизм снятия и функцию чтения/записи запоминающего носителя 106. Блок 107 отображения отображает изображение видоискателя во время съемки, снятое изображение и изображение GUI (графического интерфейса пользователя), используемое для интерактивной работы, и тому подобное. Операционный блок 108 является группой устройств ввода для приема операций пользователя и может включать в себя устройство ввода, использующее речь, линию визирования и тому подобное, а также, например, кнопки, рукоятки и сенсорную панель.

Отметим, что устройство 100 захвата изображений согласно этому варианту осуществления имеет множество шаблонов обработки изображений, которые должны применяться к захваченному изображению устройством 110 обработки изображений, и может устанавливать шаблон в качестве режима захвата изображений с операционного блока 108. Примерами являются шаблон для доводки захваченного изображения слегка отчетливо посредством подчеркивания насыщенности цвета, шаблон для доводки изображения до стандартных оттенков, шаблон для формирования нейтрального изображения смягчением насыщенности цвета и шаблон для портретного изображения для выполнения обработки изображений наряду с приданием важности оттенкам кожи человека. Например, в портретном режиме обработка изображений выполняется наряду с приданием акцента оттенку и равномерности оттенков кожи человека. Отсюда, этот режим пригоден при получении крупного плана человека, в частности женщины или ребенка.

Устройство 109 связи присоединено к внешнему устройству и передает/принимает команды управления и данные. В качестве протокола, используемого для установления соединения с внешним устройством и выполнения передачи данных, например, используется PTP (протокол переноса изображений). Отметим, что устройство 109 связи может выполнять связь с внешним устройством посредством проводного соединения с использованием кабеля USB (универсальной последовательной шины) или тому подобного, либо посредством беспроводного соединения с использованием беспроводной LAN (локальной сети) или тому подобного. Устройство 109 связи может быть присоединено к внешнему устройству непосредственно либо через сервер или сеть, такую как сеть Интернет.

Устройство 110 обработки изображений выполняет обработку изображений, в том числе так называемую обработку разложения, а также настройку оттенков, соответствующую режиму съемки. Обработка компоновки множества изображений с разными выдержками для формирования составного изображения, имеющего более широкий динамический диапазон, также выполняется устройством 110 обработки изображений. Данные множества изображений, которые должны компоноваться, например, сохраняются в основном запоминающем устройстве 104. По меньшей мере, некоторая из функций устройства 110 обработки изображений может быть реализована посредством ЦПУ 103 в качестве программного обеспечения.

Фиг. 1B иллюстрирует внутреннюю компоновку устройства 110 обработки изображений. Блок 1101 баланса белого выполняет обработку точного воспроизведения белого цвета в изображении. Более точно, коэффициенты усиления, которые уравнивают интенсивности R, G и B в области, которая должна быть белой в изображении, применяются к R, G и B соответственно. Блок 1102 обработки разложения выполняет так называемую обработку разложения, такую как обработка матричного преобразования или обработка интерполяции по интерполяции цветного мозаичного изображения, чтобы формировать цветное изображение, в котором каждый пиксель имеет информацию цвета R, G и B. Блок 1103 преобразования градаций яркости выполняет преобразование градаций яркости для данных изображения после разложения. В этом варианте осуществления, значение плотности каждого пикселя данных изображения в этот момент времени выражается 8 битами (от 0 до 255). Данные подвергнутого преобразованию градаций яркости изображения вводятся в блок 1104 подобной живописи обработки, который применяет подобную живописи обработку в качестве отличительного признака этого варианта осуществления и выводит обработанное изображение.

Подробности внутренней компоновки и работы блока 1104 подобной живописи обработки будут описаны ниже.

Фиг. 2 - структурная схема, показывающая пример компоновки блока подобной живописи обработки согласно первому варианту осуществления, используемому для преобразования исходного изображения в подобное живописи изображение. Каждый блок из блока 1104 подобной живописи обработки сконфигурирован, как изложено ниже.

Блок 203 формирования размытого изображения является схемой, которая размывает входное изображение 200 посредством снижения изображения сигнала входного изображения, введенного из основного запоминающего устройства 104, а затем увеличения его до размера исходного изображения. Отметим, что размытое изображение не всегда необходимо формировать этим способом и также оно может формироваться с использованием известной обработки размывания, такой как обработка фильтром. Когда размывание выполняется посредством обработки фильтром, форма полосы частот может управляться более тонко, хотя вычисление занимает время по сравнению с обработкой размывания, использующей уменьшение и увеличение.

Если входное изображение 200 является изображением, сформированным посредством компоновки множества изображений (сигналов захвата изображения), снятых устройством 100 захвата изображений наряду с изменением выдержки, и имеет широкий динамический диапазон, но не имеет ни притушенных наиболее ярких участков изображения, ни приглушенных теней, может ожидаться в большей степени превосходный эффект преобразования подобного живописи изображения. Сигнал изображения, который должен обрабатываться, здесь предполагается сигналом RGB или YUV. Однако обработка может выполняться для сигнала, который подвергся устранению мозаичности, но не преобразованию градаций яркости или матричной обработке. Блок 203 формирования размытого изображения выполнен с возможностью настраивать кратность уменьшения и кратность увеличения посредством внешнего сигнала управления, cont201.

Блок 204 настройки сигнала является схемой, которая принимает сигнал размытого изображения, выдаваемый блоком 203 формирования размытого изображения, и снижает значение плотности сигнала входного изображения в целом, тем самым формируя подвергнутое настройке сигнала изображение. Блок 204 настройки сигнала выполнен с возможностью изменять кривую преобразования посредством внешнего сигнала управления, cont202. Отметим, что фиг. 3A показывает пример кривой преобразования, заданной для снижения значения плотности.

Блок 205 вычисления разности является схемой, которая принимает сигнал входного изображения и подвергнутый настройке сигнала сигнал, выдаваемый блоком 204 настройки сигнала, и вычисляет разность между значением плотности сигнала входного изображения подвергнутого настройке сигнала сигнала, тем самым формируя разностное изображение, которое извлекает высокочастотную составляющую из входного изображения 200, но по-прежнему содержит в себе низкочастотные составляющие.

Настройка кратности уменьшения и кратности увеличения посредством внешнего сигнала управления, cont201, дает возможность изменять результат вычисления разности между значением плотности сигнала входного изображения и значением плотности подвергнутого настройке сигнала и, таким образом, изменять (настраивать) толщину ореола составного изображения, заданного сигналом 207a составного изображения.

В этом варианте осуществления, когда режим съемки переключается (изменяется регулировка съемки) на ландшафтный через операционный блок 108, устройство должно формировать впечатляющее изображение, имеющее отдельные контуры и границы, и добавлять толстый ореол к участкам контура. Отсюда, кратность уменьшения и кратность увеличения увеличивается посредством внешнего сигнала управления, cont201, тем самым повышая степень размытости.

Настройка кривой преобразования посредством внешнего сигнала управления, cont202, дает возможность изменять результат вычисления разности между значением плотности сигнала входного изображения и значением плотности подвергнутого настройке сигнала и, таким образом, изменять (настраивать) уровень увеличения контраста составного изображения, выдаваемого сигналом 207a составного изображения.

В этом варианте осуществления, когда режим съемки переключается на портретный посредством операционного блока 108, устройство не должно ни упускать качество кожи человека, ни повышать контраст. Отсюда, кривизна кривой преобразования, выпуклой вниз, ослабляется, как показано на фиг. 3B по сравнению с таковой в нормальном режиме съемки, показанном на фиг. 3A.

Кривая преобразования может быть прямой линией, как показано на фиг. 3C. Это предоставляет возможность предотвращать повышение контраста между участком низкой яркости и участком высокой яркости, которое возникает, когда используется кривая, как показанная на фиг. 3A или 3B.

Фиг. 4 - график, показывающий формы сигнала у сигнала L1 входного изображения, сигнала L2 размытого изображения, выдаваемого блоком 203 формирования размытого изображения, подвергнутого настройке сигнала L3, выдаваемого блоком 204 настройки сигнала и сигнала L4 вычисления разности, выдаваемого блоком 205 вычисления разности. Абсцисса представляет смещение пикселя (x), а ордината представляет значение плотности. Область, имеющая ступеньку значения плотности, выделена для пояснения. С описанными выше обработками получается сигнал изображения, который выделяет край входного изображения 200, а также содержит низкочастотные составляющие, как указано посредством L4.

Блок 206 обработки нормализации является схемой, которая принимает сигнал вычисления разности, выдаваемый блоком 205 вычисления разности, и линейно увеличивает сигнал вычисления разности вплоть до опорного значения плотности (опорной плотности). Фиг. 5A показывает пример наклонной линии, заданной для увеличения значения плотности. Настройка пересечения и наклона наклонной линии предоставляет возможность изменять яркость и уровень повышения контраста составного изображения, выдаваемого сигналом 207a составного изображения. Например, для подъема уровня повышения контраста пересечение делается небольшим, а наклон наклонной линии делается большим, как показано на фиг. 5B.

Блок 207 обработки компоновки принимает сигнал входного изображения и нормализованный сигнал, выданный блоком 206 обработки нормализации, и на основании значения плотности сигнала входного изображения и значения плотности нормализованного сигнала вычисляет

R=(2^q-1)-2×((2^q-1)-BG)×((2^q-1)-FG)/2^q

(когда FG≥2^q-1)

R=2×BG×FG/2^q

(когда FG<2^q-1) (1)

R: результат вычисления,

BG: сигнал входного изображения,

FG: нормализованный сигнал,

q: количество битов изображения.

В этом варианте осуществления, данные изображения, введенные в блок обработки компоновки, являются 8-битными данными. Отсюда, блок 207 обработки компоновки осуществляет вычисления на основании

R=255-2×(255-BG)×(255-FG)/256

(когда FG≥128)

R=2×BG×FG/256

(когда FG<128) (2)

R: результат вычисления,

BG: сигнал входного изображения,

FG: нормализованный сигнал, и выводит сигнал подобного живописи составного изображения.

В качестве примера эффекта подобного живописи изображения, фиг. 6A показывает изображение, введенное в блок 203 формирования размытого изображения в качестве входного изображения 200, а фиг. 6B показывает изображение, преобразованное в подобное живописи изображение, которое соответствует исходному изображению и получается из блока 207 обработки компоновки. Краевые участки усиливаются по сравнению с изображением до обработки. В дополнение, формируется ореол и улучшается текстура плоских участков. Отсюда, очевидно, воспринимается подобная живописи атмосфера.

Фиг. 7 - блок-схема последовательности операций способа, показывающая работу устройства захвата изображений, включающего в себя подобную живописи обработку, согласно этому варианту осуществления. Отметим, что каждый этап выполняется ЦПУ 103 или блоком на основании инструкции, выданной ЦПУ 103.

На этапе S701 ЦПУ 103 получает регулировки съемки, такие как режим съемки, выдержка и баланс белого. Последующая обработка выполняется на основании полученных регулировок съемки. На этапе S702 процессор 102 изображений выполняет обработку съемки и получает данные изображения. На этапе S703 выполняется обычная обработка изображения, включающая в себя обработку баланса белого блоком 1101 баланса белого, обработку разложения блоком 1102 обработки разложения и обработку преобразования градаций яркости блоком преобразования градаций яркости. Обработанные данные изображения, которые подверглись обработке вплоть до обработки преобразования градаций яркости, вводятся в блок подобной живописи обработки. На этапе S704 выполняется вышеописанная подобная живописи обработка. Обработанное изображение подвергается обработке, такой как сжатие, и сохраняется в основном запоминающем устройстве 104 (этап S705). Таким образом, обработка заканчивается.

Как описано выше, в этом варианте осуществления размытое изображение подвергается настройке сигнала. Отличие от исходного изображения рассчитывается для получения разностного изображения, которое по-прежнему содержит в себе низкочастотные составляющие. Разностное изображение компонуется с исходным изображением, тем самым получая составное изображение, которое сохраняет текстуру плоских участков.

В дополнение, настройка степени размытости размытого изображения предоставляет возможность настройки степени выделения кромок и толщины ореола вокруг кромок.

Настройка кривой настройки обработки настройки сигнала, выполняемой для размытого изображения, предоставляет возможность настройки контраста составного изображения или текстуры плоских участков.

В этом варианте осуществления, поскольку описанная выше настройка степени размытости или настройка кривой могут определяться в соответствии с режимом съемки, пользователь легко может получать надлежащее изображение в соответствии с режимом съемки.

(ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

Фиг. 8 - структурная схема, показывающая пример компоновки устройства обработки изображений согласно второму варианту осуществления, используемому для преобразования исходного изображения в подобное живописи изображение. Устройство 810 обработки изображений дополнительно включает в себя блок 8101 компоновки HDR и блок 8102 анализа изображений, в отличие от первого варианта осуществления. Остальное является таким же, как в первом варианте осуществления, и одинаковые номера ссылки обозначают идентичные части.

В этом варианте осуществления, для получения изображения с более широким динамическим диапазоном устройство 100 захвата изображений выполняет съемку множество раз наряду с изменением выдержки. Множество данных снятого изображения с разными выдержками, полученных посредством съемки, сохраняются в основном запоминающем устройстве 104. Блок 8101 компоновки HDR является схемой, которая компонует множество снятых данных изображения, сохраненных в основном запоминающем устройстве 104 для каждого пикселя на основании предопределенного компоновочного соотношения.

Компоновочное соотношение устанавливается в соответствии с уровнем значения яркости каждого пикселя каждого из множества данных снятого изображения за исключением данных произвольного изображения относительно опорного значения яркости, которое является значением яркости данных произвольного изображения. Например, допустим, что сняты три изображения: изображение, полученное посредством выдержки большой продолжительности, изображение, полученное посредством выдержки средней продолжительности, и изображение, полученное посредством выдержки малой продолжительности. В этом случае предусмотрены первое пороговое значение, при котором происходит переключение между изображением, полученным выдержкой большой продолжительности, и изображением, полученным выдержкой средней продолжительности, и второе пороговое значение, при котором происходит переключение между изображением, полученным выдержкой средней продолжительности, и изображением, полученным выдержкой короткой продолжительности. Что касается пикселя изображения, полученного посредством выдержки средней продолжительности, который имеет значение яркости, более низкое, чем описанное выше первое пороговое значение, применяется пиксель изображения, полученного посредством выдержки с большой продолжительностью. Что касается пикселя, имеющего значение яркости, более высокое, чем описанное выше пороговое значение, применяется пиксель изображения, полученного посредством выдержки малой продолжительности, тем самым выполняя компоновку.

Чтобы сделать вид составного изображения как можно более бесшовным, функция интерполяции может изменяться, например, с использованием линейной интерполяционной функции. Например, когда компоновочное соотношение возрастает или убывает линейно, как показано на фиг. 10, стыки могут уменьшаться.

Компоновка описанного выше множества данных снятых изображений дает возможность получать входное изображение 800, имеющее широкий динамический диапазон, но меньшие притушенные наиболее яркие участки изображения и приглушенные тени, и может ожидаться в большей степени превосходный эффект преобразования подобного живописи изображения.

Блок 8102 анализа изображения является схемой, которая анализирует и определяет, включает ли в себя сигнал компоновки изображений, выдаваемый блоком 8101 компоновки HDR, человека, транспортное средство или тому подобное. В качестве способа анализа, используемого, когда изображение включает в себя человека, например, направление плавно меняющегося цвета произвольной области в сигнале изображения, выдаваемом данными изображения, рассматривается в качестве краевой интенсивности для ее расчета в качестве величины признака. Если коэффициент корреляции между величиной признака и таковой отсчета, накопленного в базе данных, велик, определяется, что вышеописанные данные изображения включают в себя человека. Отметим, что настоящее изобретение не ограничено вышеописанным способом анализа и различные изменения и модификации, как и следовало ожидать, могут быть произведены в пределах сущности объема настоящего изобретения.

Внешний сигнал управления, cont201, настраивается в соответствии с определенным результатом, проанализированным блоком 8102 анализа изображения. Когда блок 8102 анализа изображений определяет, что обнаружен человек, чтобы добавить толстый ореол вокруг человека, кратность уменьшения и кратность увеличения повышаются посредством внешнего сигнала управления, cont201, для увеличения степени размытости.

Внешний сигнал управления, cont202, также настраивается в соответствии с определенным результатом, проанализированным блоком 8102 анализа изображений, подобно описанному выше внешнему сигналу управления, cont201. В этом варианте осуществления, когда блок 8102 анализа изображений определяет, что обнаружено здание, уровень повышения контраста должен быть поднят для формирования постепенного перехода. Отсюда, кривизна кривой преобразования, выпуклой вниз, увеличивается посредством внешнего сигнала управления, cont202.

Фиг. 9 - блок-схема последовательности операций способа, показывающая работу устройства захвата изображений, включающего в себя подобную живописи обработку, согласно этому варианту осуществления. Отметим, что каждый этап выполняется ЦПУ 103 или блоком на основании инструкции, выданной ЦПУ 103.

Во втором варианте осуществления, множество данных изображения, обработанных вплоть до этапа S703, сохраняется в основном запоминающем устройстве 104. На этапе S901, вышеописанная обработка компоновки HDR выполняется с использованием этих изображений. На этапе S902, вышеописанная обработка анализа изображений выполняется для изображения после обработки компоновки HDR. На этапе S704, подобная живописи обработка выполняется с использованием результата анализа изображений, как описано выше.

Оставшаяся часть компоновки является такой же, как в первом варианте осуществления, и одинаковые номера ссылки обозначают идентичные части. Последующий способ реализации является таким же, как в первом варианте осуществления, и его описание будет опущено.

Как описано выше, в этом варианте осуществления, размытое изображение подвергается настройке сигнала. Отличие от исходного изображения рассчитывается для получения разностного изображения, которое по-прежнему содержит в себе низкочастотные составляющие. Разностное изображение компонуется с исходным изображением, тем самым получая составное изображение, которое сохраняет текстуру плоских участков.

В дополнение, настройка степени размытости размытого изображения предоставляет возможность настройки степени выделения кромок и толщины ореола вокруг кромок.

Настройка кривой настройки обработки настройки сигнала, выполняемой для размытого изображения, предоставляет возможность настройки контраста составного изображения или текстуры плоских участков.

В этом варианте осуществления, поскольку описанная выше настройка степени размытости или кривой настройки может определяться в соответствии с анализом изображение за изображением, пользователь может легко получать изображение, которое надлежащим образом подверглось подобной живописи обработке, в соответствии с изображением.

(ТРЕТИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

Третий вариант осуществления настоящего изобретения будет описан следующим. Этот вариант осуществления направлен на пригодный способ преобразования изображения HDR (высокого динамического диапазона), которое является примером изображения, имеющего низкий контраст, в подобное живописи изображение, а более точно, на способ формирования изображения HDR (составного изображения), пригодного для подобного живописи преобразования.

В качестве способа, очевидно расширяющего динамический диапазон датчика изображения, изображение HDR получается компоновкой множества изображений единственной сцены с разными выдержками. Полученное таким образом составное изображение имеет оттенки на участках, используемых, чтобы быть приглушенными тенями или притушенными наиболее яркими участками изображения, а потому фактически является неконтрастным изображением.

Фиг. 11 показывает внутреннюю структуру устройства 110 обработки изображений согласно этому варианту осуществления. Такие же номера ссылок, как на фиг. 1B, обозначают идентичные части на фиг. 11, и их описание будет опущено. Блок 1105 коррекции яркости применяет обработку коррекции яркости к входному изображению для каждой зоны, уникальной для этого варианта осуществления. Блок 1102 обработки разложения выполняет так называемую обработку разложения, такую как обработка матричного преобразования или обработка интерполяции по интерполяции цветного мозаичного изображения, чтобы формировать цветное изображение, в котором каждый пиксель имеет информацию цвета R, G и B. Данные изображения после преобразования градаций яркости хранятся в основном запоминающем устройстве 104. Блок 1106 компоновки HDR выполняет обработку компоновки по расширению очевидного динамического диапазона для множества данных изображения, захваченных с разными выдержками. Блок 1104 подобной живописи обработки выполняет подобную живописи обработку для составного изображения и выводит его.

Фиг. 12 - структурная схема, показывающая внутреннюю структуру блока 1105 коррекции яркости. Фиг. 13A и 13B - блок-схемы последовательности операций способа, показывающие процедуру обработки изображений согласно этому варианту осуществления. Обработка изображений согласно этому варианту осуществления будет описана ниже со ссылкой на фиг. 1A, 11, 12, 13A, 13B.

На этапе S301 ЦПУ 103 побуждает датчик 102 изображения непрерывно выполнять съемку множество раз для одиночного поля зрения с разными выдержками в соответствии с процедурой, так называемой штативной съемки. Отметим, что последующее описание будет приведено при условии, что снятые изображения касательно обработки компоновки имеют одно и то же поле зрения, чтобы облегчать описание и понимание обработки компоновки. Однако расширение динамического диапазона посредством компоновки изображений не ограничено использованием множества изображений, имеющих в целом одно и то же поле зрения. Необходимо, только чтобы, по меньшей мере, часть поля зрения, которое должно сниматься, была общей для всего изображения, которое должно непрерывно сниматься. В этом описании изобретения, «снятое изображение» означает «область, соответствующую полю зрения, общему для множества изображений», и не всегда означает все изображение. Технология выделения участков общего поля зрения из множества изображений и компоновки их уже известна и не является непосредственно уместной для настоящего изобретения, описание подробностей будет опущено.

Отметим, что известная технология применима для обработки получения правильной выдержки или штативной съемки, и описание подробностей будет опущено. Степень недодержки или передержки относительно правильной выдержки и количество изображений, которые должны сниматься, предопределены. Оба изображения с недодержкой и передержкой не всегда обязательны в дополнение к изображениям, снятым с правильной выдержкой, и по меньшей мере одно из них бывает достаточным. Изображения могут сниматься с недодержкой и передержкой относительно правильной выдержки и использоваться без выполнения съемки с правильной выдержкой. Каждый раз, когда снимается изображение касательно компоновки, ЦПУ 103 последовательно сохраняет данные изображения в основном запоминающем устройстве 104.

На этапе S302 ЦПУ 103 побуждает блок 1101 баланса белого выполнять настройку баланса белого для множества данных изображения, хранимых в основном запоминающем устройстве 104 на этапе S301. В этом варианте осуществления изображение с правильной выдержкой снимается первым, и коэффициент баланса белого изображения с правильной выдержкой применяется к изображениям с остальными выдержками. Это предохраняет изображение, сформированное посредством компоновки изображений разных балансов белого от обладания неестественной окраской. Однако коэффициент баланса белого может получаться при каждой съемке и применяться, как и следовало ожидать. Отметим, что не изображения, хранимые в основном запоминающем устройстве 104, но изображения, хранимые на запоминающем носителе 106, могут считываться и обрабатываться.

На этапе S303 ЦПУ 103 побуждает блок 1105 коррекции яркости выполнять обработку коррекции яркости в качестве отличительного признака этого варианта осуществления.

Подробности обработки на этапе S303 будут описаны со ссылкой на блок-схему последовательности операций способа по фиг. 13B. На этапе S3031 ЦПУ 103 побуждает блок 1201 формирования информации областей разделять подвергнутое настройке баланса белого изображение на области. Блок 1201 формирования информации областей выполняет разделение областей в соответствии с информацией разделения, выданной ЦПУ 103. Фиг. 14A показывает пример, в котором изображение поделено равным образом на 12 областей в горизонтальных направлениях и 8 областей в вертикальном направлении. Хотя деление на прямоугольные области выполняется в этом варианте осуществления, изображение может делиться на области произвольной формы, такой как многоугольная форма, в том числе треугольная и шестиугольная формы.

Затем ЦПУ 103 получает, для каждой разделенной области, среднее значений из значений яркости всех пикселей, включенных в область, в качестве характерного значения яркости области. Фиг. 14B показывает пример характерного значения яркости каждой области, соответствующей фиг. 14A. В этом варианте осуществления среднее значение для значений яркости используется в качестве характерного значения каждой области. Однако среднее значение для значений R, G или B пикселей после устранения мозаичности (обработки интерполяции цвета) может получаться в качестве характерного значения области.

На этапе S3032 ЦПУ 103 побуждает блок 1202 замены информации областей заменять значение характерной яркости каждой области, полученной на этапе S3031, значением коэффициента усиления. Блок 1202 замены информации областей может заменять характерное значение яркости значением коэффициента усиления посредством проверки справочной таблицы, представляющей зависимость между характерными значениями яркости и значениями коэффициента усиления, которая, например, заблаговременно сохранена во вспомогательном запоминающем устройстве 105.

В этом варианте осуществления для изображения, снятого с недодержкой, если характерное значение яркости является меньшим, чем предопределенное опорное значение a, характерное значение яркости заменяется значением коэффициента усиления (большим чем 1), которое заменяет характерное значение яркости на предопределенное значение яркости. Что касается изображения, снятого с передержкой, если характерное значение яркости является большим, чем опорное значение b, характерное значение яркости заменяется значением коэффициента усиления (меньшим чем 1), которое заменяет характерное значение яркости на предопределенное значение яркости.

Фиг. 15A и 15B показывают характеристики справочных таблиц, применяемых к изображению, снятому с недодержкой, и изображению, снятому с передержкой, соответственно. Значение a на фиг. 15A и значение b на фиг. 15B соответствуют описанным выше опорным значениям. Фиг. 15C показывает характеристику справочной таблицы, применяемой к изображению, снятому с правильной выдержкой.

Настройка характеристики справочной таблицы дает возможность изменять интенсивность ореола, формируемого в изображении, выведенном из блока 1204 коррекции яркости. Например, для усиления ореола разность между коэффициентом усиления, соответствующим области, имеющей небольшое среднее значение яркости, и коэффициентом усиления, соответствующим области, имеющей большое среднее значение яркости, делается большой в характеристике справочной таблицы, которая должна применяться к изображению, снятому с недодержкой относительно правильной выдержки. В этом случае, хотя изображение после коррекции яркости не эквивалентно изображению правильной выдержки, это не является особенно проблематичным, так как преобразование подобного живописи изображения выполняется наряду с приданием важности не правильности выдержки, но степени специального эффекта.

Отметим, что, например, если съемка выполняется множество раз с недодержкой/передержкой, по ступенькам ±2/3 и ±4/3 относительно правильной выдержки, справочные таблицы могут подготавливаться в соответствии с соответственными регулировками выдержки.

Фиг. 16A - график, схематично показывающий операцию получения значения коэффициента усиления из характерного значения яркости с использованием справочной таблицы. Фиг. 16B - вид, схематично показывающий операцию замены характерного значения яркости значением коэффициента усиления в каждой области. По характеристической кривой, показанной на фиг. 16A, значением коэффициента усиления для области, где характерным значением яркости является X, является X' для недодержанного изображения. Затем, значение коэффициента усиления каждого пикселя в следующей области рассчитывается посредством регулировки значения коэффициента усиления, соответствующего области, где характерным значением яркости является X, является X', как показано на фиг. 16B.

Согласно фиг. 13B, на этапе S3033 ЦПУ 103 побуждает блок 1203 расчета значения коэффициента усиления рассчитывать значение коэффициента усиления каждого пикселя посредством ввода значения коэффициента усиления каждой области, полученной на этапе S3032.

Например, коэффициент усиления каждого пикселя рассчитывается в соответствии со следующим принципом. Прежде всего, получается расстояние от пикселя (интересующего пикселя), чей коэффициент усиления должен быть рассчитан, до центра или центра тяжести каждой из множества областей около области, включающей в себя интересующий пиксель. Четыре области выбираются в порядке возрастания расстояния. Двумерная линейная интерполяция выполняется для значений коэффициента усиления четырех выбранных областей, из условия, чтобы вес становился большим по мере того, как становится коротким расстояние между интересующим пикселем и центром/центром тяжести области, тем самым рассчитывая значение коэффициента усиления каждого пикселя. Отметим, что способ расчета значения коэффициента усиления каждого пикселя на основании значения коэффициента усиления каждой области не ограничен, и, как и следовало ожидать, применим любой другой способ. ЦПУ 103 само может рассчитывать значение коэффициента усиления каждого пикселя в качестве программного обеспечения.

Допустим, что исходное изображение имеет 3000×2000 пикселей и делится на квадратные блоки, каждый включает в себя 250×250 пикселей в вертикальном и горизонтальном направлениях. В это время изображение (изображение, сформированное из характерных значений яркости), выведенное из блока 1201 формирования информации областей, имеет 12×8 пикселей. Блок 1202 замены информации областей замещает значение (характерное значение яркости) каждого пикселя изображения значением коэффициента усиления. Изображение увеличивается до количества пикселей исходного изображения посредством линейной интерполяции, значение каждого пикселя после увеличения является значением коэффициента усиления соответствующего пикселя исходного изображения.

На этапе S3034 ЦПУ 103 побуждает блок 1204 коррекции яркости применять значение коэффициента усиления каждого пикселя, полученного на этапе S3033, к данным изображения, подвергнутым настройке баланса белого и сохраненным в основном запоминающем устройстве 104, тем самым выполняя коррекцию яркости для каждого пикселя. ЦПУ 103 сохраняет данные изображения после коррекции яркости в основном запоминающем устройстве 104.

Коррекция яркости посредством блока 1204 коррекции яркости реализуется согласно

Rout=Gain × Rin (1)

Gout=Gain × Gin (2)

Bout=Gain × Bin (3)

Где

Rout: значение красного пикселя после коррекции яркости,

Gout: значение зеленого пикселя после коррекции яркости,

Bout: значение синего пикселя после коррекции яркости,

Rin: значение красного пикселя после настройки баланса белого,

Gin: значение зеленого пикселя после настройки баланса белого,

Bin: значение синего пикселя после настройки баланса белого,

Gain: значение коэффициента усиления каждого пикселя.

Предполагается, что обработка на этапе S303 должна применяться к данным до устранения мозаичности (обработки интерполяцией цвета). Однако эта обработка может применяться к данным (каждый пиксель имеет значения составляющих RGB или YUV) после устранения мозаичности.

Согласно блок-схеме последовательности операций способа по фиг. 13A, на этапе S304 ЦПУ 103 побуждает блок 1102 обработки разложения и блок 1103 преобразования градаций яркости применять вышеописанную базовую обработку изображений, такую как обработка разложения и обработка преобразования градаций яркости к каждым данным изображения, выведенным из блока 1105 коррекции яркости.

На этапе S305 ЦПУ 103 побуждает блок 1106 компоновки HDR принимать подвергнутое коррекции яркости изображение на этапе S303 и опорное изображение, хранимое в основном запоминающем устройстве 104 без коррекции яркости на этапе S303, и компоновать изображения для каждого пикселя на основании предопределенного компоновочного соотношения, тем самым получая составное изображение.

В этом варианте осуществления, при формировании составного изображения, съемка выполняется три раза в порядке правильной выдержки, недодержки и передержки на этапе S301. После съемки, всего четыре изображения, то есть изображения, подвергнутые коррекции яркости блоком 1105 коррекции яркости и разложением, и изображение, снятое с правильной выдержкой и разложенное после настройки баланса белого без коррекции яркости блоком 1105 коррекции яркости, вводятся в блок 1106 компоновки HDR. Изображение с правильной выдержкой, разложенное после настройки баланса белого без коррекции яркости блоком 1105 коррекции яркости, используется в качестве опорного изображения для компоновки.

Фиг. 17 схематично показывает пример входных/выходных данных блока 1106 компоновки HDR.

Компоновочное соотношение трех изображений, которые должны компоноваться после коррекции яркости, определяется в соответствии с уровнем значения яркости каждого изображения относительно значения яркости каждого пикселя опорного изображения. Опорное изображение используется только для определения компоновочного соотношения и не включается в составное изображение.

Например, допустим, что снято три изображения, то есть передержанное изображение, изображение с правильной выдержкой и недодержанное изображение. В этом варианте осуществления, изображение с правильной выдержкой, которое не подвергнуто коррекции яркости, служит в качестве опорного изображения. В этом случае, предусмотрены первое пороговое значение, при котором происходит переключение между передержанным изображением и изображением с правильной выдержкой, и второе пороговое значение, при котором происходит переключение между изображением с правильной выдержкой и недодержанным изображением. Отсюда, первое пороговое значение < второго порогового значения.

Пиксель, для которого значение яркости опорного изображения является меньшим, чем первое пороговое значение: значение пикселя передержанного изображения, пиксель, для которого значение яркости опорного изображения является равным или большим, чем первое пороговое значение, и равным или меньшим, чем второе пороговое значение: значение пикселя изображения с правильной выдержкой, и пиксель, для которого значение яркости опорного изображения является большим, чем второе пороговое значение: значение пикселя недодержанного изображения, применяются и компонуются.

Если значения пикселя просто выбираются и компонуются (то есть, компоновочное соотношение имеет значение 0% или 100%), границы (псевдоконтуры) между пикселями, применяемые из разных изображений, могут визуально распознаваться в составном изображении. Например, когда компоновочное соотношение увеличивается/уменьшается линейно, как показано на фиг. 18, формирование границ может снижаться.

В этом варианте осуществления, изображение с правильной выдержкой без коррекции яркости блоком 1105 коррекции яркости используется в качестве опорного изображения в каждой обработке изображения и компоновка выполняется на основании компоновочного соотношения, как показано на фиг. 18. Однако компоновка изображения может выполняться в состоянии до того, как соответственные пиксели получают необходимые составляющие (например, составляющие RGB или составляющие YUV), например, до устранения мозаичности. В этом случае, опорное изображение также вводится в блок 1106 компоновки HDR в состоянии после настройки баланса белого в таком же формате, как у каждого изображения, которое должно компоноваться, и до обработки разложения. Блок 1106 компоновки HDR сравнивает значения яркости с использованием опорного изображения.

На этапе S306 ЦПУ 103 побуждает блок 1104 подобной живописи обработки выполнять подобную живописи обработку, которая будет описана позже, для данных входного изображения после обработки компоновки HDR. Обработанное изображение подвергается обработке, такой как сжатие, и сохраняется в основном запоминающем устройстве 104 (этап S307). Таким образом, обработка заканчивается. Обработка блока 1104 подобной живописи обработки может быть такой же, как в первом или втором варианте осуществления.

В этом варианте осуществления разностное изображение, в котором остаются низкочастотные составляющие, получается посредством расчета разности между подвергнутым настройке сигнала изображением размытого изображения у изображения HDR и исходным изображением. Посредством компоновки такого разностного изображения с исходным изображением может получаться составное изображение, в котором остается текстура плоских участков.

При вышеописанной обработке может получаться подобное живописи изображение HDR, включающее в себя ореол вокруг краевых участков.

Со ссылкой на фиг. 19A, L4 представляет пример яркости и специального положения краевого участка изображения после настройки баланса белого до коррекции яркости, полученного на этапе S302. L5 представляет пример значения коэффициента усиления каждого пикселя, полученного на этапе S3033. Фиг. 19A также показывает изображение L6 после яркости, полученное на этапе S3034, и пример яркости и пространственного положения краевого участка составного изображения L7, полученного на этапе S407.

Как описано выше, ореол означает белый или черный нимб, сформированный вокруг края (границы между ярким участком и темным участком) изображения. Со ссылкой на фиг. 19A, яркость линии пикселей, перпендикулярной произвольному краевому участку изображения, полученного выполнением настройки баланса белого для изображения с правильной выдержкой, представлена посредством L4. Отметим, что L4 указывает состояние до коррекции яркости.

Например, предположим, что фиг. 19A указывает случай, в котором человек снят с задним освещением, и темный участок L4 соответствует человеку, а яркий участок соответствует заднему плану. В этом случае, предположим, что значение коэффициента усиления, которое указано L5, применяется для увеличения яркости человека до предопределенного значения, и получается изображение после коррекции яркости, как указано посредством L6. Когда коррекция яркости для увеличения яркости человека (темного участка) оказывает воздействие на область вокруг человека, яркий участок формируется вдоль контура человека. Этот яркий участок является белым ореолом. Фиг. 19B схематично показывает белый ореол, сформированный вокруг человека во время съемки с задним освещением. Когда компоновка выполняется в соответствии с компоновочным соотношением, показанным на фиг. 18, результат компоновки имеет распределение яркости, как указанное посредством L7.

Отметим, что, хотя белый ореол формируется, когда яркость яркого участка, прилегающего к темному участку, увеличивается посредством обработки повышения яркости темного участка, черный ореол формируется, когда яркость темного участка, прилегающего к яркому участку, снижается посредством обработки снижения яркости яркого участка.

Как описано выше, ореол представляет собой явление, которое возникает, когда обработка коррекции яркости применяется к пикселю, который является прилегающим к пикселю для применения коррекции яркости и не нуждается в коррекции яркости. По этой причине, чтобы намеренно формировать ореол, настраивается дальность влияния коррекции яркости. Дополнительно, интенсивность ореола может регулироваться посредством настройки значения коррекции яркости (коэффициента усиления), как понятно.

Как описано выше, в этом варианте осуществления, значение коэффициента усиления коррекции яркости определяется для каждой разделенной области и значение коэффициента усиления каждого пикселя получается из значения коэффициента усиления соседней разделенной области. По этой причине, даже если пиксели имеют одинаковое значение яркости, они используют разные значения коэффициента усиления для коррекции яркости в зависимости от амплитуды характерного значения яркости соседней разделенной области. Это в значительной степени отличается от применения одной кривой градаций яркости ко всему изображению, то есть всем пикселям, и определения одинакового значения коэффициента усиления для пикселей, имеющих идентичную яркость, как в предшествующем уровне техники. Дополнительно, в способе по этому варианту осуществления, значение коэффициента усиления, соответствующее области, может определяться в соответствии с характерным значением яркости соседней области. По этой причине, изменение характеристики справочной таблицы предоставляет возможность легко управлять значением коэффициента усиления для области высокой яркости или области низкой яркости, важным для формирования ореола.

В дополнение, поскольку значение коэффициента усиления коррекции яркости определено для каждой разделенной области, и значение коэффициента усиления каждого пикселя получается из значения коэффициента усиления соседней области, дальность влияния определенного значения коэффициента усиления расширяется по мере того, как разделенная область становится большей. Отсюда, в этом варианте осуществления, ЦПУ 103 настраивает размер разделенной области на основании информации разделения, выдаваемой в блок 1201 формирования информации областей, тем самым управляя дальностью действия вклада коррекции яркости и изменяя дальность ореола (протяженность формирования ореола от краевого участка).

Например, когда количество разделенных областей увеличивается, чтобы сделать размер разделенной области небольшим, как показано на фиг. 20, дальность действия вклада коррекции яркости сужается. Отсюда, область, где формируется ореол, может сужаться.

Как описано выше, согласно этому варианту осуществления, целевое изображение обработки делится на предопределенные области значений, и коэффициент усиления для коррекции яркости определяется для каждой области, тем самым давая подобный живописи эффект даже неконтрастному изображению, такому как изображение HDR.

В дополнение, размер области, где формируется ореол, может изменяться посредством настройки размера у размера разделенной области. Интенсивность ореола может изменяться посредством настройки справочной таблицы, используемой для замены значения коэффициента усиления коррекции яркости для каждой области.

Отметим, что размер разделенной области, достаточный для получения подобного живописи изображения, и характеристика справочной таблицы могут экспериментально получаться заблаговременно. В дополнение, пользователю предоставлена возможность динамически изменять интенсивность эффекта наряду с подтверждением эффекта. Если принята инструкция усиления эффекта, выполняется одно из становления разделенной области меньшей и увеличения разности между минимальным коэффициентом усиления и максимальным коэффициентом усиления справочной таблицы. Для ослабления эффекта настройка выполняется противоположным образом.

Блок 1104 подобной живописи обработки может настраивать степень усиления краев или размер ореола вокруг краев посредством настройки степени размывания размытого изображения.

Контраст составного изображения или текстура плоских участков могут настраиваться посредством изменения кривой настройки обработки настройки сигнала для размытого изображения.

В этом варианте осуществления, поскольку настройка степени размывания или настройка кривой могут определяться в соответствии с режимом съемки, пользователь легко может получать надлежащее изображение в соответствии с режимом съемки.

(ЧЕТВЕРТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

Четвертый вариант осуществления настоящего изобретения будет описан следующим. Структура устройства захвата изображений, служащего в качестве устройства обработки изображений согласно четвертому варианту осуществления, является такой же, как в третьем варианте осуществления, за исключением того, что блок 1105 коррекции яркости заменен блоком 1602 коррекции яркости. Отметим, что оставшаяся часть структуры является такой же, как в первом или третьем вариантах осуществления, и будет описана с использованием таких же номеров ссылки, как на фиг. 11. Ниже будут описаны только части, отличные от первого или третьего варианта осуществления.

Фиг. 21 показывает пример структуры блока 1602 коррекции яркости в устройстве захвата изображений согласно этому варианту осуществления. В блоке 1602 коррекции яркости блок 1605 сглаживания информации предусмотрен между блоком 1201 формирования информации областей и блоком 1202 замены информации областей в дополнение к составляющим элементам третьего варианта осуществления. Оставшаяся часть структуры является такой же, как в третьем варианте осуществления, и такие же номера ссылки, как в на фиг. 12, обозначают идентичные части на фиг. 21.

Фиг. 22 - блок-схема последовательности операций способа обработки коррекции яркости согласно этому варианту осуществления. Это является таким же, как в третьем варианте осуществления за исключением того, что обработка сглаживания информации областей по этапу S1701 добавлена в блок-схему последовательности операций способа по фиг. 13B.

В этом варианте осуществления, до того как информация областей (характерное значение яркости), сформированная на этапе S3031, заменена значением коэффициента усиления каждой области на этапе S3032, блок 1605 сглаживания информации областей сглаживает характерные значения яркости (средние значения яркости) каждой области на этапе S1701. В этом варианте осуществления, двухмерный пространственный фильтр 5x5 применяется к среднему значению яркости каждой области, как показано на фиг. 23, тем самым сглаживая среднее значение яркости.

Например, когда изображение разделено на имеющие форму блока области, как показано на фиг. 14, участок границы между разделенными областями может быть заметным в выходных данных изображения блока 1204 коррекции яркости на участке, где разность среднего значения яркости между смежными областями велика. Отсюда, среднее значение яркости сглаживается для снижения разности среднего значения яркости между смежными областями, тем самым делая границу между областями незаметной. Отметим, что способ сглаживания среднего значения яркости не является особенно ограниченным и применим любой другой способ.

Последующая обработка является такой же, как в третьем варианте осуществления. Как описано выше, согласно этому варианту осуществления, в дополнение к эффекту по третьему варианту осуществления, даже когда разность среднего значения яркости между смежными областями велика, граница между областями может делаться незаметной в изображении после коррекции яркости.

В описанных выше третьем и четвертом вариантах осуществления, изображение, снятое с правильной выдержкой в состоянии до коррекции яркости, используется в качестве опорного изображения, используемого для расчета компоновочного соотношения. Использование этого опорного изображения представляет возможность расширять динамический диапазон и подавлять ненадлежащее изменение оттенка в составном изображении. Однако при формировании изображения HDR, к которому применяется обработка изображения по приданию специального эффекта, как в настоящем изобретении, опорному изображению никогда не нужно подготавливаться отдельно от изображений, которые должны компоноваться. То есть, одно из множества изображений, которые должны компоноваться, может использоваться в качестве опорного изображения.

(ПЯТЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

Пятый вариант осуществления настоящего изобретения будет описан следующим. Этот вариант осуществления направлен на еще один другой способ вышеописанной обработки формирования изображения HDR, пригодный для преобразования подобного живописи изображения. Однако, способ по этому варианту осуществления может соответствующим образом использоваться, даже когда преобразование в подобное живописи изображение не выполняется, а потому для удобства будет описано в качестве общего способа формирования изображений HDR. В этом варианте осуществления, также, для идентичного содержания используются такие же номера ссылки, как описанные выше, и их описание повторяться не будет.

В качестве одного из способов получения составного изображения с более широким динамическим диапазоном, одно из множества изображений, которые должны компоноваться, используется в качестве опорного изображения, а оставшиеся изображения подвергаются коррекции яркости на основании значения яркости опорного изображения, а затем компонуются. В этом случае, когда составное изображение формируется с использованием изображения, чья яркость была настроена для расширения динамического диапазона, в качестве опорного изображения, выражение оттенка составного изображения может быть ненадлежащим.

В этом варианте осуществления, изображения после коррекции яркости компонуются с компоновочным соотношением, определенным на основании изображений до коррекции яркости, тем самым реализуя формирование составного изображения надлежащего выражения оттенка.

Фиг. 24 - структурная схема функции, ассоциативно связанной с формированием составного изображения, имеющего более широкий динамический диапазон, из устройства 110 обработки изображений согласно этому варианту осуществления.

Устройство 110 обработки изображений включает в себя блок 1101 баланса белого, блок 1201 формирования информации областей, блок 1202 замены информации областей, блок 1203 расчета значения коэффициента усиления, блок 1204 коррекции яркости и блок 1106 компоновки HDR.

Фиг. 25 - блок-схема последовательности операций способа, показывающая процедуру обработки формирования составного изображения, согласно этому варианту осуществления. Такие же номера этапов, как на фиг. 13A и 13B, представляют те же самые этапы обработки на фиг. 25, и их описание повторяться не будет. Только этапы обработки формирования составного изображения, отличительные для варианта осуществления, будут пояснены ниже со ссылкой на фиг. 1, 13A, 13B, 24 и 25.

Как очевидно из сравнения между фиг. 13A, 13B и 25, вариант осуществления является включающим в себя этап S503 сохранения данных перед коррекцией яркости до обработки коррекции яркости после настройки баланса белого.

В этом варианте осуществления изображение, снятое с правильной выдержкой, является обязательным в отличие от третьего варианта осуществления. За исключением этого, должно существовать по меньшей мере одно из недодержанного изображения и передержанного изображения.

На этапе S503 ЦПУ 103 сохраняет в основном запоминающем устройстве 104 данные изображения после настройки баланса белого до коррекции яркости, полученные на этапе S302. Сохраненные данные изображения здесь используются позже, на этапе S3031 или S305.

На этапе S3031 ЦПУ 103 побуждает блок 1201 формирования информации областей делить изображение после настройки баланса белого до коррекции яркости, которое получено на этапе S503, на области. Блок 1201 формирования информации областей выполняет деление на области, например, как показано на фиг. 14A, в соответствии с информацией деления, заданной ЦПУ 103. Хотя деление на прямоугольные области выполняется в этом варианте осуществления, изображение может делиться на области произвольной формы, такой как многоугольная форма, в том числе треугольная и шестиугольная формы.

После того ЦПУ 103 получает, для каждой разделенной области, среднее значение из значений яркости всех пикселей, включенных в область, в качестве характерного значения яркости области (фиг. 14B) и побуждает блок 1202 замены информации областей заменять характерное значение яркости каждой области значением коэффициента усиления (этап S3032), как в третьем варианте осуществления.

ЦПУ 103 побуждает блок 1203 расчета значения коэффициента усиления рассчитывать значение коэффициента усиления каждого пикселя посредством ввода значения коэффициента усиления каждой области, полученной на этапе S3032 (этап S3033).

На этапе S3034 ЦПУ 103 побуждает блок 1204 коррекции яркости применять значение коэффициента усиления каждого пикселя, полученного на этапе S3033, к данным изображения, подвергнутым настройке баланса белого и сохраненным в основном запоминающем устройстве 104, тем самым выполняя коррекцию яркости для каждого пикселя. ЦПУ 103 сохраняет данные изображения после коррекции яркости в основном запоминающем устройстве 104.

На этапе S305 ЦПУ 103 побуждает блок 1106 компоновки HDR принимать изображение, подвергнутое коррекции яркости на этапе S3034, и опорное изображение (изображение с правильной выдержкой до коррекции яркости), сохраненное в основном запоминающем устройстве 104 на этапе S503, и компонует изображения для каждого пикселя на основании предопределенного компоновочного соотношения, тем самым получая составное изображение (фиг. 17).

В этом варианте осуществления, при формировании составного изображения съемка выполняется три раза с недодержкой, правильной выдержкой и передержкой, на этапе S301. Затем, всего четыре изображения, то есть изображения, полученные выполнением коррекции яркости для изображений, полученных посредством съемки, и изображение, снятое с правильной выдержкой в состоянии после настройки баланса белого (состоянии до коррекции яркости), вводятся в блок 1106 компоновки HDR. Изображение с правильной выдержкой после настройки баланса белого (без коррекции яркости) используется в качестве опорного изображения для компоновки.

Компоновка может выполняться, как в третьем варианте осуществления. Например, когда сняты три изображения, то есть передержанное изображение, изображение с правильной выдержкой и недодержанное изображение, компоновка выполняется на основании соотношения, как показано на фиг. 18.

Разница между составным изображением, полученным с использованием изображения, которое не подвергнуто коррекции яркости, в качестве опорного изображения, и составным изображением, полученным с использованием подвергнутого коррекции яркости изображения в качестве опорного изображения, здесь будет описана со ссылкой на фиг. с 27A по 27C и 28B.

Например, допустим, что человек снят внутри помещения против окна с задним освещением. В изображении (фиг. 27A), полученном посредством съемки человека с правильной выдержкой, человек имеет надлежащую яркость. Однако наружный пейзаж, имеющий яркость объекта, более высокую, чем человек, демонстрирует притушенные наиболее яркие участки изображения. С другой стороны, в изображении (фиг. 27B), полученном посредством съемки пейзажа вне помещения с правильной выдержкой, пейзаж вне помещения имеет надлежащую яркость. Однако человек, имеющий яркость объекта, более низкую, чем у пейзажа вне помещения, погружен в приглушенные тени.

Предположим компоновку двух изображений. Изображение, показанное на фиг. 27A, полученное съемкой человека с правильной выдержкой, предполагается изображением с правильной выдержкой для удобства описания. Отсюда, изображение, показанное на фиг. 27B, является недодержанным изображением.

Фиг. 28A показывает значения яркости пикселей, соответствующих горизонтальным линиям 2701 и 2703, показанным на фиг. 27A и 27B, и значения коэффициента усиления, используемые для коррекции яркости. Горизонтальные линии 2701 и 2703 указывают идентичные положения пикселей двух изображений.

Предположим, что яркость в положении горизонтальной линии 2701 в изображении, полученном выполнением настройки баланса белого для изображения с правильной выдержкой (фиг. 27A), представлена посредством L4. Когда значением коэффициента усиления каждого пикселя, полученного описанным выше образом для подвергнутого настройке баланса белого изображения, является L5, яркость после коррекции яркости представлена посредством L6. Например, яркость L пикселя 2702, показанного на фиг. 27A, корректируется до яркости L', указанной посредством 2706 на фиг. 28A.

Фиг. 27C схематично показывает изображение, полученное применением коррекции яркости к изображению, полученному выполнением настройки баланса белого для изображения с правильной выдержкой, показанного на фиг. 27A. Поскольку весь экран корректируется до предопределенной яркости посредством коррекции яркости, изображение после коррекции яркости имеет яркостное различие, меньшее, чем в исходном изображении.

Как описано выше, при определении компоновочного соотношения на основании значения яркости опорного изображения компоновочное соотношение может меняться между случаем, в котором опорное изображение подвергнуто коррекции яркости, и случаем, в котором опорное изображение не подвергнуто коррекции яркости. Пример является случаем, в котором значение яркости переступает описанное выше первое пороговое значение или второе пороговое значение до и после коррекции яркости при компоновке посредством отбора пикселей (компоновочное соотношение имеет значение 0% или 100%). Когда предусмотрено промежуточное компоновочное соотношение, как показано на фиг. 18, компоновочное соотношение изменяется в дополнительных случаях.

Фиг. 26 показывает изменение компоновочного соотношения, вызванное изменением значения яркости, при коррекции яркости в примере, в котором используется компоновочное соотношение, показанное на фиг. 18. Когда коррекция яркости не выполняется, при яркости L пикселя 2702, пиксель (пиксель 2704 на фиг. 27B) недодержанного изображения L3 применяется в составном изображении с соотношением 100%. С другой стороны, при яркости L' пикселя 2702 после коррекции яркости, пиксель (пиксель 2706 на фиг. 27C) опорного изображения L2 после коррекции яркости применяется в составном изображении с соотношением 100%.

Фиг. 28B показывает примеры изменения значения яркости пикселей, соответствующих горизонтальной линии 2701 составного изображения в случае, в котором подвергнутое коррекции яркости изображение используется в качестве опорного изображения, и случае, в котором изображение, которое не подвергнуто коррекции яркости, используется в качестве опорного изображения. Составное изображение L7, полученное, когда подвергнутое коррекции яркости изображение используется в качестве опорного изображения, главным образом, применяет пиксели изображения с правильной выдержкой на ярком участке. Отсюда, яркость наружного пейзажа высока, а тональность бедна. С другой стороны, составное изображение L8, полученное, когда изображение, которое не подвергнуто коррекции яркости, используется в качестве опорного изображения, главным образом применяет пиксели недодержанного изображения. Отсюда, оттенок наружного пейзажа остается в результате составного изображения.

Как описано выше, когда компоновка выполняется с использованием подвергнутого коррекции яркости изображения в качестве опорного изображения, обработка компоновки может выполняться в целях расширения динамического диапазона.

В дополнение, изображение, выведенное из блока 1204 коррекции яркости, подвергнуто коррекции яркости на основе областей. По этой причине, экстремальное изменение оттенка может происходить на границе между темным участком и ярким участком в изображении после коррекции яркости, как указано L6 на фиг. 28A.

Когда компоновочное соотношение определяется с использованием такого изображения в качестве опорного изображения, экстремальное изменение оттенка в опорном изображении также отражается на составном изображении. В этом варианте осуществления, однако, изображение с правильной засветкой, которое не подвергнуто коррекции яркости, используется в качестве опорного изображения для определения компоновочного соотношения, тем самым расширяя динамический диапазон и подавляя ненадлежащее изменение оттенка в составном изображении.

(ШЕСТОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)

Фиг. 30 - блок-схема последовательности операций способа, показывающая процедуру обработки формирования составного изображения, согласно этому варианту осуществления. Обработка формирования составного изображения будет описана ниже со ссылкой на фиг. 1, 29 и 30. Отметим, что такие же номера этапов, как на фиг. 25, представляют идентичные обработки на фиг. 30, а их описание будет опущено.

Этапы S301, S302 и S503 являются такими же обработками, как в пятом варианте осуществления.

На этапе S504, ЦПУ 103 побуждает схему 302 настройки градаций яркости изображения выполнять коррекцию градаций яркости с использованием кривой градаций яркости, заблаговременно сохраненной во вспомогательном запоминающем устройстве, для данных изображения после настройки баланса белого, которые получены на этапе S503. Более точно, коррекция градаций яркости может выполняться с использованием справочной таблицы, представляющей кривую градаций яркости.

В этом варианте осуществления, кривая градаций яркости, используемая для коррекции градаций яркости, настраивается в соответствии с выдержкой изображения, из условия, чтобы входная/выходная характеристика выходного устройства становилась линейной, тем самым выполняя коррекцию градаций яркости изображения для составного изображения. Например, если значение выдержки является меньшим, чем предопределенное опорное значение (правильная выдержка), кривая градаций яркости настраивается в такую характеристику, которая сжимает оттенки низких частот наряду с оставлением без изменений оттенков от промежуточных до высоких частот. В противоположность, если значение выдержки является большим, чем опорное значение (правильная выдержка), кривая градаций яркости настраивается на такую характеристику, которая сжимает оттенки высоких частот наряду с оставлением без изменений оттенков от низких до промежуточных частот. Кривая градаций яркости не настраивается для изображения, снятого с правильной выдержкой.

Отметим, что коррекция нормальных градаций яркости выполняется для воспроизведения цветовой схемы исходного изображения, выведенного из выходного устройства, и не эквивалентна коррекции фактической яркости. Отсюда, в этом варианте осуществления, коррекция яркости фактически не выполняется для изображения, снятого с правильной выдержкой, даже когда оно используется для компоновки, подобно опорному изображению. Отсюда, изображение после коррекции градаций яркости может использоваться в качестве опорного изображения. В качестве альтернативы, обработка на этапе S504 может выполняться только для данных изображения, которые не сняты с правильной выдержкой.

На этапе S505 ЦПУ 103 сохраняет данные подвергнутого коррекции градаций яркости изображения, чтобы использовались для компоновки изображений, которые получены на этапе S504, в основном запоминающем устройстве 104. Данные изображения, сохраненные здесь, используются позже на этапе S507.

На этапе S506 ЦПУ 103 побуждает схему 303 настройки градаций яркости изображения выполнять коррекцию яркости для данных изображения с правильной выдержкой после настройки баланса белого до настройки градаций яркости, которое сохранено в основном запоминающем устройстве 104 на этапе S503. Эта коррекция яркости выполняется с использованием справочной таблицы, соответствующей кривой градаций яркости опорного изображения (кривой нормальных градаций яркости), которая заблаговременно сохранена во вспомогательном запоминающем устройстве 105.

Фиг. 31 показывает примеры кривой градаций яркости опорного изображения и кривой градаций яркости составного изображения. В этом варианте осуществления, коррекция градаций яркости опорного изображения выполняется с использованием справочной таблицы, которая представляет линейную кривую градаций яркости, которая не сжимается и не разжимается локально в соответствии с входными данными, как показано посредством L7 на фиг. 31. Однако, как описано выше, если характеристика градаций яркости выходного устройства является линейной, соответствующая кривая градаций яркости используется для выполнения коррекции градаций яркости.

Отметим, что, если изображение, снятое с правильной выдержкой, уже подвергнуто коррекции градаций яркости на этапе S504, изображение может использоваться в качестве опорного изображения, а обработка по этапу S506 может быть опущена. В этом случае, схема 303 настройки градаций яркости опорного изображения также не обязательна.

На этапе S305 ЦПУ 103 побуждает блок 1106 компоновки HDR принимать

изображение, снятое с недодержкой или передержкой и подвергнутое коррекции градаций яркости с использованием кривой градаций яркости, настроенной по кривой нормальных градаций яркости на этапе S505, и

изображение, полученное применением кривой нормальных градаций яркости к изображению, снятому с правильной выдержкой на этапе S505 (и/или изображение, полученное применением кривой нормальных градаций яркости к изображению, снятому с правильной выдержкой на этапе S506), и компоновать изображения для каждого пикселя на основании предопределенного компоновочного соотношения, тем самым получая составное изображение.

Как описано выше, в этом варианте осуществления, опорное изображение также может использоваться в качестве изображения, которое может компоноваться (или изображение, полученное выполнением коррекции градаций яркости для изображения, снятого с правильной выдержкой, также может использоваться в качестве опорного изображения). По этой причине, когда съемка выполняется три раза с недодержкой, правильной выдержкой и передержкой на этапе S301, как в пятом варианте осуществления, три или четыре изображения вводятся в блок 1106 компоновки HDR. Однако обработка получения компоновочного соотношения в соответствии с яркостью опорного изображения и компоновки изображений является такой же, как в пятом варианте осуществления.

Как описано выше, такой же эффект, как в пятом варианте осуществления, также может быть получен шестым вариантом осуществления.

Отметим, что, в вышеописанных с третьего по шестой вариантах осуществления, настоящее изобретение применяется к устройству захвата изображений. Однако настоящее изобретение может быть осуществлено на практике даже в устройстве, которое не имеет функции захвата изображений, как может легко пониматься специалистами в данной области техники. Например, данные множества изображений, полученных штативной съемкой, получаются через носитель записи или сеть, и выполняется обработка по этапу S302 вышеописанной блок-схемы последовательности операций способа. Какое одно из множества изображений, полученных штативной съемкой, является изображением с правильной выдержкой, определяется процессором изображений или с использованием информации, записанной в данных изображения в качестве метаданных. Если порядок штативной съемки известен заблаговременно, например, съемка выполняется в порядке правильной выдержки, передержки и недодержки, определение может выполняться просто на основании даты/времени записи или имени файла.

Выше были описаны примерные варианты осуществления настоящего изобретения. Однако настоящее изобретение не ограничено этими вариантами осуществления, и различные изменения модификации могут быть выполнены без отклонения от сущности и объема настоящего изобретения.

(ДРУГИЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ)

Аспекты настоящего изобретения также могут быть осуществлены компьютером системы или устройства (или устройствами, такими как ЦПУ или МПУ), который считывает и выполняет программу, записанную на устройстве памяти, для выполнения функций вышеописанного варианта(ов) осуществления, и способом, этапы которого выполняются компьютером системы или устройства, например, посредством считывания и выполнения программы, записанной на устройстве памяти, для выполнения функций вышеописанного варианта(ов) осуществления. Для этой цели, программа поставляется на компьютер, например, через сеть или с запоминающего носителя различных типов, служащего в качестве устройства памяти (например, машиночитаемого носителя).

Хотя настоящее изобретение описано со ссылкой на примерные варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем последующей формулы изобретения должен быть согласован с самым широким толкованием, чтобы охватывать все такие модификации, а также эквивалентные конструкции и функции.

1. Устройство обработки изображений для преобразования исходного изображения, содержащее:
средство настройки для применения обработки размывания исходного изображения и обработки настройки плотности для размытого исходного изображения, чтобы формировать настроенное изображение;
вычислительное средство для формирования разностного изображения, которое является разностью между исходным изображением и настроенным изображением, полученным упомянутым средством настройки; и
средство компоновки для компоновки разностного изображения и исходного изображения на основании плотности разностного изображения, полученного упомянутым вычислительным средством, и плотности исходного изображения; при этом
средство настройки настраивает уровень размывания исходного изображения в соответствии с одним из регулировок съемки исходного изображения и объекта, включенного в исходное изображение, при этом объект определяется путем анализа исходного изображения.

2. Устройство по п. 1, в котором упомянутое средство настройки настраивает уровень настройки плотности в соответствии с одним из обстановки съемки исходного изображения и сигнала изображения исходного изображения.

3. Устройство по п. 1, дополнительно содержащее средство нормализации для нормализации плотности разностного изображения, полученного упомянутым вычислительным средством, и вывода нормализованного разностного изображения, и
при этом упомянутое средство компоновки компонует нормализованное разностное изображение и исходное изображение на основании плотности нормализованного разностного изображения и плотности исходного изображения.

4. Устройство по любому из пп. 1-3, в котором используют предопределенную плотность в разностном изображении в качестве опорной плотности, упомянутое средство компоновки выполняет разные преобразования для пикселя, чья плотность выше, чем опорная плотность, и пикселя, чья плотность ниже, чем опорная плотность.

5. Устройство по п. 4, в котором исходное изображение содержит изображение, полученное посредством съемки объекта множество раз с разной выдержкой и компоновки множества захваченных сигналов изображения.

6. Устройство по п. 1, в котором, исходя из того, что BG является плотностью каждого пикселя исходного изображения, FG является плотностью каждого пикселя изображения, введенного в упомянутое средство компоновки, которое соответствует исходному изображению, R является плотностью каждого пикселя изображения, выведенного из упомянутого средства компоновки, a q является количеством битов каждого изображения,
R=(2^q-1)-2×((2^q-1)-BG)×((2^q-1)-FG)/2^q
(когда FG≥2^q-1)
R=2×BG×FG/2^q
(когда FG<2^q-1)
поддерживается для упомянутого средства компоновки.

7. Устройство по п. 1, в котором средство настройки настраивает уровень размывания исходного изображения в соответствии с режимом съемки, используемым для захвата исходного изображения.

8. Устройство по п. 7, в котором, если режимом съемки является ландшафтный режим, средство настройки повышает уровень размывания, чем в случае, когда другой режим съемки используется для захвата исходного изображения.

9. Устройство по п. 1, в котором, если обнаружен человек в исходном изображении, при анализе исходного изображения, средство настройки повышает уровень размывания, чем в случае, когда в исходном изображении человек не обнаружен, при анализе исходного изображения.

10. Способ управления устройством обработки изображений для преобразования исходного изображения, содержащий:
этап настройки, на котором применяют обработку размывания исходного изображения и обработку настройки плотности для размытого исходного изображения, чтобы формировать настроенное изображение;
этап вычисления, на котором формируют разностное изображение, которое является разностью между исходным изображением и настроенным изображением, полученным на упомянутом этапе настройки; и
этап компоновки, на котором компонуют разностное изображение и исходное изображение на основании плотности разностного изображения, полученного на упомянутом этапе вычисления, и плотности исходного изображения, при этом
на этапе настройки настраивают уровень размывания исходного изображения в соответствии с одним из регулировок съемки исходного изображения и объекта, включенного в исходное изображение, при этом объект определяется путем анализа исходного изображения.

11. Способ управления устройством обработки изображений для преобразования исходного изображения, содержащий:
этап настройки, на котором применяют обработку размывания исходного изображения и обработку настройки плотности для размытого исходного изображения, чтобы формировать настроенное изображение;
этап вычисления, на котором формируют разностное изображение, которое является разностью между плотностью исходного изображения и плотностью настроенного изображения, полученного на упомянутом этапе настройки; и
этап компоновки, на котором компонуют разностное изображение и исходное изображение на основании плотности разностного изображения, полученного на упомянутом этапе вычисления, и плотности исходного изображения, при этом
на этапе настройки настраивают уровень размывания исходного изображения в соответствии с одним из регулировок съемки исходного изображения и объекта, включенного в исходное изображение, при этом объект определяется путем анализа исходного изображения.

12. Устройство обработки изображений, содержащее:
средство получения для получения множества изображений, снятых с множеством выдержек, в том числе правильной выдержкой;
средство настройки баланса белого для выполнения настройки баланса белого для каждого из множества изображений;
средство коррекции яркости для выполнения коррекции яркости для каждого из множества подвергнутых настройке баланса белого изображений посредством применения коэффициента усиления, определенного с использованием положения пикселя, и коэффициента усиления, соответствующего характерной яркости каждой из множества областей, полученных делением изображения, к каждому пикселю;
средство компоновки для формирования составного изображения посредством компоновки множества подвергнутых коррекции яркости изображений; и
средство управления для управления по меньшей мере одним из дальности действия и интенсивности ореола, сформированного вокруг края участка составного изображения, посредством управления по меньшей мере одним из размера области и коэффициента усиления каждой области, тем самым преобразуя составное изображение.

13. Устройство по п. 12, дополнительно содержащее средство определения для определения компоновочного соотношения множества подвергнутых коррекции яркости изображений в соответствии с яркостью изображения вне множества изображений, которое снято с правильной выдержкой и не подвергнуто коррекции яркости,
при этом упомянутое средство компоновки формирует составное изображение посредством компоновки множества подвергнутых коррекции яркости изображений для каждого пикселя с соотношением, определенным упомянутым средством определения.

14. Устройство по п. 13, в котором упомянутое средство коррекции содержит средство сглаживания для сглаживания характерной яркости каждой из множества областей и выполняет коррекцию яркости посредством применения коэффициента усиления, определенного с использованием положения пикселя, и коэффициента усиления, соответствующего сглаженной характерной яркости, к каждому пикселю.

15. Способ управления устройством обработки изображений, содержащий:
этап получения, на котором получают множество изображений, снятых с множеством выдержек, в том числе, правильной выдержкой;
этап настройки баланса белого, на котором выполняют настройку баланса белого для каждого из множества изображений;
этап коррекции яркости, на котором выполняют коррекцию яркости для каждого из множества подвергнутых настройке баланса белого изображений посредством применения коэффициента усиления, определенного с использованием положения пикселя, и коэффициента усиления, соответствующего характерной яркости каждой из множества областей, полученных делением изображения, к каждому пикселю;
этап компоновки, на котором формируют составное изображение посредством того, что компонуют множество подвергнутых коррекции яркости изображений; и
этап управления, на котором управляют по меньшей мере одним из дальности действия и интенсивности ореола, сформированного вокруг края участка составного изображения посредством того, что управляют по меньшей мере одним из размера области и коэффициента усиления каждой области, тем самым преобразуя составное изображение.

16. Машиночитаемый носитель записи, который хранит программу, побуждающую компьютер функционировать в качестве каждого средства устройства обработки изображений, описанного в любом из пп. 12-14.

17. Устройство обработки изображений, содержащее:
средство получения для получения множества изображений, снятых с множеством выдержек;
средство настройки баланса белого для выполнения настройки баланса белого для каждого из множества изображений;
средство коррекции яркости для выполнения коррекции яркости для каждого из множества подвергнутых настройке баланса белого изображений;
средство определения для определения компоновочного соотношения множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений и не подвергается коррекции яркости; и
средство компоновки для компоновки множества подвергнутых коррекции яркости изображений с соотношением, определенным упомянутым средством определения.

18. Устройство по п. 17, в котором упомянутое средство коррекции яркости выполняет коррекцию яркости посредством
получения, для каждого из множества областей, полученных делением изображения, коэффициента усиления для изменения характерной яркости области в предопределенную яркость,
получения коэффициента усиления для каждого пикселя посредством интерполяции коэффициента усиления, полученного для каждой области, и
применения коэффициента усиления для каждого пикселя к значению пикселя.

19. Устройство обработки изображений, содержащее:
средство получения для получения множества изображений, снятых с множеством выдержек;
средство настройки баланса белого для выполнения настройки баланса белого для каждого из множества изображений;
средство коррекции градаций яркости для выполнения, для изображения, снятого с правильной выдержкой, вне множества подвергнутых настройке баланса белого изображений, коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой, и выполнения, для данных изображения, которое не снято с правильной выдержкой, коррекции градаций яркости с использованием кривой градаций яркости, отличной от кривой градаций яркости для изображения, снятого с правильной выдержкой;
средство определения для определения компоновочного соотношения множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений и подвергается коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой; и
средство компоновки для компоновки множества подвергнутых коррекции градаций яркости изображений с соотношением, определенным упомянутым средством определения.

20. Устройство по любому из пп. 17-18, в котором упомянутое средство получения содержит средство захвата изображений для получения множества изображений посредством съемки.

21. Устройство по п. 19, в котором упомянутое средство получения содержит средство захвата изображений для получения множества изображений посредством съемки.

22. Устройство захвата изображений, содержащее устройство обработки изображений, описанное в любом из пп. 17-18.

23. Устройство захвата изображений, содержащее устройство обработки изображений, описанное в п. 19.

24. Способ управления устройством обработки изображений, содержащий:
этап получения, на котором получают множество изображений, снятых с множеством выдержек;
этап настройки баланса белого, на котором выполняют настройку баланса белого для каждого из множества изображений;
этап коррекции яркости, на котором выполняют коррекцию яркости для каждого из множества подвергнутых настройке баланса белого изображений;
этап определения, на котором определяют компоновочное соотношение множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений и не подвергается коррекции яркости; и
этап компоновки, на котором компонуют множество подвергнутых коррекции яркости изображений с соотношением, определенным на этапе определения.

25. Способ управления устройством обработки изображений, содержащий:
этап получения, на котором получают множество изображений, снятых с множеством выдержек;
этап настройки баланса белого, на котором выполняют настройку баланса белого для каждого из множества изображений;
этап коррекции градаций яркости, на котором выполняют для изображения, снятого с правильной выдержкой, вне множества подвергнутых настройке баланса белого изображений, коррекцию градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой, и выполняют, для данных изображения, которое не снято с правильной выдержкой, коррекцию градаций яркости с использованием кривой градаций яркости, отличной от кривой градаций яркости для изображения, снятого с правильной выдержкой;
этап определения, на котором определяют компоновочное соотношение множества изображений в соответствии с яркостью изображения, которое является одним из множества подвергнутых настройке баланса белого изображений и подвергается коррекции градаций яркости с использованием кривой градаций яркости для изображения, снятого с правильной выдержкой; и
этап компоновки, на котором компонуют множество подвергнутых коррекции градаций яркости изображений с соотношением, определенным на этапе определения.

26. Машиночитаемый носитель записи, который хранит программу, побуждающую компьютер функционировать в качестве каждого средства из устройства обработки изображений, описанного в п. 17.

27. Машиночитаемый носитель записи, который хранит программу, побуждающую компьютер функционировать в качестве каждого средства из устройства обработки изображений, описанного в п. 19.