Устройство обработки изображения, устройство захвата изображения, и способ обработки изображения
Изобретение относится к средствам обработки и восстановления изображения. Техническим результатом является повышение качества коррекции изображения при возникших аберрациях оптической системы захвата изображения. Устройство содержит первое средство пиксельной интерполяции опорного цветового компонента RAW-изображения; первое средство получения цветового контраста, используя пиксельное значение цветового компонента и пиксельное значение опорного цветового компонента; средство обработки восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения к каждому цветовому компоненту RAW-изображения; второе средство пиксельной интерполяции опорного цветового компонента RAW-изображения; второе средство получения второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонент; средство коррекции пиксельного значения RAW-изображения согласно разности между первым цветовым контрастом и вторым цветовым контрастом. 4 н. и 8 з.п. ф-лы, 51 ил.
ОБЛАСТЬ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к устройству обработки изображения, устройству захвата изображения и способу обработки изображения и, более конкретно, к методике коррекции изображения, используя обработку восстановления изображения.
ОПИСАНИЕ ТЕХНИКИ
[0002] Качество изображения для изображения, полученного посредством захвата объекта устройством захвата изображения, ухудшается особенно из-за аберраций оптической системы формирования изображения. Например, размытость изображения указывает ухудшение в качестве изображения из-за сферической аберрации, аберрации кома, искривления поля, астигматизма, и т.п. оптической системы формирования изображения. Игнорируя влияние дифракции как характеристики волны света, лучи света, приходящие из одной точки объекта, сходятся в одну точку (фокус) одного и того же размера на плоскости отображения оптической системой отображения без аберраций. Фокус, однако, фактически рассеивается из-за аберраций оптической системы формирования изображения в дополнение к влиянию дифракции.
[0003] Функция рассеяния точки (PSF) оптической системы формирования изображения представляет распределение интенсивности вокруг фокуса, то есть размытость изображения, из-за дифракции и аберраций оптической системы формирования изображения, которое, поэтому, называется компонентом размытия. Компонент размытия указывает не размытие из-за несфокусированного состояния, а размытие, вызванное дифракцией света и аберрациями оптической системы формирования изображения даже в состоянии в фокусе.
[0004] Цветовая окантовка в цветовом изображении из-за осевой хроматической аберрации, цветовая сферическая аберрация и цветовая аберрация кома оптической системы формирования изображения могут быть вызваны изменением в степени размытия в зависимости от длины волны света. Изменение цвета в боковом направлении из-за хроматической разности (степени) увеличения оптической системы может указывать неточное совмещение или смещение фаз из-за изменения в увеличении при формировании изображения в зависимости от длины волны света.
[0005] Оптическая передаточная функция (OTF), полученная посредством выполнения преобразования Фурье для функции рассеяния точки (PSF), служит в качестве информации частотного компонента аберраций и представляется комплексным числом. Абсолютное значение оптической передаточной функции (OTF), которое является компонентом амплитуды, будет называться MTF (передаточная функция модуляции), и компонент фазы будет называться PTF (передаточная функция фазы). MTF и PTF являются частотными характеристиками амплитудного и фазового компонентов ухудшения изображения из-за аберраций. Компонент PTF фазы представлен как угол фазы:
PTF = tan-1(Im(OTF)/Re(OTF))... (1),
где Re(OTF) и Im(OTF) представляют реальную часть и мнимую часть оптической передаточной функции соответственно.
[0006] Как описано выше, так как оптическая передаточная функция оптической системы формирования изображения ухудшает и компонент амплитуды и компонент фазы изображения, соответствующие точки изображения объекта размываются асимметрично относительно фокуса аналогично случаю, в котором имеет место аберрация кома.
[0007] Хроматическая разность (степени) увеличения указывает явление, в котором позиция отображения смещается из-за изменения в увеличении отображения в зависимости от длины волны света. Датчик изображения обычно снабжается мозаичным фильтром цветов RGB, и каждый пиксель конфигурируется, чтобы получить один из R, G и В компонентов цвета. В дополнение к неточному совмещению позиции формирования изображения между длинами волн R G и В, неточное совмещение позиции формирования изображения для каждой длины волны, то есть рассеяние изображения из-за смещения фазы, имеет место в пределах каждого полученного цветового компонента. Хотя хроматическая разность увеличения точно не указывает изменение цвета из-за простого параллельного смещения, изменение цвета и хроматическая разность увеличения используются как синонимы в этом описании, если иначе не определено.
[0008] Известен способ, называемый способом восстановления изображения, или способом реставрации изображения, для коррекции ухудшения в компоненте амплитуды (MTF) и компоненте фазы (PTF), используя информацию оптической передаточной функции оптической системы формирования изображения. Обработка для коррекции ухудшения в изображении, используя информацию оптической передаточной функции оптической системы формирования изображения, поэтому в дальнейшем будет называться обработкой восстановления изображения.
[0009] Краткий обзор обработки восстановления изображения описан ниже. Пусть g (x, y) - есть ухудшенное изображение, f (x, y) - есть первоначальное изображение, и h (x, y) - есть функцией рассеяния точки, полученная посредством выполнения обратного преобразования Фурье для оптической передаточной функции оптической системы формирования изображения. Тогда,
g(x, y)= h(x, y) * f(x, y)... (2)
где оператор "*" представляет свертку и (x, y) представляет координаты на изображении.
[0010] Преобразование Фурье выполняют для уравнения (2), чтобы получить формат отображения на двумерной частотной плоскости, приводя к формату произведения для каждой частоты, как представлено посредством:
G(u, v) = H(u, v) • F(u, v)... (3),
где H представляет оптическую передаточную функцию, полученную посредством выполнения преобразования Фурье для функции рассеяния точки, и (u, v) представляет координаты на двумерной частотной плоскости, то есть частоту.
[0011] Чтобы получить первоначальное изображение из захваченного ухудшенного изображения, необходимо только разделить обе стороны уравнения (3) на H, как представлено:
G(u, v)/Н(u, v) = F(u, v)... (4)
[0012] Первоначальное изображение f (x, y) получают как восстановленное изображение, выполняя обратное преобразование Фурье для F (u, v), чтобы возвратиться к действительной плоскости.
[0013] Пусть R есть 1/H в вышеупомянутом уравнении, подвергавшееся обратному преобразованию Фурье. Тогда возможно получить первоначальное изображение, выполняя сверточную обработку для изображения на действительной плоскости, как указано ниже:
g(x, y) * R(x, y) = f(x, y)... (5)
[0014] R(x, y) будет называться фильтром восстановления изображения. Фильтр восстановления изображения, который должен быть применен к двумерному изображению, является в общем случае двумерным фильтром, имеющим отвод (ячейку), соответствующий каждому пикселю изображения. Кроме того, когда количество отводов (ячеек) фильтра восстановления изображения увеличивается, обычно улучшается точность восстановления. Фактическое количество отводов устанавливается согласно требуемому качеству изображения, способности обработки изображения, характеристикам аберрации и т.п. Так как фильтр восстановления изображения основан на оптической передаточной функции, которая отражает характеристики аберрации оптической системы формирования изображения, ухудшение в компоненте частоты и компоненте фазы может быть скорректировано с высокой точностью. Такой фильтр восстановления изображения существенно отличается от двумерного фильтра, подобного фильтру выделения контуров (фильтру верхних частот), имеющему три отвода в каждом из горизонтального и вертикального направлений.
[0015] Например, японский патент № 3532368 раскрывает способ устранения размытия изображения в части, отличной от диапазона фокусировки, изображения, захваченного флюоресцентным эндоскопом для того, чтобы наблюдать внутреннюю часть живого тела, используя функцию рассеяния точки согласно длине волны флюоресценции, подлежащей использованию.
[0016] Следует заметить, что, так как фактическое изображение включает в себя шумовой компонент, использование фильтра восстановления изображения, созданного посредством получения полного обращения оптической передаточной функции, усиливает шумовой компонент, таким образом не позволяя получить высококачественное восстановленное изображение. Фильтр восстановления изображения, созданный посредством получения полного обращения оптической передаточной функции, восстанавливает ухудшение в амплитуде посредством оптической системы отображения, корректируя (увеличивая) MTF оптической системы формирования изображения так, что MTF становится равной 1 для всех частот. Если компонент амплитуды изображения был суммирован с амплитудой шума, спектр мощности шума увеличивается с увеличением MTF, таким образом нежелательно усиливая шум согласно степени восстановления (коэффициенту восстановления) MTF.
[0017] Существует известный способ подавления шума в восстановленном изображении, используя фильтр восстановления изображения для подавления отношения восстановления на высокочастотной стороне изображения согласно отношению уровня между сигналом изображения и шумовым сигналом, подобный фильтру Винера (Wiener). Ухудшение компонента цветовой окантовки изображения может быть скорректировано, например, исправлением компонента размытости так, чтобы величина размытости для соответствующих цветовых компонентов изображения было однородной. Следует заметить, что так как оптическая передаточная функция изменяется в зависимости от захваченного состояния, такого как позиция масштабирования или диаметр апертурной диафрагмы оптической системы формирования изображения, возможно реализовать высокоточную обработку восстановления изображения, используя фильтр восстановления изображения, соответствующий захваченному состоянию.
[0018] Существует хорошо известная методика улучшения качества изображения посредством выполнения обработки восстановления изображения, используя функцию рассеяния точки оптической системы формирования изображения для захваченного изображения, чтобы корректировать различные аберрации.
[0019] В фактической операции захвата, однако, захваченное состояние введенного изображения, может неоптимально совпадать с состоянием фильтра восстановления изображения, который должен быть применен.
[0020] Примером является захваченное изображение стереоскопического объекта. Так как устройство захвата изображения захватывает изображение посредством фокусировки на одной плоскости в пространстве объекта посредством функции автофокуса или ручной фокусировки, объект, помещенный в фокальную плоскость, захватывается относительно резко. Другой объект (включая часть того же объекта, которая находится в позиции, отличающейся от фокальной плоскости) захватывается с величиной размытости, соответствующей расстоянию от фокальной плоскости.
[0021] Если информация о расстоянии до объекта включает в себя только расстояние от фокальной плоскости, оптимальный фильтр восстановления изображения для этого расстояния объекта и угла вида выбирается или генерируется, чтобы быть использованным. Следовательно, так как оптимальный фильтр восстановления изображения применяется к объекту в фокусе, возможно получить желательный результат восстановления для такого объекта. Так как, однако, фильтр восстановления изображения является не оптимальным для объекта не в фокусе, эффект восстановления получается до некоторой степени, но размытость не может быть устранена для такого объекта.
[0022] С другой стороны, размытость объекта в фотографии используется как способ получения стереоскопического эффекта для объекта или представления интересующего объекта. Например, существует фотографический метод, в котором телеобъектив, имеющий небольшую глубину резкости, используется для фокусировки на главном объекте и фон преднамеренно размывается. С учетом наличия такого фотографического метода вышеописанная обработка восстановления изображения, в которой объект в фокусе сделан более четким и расфокусированный объект остается размытым, может быть подходящей.
[0023] Если, однако, обработка восстановления изображения выполняется, используя фильтр восстановления изображения, который является оптимальным для объекта на фокусном расстоянии и не оптимален для объекта на нефокусном расстоянии, может произойти окрашивание в объекте на нефокусном расстоянии. Окрашивание здесь указывает, что цвет (ложный цвет), который объект не имеет, появляется в краевой части объекта (объект не в фокусе) на нефокусном расстоянии изображения после обработки восстановления изображения, так как соотношение между степенями размытости соответствующих цветовых компонентов изображения перед обработкой восстановления изображения отличаются от такового после обработки восстановления изображения.
[0024] Такое окрашивание может также произойти в операции, отличной от операции захвата стереоскопического объекта. Окрашивание по существу имеет место, когда состояние аберраций в захвате изображения отличается от состояния аберраций, которые скорректированы фильтром восстановления изображения, который должен быть применен, независимо от того, находится ли объект в фокусе. Это может быть вызвано, например, производственной вариацией оптической системы формирования изображения и вариацией в спектре источника света при захвате изображения.
[0025] В качестве способа уменьшения такого окрашивания существует способ коррекции цвета изображения после процесса восстановления изображения на основании цветовой информации изображения перед обработкой восстановления изображения. То есть этот способ предназначен для уменьшения окрашивания из-за обработки восстановления изображения посредством определения изменения в цвете из-за обработки восстановления изображения в каждом пикселе изображения.
[0026] Если датчик изображения имеет матричный цветовой фильтр Байера (Bayer), изображение, полученное этим датчиком изображения, является RAW-изображением, в котором каждый пиксель имеет один из R, G и В компонентов цвета. Два процесса восстановления изображения для такого RAW-изображения рассматриваются. Первый способ применяет процесс интерполяции цвета к RAW-изображению так, чтобы каждый пиксель имел все R, G и В компоненты цвета, и затем применяет фильтр восстановления изображения к каждой из плоскостей R, G и В. Второй способ применяет фильтр восстановления изображения к RAW-изображению, в котором каждый пиксель имеет один цветовой компонент без применения процесса интерполяции цвета.
[0027] В способе применения фильтра восстановления изображения к каждой цветовой плоскости количество пикселей, к которым должна быть применена обработка восстановления изображения и количество отводов фильтра восстановления изображения, являются большими по сравнению со способом применения фильтра восстановления изображения к RAW-изображению, таким образом значительно увеличивая нагрузку обработки восстановления изображения. Если поэтому требуется низкая нагрузка обработки, используется способ применения обработки восстановления изображения к RAW-изображению. Даже когда обработка восстановления изображения применяется к RAW-изображению, может произойти окрашивание в выходном изображении, полученном посредством применения так называемой обработки улучшения, включающей процесс интерполяции цвета в RAW-изображении, если состояние аберраций при захвате изображения отличается от такового аберраций, которые скорректированы фильтром восстановления изображения, который должен быть применен. Окрашивание, которое имеет место в обработке восстановления изображения, которая выполняется для RAW-изображения, чтобы улучшить качество изображения выходного изображения, приводит к ухудшению в качестве изображения, которое не может быть проигнорировано, и должно быть достаточно подавлено.
[0028] Так как, однако, каждый пиксель RAW-изображения имеет только один цветовой компонент, как описано выше, нет никакой цветовой информации, необходимой для измерения изменения в цвете до и после обработки восстановления изображения. Поэтому невозможно применить неизмененный вышеописанный способ коррекции цвета изображения после обработки восстановления изображения на основании цветовой информации изображения перед обработкой восстановления изображения.
[0029] Способ, раскрытый в японском патенте № 3532368, пытается служить дополнением мелкой глубине поля резкости оптической системы формирования изображения посредством выполнения обработки восстановления изображения для нефокусного диапазона захваченного изображения. При обработке восстановления изображения, описанной в японском патенте № 3532368, даже при том, что возможно улучшить резкость несфокусированного диапазона фокусировки, окрашивание, которое имеет место в обработке восстановления изображения, примененной к RAW-изображению, не может быть достаточно подавлено.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0030] Настоящее изобретение было сделано с учетом вышеупомянутых проблем обычной методики и обеспечивает устройство обработки изображения, устройство захвата изображения и способ обработки изображения, которые позволяют подавить окрашивание, которое имеет место в обработке восстановления изображения для RAW-изображения.
[0031] Согласно аспекту настоящего изобретения предоставлено устройство обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем упомянутое устройство обработки изображения содержит: первое средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения; первое средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции; средство обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения; второе средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения; второе средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции вторым средством пиксельной интерполяции; и средство коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
[0032] Согласно другому аспекту настоящего изобретения предоставлено устройство захвата изображения, содержащее: оптическую систему формирования изображения для формирования изображения оптического изображения объекта; датчик изображения для захвата оптического изображения; и устройство обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем устройство обработки изображения содержит: первое средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения; первое средство получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции; средство обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения; второе средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения; второе средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции вторым средством пиксельной интерполяции; и средство коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
[0033] Согласно дополнительному аспекту настоящего изобретения предоставлен способ обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения и в котором каждый пиксель имеет один цветовой компонент, при этом способ содержит: первый этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения; первый этап получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции; этап обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения; второй этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения; второй этап получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции во втором этапе пиксельной интерполяции; и этап коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
[0034] Дополнительные признаки настоящего изобретения станут очевидными из нижеследующего описания вариантов осуществления со ссылками на приложенные чертежи.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0035] Фиг.1 является блок-схемой, показывающей пример компоновки устройства захвата изображения в качестве примера устройства обработки изображения согласно варианту осуществления настоящего изобретения;
[0036] Фиг.2 является блок-схемой, показывающей функциональную компоновку блока обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;
[0037] Фиг.3 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно первому варианту осуществления настоящего изобретения;
[0038] Фиг.4A-4E являются видами для пояснения RAW-изображения, полученного датчиком изображения, имеющим матричный фильтр Байера основного цвета;
[0039] Фиг.5A-5К являются видами для пояснения обработки пиксельной интерполяции обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;
[0040] Фиг.6A и 6B являются видами для пояснения фильтра восстановления изображения согласно первому варианту осуществления настоящего изобретения;
[0041] Фиг.7A и 7B являются видами, схематично показывающими фильтр восстановления изображения, который должен быть применен к RAW-изображению, в котором каждый пиксель имеет только один цветовой компонент;
[0042] Фиг.8 является видом, показывающим точечный источник света согласно варианту осуществления настоящего изобретения;
[0043] Фиг.9A и 9B являются видами для пояснения операции и результат обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;
[0044] Фиг.10A-10D являются графиками, каждый показывающим пример MTF оптической системы формирования изображения устройства захвата изображения согласно варианту осуществления настоящего изобретения и пространственные частотные характеристики MTF после применения фильтра восстановления изображения;
[0045] Фиг.10E является графиком, показывающим скорости увеличения/уменьшения (коэффициент восстановления) для MTF устройства захвата изображения согласно варианту осуществления настоящего изобретения, которые получены посредством применения фильтра восстановления изображения;
[0046] Фиг.11 является блок-схемой, показывающей другую функциональную компоновку блока обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;
[0047] Фиг.12A-12D являются графиками для пояснения характеристики в реальном пространстве и частотном пространстве обработки восстановления изображения согласно варианту осуществления настоящего изобретения;
[0048] Фиг.13A и 13B являются графиками для пояснения генерирования фильтра восстановления изображения с учетом хроматической разности увеличения;
[0049] Фиг.14A и 14B являются видами для пояснения способа генерирования данных коррекции хроматической разности увеличения согласно варианту осуществления настоящего изобретения;
[0050] Фиг.15 является блок-схемой, показывающей функциональную компоновку блока обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения;
[0051] Фиг.16 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно второму варианту осуществления настоящего изобретения;
[0052] Фиг.17A к 17E являются видами для пояснения обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения;
[0053] Фиг.18A и 18B являются видами для пояснения обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения; и
[0054] Фиг.19A и 19B являются видами для пояснения операции и результата обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0055] Варианты осуществления настоящего изобретения описаны ниже более подробно в соответствии с прилагаемыми чертежами.
(Компоновка устройства захвата изображения)
[0056] Фиг.1 является блок-схемой, показывающей компоновку устройства захвата изображения в качестве примера устройства обработки изображения согласно варианту осуществления настоящего изобретения. В этом варианте осуществления описан случай, в котором устройство захвата изображения включает в себя оптическую систему отображения и датчик изображения, к которому применяется настоящее изобретение. Однако компоненты для генерирования захваченного изображения, такие как оптическая система отображения и датчик изображения, не являются существенными в настоящем изобретении.
[0057] Оптическая система 101 формирования изображения формирует оптическое изображение объекта (не показан) на датчике 102 изображения. Датчик 102 изображения преобразует изображение в электрический сигнал, который преобразуется в цифровой сигнал A/D (аналого-цифровым (АЦП)) преобразователем 103 и вводится в блок 104 обработки изображения. Блок 104 обработки изображения включает в себя блок 111 обработки восстановления изображения и другой блок 112 обработки изображения для выполнения обработки изображения, отличной от обработки восстановления изображения. Блок 111 обработки восстановления изображения получает захваченную информацию состояния устройства захвата изображения от блока 107 обнаружения состояния. Блок 107 обнаружения состояния может получить захваченную информацию состояния устройства захвата изображения непосредственно от системного контроллера 110 или может получить захваченную информацию состояния, ассоциированную с оптической системой 101 формирования изображения, от блока 106 управления оптической системой формирования изображения.
[0058] Затем блок 111 обработки восстановления изображения выбирает фильтр восстановления изображения, соответствующий захваченному состоянию, из, например, блока 108 хранения и выполняет обработку коррекции хроматической разности увеличения и обработку применения фильтра восстановления изображения для изображения, введенного в блок 104 обработки изображения. Блок 111 обработки восстановления изображения описан подробно ниже по тексту. Блок 108 хранения может хранить информацию, необходимую для генерирования фильтра восстановления изображения (например, информацию о функции рассеяния точки или оптической передаточной функции), вместо фильтра восстановления изображения. В этом случае блок 111 обработки восстановления изображения выбирает информацию о функции рассеяния точки или оптической передаточной функции, соответствующую захваченному состоянию, из блока 108 хранения, чтобы генерировать фильтр восстановления изображения, соответствующий захваченному состоянию, и использует сгенерированный фильтр восстановления изображения, чтобы выполнить обработку восстановления изображения. Другой блок 112 обработки изображения выполняет заранее определенную обработку изображения, такую как гамма-коррекция и настройка цветового баланса, для изображения после обработки восстановления изображения, таким образом генерируя файл изображения, такой как файл JPEG.
[0059] Системный контроллер 110 сохраняет выходное изображение, обработанное блоком 104 обработки изображения, в носителе 109 записи изображения в заранее определенном формате. Блок 105 отображения может отобразить изображение, полученное посредством выполнения заранее определенной обработки для отображения для этого изображения после обработки восстановления изображения или изображения, которое не подверглось обработке восстановления изображения или подверглось простой обработке восстановления.
[0060] Системный контроллер 110 выполняет ряд операций управления, и блок 106 управления оптической системой формирования изображения механически управляет оптической системой 101 формирования изображения (апертурной диафрагмой 101a, фокусирующей линзой 101b, оптическим масштабированием и т.п.) в ответ на команду от системного контроллера 110. Системный контроллер 110 является, например, программируемым контроллером, таким как CPU или MPU, и реализует полную работу устройства захвата изображения посредством выполнения программы, сохраненной в блоке 108 хранения. Должно быть отмечено, что, хотя блок 104 обработки изображения может быть реализован аппаратным обеспечением, по меньшей мере часть блока 104 обработки изображения может быть также реализована системным контроллером 110 программным образом.
[0061] Диаметр 101a апертурной диафрагмы управляется как параметр F-число захваченного состояния. Позиция фокусирующей линзы 101b управляется механизмом автофокуса (AF) или механизмом ручного фокуса (не показан), чтобы настроить ее фокус согласно расстоянию до объекта. Оптическая система 101 формирования изображения может включать в себя оптический элемент, такой как низкочастотный фильтр или инфракрасный режекторный светофильтр. Должно быть отмечено, что, когда используется элемент, такой как низкочастотный фильтр, который влияет на характеристики оптической передаточной функции, изменение оптической передаточной функции из-за оптического элемента рассматривается при создании фильтра восстановления изображения. Инфракрасный режекторный светофильтр также влияет на функцию рассеяния точки каждого из каналов R, G и B как интеграл функции рассеяния точки длины волны спектроскопии. Это особенно справедливо для функции рассеяния точки канала R. Таким образом, изменение в функции рассеяния точки из-за инфракрасного режекторного фильтра предпочтительно учитывается при создании фильтра восстановления изображения.
[0062] Хотя оптическая система 101 формирования изображения показана как часть устройства захвата изображения на Фиг.1, она может иметь взаимозаменяемую компоновку, подобную камере с взаимозаменяемыми объективами.
(Блок 111 обработки восстановления изображения)
[0063] Фиг.2 является блок-схемой, показывающей функциональную компоновку блока 111 обработки восстановления изображения. Фиг.3 является последовательностью операций для пояснения обработки восстановления изображения в блоке 111 обработки восстановления изображения.
[0064] RAW-изображение, в котором каждый пиксель имеет один цветовой компонент, как показано на Фиг.4A, вводится в блок 111 обработки восстановления изображения. Как показано на Фиг.4B-4D, каждый цветовой компонент имеет значение только в некоторых пикселях. Обработка в блоке 111 обработки восстановления изображения выполняется для каждого цветового компонента (цветовой плоскости), показанного на Фиг.4B, 4C или 4D. Хотя Фиг.4B-4D показывают случай, в котором RAW-изображение вводится посредством каждого цветового компонента, RAW-изображение может быть введено, будучи разделенным на соответствующие цветовые плоскости, или может быть обработано посредством считывания только необходимых цветовых компонентов из памяти, хранящей RAW-изображение.
[0065] На этапе S201 на Фиг.3 первый блок 1001 пиксельной интерполяции применяет обработку пиксельной интерполяции к компонентам G (Фиг.4B), чтобы получить значение компонента G для пикселей без значения компонента G. С помощью этой обработки пиксельной интерполяции обеспечивается, что каждый пиксель имеет значение компонента G, как показано на Фиг.4E.
[0066] На этапе S202 блок (R) 1002 вычисления цветового контраста перед восстановлением получает информацию цветового контраста перед обработкой восстановления изображения на основании компонентов G (Фиг.4E) после обработки пиксельной интерполяции, и компоненты R (Фиг.4C), которые не подверглись пиксельной интерполяции. Точно так же, блок (B) 1003 вычисления цветового контраста перед восстановлением получает информацию цветового контраста перед обработкой восстановления изображения на основании компонентов G (Фиг.4E) после обработки пиксельной интерполяции, и компоненты В (Фиг.4D), которые не подверглись пиксельной интерполяции.
[0067] В этом варианте осуществления цветовой контраст определяется как разность относительно значения сигнала опорного цветового компонента (G в этом случае). Цветовые разности C1r и C1b компонентов R и В, отличных от опорного цветового компонента относительно компонента G, соответственно вычисляются посредством:
C1r(x, y) = R1(x, y) - G1(x, y)... (6)
C1b(x, у) = B1(x, y) - G1(x, y)... (7)
где (x, y) представляет значение координат на изображении.
[0068] Следует заметить, что, так как компоненты R и В не подверглись пиксельной интерполяции, как описано выше, пиксель, для которого хроматическая разность вычисляется на этапе S202, является только пикселем, который имеет значение компонента R или В, отличное от опорного цветового компонента. То есть блок (R) 1002 вычисления цветового контраста перед восстановлением вычисляет C1r(x, y) только для пикселя с "R" на Фиг.4C, и блок (B) 1003 вычисления цветового контраста перед восстановлением вычисляет C1b(x, y) только для пикселя с "B" на Фиг.4D.
[0069] Как описано выше, когда первый блок 1001 пиксельной интерполяции выполняет пиксельную интерполяцию для опорных цветовых компонентов (компонентов G), возможно получить информацию цветового контраста перед применением фильтра восстановления изображения, который необходим для обработки подавления окрашивания, без выполнения пиксельной интерполяции для других цветовых компонентов (компонентов R и В). Были раскрыты различные обычные способы пиксельной интерполяции для RAW-изображения, полученного датчиком изображения, имеющим матричный фильтр Байера цветов, и первый блок 1001 пиксельной интерполяции может использовать произвольный известный способ. Например, значение конкретного цветового компонента целевого пикселя может быть получено методом интерполяции, определенным, используя значения других цветовых компонентов окружающих пикселей. Таким образом, когда значение компонента G заданного пикселя генерируется посредством обработки интерполяции, метод интерполяции для компонента G определяется, используя значения компонентов R и В окружающих пикселей. По сравнению со способом просто линейной интерполяции значений соседних компонентов того же цвета такой адаптивный способ может подавить возникновение ложного цвета или уменьшение в резкости из-за обработки интерполяции.
[0070] Пример адаптивного способа пиксельной интерполяции описан ниже по тексту со ссылками на Фиг.5A-5К. Фиг.5A показывает пример пиксельных значений, скомпонованных в направлении, перпендикулярном к ахроматическому краю изображения. Так как край является ахроматическим, значения компонентов R, G и В каждого пикселя датчика изображения равны друг другу. Как показано на Фиг.5B, изображение сформировано пикселями с (R, G, B)=(100, 100, 100) и пикселями с (R, G, B)=(200, 200, 200). Так как каждый пиксель RAW-изображения, захваченного матричным датчиком Байера изображения, фактически имеет один цветовой компонент, компоновки, показанные на Фиг.5C-5E, получают посредством извлечения значений для каждого цветового компонента. На Фиг.5C-5E черный пиксель представляет пиксель, который требует интерполяции. В этом случае очевидно, что значение каждого цветового компонента после обработки пиксельной интерполяции является идеальным, как показано на Фиг.5B.
[0071] Компоновки пикселей, показанные на Фиг.5C-5E, описываются посредством G(x, y), R(x, y) и B(x, y), соответственно, в дальнейшем. Следует заметить, что x представляет координату в горизонтальном направлении, и у представляет координату в вертикальном направлении. Как показано на Фиг.5C-5E, пиксель в верхнем левом углу имеет значение координат (0, 0) и пиксель в нижнем правом углу имеет значение координат (4, 4).
[0072] Как описано выше, на этапе S201 первый блок 1001 пиксельной интерполяции выполняет обработку пиксельной интерполяции для компонентов G. Пример обработки пиксельной интерполяции адаптивного генерирования значения компонента G каждого черного пикселя, показанного на Фиг.5C, используя пиксельную информацию других окружающих цветовых компонентов, описан ниже по тексту.
[0073] (Например, когда значение компонента G пикселя, имеющего значение компонента R подобное G(1, 2), получено:
H_DIFF=(R(x, y)-R(x-2, y))+(R(x, y)-R(x+2, y))... (8)
V_DIFF=(R(x, у)-R(х, y-2))+(R(x, y)-R(x, y+2))... (9)
если |H_DIFF|>|V_DIFF|
G(x, y)=(G(x, y-1)+G(x, y+1))/2... (10)
если |H_DIFF|≤|V_DIFF|
G(x, y)=(G(x-1, y)+G(x+1, y))/2... (11)
[0074] Как описано выше, величина H_DIFF изменения пиксельных значений в горизонтальном направлении и величина V_DIFF изменения пиксельных значений в вертикальном направлении, которые были вычислены на основании окружающих пиксельных значений, получены для цветового компонента целевого пикселя, и направление, в котором абсолютное значение величины изменения меньше, определяется. Затем пара пиксельных значений с одинаковыми цветовыми компонентами, между которыми существует целевой пиксель, интерполируется (усредняется в этом примере), таким образом получая значение цветового компонента целевого пикселя. Фиг.51 показывает результат такой обработки адаптивной пиксельной интерполяции. Каждая из Фиг.5F-5H показывает результат обработки пиксельной интерполяции для выполнения интерполяции простым усреднением пиксельных значений окружающих пикселей с одинаковыми цветовыми компонентами без применения обработки адаптивной интерполяции изображения, описанной со ссылками на уравнения (8)-(11). Как очевидно посредством сравнения Фиг.51 и 5F друг с другом, каждая из которых получена посредством выполнения обработки пиксельной интерполяции для пикселей G, резкость, когда обработка адаптивной пиксельной интерполяции выполняется, не уменьшается по сравнению со случаем, в котором выполняется обработка линейной интерполяции.
[0075] Случай, в котором значение компонента G генерируется для пикселя со значением компонента R, был описан. Подобно G(2, 1) возможно аналогично генерировать значение компонента G для пикселя со значением компонента В.
[0076] Вышеописанный способ пиксельной интерполяции является просто примером. В качестве способа пиксельной интерполяции, используемого первым блоком 1001 пиксельной интерполяции, может быть принят другой способ, включающий простой способ линейной интерполяции.
[0077] Обращаясь снова к Фиг.3, на этапе S203 блок (G) 1004 применения фильтра восстановления, блок (R) 1005 применения фильтра восстановления и блок (B) 1006 применения фильтра восстановления выбирают фильтр восстановления изображения, подходящий для условий захвата изображения. В это время выбранный фильтр восстановления изображения может быть скорректирован, как необходимо. Это соответствует операции коррекции фильтра восстановления изображения согласно фактическому захваченному состоянию при выполнении обработки восстановления изображения посредством подготовки дискретных данных захваченного состояния, чтобы уменьшить количество данных фильтров восстановления изображения, подготовленных заранее в блоке 108 хранения. Кроме того, вместо выбора фильтра восстановления изображения фильтр восстановления изображения может быть сгенерирован согласно захваченному состоянию на основании информации об оптической передаточной функции, необходимой для генерирования фильтра восстановления изображения.
[0078] На этапе S204 блок (G) 1004 применения фильтра восстановления, блок (R) 1005 применения фильтра восстановления и блок (B) 1006 применения фильтра восстановления используют фильтр восстановления изображения, выбранный или сгенерированный на этапе S203, чтобы выполнить сверточную обработку для каждого пикселя для каждого цветового компонента введенного изображения. Подробности сверточной обработки описаны выше со ссылками на уравнение (5). Это позволяет корректировать асимметрию функции рассеяния точки из-за аберраций оптической системы 101 формирования изображения, таким образом удаляя или уменьшая компоненты размытости изображения.
[0079] Как описано выше, когда фильтр восстановления изображения применяется к двумерному изображению, он формируется как двумерный фильтр, имеющий отводы, соответствующие пикселям, и количество отводов может быть определено на основании характеристик аберрации оптической системы формирования изображения и необходимой точности восстановления. Фиг.6A схематично показывает в качестве примера фильтр восстановления изображения, сформированный как двумерный фильтр, имеющий 11×11 отводов, то есть 11 отводов в каждом из горизонтальном и вертикальном направлений. Следует заметить, что фильтр восстановления изображения, показанный на Фиг.6A, является примером фильтра восстановления изображения, применяемого к каждой цветовой плоскости изображения, в котором каждый пиксель имеет R, G и В компоненты цвета.
[0080] Используя в качестве фильтра восстановления изображения двумерный фильтр, показанный на Фиг.6A, который имеет 100 или более отводов, возможно восстановить аберрации, которые широко распространяются от позиции формирования изображения, такие как сферическая аберрация, аберрация кома, осевая хроматическая аберрация и цветовой блик вне оси оптической системы формирования изображения.
[0081] Хотя Фиг.6A не показывает значение (значение коэффициента) каждого отвода, Фиг.6B показывает пример распределения коэффициентов отвода одной горизонтальной линии фильтра восстановления изображения. Распределение значений (значения коэффициентов) отводов фильтра восстановления изображения служит для возвращения функции рассеяния точки, которая пространственно распределяется из-за аберраций оптической системы формирования изображения к, в идеале, первоначальной точке (когда влияние дифракции игнорируется).
[0082] Значение коэффициента отвода фильтра восстановления изображения используется для сверточной обработки (операции интеграла свертки, операция произведение-сумма), выполняемой для каждого пикселя на этапе обработки восстановления изображения. При сверточной обработке пиксель, который должен быть обработан, делается совпадающим с центральным отводом фильтра восстановления изображения, чтобы применить обработку восстановления изображения к значению сигнала пикселя, который должен быть обработан. В каждой позиции отвода фильтра восстановления изображения получают произведение соответствующего значения сигнала пикселя и значения коэффициента отвода и значение сигнала пикселя, который должен быть обработан, заменяется суммой произведений.
[0083] Возможно получить такой фильтр восстановления изображения посредством вычисления или измерения оптической передаточной функции оптической системы формирования изображения, как описано выше, и выполнения обратного преобразования Фурье для обратной функции оптической передаточной функции. Следует заметить, что, так как фактическое изображение включает в себя шумовой компонент, использование фильтра восстановления изображения, созданного посредством получения полной инверсии оптической передаточной функции, усиливает шумовой компонент, таким образом делая более трудным получить высококачественное восстановленное изображение. Имеется хорошо известный способ подавления шума в восстановленном изображении, используя фильтр восстановления изображения для подавления отношение восстановления на высокочастотной стороне изображения согласно отношению уровней между сигналом изображения и шумовым сигналом, подобный фильтру Винера (описан ниже по тексту).
[0084] Кроме того, оптическая передаточная функция может включать в себя коэффициенты для ухудшения оптической передаточной функции для изображения, введенного в блок 104 обработки изображения, в дополнение к оптической системе отображения. Например, фильтр нижних частот подавляет высокочастотный компонент в частотной характеристике оптической передаточной функции. Кроме того, относительное отверстие пикселя и форма апертуры пикселя датчика изображения влияют на частотную характеристику. Спектральные характеристики источника света и таковые фильтров различных длин волн также влияют на оптическую передаточную функцию. Поэтому желательно создать фильтр восстановления изображения, основанный на обобщенной оптической передаточной функции, включающий различные коэффициенты.
[0085] Если изображение является цветовым изображением в формате RGB, необходимо создать только три фильтра восстановления изображения, соответственно соответствующие R, G и В компонентам цвета. Так как степени размытости соответствующих цветовых компонентов отличаются от друг друга из-за хроматической аберрации оптической системы формирования изображения, соответствующие фильтры восстановления изображения также имеют различные характеристики в зависимости от целевого компонента цвета. Более конкретно, распределение значений отводов, показанных на Фиг.6B, является различным для каждого цветового компонента. Количество отводов в горизонтальном и вертикальном направлениях фильтра восстановления изображения не должно быть равным друг другу и может быть произвольно изменено в пределах диапазона, где возможна сверточная обработка.
[0086] В противоположность фильтру восстановления изображения, который должен быть применен к каждой цветовой плоскости изображения, в котором каждый пиксель имеет R, G и В компоненты цвета, пример фильтра восстановления изображения, который должен быть применен к RAW-изображению, в котором каждый пиксель имеет только один цветовой компонент, показан на Фиг.7A и 7B. Отвод, соответствующий пикселю, имеющему целевой компонент цвета, имеет коэффициент. Фиг.7A схематично показывает, что фильтр восстановления изображения снабжен компонентами G. Фиг.7B схематично показывает фильтр восстановления изображения, который должен быть применен к компонентам R и В. На Фиг.7A и 7B черный отвод имеет коэффициент отвода (коэффициент отвода является отличным от нуля), и белый отвод не имеет коэффициента отвода (коэффициент отвода равен нулю).
[0087] Блок (G) 1004 применения фильтра восстановления применяет сверточную обработку, используя фильтр восстановления изображения, показанный на Фиг.7A, к компонентам G (которые не подверглись пиксельной интерполяции), показанным на Фиг.4B. Кроме того, блок (R) 1005 применения фильтра восстановления и блок (B) 1006 применения фильтра восстановления применяют сверточную обработку, используя фильтр восстановления изображения, показанный на Фиг.7B, к компонентам R, показанным на Фиг.4C, и компонентам В, показанным на Фиг.4D, соответственно.
[0088] На этапе S205 на Фиг.3 второй блок 1007 пиксельной интерполяции применяет обработку пиксельной интерполяции к компонентам G, примененную с фильтром восстановления изображения. Это является той же обработкой, которая выполнена первым блоком 1001 пиксельной интерполяции на этапе S201. Эта обработка пиксельной интерполяции изменяет состояние, показанное на Фиг.4B, к состоянию, показанному на Фиг.4E, в котором каждый пиксель имеет значение компонента G.
[0089] На этапе S206 блок (R) 1008 вычисления цветового контраста после восстановления и блок (B) 1009 вычисления цветового контраста после восстановления получают информацию цветового контраста. Вычисление цвета, выполненное здесь, является таким же, как выполнено блоком (R) 1002 вычисления цветового контраста перед восстановлением и блоком (B) 1003 вычисления цветового контраста перед восстановлением на этапе S202, и разности компонентов R и В относительно опорного цветового компонента В получают согласно следующему уравнению. То есть цветовые контрасты C2r и C2b компонентов R и В относительно компонента G определяются посредством:
C2r(x, y)= R(x, y)-G(x, y)... (12)
C2b(x, у)= B(x, y)-G(x, y)... (13)
[0090] Как описано выше, посредством выполнения пиксельной интерполяции только для компонентов G во втором блоке 1007 пиксельной интерполяции возможно получить информацию цветового контраста после применения фильтра восстановления изображения, которая необходима для обработки подавления окрашивания.
[0091] На этапе S207 блок (R) 1010 регулирования пиксельного значения определяет на основании частей C1b и C2r информации цветового контраста, необходима ли регулировка пиксельного значения для подавления окрашивания для компонентов R, и блок (B) 1011 регулирования пиксельного значения определяет на основании частей C1b и C2b информации цветового контраста, необходима ли регулировка пиксельного значения для подавления окрашивания для компонентов В. Эти процессы определения могут быть сделаны на основании того, увеличился ли цветовой контраст или был ли знак цветового контраста инвертирован, как описано ниже по тексту.
[0092] Блок (R) 1010 регулирования пиксельного значения или блок (B) 1011 регулирования пиксельного значения делают следующее определение для компонента R или В каждого пикселя. Если любое из следующих условий удовлетворено, определяют, что регулировка пиксельного значения для подавления окрашивания необходима для значения соответствующего цветового компонента.
[0093] • Определение для R, которое делается блоком (R) 1010 регулирования пиксельного значения
Условие 1 определения:
C1r(x, y) и C2r(x, y) имеют один и тот же знак и |C1r(x, y)| < |C2r(x, y)|.
Условие 2 определения:
C1r(x, y) и C2r(x, y) имеют различные знаки.
[0094] • Определение для B, которое делается блоком (B) 1011 регулирования пиксельного значения
Условие 1 определения:
C1b(x, y) и C2b(x, y) имеют один и тот же знак и |C1b(x, у)| < |C2b(x, y)|.
Условие 2 определения:
C1b(x, y) и C2b(x, y) имеют различные знаки.
[0095] На этапе S208 блок (R) 1010 регулирования пиксельного значения или блок (B) 1011 регулирования пиксельного значения применяет регулировку пиксельного значения для подавления окрашивания к пикселю, для которого было определено в качестве результата определения, что регулирование пиксельного значения необходимо. Как описано ниже по тексту, обработка регулирования пиксельного значения может использовать цветовой контраст перед обработкой восстановления изображения, если цветовой контраст увеличился, и установить цветовой контраст в 0, когда знак цветового контраста был инвертирован.
[0096] • Регулировка пиксельного значения R, которая выполняется блоком (R) 1010 регулирования пиксельного значения,
если условие 1 определения удовлетворено (цветовой контраст увеличился):
R2(x, y)= G2(x, у)+k × C1r(x, y) (0<k≤1)... (14)
если условие 2 определения удовлетворено (знак цветового контраста был инвертирован):
R2(x, y)= G2(x, y)... (15)
[0097] • Регулировка пиксельного значения B, которая выполняется блоком (B) 1011 регулирования пиксельного значения
если условие 1 определения удовлетворено (цветовой контраст увеличился):
B2(x, y)= G2(x, у)+к × C1b(x, y) (0<к≤1)... (16)
если условие 2 определения удовлетворено (знак цветового контраста был инвертирован):
B2(x, y)= G2(x, y)... (17)
[0098] На этапе S209 применяется фильтр восстановления изображения, и третий блок 1012 пиксельной интерполяции выполняет обработку пиксельной интерполяции для каждого из компонентов цвета R, G и В, которые подверглись обработке регулирования пиксельного значения для подавления окрашивания. Обработка адаптивной пиксельной интерполяции, примененная к компонентам G третьим блоком 1012 пиксельной интерполяции, может быть той же самой, которая выполняется первым блоком 1001 пиксельной интерполяции или вторым блоком 1007 пиксельной интерполяции.
[0099] С другой стороны, способ обработки адаптивной пиксельной интерполяции для компонентов R и В может быть выполнен следующим образом. Случай, в котором адаптивная интерполяция для генерирования, для пикселя, показанного на Фиг.5D, без значения компонента R перед интерполяцией, значения компонента R, используя информацию окружающих пикселей, имеющих другие цветовые компоненты, описан ниже.
[0100] Третий блок 1012 пиксельной интерполяции может выполнить обработку адаптивной пиксельной интерполяции для компонентов R, используя значения компонентов G, интерполированных заранее в зависимости от направления, в котором существуют соседние пиксели, каждый имеющий значение компонента R, следующим образом.
[0101] Если левый и правый соседние пиксели имеют значения (например, R(2, 0)):
Cr = (R(x-1, y)-G(x-1, y)+R(x+1, y)-G(x+1, y))/2... (18)
R(x, y) = G(x, y)+Cr... (19)
[0102] Если верхний и нижний соседние пиксели имеют значения (например, R(1, 1)):
Cr=(R(x, y-1)-G(x, y-1)+R(x, y+1)-G(x, y+1))/2... (20)
R(x, y)=G(x, y)+Cr... (21)
[0103] Если диагональные соседние пиксели имеют значения (например, R(2, 1)):
Cr=(R(x-1, y-1)-G(x-1, y-1)+R(x+1, y-1)-G(x+1, y-1)+R(x-1, y+1)-G(x-1, y+1)+R(x+1, y+1)-G(x+1, y+1))/4... (22)
R(x, y)=G(x, y)+Cr... (23)
[0104] Как описано выше, согласно направлению, в котором существуют соседние пиксели, имеющие значения тех же цветовых компонентов, обработка адаптивной пиксельной интерполяции выполняется посредством интерполяции информации цветового контраста (R-G) полученный для соседних пикселей.
[0105] Для обработки пиксельной интерполяции для компонентов В, показанных на Фиг.5E, согласно направлению, в котором существуют соседние пиксели, имеющие значения тех же цветовых компонентов, обработка адаптивной пиксельной интерполяции выполняется посредством интерполяции информации цветового контраста (R-B), полученной для соседних пикселей, аналогично вышеописанной обработке для компонентов R.
[0106] Фиг.5I-5К показывают примеры значений соответствующих цветовых компонентов, полученных посредством применения такой обработки адаптивной пиксельной интерполяции. Кроме того, Фиг.5F-5H показывают примеры значений соответствующих цветовых компонентов, полученных посредством применения обычной обработки линейной пиксельной интерполяции вместо обработки адаптивной пиксельной интерполяции. При обработке линейной интерполяции генерируются значения, отличные от 100 и 200, и резкость уменьшается относительно идеальной компоновки пикселя, показанной на Фиг.5B. Наоборот, если обработка адаптивной пиксельной интерполяции применяется, значения компонентов R, G и В каждого пикселя равны друг другу, и каждая компоновка пикселя совпадает с таковой, показанной на Фиг.5B. Получая цветовой компонент заданного пикселя, возможно подавить или предотвратить уменьшение в резкости из-за интерполяции посредством адаптивного выполнения пиксельной интерполяции согласно информации пикселей, имеющих отличные цветовые компоненты вокруг заданного пикселя.
[0107] Следует заметить, что способ пиксельной интерполяции, описанный здесь, является просто примером. В качестве способа пиксельной интерполяции, используемого третьим блоком 1012 пиксельной интерполяции, может быть принят другой способ, включая способ простой линейный интерполяции.
[0108] Обработка согласно последовательности операций, показанной на Фиг.3, выполняет обработку восстановления изображения в блоке 104 обработки изображения (блок 111 обработки восстановления изображения). Следует заметить, что так как оптическая передаточная функция оптической системы 101 формирования изображения изменяется в зависимости от высоты изображения оптической системы формирования изображения даже в одном захваченном состоянии, желательно изменить и выполнить вышеописанную обработку восстановления изображения для каждой области (например, каждой из областей h1-h8 на Фиг.14A), разделенной согласно высоте изображения. Более конкретно, необходимо только заставить фильтр восстановления изображения сканировать изображение, выполняя сверточную обработку, таким образом последовательно изменяя фильтр для каждой области. Таким образом, обработка на этапе S203 выполняется для каждого целевого пикселя.
[0109] Следует заметить, что применение фильтра восстановления изображения равна обработке восстановления изображения принято ради простоты и для легкого понимания варианта осуществления. Обработка восстановления изображения может включать в себя, в качестве ее части, другую обработку коррекции, такую как обработка коррекции искажения, обработка коррекции величины окружающего света и обработка уменьшения шума.
[0110] Пример работы и результат получения частей информации цветового контраста до и после обработки восстановления изображения, применения фильтра восстановления изображения и регулировки значения пикселя для подавления окрашивания, которые выполняются на этапах S202, S204, S206 и S208, описаны со ссылками на Фиг.9A и 9B.
[0111] Фиг.9A и 9B являются схематическими видами, каждый показывающим пример пиксельных значений в и вокруг точечного источника света в горизонтальном направлении, на вводе, показанном на Фиг.8, который был получен посредством захвата поля вида, вокруг периметра которого существует точечный источник света. В каждой из Фиг.9A и 9B верхняя часть показывает пиксельные значения компонентов R и G, и нижняя часть показывает разность между значениями компонентов R и G, показанным в верхней части, то есть цветовой контраст.
[0112] Фиг.9A показывает состояние в фокусе. 9A-a на Фиг.9A показывает состояние, в котором не была применена обработка восстановления изображения, и каждая аберрация остается в изображении. Размытие, поэтому, имеет место для обоих компонентов G и R, и цветовая окантовка также имеет место из-за различных степеней размытости компонентов G и R. В этом случае цветовой контраст имеет положительное значение в каждой из левой и правой краевых частей.
[0113] С другой стороны, 9A-b на Фиг.9A показывает состояние, в котором обработка восстановления изображения была применена к RAW-изображению, и аберрации были скорректированы, чтобы удалить компоненты размытия. На 9A-b на Фиг.9A окрашивание не имеет место из-за обработки восстановления изображения в состоянии в фокусе. В этом случае в этом варианте осуществления определено, что регулировка пиксельного значения для подавления окрашивания не является необходимой.
[0114] Фиг.9B показывает состояние не в фокусе. Аналогично 9A-a на Фиг.9A, 9B-a на Фиг.9B показывает состояние, в котором не была применена обработка восстановления изображения, и каждая аберрация остается в изображении. Хотя размытость имеет место для обоих компонентов G и R, степени размытости компонентов G и R равны друг другу и, поэтому цветовой контраст равен 0 для всей области. С другой стороны, 9B-b на Фиг.9B показывает состояние, в котором обработка восстановления изображения была применена к RAW-изображению, и аберрации были скорректированы, чтобы уменьшить компоненты размытия. Так как, однако, степени размытости компонентов G и R отличаются от друг друга, цветовая окантовка имела место. В этом случае цветовой контраст имеет отрицательное значение в каждой из левой и правой краевых частей.
[0115] Такая цветовая окантовка, которая имеет место при применении обработки восстановления изображения, является окрашиванием, которое должно быть подавлено в этом варианте осуществления. 9B-c на Фиг.9B показывает состояние, в котором обработка регулирования пиксельного значения для подавления окрашивания была выполнена на этапе S208 в этом варианте осуществления. Окрашивание из-за обработки восстановления изображения было соответственно подавлено и цветовой контраст равен 0 для всей области аналогично 9B-a на Фиг.9B.
[0116] Как описано выше, в этом варианте осуществления возможно эффективно подавить окрашивание, которое имеет место при применении фильтра восстановления изображения, даже когда обработка восстановления изображения выполнена для RAW-изображения. Разность между степенями размытости каждого из компонентов G и R до и после применения фильтра восстановления изображения в каждом из состояния в фокусе, показанного на Фиг.9A, и состояния не в фокусе, показанном на Фиг.9B, описано ниже со ссылками на Фиг.10A-10E. Фиг.10A-10D являются графиками, каждый схематично показывающий MTF оптической системы 101 формирования изображения и пространственную частотную характеристику MTF после применения фильтра восстановления изображения. Фиг.10E является графиком, схематично показывающим степень увеличения/уменьшения (коэффициент восстановления) MTF, полученную посредством применения фильтра восстановления изображения.
[0117] Фиг.10A показывает MTF оптической системы 101 формирования изображения в состоянии в фокусе, в котором компонент R ухудшается по сравнению с компонентом G. В 9A-a на Фиг.9A степени размытости компонентов G и R различны, и изменение в пиксельном значении компонентов R рассеивается по сравнению с компонентом G в части точечного источника света.
[0118] Фиг.10B показывает MTF после применения фильтра восстановления изображения в состоянии в фокусе, в котором MTF компонентов G и R были соответственно скорректированы, и компоненты G и R совпадают друг с другом. Это получают посредством умножения MTF, показанных на Фиг.10A, на коэффициент восстановления, показанный на Фиг.10E, соответственно. Так как фильтр восстановления изображения был разработан, чтобы выполнить оптимальную обработку восстановления изображения для объекта в фокусе, соответствующая обработка восстановления изображения выполняется в состоянии в фокусе. В состоянии, показанном на 9A-b на Фиг.9A после применения обработки восстановления изображения, поэтому была соответственно удалена размытость компонентов G и R, и цветовая окантовка была также удалена.
[0119] С другой стороны, Фиг.10C показывает MTF оптической системы 101 формирования изображения в состоянии не в фокусе, в котором компоненты G и R ухудшаются и совпадают друг с другом по сравнению с состоянием в фокусе, показанным на Фиг.10A. На 9B-a на Фиг.9B степени размытости компонентов G и R равны друг другу и больше чем таковые в состоянии в фокусе, показанном на 9A-a на Фиг.9A.
[0120] Фиг.10D показывает MTF после применения обработки восстановления изображения в состоянии не в фокусе, в котором были скорректированы MTF компонентов G и R, но компонент G ухудшается по сравнению с компонентом R. Это получают посредством умножения MTF, показанных на Фиг.10С на коэффициент восстановления, показанный на Фиг.10E соответственно. Так как фильтр восстановления изображения был разработан, чтобы выполнить оптимальную обработку восстановления изображения для объекта в фокусе, ожидаемый результат восстановления изображения может не быть получен в состоянии фокуса. В состоянии, показанном в 9B-b на Фиг.9B, после применения обработки восстановления изображения, поэтому, уменьшилась степень размытости компонентов G и R, но компонент G рассеян по сравнению с компонентом R.
[0121] Следует заметить, что блок 111 обработки восстановления изображения из этого варианта осуществления конфигурируется так, что компоненты G входного RAW-изображения вводятся в блок (G) 1004 применения фильтра восстановления для компонентов G без изменения, и выход блока (G) 1004 применения фильтра восстановления является вводом в третий блок 1012 пиксельной интерполяции без изменения. Как показано на Фиг.11, однако, первый блок 1013 пиксельного прореживания может прорежать выходной сигнал от первого блока 1001 пиксельной интерполяции, чтобы ввести его в блок (G) 1004 применения фильтра восстановления, и второй блок 1014 пиксельного прореживания может прорежать выходной сигнал от второго блока 1007 пиксельной интерполяции, чтобы вывести его к третьему блоку 1012 пиксельной интерполяции.
[0122] В компоновке, показанной на Фиг.2, требуется, чтобы память хранила компоненты G после обработки пиксельной интерполяции, которые сгенерированы первым блоком 1001 пиксельной интерполяции и вторым блоком 1007 пиксельной интерполяции, отдельно от компонентов G матрицы Байера. В компоновке, показанной на Фиг.11, однако, так как первый блок 1013 пиксельного прореживания и второй блок 1014 пиксельного прореживания прореживают после обработки пиксельной интерполяции пиксельные значения, созданные посредством обработки интерполяции, чтобы возвратиться в состояние компонентов G матрицы Байера, память не должна хранить компоненты G после обработки пиксельной интерполяции.
[0123] Как описано выше, при выполнении обработки, описанной в этом варианте осуществления, возможно хранить данные изображения, обрабатываемые в различных точках. Например, цветовые компоненты, которые должен быть введены в блоки 1004-1006 применения фильтра восстановления, могут быть сохранены для каждого цветового компонента или сама матрица Байера может быть сохранена (не разделяя их на цветовые плоскости). Подобно компоновке, показанной на Фиг.2, компоненты G, сгенерированные первым блоком 1001 пиксельной интерполяции и вторым блоком 1007 пиксельной интерполяции, могут быть сохранены отдельно от компонентов G матрицы Байера. Способ хранения данных должен быть определен только согласно емкости системной памяти или подобным образом, как необходимо.
[0124] Как описано выше, согласно этому варианту осуществления только компоненты G RAW-изображения подвергаются пиксельной интерполяции, чтобы получить части цветовой информации до и после обработки восстановления изображения для пикселей компонентов R и G. Даже если, поэтому, окрашивание имеет место из-за обработки восстановления изображения, примененной к RAW-изображению, возможно эффективно подавить окрашивание на основании частей цветовой информации, полученной до и после обработки восстановления изображения, таким образом позволяя получить высококачественный результат обработки восстановления изображения. Кроме того, так как пиксельная интерполяция выполняется только для компонентов G, увеличение нагрузки обработки является малым.
(Второй вариант осуществления)
[0125] Второй вариант осуществления настоящего изобретения описан ниже по тексту. Устройство обработки изображения согласно этому варианту осуществления может быть тем же самым, как устройство захвата изображения, описанным в первом варианте осуществления, за исключением компоновки и работы блока обработки восстановления изображения. Работа блока обработки восстановления изображения описана ниже по тексту.
[0126] Коррекция хроматической разности увеличения и фильтр восстановления изображения без компонента коррекции хроматической разности увеличения, который используется в этом варианте осуществления, сначала описан ниже.
[0127] • Фильтр восстановления изображения без компонента коррекции хроматической разности увеличения
Характеристики в реальном пространстве и частотном пространстве обработки восстановления изображения ниже описаны со ссылками на Фиг.12A-12D. Фиг.12A показывает функцию рассеяния точки перед обработкой восстановления изображения, и Фиг.12B показывает функцию рассеяния точки после обработки восстановления. Со ссылками на Фиг.12C, ссылочная позиция 401 обозначает MTF перед обработкой восстановления изображения; и 402 - MTF после обработки восстановления изображения. Со ссылками на Фиг.12D ссылочная позиция 403 обозначает PTF перед обработкой восстановления изображения; и 404 - PTF после обработки восстановления изображения. Как очевидно из Фиг.12A, функция рассеяния точки до обработки восстановления изображения асимметрично распределяется, что заставляет соответствующую PTF иметь значение, отличное от нуля (обозначенное ссылочной позицией 403 на Фиг.12D). Так как обработка восстановления изображения усиливает MTF, как указано посредством MFP 402 на Фиг.12C, и корректирует PTF до нуля, как обозначено посредством PTF 404 на Фиг.12D, функция рассеяния точки после обработки восстановления изображения является симметричной и острой, как показано на Фиг.12B.
[0128] Возможно получить фильтр восстановления изображения посредством выполнения обратного преобразования Фурье для функции, которая была построена на основании обратной функции (1/Н) оптической передаточной функции оптической системы формирования изображения. Хотя вышеописанный фильтр Винера может использоваться как фильтр восстановления изображения, может использоваться другой фильтр. Если используется фильтр Винера, возможно создать фильтр восстановления изображения в реальном пространстве, которое должно использоваться для сверточной обработки посредством выполнения обратного преобразования Фурье для:
[0129] Генерирование фильтра восстановления изображения с учетом хроматической разности увеличения описано ниже по тексту. Кривая 502 на Фиг.13A представляет два цветовых компонента, которые были изображены, в качестве функции рассеяния точки с той же самой формой, как таковая у кривой 501 в позиции, полученной, выполняя параллельное перемещение со ссылкой на позицию отображения кривой 501. Фиг.13B показывает PTF в этот момент времени. Прямые линии 601 и 602 на Фиг.13B соответствуют кривым 501 и 502 на Фиг.13A. Прямая линия 602 представляет, что фаза имеет наклон. Фильтр восстановления изображения может корректировать линейную PTF, как показано на Фиг.13B, и нелинейную PTF, подобную PTF 403 на Фиг.12D, как представлено прямой линией 601 на Фиг.13B, так как первоначальная оптическая передаточная функция включает в себя такие PTF.
[0130] Возможно сгенерировать фильтр восстановления изображения, который не корректирует компонент параллельного перемещения хроматической разности увеличения, генерируя фильтр восстановления изображения на основании оптической передаточной функции, для которой линейный компонент был ранее удален из PTF. С другой стороны, если компонент хроматической разности увеличения удален в реальном пространстве, возможно сгенерировать оптическую передаточную функцию, для которой компонент хроматической разности увеличения был удален, посредством генерирования функции рассеяния точки, для которой кривая 502 на Фиг.13A была параллельно перемещена к позиции кривой 501, чтобы уменьшить разность между цветовыми компонентами, и выполнения преобразования Фурье для сгенерированной функции рассеяния точки. Так как форма функции рассеяния точки кривой 501 фактически отличается от таковой функции рассеяния точки кривой 502, может использоваться способ, чтобы вынудить центр тяжести кривых совпасть друг с другом или способ уменьшения среднего квадратического значения разности между кривыми 501 и 502, чтобы выровнять кривые, таким образом уменьшая разность между цветовыми компонентами. Посредством генерирования фильтра восстановления изображения на основании оптической передаточной функции возможно сгенерировать фильтр восстановления изображения, который корректирует компонент по меньшей мере одного из сферической аберрации, аберрации комы, искривления поля и астигматизма и не корректирует компонент параллельного перемещения хроматической разности увеличения.
[0131] Посредством применения фильтра восстановления изображения, который не корректирует компонент хроматической разности увеличения, становится возможным обработать хроматическую разность увеличения независимо от обработки восстановления изображения. Таким образом, становится возможным выполнить обработку посредством отделения коррекции и заостряя асимметричные аберрации для каждого цветового компонента из коррекции изменения цвета в качестве компонента параллельного перемещения хроматической разности увеличения.
[0132] Следует заметить, что, так как оптическая передаточная функция изменяется в зависимости от высоты изображения (позиции изображения) оптической системы формирования изображения даже в одном и том же захваченном состоянии (одна и та же позиция масштабирования и один и тот же диаметр апертурной диафрагмы), фильтр восстановления изображения по желанию изменяется и используется согласно высоте изображения.
(Обнаружение и коррекция хроматической разности увеличения)
[0133] Возможно вычислить величину коррекции хроматической разности увеличения на основании значений конструкции оптической системы формирования изображения, таких как линейный компонент у PTF и форма функции рассеяния точки, как описано выше. Так как изменение цвета и хроматическая разность увеличения используются как синонимы друг для друга в настоящем описании, как описано выше, хроматическая разность увеличения может быть обработана как величина смещения компонента R или В относительно компонента G.
[0134] Способ коррекции хроматической разности увеличения в этом варианте осуществления описан ниже по тексту.
[0135] Величина изменения цвета из-за хроматической аберрации увеличения обычно изменяется в зависимости от высоты изображения, указывающей расстояние от оптического центра оптической системы формирования изображения. Используя величину D изменения цвета для высоты L изображения, отношение М изменения цвета относительно высоты изображения определяется как:
M=D/L... (25)
[0136] Уравнение F(l) аппроксимации полиномами высокого порядка, представляющее соотношение между высотой l изображения и отношением М изменения цвета вычисляется на основании высоты изображения (в этом примере - области h1-h8, показанные на Фиг.14A) и отношения изменения цвета, как показано на Фиг.14B, и используется в качестве данных коррекции. Фиг.14B показывает случай, в котором данные коррекции вычисляется полиномиальным уравнением третьего порядка, представленным как:
M = F(l) = al3+bl2+cl... (26)
где a, b и с соответственно представляют коэффициенты.
[0137] Изменение цвета корректируется посредством смещения позиции пикселя целевого компонента цвета. Более конкретно, например, следующий способ может корректировать изменение цвета.
[0138] В пикселе (X, Y) в плоскости (R плоскость, В плоскость), подлежащем коррекции, отношение М изменения цвета в пикселе (X, Y) получается на основании высоты L изображения пикселя (X, Y) и данных коррекции. Предположим, что пиксель, соответствующий оптическому центру, имеет координаты (0, 0).
M=F(L)... (27)
[0139] Координаты (X1, Y1) пикселя, который должен быть сгенерирован посредством коррекции изменения цвета, получают посредством:
X1=М×X... (28)
Y1=М×Y... (29)
[0140] Пиксельное значение, соответствующее координатам (X1, Y1) в плоскости, которая должна быть скорректирована, генерируется посредством обычной обработки интерполяции и устанавливается как пиксельное значение пикселя (X, Y). Эти операции выполняются для всех пикселей, таким образом выполняя коррекцию изменения цвета. Таким образом, хроматическая разность увеличения корректируется.
[0141] Фиг.15 является блок-схемой, показывающей функциональную компоновку блока 111” обработки восстановления изображения устройства захвата изображения в качестве примера устройства обработки изображения согласно второму варианту осуществления настоящего изобретения. Со ссылками на Фиг.15, те же самые функциональные блоки, как в блоке 111 обработки восстановления изображения согласно первому варианту осуществления, обозначены такими же ссылочными позициями. Как очевидно посредством сравнения Фиг.2 и 15 друг с другом, этот вариант осуществления характеризуется наличием двух блоков применения фильтра восстановления для компонентов G, блока (R) 1015 коррекции хроматической разности увеличения и блока (B) 1016 коррекции хроматической разности увеличения.
[0142] Работа блока 111” обработки восстановления изображения описана со ссылками на последовательность операций, показанную на Фиг.16.
[0143] На этапе S301 блок (R) 1015 коррекции хроматической разности увеличения и блок (B) 1016 коррекции хроматической разности увеличения корректируют хроматическую разность увеличения компонентов R и В соответственно.
[0144] Как показано на Фиг.4C и 4D, входные компоненты R и В имеют значения только в ограниченных пикселях. Посредством смещения пиксельных позиций с помощью обработки интерполяции, используя только пиксели, имеющие значения, однако, возможно скорректировать хроматическую разность увеличения непосредственно RAW-изображения.
[0145] Обработка (S201) пиксельной интерполяции для компонентов G и обработка (S202) получения информации цветового контраста перед восстановлением являются такими же, как описаны в первом варианте осуществления.
[0146] На этапе S304 блоки 1005, 1006, 1017 и 1018 применения фильтра восстановления выбирают фильтр восстановления изображения, подходящий для условий захвата изображения. Следует заметить, что для фильтра восстановления изображения, используемого в этом варианте осуществления, компонент параллельного перемещения для коррекции хроматической разности увеличения был удален. Таким образом, фильтр восстановления изображения не включает в себя компонент коррекции хроматической разности увеличения, который таким образом корректирует распределение и асимметрию аберраций, чтобы сделать изображение более резким, но не корректирует компонент параллельного перемещения хроматической разности увеличения. Как описано выше, использование такого фильтра восстановления изображения позволяет обработать хроматическую разность увеличения независимо от обработки восстановления изображения. То есть становится возможным выполнить обработку посредством отделения коррекции и сделать более резкими асимметричные аберрации для каждого цветового компонента из коррекции изменения цвета в качестве компонента параллельного перемещения хроматической разности увеличения.
[0147] Кроме того, на этапе S304 выбранный фильтр восстановления изображения может быть скорректирован, как необходимо. Это соответствует операции коррекции фильтра восстановления изображения согласно фактическому захваченному состоянию при выполнении обработки восстановления изображения посредством подготовки дискретных данных захваченного состояния, чтобы уменьшить число данных фильтров восстановления изображения, подготовленных заранее в блоке 108 хранения. Кроме того, вместо выбора фильтра восстановления изображения он может генерироваться согласно захваченному состоянию на основании информации об оптической передаточной функции, необходимой для генерирования фильтра восстановления изображения.
[0148] На этапе S305 блоки 1005, 1006, 1017 и 1018 применения фильтра восстановления применяют фильтр восстановления изображения, выбранный или сгенерированный на этапе S304, к каждому цветовому компоненту захваченного введенного изображения. Это позволяет скорректировать асимметрию функции рассеяния точки из-за аберраций оптической системы 101 формирования изображения, таким образом удаляя или уменьшая компоненты размытости изображения.
[0149] В этом варианте осуществления, как показано на Фиг.17A, 17D и 17E, компонент G RAW-изображения дополнительно разделяется на два компонента G1 и G2 в матрице Байера, к которым блок (G1) 1017 применения фильтра восстановления и блок (G2) 1018 применения фильтра восстановления применяют фильтр восстановления изображения соответственно. Более конкретно, сигнал компонента G, выведенный из пикселя, горизонтально соседнего с пикселем, который выводит сигнал компонента R, устанавливается как сигнал компонента G1, и сигнал компонента G, выведенный из пикселя, горизонтально соседнего с пикселем, который выводит сигнал компонента В, устанавливается как сигнал компонента G2.
[0150] То есть компоненты R, B, G1 и G2, показанные на Фиг.17B-17E, обрабатываются как компоненты восстановления изображения, к которым блоки 1005, 1006, 1017 и 1018 применения фильтра восстановления отдельно применяют обработку восстановления изображения (обработка посредством свертки).
[0151] Значение выполнения обработки посредством дополнительного разделения компонента G на два компонента G1 и G2 описано ниже по тексту. Каждая из Фиг.18A и 18B является видом, показывающим пространственную частотную характеристику компоновки пикселя для каждого цветового компонента в датчике изображения, имеющем матричный фильтр Байера основного цвета.
[0152] Для заранее определенного диапазона (x, y) получают массив m_G(x, y), в котором среди пикселей компонентов G пиксель (белый), способный обнаруживать свет, установлен в "1", и пиксель (черный), не способный обнаруживать свет, установлен в "0". Аналогичные массивы также получают для компонентов R, B, G1 и G2, которые представлены m_R(x, y), m_B(x, y), m_G1(x, y) и m_G2(x, y) соответственно. Результаты, полученные посредством выполнения преобразования Фурье для m_G(x, y), m_R(x, y), m_B(x, y), m_G1(x, y) и m_G2(x, y), соответствуют частотным характеристикам, показанным на Фиг.18A и 18B.
[0153] Фиг.18A показывает гребенчатую функцию, в которой "1" существует только в позициях, обозначенных "•" и который представляет компонент G, включающий в себя оба компонента G1 и G2, то есть частотную характеристику, показанную на Фиг.17A. Частотная характеристика компонента G, показанного на Фиг.18A, отличается от той, что показана на Фиг.18B, которая показывает частотную характеристику компонентов R и В, соответственно показанных на Фиг.17B и 17C. С другой стороны, посредством разделения компонента G на компоненты G1 и G2 частотные характеристики, как показано на Фиг.18B, получают подобно компонентам R и В.
[0154] Так как матричный фильтр Байера основного цвета включает в себя компоненты G в два раза больше, чем компонентов R или В, частотные характеристики компонента G отличаются от таковых компонента R или В, как показано на Фиг.18A и 18B. Если, поэтому, фильтр восстановления изображения применяется к трем цветовым компонентам, то есть компонентам R, G и В, без деления компонента G на компоненты G1 и G2, только компонент G восстанавливается до высокочастотного частотного диапазона. Если только компонент G компонентов R, G и В восстанавливается до высокочастотного частотного диапазона, ложный цвет, который первоначально не существует, может иметь место в области изображения, включающей в себя высокочастотный компонент. Это вызвано изменением в соотношениях между частотными характеристиками компонентов R, G и В в высокочастотном частотном диапазоне изображения до и после обработки восстановления изображения.
[0155] Как описано выше, если частотные характеристики компонентов для подвергания обработке восстановления изображения различны, обработка восстановления изображения вызывает появление ложного цвета. Этот ложный цвет отличается от того, который появляется из-за пиксельной интерполяции для матричного изображения Байера, и имеет место из-за изменения в значении самого пикселя, полученного датчиком изображения. Способ подавления возникновения ложного цвета из-за пиксельной интерполяции, поэтому, не может подавить ложный цвет, который имеет место из-за обработки восстановления изображения.
[0156] Разделяя компонент G на компоненты G1 и G2, пиксельные компоновки четырех компонентов R, G1, G2 и В восстановления изображения представляют одинаковые пространственные частотные характеристики, таким образом позволяя подавить возникновение ложного цвета из-за обработки восстановления изображения. Следует заметить, что даже если компонент G не разделен на компоненты G1 и G2, частотный диапазон компонента G, который должен быть скорректирован, может совпасть с таковым компонента R или В в зависимости от способа создания фильтра восстановления изображения, который должен быть применен к компоненту G. В этом случае, однако, частотный диапазон, который должен быть восстановлен, равен тому, когда компонент G разделен на компоненты G1 и G2.
[0157] Последующая обработка является такой же, как таковая на этапах S205-S209 в первом варианте осуществления. После применения фильтра восстановления изображения посредством разделения компонента G на компоненты G1 и G2 на этапе S305 последующая обработка выполняется, принимая один компонент G.
[0158] Компоновка блока 111” обработки восстановления изображения и обработка восстановления изображения согласно этому варианту осуществления была описана. Пример работы и результат коррекции хроматической разности увеличения на этапе S301 и применение фильтра восстановления изображения без компонента коррекции хроматической разности увеличения на этапе S305 в этом варианте осуществления описаны ниже со ссылками на Фиг.19A и 19B.
[0159] Фиг.19A и 19B являются схематическими видами, каждый показывающий пример пиксельных значений в и вокруг точечного источника света в горизонтальном направлении, на вводе, показанном на Фиг.8, который был получен посредством захвата поля вида, вокруг периметра которого существует точечный источник света. В каждом из Фиг.19A и 19B верхняя часть показывает пиксельные значения компонентов R и G, и нижняя часть показывает разность между значениями компонентов R и G, показанных в верхней части, то есть цветовой контраст.
[0160] Фиг.19A является видом для пояснения операции и результата использования фильтра восстановления изображения без компонента коррекции хроматической разности увеличения в состоянии не фокуса. 19A-a на Фиг.19A показывает состояние, в котором не были выполнены ни обработка коррекции хроматической разности увеличения, ни обработка восстановления изображения, используя фильтр восстановления изображения без компонента коррекции хроматической разности увеличения, и каждая аберрация остается в изображении. Размытость имела место для обоих компонентов G и R, цветовая окантовка также имела место из-за хроматической разности увеличения, и поэтому цветовой контраст имел место на каждом из левого и правого краев. Степени размытости компонентов G и R, однако, равны друг другу.
[0161] 19A-b на Фиг.19A показывает случай, в котором только была применена обработка коррекции хроматической разности увеличения. Хотя размытость имела место для компонентов G и R, цветовая аберрация была удалена посредством обработки коррекции хроматической разности увеличения. Так как степени размытости компонентов G и R первоначально равны друг другу, цветовой контраст равен 0 для всей области.
[0162] 19A-c на Фиг.19A показывает случай, в котором обработка восстановления изображения, используя фильтр восстановления изображения без компонента коррекции хроматической разности увеличения, была применена в дополнение к обработке коррекции хроматической разности увеличения. Так как показано состояние не в фокусе, размытость уменьшена, но окрашивание произошло, так как состояние аберраций в фактическом захваченном состоянии отличается от состояния аберраций, которые должны быть обработаны фильтром восстановления изображения. Это окрашивание должно быть подавлено в этом варианте осуществления. Как описано выше, в этом варианте осуществления необходима ли обработка регулирования пиксельного значения для подавления окрашивания (коррекция пиксельных значений), определяется на основании разности между цветовым контрастом, показанным в b, соответствующем состоянию, в котором хроматическая разность увеличения была скорректирована, и таковым, показанным в с, соответствующем состоянию, в котором был применен фильтр восстановления изображения.
[0163] Так как цветовой контраст в состоянии, показанном в 19A-b на Фиг.19A, равен 0 для всей области, цветовой контраст определяется как подлежащий увеличению посредством применения фильтра восстановления изображения, и таким образом определяется, что необходима регулировка пиксельного значения для подавления окрашивания. 19A-d на Фиг.19A показывает состояние после выполнения обработки регулирования пиксельного значения для подавления окрашивания, в котором окрашивание, которое произошло из-за обработки восстановления изображения, было соответственно подавлено, и цветовой контраст равен 0 для всей области, аналогично состоянию, показанному в b.
[0164] С другой стороны, Фиг.19B показывает случай, в котором фильтр восстановления изображения с компонентом коррекции хроматической разности увеличения используется в состоянии не фокуса. 19B-a на Фиг.19B является такой же, как 19A-a на Фиг.19A, и показывает состояние, в котором не были выполнены ни обработка коррекции хроматической разности увеличения, ни обработка восстановления изображения, используя фильтр восстановления изображения.
[0165] 19B-b на Фиг.19B показывает состояние, в котором в вышеупомянутом состоянии фильтр восстановления изображения с компонентом коррекции хроматической разности увеличения был применен, чтобы выполнить обработку коррекции хроматической разности увеличения и обработку восстановления изображения. Хотя изменение цвета было удалено и размытость уменьшена, окрашивание произошло посредством применения фильтра восстановления изображения. Это состояние является таким же, как таковое, показанное в 19A-C на Фиг.19A.
[0166] Если фильтр восстановления изображения с компонентом коррекции хроматической разности увеличения используется, необходима ли коррекция пиксельного значения для подавления окрашивания, определяется на основании разности между цветовым контрастом в 19B-a на Фиг.19B перед применением фильтра восстановления изображения и таковым в 19B-b на Фиг.19B после применения фильтра восстановления изображения. В этом случае, так как знак цветового контраста был инвертирован в части левого края, определяется, что коррекция пиксельного значения для подавления окрашивания необходима. Так как, однако, цветовой контраст не увеличился, и знак цветового контраста не был инвертирован на правом краю, определяется, что коррекция пиксельного значения не является необходимой.
[0167] 19B-c на Фиг.19B показывает состояние, в котором была выполнена обработка регулирования пиксельного значения для подавления окрашивания, в котором было подавлено окрашивание на левом краю, но окрашивание на правом краю не было подавлено и, таким образом, остается.
[0168] Как описано выше, в этом варианте осуществления в дополнение к эффектам первого варианта осуществления возможно подавить окрашивание с высокой точностью посредством выполнения обработки коррекции хроматической разности увеличения до обработки восстановления изображения и применения фильтра восстановления изображения без компонента коррекции хроматической разности увеличения для выполнения обработки восстановления изображения.
[0169] Кроме того, посредством разделения компонента G на компоненты G1 и G2, чтобы применить обработку восстановления изображения, частотные характеристики соответствующих компонентов RAW-изображения равны друг другу, таким образом позволяя дополнительно подавить окрашивание из-за обработки восстановления изображения.
[0170] Следует заметить, что в этом варианте осуществления блок 111” обработки восстановления изображения, включающий в себя компоновку для разделения опорного цветового компонента G на компоненты G1 и G2, и комбинацию коррекции хроматической разности увеличения и фильтра восстановления изображения без компонента коррекции хроматической разности увеличения, был описан. Однако в других вариантах осуществления любой один или комбинация составляющих элементов могут использоваться, таким образом получая индивидуальные эффекты.
[0171] В дополнительном варианте осуществления компоновка, включающая в себя блоки пиксельного прореживания, может использоваться аналогичным образом к модификации первого варианта осуществления, описанного со ссылками на Фиг.11.
Другие варианты осуществления
[0172] Аспекты настоящего изобретения могут также реализовываться компьютером системы или устройством (или устройствами, такими как CPU или MPU), который считывает и выполняет программу, записанную на устройстве памяти для выполнения функции вышеописанного варианта(ов) осуществления, и посредством способа, этапы которого выполняются компьютером системы или устройством посредством, например, считывания и выполнения программы, записанной в устройстве памяти для выполнения функций вышеописанного варианта(ов) осуществления. С этой целью программа обеспечивается компьютеру, например, через сеть или с носителя записи различных типов, служащего в качестве устройства памяти (например, считываемый компьютером носитель).
[0173] Следует заметить, что каждый из функциональных блоков, таких как "блок" и "секция" на чертежах может быть реализован аппаратным обеспечением (то есть дискретными схемами, ASIC, программируемыми логическими устройствами, и т.д.), программным обеспечением (то есть комбинацией программного обеспечения и процессора, такого как центральный процессор и MPU, который выполняет это программное обеспечение), или их комбинацией. Также следует заметить, что множество функциональных блоков могут быть реализованы единственным объектом аппаратного обеспечения. Также следует заметить, что по меньшей мере один из множества процессов, которые описаны как выполняемые центральным процессором, может быть выполнен другим составляющим собственность или не составляющим собственность аппаратным обеспечением.
[0174] В то время как настоящее изобретение было описано со ссылками на варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми вариантами осуществления.
1. Устройство обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения и в котором каждый пиксель имеет один цветовой компонент, причем упомянутое устройство обработки изображения содержит:
первое средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения;
первое средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение цветового компонента и пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции;
средство обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения;
второе средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения;
второе средство получения для получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции упомянутым вторым средством пиксельной интерполяции; и
средство коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
2. Устройство обработки изображения по п.1, в котором упомянутое средство коррекции пиксельного значения также определяет, согласно разности между первым цветовым контрастом и вторым цветовым контрастом, необходимо ли корректировать пиксельное значение каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, которое было применено с фильтром восстановления изображения, и корректирует пиксельное значение, для которого средство коррекции пиксельного значения определило, что коррекция необходима.
3. Устройство обработки изображения по п.1, дополнительно содержащее средство коррекции хроматической разности увеличения для коррекции хроматической разности увеличения оптической системы формирования изображения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения,
в котором упомянутое первое средство получения получает первую хроматическую разность для каждого цветового компонента, для которого хроматическая разность увеличения была скорректирована, и
упомянутое средство обработки восстановления изображения применяет фильтр восстановления изображения, который не корректирует хроматическую разность увеличения.
4. Устройство обработки изображения по п.1, в котором
RAW-изображение захвачено датчиком изображения, имеющим матричный фильтр Байера основного цвета, и
опорным цветовым компонентом является компонент G.
5. Устройство обработки изображения по п.4, в котором упомянутое средство обработки восстановления изображения дополнительно разделяет компонент G на компонент G1 и компонент G2, и применяет фильтр восстановления изображения к каждому из компонента G1 и компонента G2.
6. Устройство обработки изображения по п.1, дополнительно содержащее
третье средство пиксельной интерполяции для вывода цветовых компонентов, отличных от опорного цветового компонента, который был выведен упомянутым средством коррекции пиксельного значения, и опорного цветового компонента, к которому фильтр восстановления изображения был применен, посредством выполнения пиксельной интерполяции.
7. Устройство обработки изображения по п.6, в котором по меньшей мере одно из упомянутого первого средства пиксельной интерполяции, упомянутого второго средства пиксельной интерполяции и упомянутого третьего средства пиксельной интерполяции выполняет, для значения конкретного цветового компонента пикселя, который должен быть интерполирован, обработку пиксельной интерполяции, используя способ интерполяции, определенный на основании значений цветовых компонентов, отличных от конкретного цветового компонента, взятого из окружающих пикселей.
8. Устройство обработки изображения по п.1, в котором фильтр восстановления изображения сгенерирован на основании функции рассеяния точки оптической системы формирования изображения, для которой разность между цветовыми компонентами функции рассеяния точки уменьшена посредством поступательного перемещения функции рассеяния точки заданного цветового компонента к позиции функции рассеяния точки другого цветового компонента.
9. Устройство обработки изображения по п.1, в котором фильтр восстановления изображения генерируется на основании оптической передаточной функции оптической системы формирования изображения, для которой линейный компонент был удален из частотной характеристики фазы оптической передаточной функции.
10. Устройство захвата изображения, содержащее:
оптическую систему формирования отображения для отображения оптического изображения объекта;
датчик изображения для захвата оптического изображения; и
устройство обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем упомянутое устройство обработки изображения содержит:
первое средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения;
первое средство получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции;
средство обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения;
второе средство пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения;
второе средство получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и пиксельное значение этого опорного цветового компонента после обработки пиксельной интерполяции упомянутым вторым средством пиксельной интерполяции; и
средство коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
11. Способ обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем упомянутый способ содержит:
первый этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения;
первый этап получения, для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента после обработки пиксельной интерполяции;
этап обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения;
второй этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения;
второй этап получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции на втором этапе пиксельной интерполяции; и
этап коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
12. Считываемый компьютером носитель записи, записывающий программу для того, чтобы вынудить компьютер выполнить способ обработки изображения для коррекции ухудшения в качестве изображения из-за аберраций оптической системы формирования изображения устройства захвата изображения в RAW-изображении, которое было захвачено устройством захвата изображения, и в котором каждый пиксель имеет один цветовой компонент, причем упомянутый способ содержит:
первый этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для заранее определенного опорного цветового компонента RAW-изображения;
первый этап получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, первого цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции;
этап обработки восстановления изображения для применения фильтра восстановления изображения на основании функции, представляющей аберрации оптической системы формирования изображения, к каждому цветовому компоненту RAW-изображения;
второй этап пиксельной интерполяции для выполнения обработки пиксельной интерполяции для опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения;
второй этап получения для получения для каждого цветового компонента, отличного от опорного цветового компонента RAW-изображения, к которому был применен фильтр восстановления изображения, второго цветового контраста, используя пиксельное значение этого цветового компонента и соответствующее пиксельное значение опорного цветового компонента, после обработки пиксельной интерполяции на втором этапе пиксельной интерполяции; и
этап коррекции пиксельного значения для коррекции пиксельного значения RAW-изображения, к которому фильтр восстановления изображения был применен, согласно разности между первым цветовым контрастом и вторым цветовым контрастом.
