Устройство формирования изображений и способ управления устройством формирования изображений

Изобретение относится к устройствам формирования изображений. Техническим результатом является создание устройства формирования изображений, способного выполнять коррекцию смешения цветов с высокой точностью. Результат достигается тем, что устройство (10) формирования изображений включает в себя: устройство (14) съемки изображений, включающее в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении; цветовой фильтр, который имеет расположенную с повторением базовую матричную структуру, включающую в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответствующие вторым цветам, которые расположены в виде предопределенной структуры; узел (22) приведения в действие, который приводит в действие устройство (14) съемки изображений так, для матрицы пикселей для считывания с устройства (14) съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в по меньшей мере одном направлении из первого направления и второго направления считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей, считанных с устройства (14) съемки изображений; и узел (20) обработки изображений, который корректирует пиксельные данные пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, имеющего тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице. 2 н. и 10 з.п. ф-лы, 29 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к устройству формирования изображений, к способу управления и к управляющей программе для устройства формирования изображений, и, в частности, к устройству формирования изображений, оснащенному устройством съемки цветных изображений, к способу управления и к управляющей программе для этого устройства формирования изображений.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Первоначальная система с цветной матрицей Байера (Bayer) (см., например, патентные документы 1-3), которая представляет собой цветную матрицу, широко используемую в устройствах съемки цветных изображений, имеет красные (R) и синие (B) пиксели, размещенные в последовательных строках шахматной структуры из зеленых (G) пикселей, к которым человеческий глаз является наиболее чувствительным и которые вносят наибольший вклад в получение сигнала яркости.

ДОКУМЕНТЫ ИЗ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

[0003]

Патентный документ 1 - выложенная заявка на патент Японии (JP-A) №2002-135793

Патентный документ 2 - патент Японии №3960965

Патентный документ 3 - JP-A №2004-266369

Патентный документ 3 - JP-A №2004-266369

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ЗАДАЧА, РЕШАЕМАЯ ИЗОБРЕТЕНИЕМ

[0004] Однако, иногда во время захвата изображений с использованием устройства съемки цветных изображений происходит смешение цветов вследствие влияния просачивания света от соседних пикселей. В таких случаях коэффициент смешения цветов вследствие влияния просачивания света от соседних пикселей обычно измеряют заранее, и затем пиксельные данные для каждого из пикселей корректируют на основании этого коэффициента смешения цветов.

[0005] В устройстве съемки цветных изображений, в котором используют обычную матрицу Байера, например, для генерации данных изображения для видео, в тех случаях, когда считывают 1 строку с пиксельными данными из каждых 3 строк пикселей в вертикальном направлении (прореживание 1/3 в вертикальном направлении), и считывают 1 пиксель с данными изображения для каждых 3 пикселей в горизонтальном направлении (прореживание 1/3 в горизонтальном направлении), оба изображения: изображение, считанное путем прореживания, и исходное изображение являются одной и той же матрицей Байера. Следовательно, цвет пикселя, смежного с пикселем-объектом для коррекции смешения цветов, является одним и тем же как перед прореживанием, так и после прореживания, и, следовательно, коррекция смешения цветов может быть выполнена без модифицирования путем использования значений пикселей смежных пикселей в изображении после прореживания.

[0006] Однако, в тех случаях, когда используют цветовой фильтр с базовой матричной структурой, являющейся наименьшим повторяющимся единичным элементом, превышающим единичный элемент матрицы Байера, например, базовую матричную структуру из 6×6 пикселей, в тех случаях, когда выполняют прореживание 1/2 или прореживание 1/3 в обоих направлениях: в вертикальном направлении и в горизонтальном направлении, иногда изображение после прореживания имеет иную матрицу, чем базовая матричная структура изображения перед прореживанием. В таких случаях цвет пикселя, смежного с пикселем-объектом для коррекции смешения цветов, имеет иной цвет, чем пиксель, являющийся смежным до прореживания, что приводит к проблеме, заключающейся в ухудшении точности коррекции смешения цветов, если коррекция смешения цветов выполняют без модифицирования с использованием значений пикселей тех пикселей, которые являются смежными в изображении после прореживания.

[0007] Настоящее изобретение направлено на решение вышеупомянутой проблемы, и его задачей является создание устройства формирования изображений, способа управления и управляющей программы для устройства формирования изображений, которые способны выполнять коррекцию смешения цветов с превосходной точностью.

СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ

[0008] Для решения вышеупомянутой задачи устройство формирования изображений из настоящего изобретения включает в себя: устройство съемки изображений, включающее в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением; цветовой фильтр, предусмотренный над множественными пикселями, образованными множественными элементами фотоэлектрического преобразования, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответствующие, соответственно, 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры; средство приведения в действие, которое приводит в действие устройство съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей, считанных с устройства съемки изображений; и средство коррекции смешения цветов, которое выполняет коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом, средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

[0009] Согласно изобретению, коррекция пиксельных данных пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, имеющего тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице, позволяет добиться превосходной точности коррекции смешения цветов.

[0010] Следует отметить, что конфигурация может быть выполнена так, что: имеется один или более первых фильтров, расположенных в каждой строке в цветовом фильтре в первом направлении, во втором направлении и в третьих направлениях, которые пересекаются с первым направлением и со вторым направлением; и вторые фильтры, которые соответственно соответствуют каждому цвету из вторых цветов, расположенные так, что имеется 1 или более каждого из них в каждой строке в базовой матричной структуре в первом направлении и во втором направлении.

[0011] Согласно изобретению, первый фильтр, который соответствует первому цвету, вносящему наибольший вклад в получение сигнала яркости, размещен в каждой строке в цветовом фильтре в направлении с первого направления по третье направление, обеспечивая тем самым возможность повышения точности воспроизведения синхронной обработки в областях высокой частоты. Кроме того, вторые фильтры, которые соответственно соответствуют каждому цвету из 2 или более вторых цветов иных, чем первый цвет, размещены так, что имеется 1 или более каждого из них в каждой строке в базовой матричной структуре в первом направлении и во втором направлении, что обеспечивает возможность ослабления генерации цветного муара (ложного цвета) и позволяет добиться формирования изображений с более высоким разрешением.

[0012] Кроме того, конфигурация может быть выполнена так, что цветовым фильтром является цветовой фильтр с расположенной с повторением базовой матричной структурой, причем эта базовая матричная структура имеет первый фильтр, который соответствует первому цвету, вносящему наибольший вклад в получение сигнала яркости, и вторые фильтры, которые соответственно соответствуют 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры из (N×M) пикселей (где N, М - целые числа, равные 3 или более) в первом направлении и во втором направлении.

[0013] Конфигурация может быть выполнена так, что цветовой фильтр включает в себя квадратную матрицу, соответствующую 2×2 пикселям, сконфигурированную из первого фильтра.

[0014] Согласно изобретению то, какое направление, из каждого из этих четырех направлений, является направлением корреляции яркости, может быть определено путем определения минимального расстояния между пикселями на основании значений разности значений пикселей между каждым из пикселей из 4 пикселей квадратной матрице, соответствующей 2×2 пикселям.

[0015] Конфигурация может быть выполнена так, что первым цветом является зеленый (G), а вторыми цветами являются красный (R) и синий (B).

[0016] Конфигурация может быть выполнена так, что: цветовой фильтр включает в себя R-фильтр, G-фильтр и B-фильтр, которые соответствуют красному цвету (R), зеленому цвету (G) и синему цвету (B); и цветовой фильтр сконфигурирован первой матрицей и второй матрицей, упорядоченными с чередованием в первом направлении и во втором направлении, при этом, первая матрица соответствует 3×3 пикселям с G-фильтром, расположенным в центре и в 4 углах, B-фильтром, расположенным сверху и снизу от центрального G-фильтра, и R-фильтром, расположенным слева и справа от центрального G-фильтра, а вторая матрица соответствует 3×3 пикселям с G-фильтром, расположенным в центре и в 4 углах, R- фильтром, расположенным сверху и снизу от центрального G-фильтра, и B-фильтром, расположенным слева и справа от центрального G-фильтра.

[0017] Согласно изобретению, если извлечены 5×5 пикселей (локальная область мозаичного изображения) с центром в первой матрице или во второй матрице, то 2×2 пикселей из G-пикселей присутствуют в 4 углах 5×5 пикселей. Значения G-пикселей из этих 2×2 пикселей могут использоваться для определения направления корреляции из 4 направлений.

[0018] Кроме того конфигурация может быть выполнена так, что: цветовой фильтр включает в себя R-фильтр, G-фильтр и B-фильтр, соответствующие следующим цветам: красному (R), зеленому (G) и синему (B); и цветовой фильтр сконфигурирован первой матрицей и второй матрицей, упорядоченными с чередованием в первом направлении и во втором направлении, при этом, первая матрица соответствует 3×3 пикселям с R-фильтром, расположенным в центре, B-фильтром, расположенным в 4 углах, и G-фильтром, расположенным сверху, снизу, слева и справа от центрального R-фильтра, а вторая матрица соответствует 3×3 пикселям с B-фильтром, расположенным в центре, R-фильтром, расположенным в 4 углах, и G-фильтром, расположенным сверху, снизу, слева и справа от центрального B-фильтра.

[0019] Согласно изобретению, если извлечены 5×5 пикселей (локальная область мозаичного изображения) с центром в первой матрице или во второй матрице, то имеется G-пиксель, непосредственно примыкающий в горизонтальном направлении и в вертикальном направлении к центральному пикселю (R-пикселю или B-пикселю) из 5×5 пикселей. Значения пикселей из этих G-пикселей (в общей сложности 8 пикселей) могут использоваться для определения направления корреляции из 4 направлений.

[0020] Следует отметить, что в тех случаях, когда имеются множественные пиксели на кратчайшем расстоянии, средство коррекции смешения цветов может корректировать пиксельные данные пикселя-объекта, на основании пиксельных данных любого пикселя из множественных пикселей.

[0021] Кроме того конфигурация может быть выполнена так, что средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта на основании среднего значения пиксельных данных множественных пикселей в тех случаях, когда присутствуют множественные пиксели на кратчайшем расстоянии.

[0022] Предпочтительно цикл является циклом из 3 или менее пикселей.

[0023] Конфигурация может быть выполнена так, что дополнительно включает в себя средство переключения, которое переключает цикл.

[0024] Способ управления для устройства формирования изображений из настоящего изобретения представляет собой способ управления для устройства формирования изображений, включающего в себя устройство съемки изображений, которое включает в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением, а над множественными пикселями, сконфигурированными посредством множества элементов фотоэлектрического преобразования, предусмотрен цветовой фильтр, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры. Способ управления включает в себя следующее: приводят в действие устройство съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, считаную из устройства съемки изображения, которая отличается от первой матрицы, выражающей матрицу всех пикселей устройства съемки изображений; и выполняют обработку по коррекции смешения цветов, при которой выполняют коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом, пиксельные данные пикселя-объекта для коррекции смешения цветов корректируют на основании пиксельных данных из пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

[0025] Управляющая программа из настоящего изобретения представляет собой управляющую программу, которая вызывает выполнение обработки в компьютере, управляющем устройством формирования изображений, которое включает в себя устройство съемки изображений, включающее в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением, а над множественными пикселями, сконфигурированными посредством множества элементов фотоэлектрического преобразования, предусмотрен цветовой фильтр, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, вносящему наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, которые являются иными, чем первый цвет, расположенные в виде предопределенной структуры. Обработка включает в себя: этап приведения в действие устройства съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей устройства съемки изображений; и этап обработки по коррекции смешения цветов, на котором выполняют коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом, пиксельные данные пикселя-объекта для коррекции смешения цветов корректируют на основании пиксельных данных из пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и которым является пиксель, находящийся на кратчайшем расстоянии от смежного пикселя в первой матрице.

[0026] Управляющая программа из настоящего изобретения вызывает выполнение обработки в компьютере, причем эта обработка представляет собой обработку по коррекции смешения цветов для коррекции смешения цветов матрицы пикселей, считанных с устройства съемки изображений, включающего в себя множественные элементы фотоэлектрического преобразования, упорядоченные в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением, а над множественными пикселями, сконфигурированными посредством множества элементов фотоэлектрического преобразования, предусмотрен цветовой фильтр, причем этот цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, вносящему наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, которые являются иными, чем первый цвет, расположенные в виде предопределенной структуры, а при обработке по коррекции смешения цветов выполняют коррекцию смешения цветов для соответствующих пиксельных данных из считанных пикселей, при этом, пиксельные данные предназначены для пикселей, расположенных в заданном цикле по меньшей мере в одном направлении из первого направления и второго направления, для получения второй матрицы, отличающейся от первой матрицы, которая выражает матрицу всех пикселей устройства съемки изображений, и включает в себя этап коррекции пиксельных данных пикселя-объекта для коррекции смешения цветов на основании пиксельных данных из пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[0027] Согласно настоящему изобретению, продемонстрирован полезный эффект, состоящий в обеспечении возможности выполнения коррекции смешения цветов с превосходной точностью.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0028] На Фиг. 1 изображена принципиальная блок-схема устройства формирования изображений согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 2 изображена схема конфигурации цветового фильтра согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 3 изображена схема, на которой проиллюстрирована базовая матричная структура, содержащаяся в цветовом фильтре согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 4 изображена схема, иллюстрирующая цветовой фильтр, в котором базовые матричные структуры 6×6 пикселей, содержащиеся в цветовом фильтре согласно первому варианту осуществления изобретения, который приведен в качестве примера, разделены на матрицы A и матрицы B из 3×3 пикселей, которые расположены с повторением вдоль направления по горизонтали и направления по вертикали.

На Фиг. 5 изображена схема, иллюстрирующая характерное размещение G-пикселей в цветовом фильтре согласно первому варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 6 изображена блок-схема последовательности операций обработки, выполняемой в контроллере.

На Фиг. 7 изображена схема для объяснения того случая, когда считывание с прореживанием 1/2 выполняют в направлении по вертикали и в направлении по горизонтали.

На Фиг. 8 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 9 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 10 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 11 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 12 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 13 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 14 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 15 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 16 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 17 изображена схема для объяснения обработки по коррекции смешения цветов.

На Фиг. 18 изображена схема конфигурации цветового фильтра согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 19 изображена схема, иллюстрирующая базовую матричную структуру, содержащуюся в цветовом фильтре согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 20A изображена схема, иллюстрирующая цветовой фильтр, в котором базовые матричные структуры 6×6 пикселей, содержащиеся в цветовом фильтре согласно второму варианту осуществления изобретения, который приведен в качестве примера, разделены на матрицы A и матрицы B из 3×3 пикселей, которые расположены с повторением вдоль направления по горизонтали и направления по вертикали.

На Фиг. 20B изображена схема, на которой проиллюстрировано характерное размещение G-пикселей в цветовом фильтре согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 21 изображена схема для пояснения изображения после прореживания согласно второму варианту осуществления изобретения, который приведен в качестве примера.

На Фиг. 22 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 23 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 24 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 25 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 26 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 27 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 28 изображена схема видоизмененного примера цветового фильтра.

На Фиг. 29 изображена схема видоизмененного примера цветового фильтра.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0029] Ниже дано объяснение относительно приведенных в качестве примера вариантов осуществления настоящего изобретения со ссылкой на чертежи.

[0030] Первый вариант осуществления изобретения, приведенный в качестве примера

[0031] На Фиг. 1 изображена принципиальная блок-схема, на которой проиллюстрировано устройство 10 формирования изображений согласно данному варианту осуществления изобретения, который приведен в качестве примера. Устройство 10 формирования изображений сконфигурировано так, что включает в себя оптическую систему 12, устройство 14 съемки изображений, узел 16 обработки захвата изображений, узел 20 обработки изображений, узел 22 приведения в действие и контроллер 24.

[0032] Оптическая система 12 сконфигурирована так, что включает в себя, например, набор линз, сконфигурированный из множества оптических линз, механизм регулирования апертуры, механизм-трансфокатор и механизм автоматической фокусировки.

[0033] Устройство 14 съемки изображений представляет собой то, что именуют однокристальным устройством съемки изображений, сконфигурированным посредством устройства съемки изображений, такого как, например, например прибор с зарядовой связью (ПЗС) или комплементарная структура металл-оксид-полупроводник (КМОП), которое содержит множественные элементы фотоэлектрического преобразования, упорядоченные в направлении по горизонтали и в направлении по вертикали, с цветовым фильтром, расположенным над устройством съемки изображений.

[0034] На Фиг. 2 проиллюстрирован участок цветового фильтра согласно данному варианту осуществления изобретения, который приведен в качестве примера. Поверх каждого из пикселей помещен один из 3 фильтров основных цветов: красный (R), зеленый (G) и синий (B).

[0035] Признаки матрицы цветовых фильтров

[0036] Цветовой фильтр из первого варианта осуществления изобретения, который приведен в качестве примера, включает в себя следующие признаки (1)-(6).

[0037] Признак (1)

[0038] Матрица цветового фильтра имеет расположенную с повторением базовую матричную структуру из предопределенной структуры из (N×M) пикселей (где N, М - целые числа, равные 3 или более) в направлении по вертикали и в направлении по горизонтали, состоящую из 3 фильтров основных цветов красного (R), зеленого (G) и синего (B), при этом, зеленый (G) фильтр, и по меньшей мере один цветовой фильтр из красного (R) или синего (B) расположен в каждом из направлений: в направлении по вертикали и в направлении по горизонтали.

[0039] Цветовой фильтр согласно данному варианту осуществления изобретения, проиллюстрированному на Фиг. 2, который приведен в качестве примера, включает в себя базовую матричную структуру P (структуру, обозначенную жирной рамкой), сформированную из квадратных матричных структур, соответствующих, например, 6×6 пикселям (N=М=6), с базовой матричной структурой P, расположенной так, что она повторяется как в направлении по горизонтали (первое направление), так и в направлении по вертикали (второе направление). А именно, цветовой фильтр упорядочен так, что соответствующие фильтры каждого цвета R, G, B (R-фильтры, G-фильтры, B-фильтры) имеют конкретную периодичность.

[0040] Таким образом, упорядочение R-фильтров, G-фильтров и B-фильтров с конкретной периодичностью обеспечивают возможность выполнения обработки в повторяющейся структуре во время, например, обработки с синхронизацией (также именуемой обработкой по устранению мозаичности, причем то же самое применимо ниже) R, G, B сигналов, считанных с устройства съемки цветных изображений.

[0041] Признак (2)

[0042] Матрица цветового фильтра, проиллюстрированная на Фиг. 2, имеет G-фильтр, который соответствует цвету, вносящему наибольший вклад в получение сигнала яркости (цвет G в данном варианте осуществления изобретения, приведенном в качестве примера), который расположен в каждой строке в матрице цветового фильтра в направлении по вертикали, которое является первым направлением, в направлении по горизонтали, которое является вторым направлением, и в третьих направлениях в плоскости цветового фильтра, которые пересекаются с первым направлением и со вторым направлением, а именно, в диагональных направлениях (NE, NW) (третьи направления). Следует отметить, что NE означает диагональное направление вправо вверх, а NW означает диагональное направление вправо вниз. Например, для квадратной матрицы пикселей, направление по диагонали вправо вверх и направление по диагонали вправо вниз являются направлениями под 45° относительно направления по горизонтали. Однако, в прямоугольной матрице пикселей эти направления являются парой диагоналей прямоугольника, и их угол изменяется в соответствии с длинами длинных сторон и коротких сторон.

[0043] Размещение G-фильтров, соответствующих яркости пикселей системы, в каждой из строк в направлении по вертикали, в направлении по горизонтали и в направлениях по диагонали (NE, NW) матрицы цветового фильтра обеспечивает повышение точности воспроизведения обработки с синхронизацией в областях высокой частоты вне зависимости от направленности высокой частоты.

[0044] Признак (3)

[0045] В матрице цветового фильтра, проиллюстрированной на Фиг. 2, 1 или более каждого из фильтров: R-фильтра и B-фильтра, соответствующих 2 или более цветам помимо вышеупомянутого цвета G (цвета R, B в данном варианте осуществления изобретения, который приведен в качестве примера), расположены в каждой строке в базовой матричной структуре P в направлении по вертикали и в направлении по горизонтали матрицы цветового фильтра.

[0046] Расположение R-фильтра и B-фильтра в каждой строке в направлении по вертикали и в направлении по горизонтали матрицы цветового фильтра обеспечивает ослабление генерации цветного муара (ложного цвета).

[0047] Таким образом, это обеспечивает возможность исключить размещение оптического фильтра нижних частот для подавления генерации ложного цвета на оптическом пути оптической системы, от поверхности падения до плоскости изображения, или, даже в случаях, когда применен оптический фильтр нижних частот, можно использовать фильтр, имеющий слабое действие, для обрезания высокочастотных составляющих для предотвращения генерации ложного цвета, что позволяет избежать ухудшения разрешающей способности.

[0048] Признак 4

[0049] На Фиг. 3 проиллюстрировано состояние, в котором базовая матричная структура P, проиллюстрированная на Фиг. 2, была разделена на 4 набора 3×3 пикселя.

[0050] Базовая матричная структура P, проиллюстрированная на Фиг. 3, может восприниматься как матрица A 3×3 пикселя, окруженная рамкой в виде сплошной линии, и как матрица B 3×3 пикселя, окруженная рамкой в виде пунктирной линии, которые упорядочены так, что расположены с чередованием вдоль направлений по горизонтали и по вертикали.

[0051] В обеих матрицах: в матрице A и в матрице B G-фильтры, которые являются пикселями системы яркости, размещены в 4 углах и в центре, в силу чего они размещены на обеих диагональных линиях. В матрице A R-фильтры размещены с обеих сторон центрального G-фильтра в направлении по горизонтали, а B-фильтры размещены с обеих сторон центрального G-фильтра в направлении по вертикали. Однако, в матрице B B-фильтры размещены с обеих сторон центрального G-фильтра в направлении по горизонтали, а R-фильтры размещены с обеих сторон центрального G-фильтра в направлении по вертикали. То есть, матрица A и матрица B имеют обратные взаимные расположения R-фильтров и B-фильтров, но имеют сходное расположение в противном случае.

[0052] Вследствие расположения матрицы A и матрицы B с чередованием в направлении по вертикали и в направлении по горизонтали, как проиллюстрировано на Фиг. 4, 4 угловых G-фильтра в матрице A и в матрице B образуют квадратную матрицу G-фильтров, соответствующую 2×2 пикселям.

[0053] То есть, матрица цветового фильтра (базовая матричная структура P), проиллюстрированная на Фиг. 2, включает в себя квадратные матрицы, соответствующие 2×2 пикселям, сконфигурированные G-фильтрами.

[0054] Когда, как проиллюстрировано на Фиг. 5, локальная область 5×5 пикселей с центром в матрице A, извлечена из мозаичного выходного изображения из устройства 14 съемки изображений, 2×2 пикселя из G-пикселей в 4 углах в локальной области расположены так, как проиллюстрировано на Фиг. 5.

[0055] Как проиллюстрировано на Фиг. 5, беря значения пикселей 2×2 пикселей из G-пикселей как G1, G2, G3, G4 последовательно с верхнего левого до нижнего правого, абсолютное значение разности значений пикселей в направления по вертикали для этих G-пикселей равно (|G1-G3|+|G2-G4|)/2, абсолютное значение разности в направлении по горизонтали равно (|G1-G2|+|G3-G4|)/2, абсолютное значение разности в направлении по диагонали вверх вправо равно |G2-G3|, а абсолютное значение разности в направлении по диагонали вверх влево равно |G1-G4|.

[0056] Затем может быть определена корреляция (направление корреляции) как направление с наименьшим абсолютным значением разности из этих четырех абсолютных значений корреляции.

[0057] Как проиллюстрировано на Фиг. 4 или Фиг. 5, когда из мозаичного изображения извлечена локальная область 5×5 пикселей так, что матрица A 3×3 пикселя расположена в ее центре, то имеется 2×2 пикселя из G-пикселей, расположенных в ее 4 углах. Следовательно, когда 3×3 пикселями матрицы A внутри вышеупомянутой локальной области являются пиксели, подвергаемые обработке с синхронизацией, суммы (или средние значения) абсолютных значений корреляции 4 углов получают по отдельности для каждого направления, и направление, имеющее наименьшее значение из сумм (или средних значений) абсолютных значений корреляции для каждого направления определяют как направление корреляции яркости для пикселей, подвергаемых обработке с синхронизацией. Определенное направление корреляции может использоваться при выполнении обработки с синхронизацией и т.п.

[0058] Признак 5

[0059] Кроме того, базовая матричная структура P, конфигурирующая матрицу цветового фильтра, проиллюстрированную на Фиг. 2, имеет точечную симметрию относительно центра базовой матричной структуры (центра 4 G-фильтров). Кроме того, как проиллюстрировано на Фиг. 3, каждая матрица A и матрица B внутри базовой матричной структуры также соответственно имеет точечную симметрию относительно центральных G-фильтров, а также имеет симметрию вверх-вниз и влево-вправо (осевую симметрию).

[0060] Эта симметрия позволяет уменьшить степень интеграции схемы в схеме обработки на более позднем этапе, и упростить ее.

[0061] Узел 16 обработки захвата изображений выполняет предопределенную обработку сигналов захвата изображений на выходе устройства 14 съемки изображений, например, обработку усиления, корреляционную обработку двойных выборок или обработку аналого-цифрового преобразования, а затем выводит их как данные изображения в узел 20 обработки изображений.

[0062] Узел 20 обработки изображений подвергает данные изображения, выведенные из узла 16 обработки захвата изображений, тому, что именуют обработкой с синхронизацией. А именно, для всех пикселей, выполняют интерполяцию данных изображения для цветов иных, чем соответственно соответствующий цвету из пиксельных данных периферийных пикселей, для генерации R, G, B данных изображения для всех пикселей. Затем для сгенерированных R, G, B данных изображения выполняют то, что именуют обработкой с YC-преобразованием (преобразованием яркость-цветность), для генерации яркостных данных Y и цветоразностных данных Cr, Cb. Затем выполняют обработку по изменению размера для изменения размера этих сигналов до размера, соответствующего режиму захвата изображения.

[0063] Кроме того, как подробно описано ниже, узел 20 обработки изображений выполняет обработку по коррекции смешения цветов для каждого пикселя, на основании пиксельных данных смежных пикселей. Например, в тех случаях, когда выполняют считывание с прореживанием, в тех случаях, когда матрица цветов изображения после прореживания отличается от матрицы цветов изображения перед прореживанием, выполняют коррекцию пиксельных данных для пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту, для коррекции смешения цветов в матрице до прореживания (первой матрице), и который находится на кратчайшем расстоянии от смежного пикселя в матрице до прореживания. Таким образом, это обеспечивает возможность выполнения коррекции смешения цветов с превосходной точностью даже в тех случаях, когда матрица цветов изображения после прореживания отличается от матрицы цветов изображения до прореживания.

[0064] Узел 22 приведения в действие выполняет приведение в действие, например, считывание сигналов захвата изображения из устройства 14 съемки изображений согласно команде из контроллера 24.

[0065] Контроллер 24 осуществляет централизованное управление, например, узлом 22 приведения в действие и узлом 20 обработки изображений в соответствии с такими факторами, как режим захвата изображения. Подробное описание приведено ниже, однако, в кратком изложении, контроллер 24 дает узлу 22 приведения в действие команду считывания сигналов захвата изображения способом считывания в соответствии с режимом захвата изображения, и дает узлу 20 обработки изображений команду выполнить обработку изображений в соответствии с режимом захвата изображения.

[0066] Поскольку в зависимости от режима захвата изображения имеется необходимость прореживания и считывания сигналов захвата изображения с устройства 14 съемки изображений, то контроллер 24 дает узлу 22 приведения в действие команду прореживания способом прореживания согласно заданному командой режиму захвата изображения и считывания сигналов захвата изображения. То есть, можно переключить способ прореживания посредством контроллера 24, дающего узлу 22 приведения в действие команду считать пиксельные данные для каждого из пикселей в конкретном цикле пикселей в направлении по вертикали, и конкретном цикле пикселей в направлении по горизонтали.

[0067] В качестве режима захвата изображения существует режим неподвижного изображения, в котором захватывают неподвижное изображение, и видеорежимы, включая режим HD-видео, в котором прореживают захваченное изображение и генерируют видеоданные высокой четкости (HD) со сравнительно высоким разрешением и записывают их на носителе записи, таком как, например, карта памяти, не проиллюстрированная на чертежах, и посредством видеорежима (режима просмотра в реальном времени), в котором захваченное изображение прореживают и выводят в узел отображения, не проиллюстрированный на чертежах, посредством видеоизображения (изображение просмотра в реальном времени) со сравнительно низким разрешением. Однако, тип режима захвата изображения не ограничен этим вариантом.

[0068] Приведенное ниже объяснение относится к обработке, выполняемой контроллером 24, как к функционированию данного варианта осуществления изобретения, который приведен в качестве примера, со ссылкой на блок-схему последовательности операций, проиллюстрированную на Фиг. 6.

[0069] Следует отметить, что обработка, проиллюстрированная на Фиг. 6, выполняется в тех случаях, когда дана команда выполнить захват изображения согласно режиму захвата изображения.

[0070] Сначала на этапе 100 в узел 22 приведения в действие дают команду считывания пиксельных данных способом прореживания, соответствующим режиму захвата изображения, а именно, пиксельных данных пикселей в циклах, заданных в направлении по вертикали и в направлении по горизонтали согласно режиму захвата изображения (в данном варианте осуществления изобретения, приведенном в качестве примера, узел 22 приведения в действие и контроллер 24 соответствуют средству приведения в действие). В качестве примера, в данном варианте осуществления изобретения, который приведен в качестве примера, пиксельные данные считывают из каждого из пикселей в 2 циклах пикселей в обоих направлениях: в направлении по вертикали и в направлении по горизонтали, а именно, с прореживанием 1/2. В этом случае данные изображения после прореживания представляют собой изображение, подобное тому, которое проиллюстрировано, например, на Фиг. 7. А именно, матрица изображения после прореживания является иной, чем матрица изображения до прореживания. Даже в тех случаях, когда матрица изображения после прореживания включает в себя ту же самую матрицу, что и матрица изображений перед прореживанием, то есть, изображение после прореживания содержит изображение, в котором повторяется базовая матричная структура P, эти два изображения расценивают как отличающиеся друг от друга, если матрица изображения после прореживания не полностью совпадает с матрицей до прореживания в обоих направлениях: в направлении по вертикали и в направлении по горизонтали.

[0071] На этапе 102 узел 20 обработки изображений получает команду выполнить обработку по коррекции смешения цветов для считанных данных изображения и выполнить обработку изображений согласно режиму захвата изображения (например: обработку с синхронизацией, обработку с YC-преобразованием и обработку по изменению размера) для данных изображения после обработки по коррекции смешения цветов (в данном варианте осуществления изобретения, который приведен в качестве примера, узел 20 обработки изображений и контроллер 24 соответствуют средству коррекции смешения цветов).

[0072] При обработке по коррекции смешения цветов выполняют такую обработку, как, например, отслеживание каждого из пикселей. Например, если пиксельные данные пикселя-объекта для коррекции смешения цветов обозначены как Da, пиксельные данные пикселя, непосредственно примыкающего к верхней стороне пикселя-объекта, обозначены как D1, пиксельные данные пикселя, непосредственно примыкающего к нижней стороне пикселя-объекта, обозначены как D2, пиксельные данные пикселя, непосредственно примыкающего к левой стороне пикселя-объекта, обозначены как D3, пиксельные данные пикселя, непосредственно примыкающего к правой стороне пикселя-объекта, обозначены как D4, коэффициент смешения цветов, принятый пикселем-объектом из пикселя с верхней стороны пикселя-объекта, обозначен как K1, коэффициент смешения цветов, принятый пикселем-объектом из пикселя с нижней стороны пикселя-объекта, обозначен как K2, коэффициент смешения цветов, принятый пикселем-объектом из пикселя с левой стороны пикселя-объекта, обозначен как K3, а коэффициент смешения цветов, принятый пикселем-объектом из пикселя с правой стороны пикселя-объекта, обозначен как K4, то пиксельные данные Db после коррекции пикселя-объекта вычисляют согласно приведенному ниже уравнению. Следует отметить, что коэффициенты K1-K4 смешения цветов вычисляют путем измерения проникания света от пикселей, непосредственно примыкающих к верхней стороне, измерения проникания света от пикселей, непосредственно примыкающих к нижней стороне, измерения проникания света от пикселей, непосредственно примыкающих к левой стороне, и измерения проникания света от пикселей, непосредственно примыкающих к правой стороне, а затем путем соответствующего вычисления каждого коэффициента на основании этих измеренных значений.

[0073] Db=Da-(D1×K1+D2×K2+D3×K3+D4×K4)уравнение (1)

[0074] Ниже приведено объяснение конкретного примера обработки по коррекции смешения цветов.

[0075] На Фиг. 8 проиллюстрирован пример матрицы цветового фильтра с базовой матричной структурой P 6×6 пикселей, расположенной в ее центре. Как проиллюстрировано на Фиг. 8, при считывании пиксельных данных для каждого из пикселей с прореживанием 1/2 в обоих направлениях: в направлении по вертикали и в направлении по горизонтали, пиксельные данные считывают из пикселей с рамками в виде пунктирной линии и с рамками в виде сплошной линии, расположенных так, как указано стрелками на чертеже.

[0076] Приведенное ниже объяснение относится к случаю, когда коррекцию смешения цветов выполняют для G-пикселей G1-G5, B-пикселей B6, B7 и R-пикселей R8, R9, проиллюстрированных рамками в виде сплошной линии, которые считаны из базовой матричной структуры P.

[0077] Сначала ниже приведено объяснение случая, в котором коррекцию смешения цветов выполняют для G-пикселя G1. Как проиллюстрировано на Фиг. 9, в исходной матрице изображения до прореживания 1/2 (первой матрице) G-пикселем G11, непосредственно примыкающий к верхней стороне G-пикселя G1, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (вторая матрица) пикселем, непосредственно примыкающим к верхней стороне G-пикселя G1, является R-пиксель R11 (см. Фиг. 8), а этот цвет является иным, чем цвет непосредственно примыкающего G-пикселя G11 в первой матрице. Соответственно, имело бы место ухудшение точности коррекции смешения цветов, если коррекцию смешения цветов необходимо выполнять согласно приведенному выше уравнению (1) с использованием пиксельных данных R-пикселя R11 в качестве D1.

[0078] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют пиксельные данные G-пикселя G12, где G-пиксель G12 имеет тот же самый цвет, что и G-пиксель G11, непосредственно примыкающий к верхней стороне пикселя-объекта коррекции смешения цветов, G-пикселя G1, в первой матрице, и находится на кратчайшем расстоянии от от G-пикселя G11 в первой матрице.

[0079] Кроме того, для B-пикселя B1, непосредственно примыкающего к нижней стороне G-пикселя G1, в качестве D2 в уравнении (1) используют пиксельные данные для B-пикселя B11, находящегося на кратчайшем расстоянии от B-пикселя B1.

[0080] Кроме того, аналогично G-пикселю G11, для G-пикселя G13, непосредственно примыкающего к левой стороне G-пикселя G1, в качестве D3 в уравнении (1) используют пиксельные данные G-пикселя G12, находящегося на кратчайшем расстоянии от G-пикселя G13.

[0081] Кроме того, для R-пикселя R1, непосредственно примыкающего к правой стороне G-пикселя G1, в качестве D4 в уравнении (1) используют пиксельные данные R-пикселя R12, находящегося на кратчайшем расстоянии от R-пикселя R1.

[0082] Следует отметить, что в качестве R-пикселей, находящихся на кратчайшем расстоянии от R-пикселя R1, имеется не только R-пиксель R12, но также и R-пиксель R11. В таких случаях в качестве D4 в уравнении (1) могут использоваться пиксельные данные любого из пикселей: либо R-пикселя R11, либо R-пикселя R12, либо для этого может использоваться среднее значение пиксельных данных R-пикселя R11 и R-пикселя R12. Использование среднего значения обеспечивает возможность подавления чрезмерного ухудшения точности коррекции смешения цветов вне зависимости от изображения.

[0083] Приведенное ниже объяснение относится к случаю, в котором коррекцию смешения цветов выполняют для G-пикселя G2. Как проиллюстрировано на Фиг. 10, в исходной матрице изображения до прореживания 1/2 (в первой матрице) G-пиксель G21, непосредственно примыкающий к верхней стороне G-пикселя G2, является пикселем, не считываемым при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне G-пикселя G2, является R-пиксель R21 (см. Фиг. 8), который имеет цвет, отличающийся от цвета G-пикселя G21, который является непосредственно примыкающим в первой матрице. Соответственно, имело бы ухудшение точности коррекции смешения цветов, если бы коррекцию смешения цветов следовало бы выполнять согласно приведенному выше уравнению (1) с использованием пиксельных данных R-пикселя R21 в качестве D1.

[0084] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют пиксельные данные G-пикселя G22, причем G-пиксель G22 имеет тот же самый цвет, что и G-пиксель G21, непосредственно примыкающий к пикселю-объекту коррекции смешения цветов, G-пикселю G2 в первой матрице, и находящийся на кратчайшем расстоянии от G-пикселя G21 в первой матрице.

[0085] Кроме того, для B-пикселя B2, непосредственно примыкающего к нижней стороне G-пикселя G2, в качестве D2 в уравнении (1) используют пиксельные данные для B-пикселя B22, находящегося на кратчайшем расстоянии от B-пикселя B2.

[0086] Кроме того, для R-пикселя R2, непосредственно примыкающего к левой стороне G-пикселя G2, в качестве D3 в уравнении (1) используют пиксельные данные R-пикселя R22, находящегося на кратчайшем расстоянии от R-пикселя R2.

[0087] Следует отметить, что в качестве R-пикселей, находящихся на кратчайшем расстоянии от R-пикселя R2, имеется не только R-пиксель R22, но также и R-пиксель R21. В таких случаях в качестве D3 в уравнении (1) могут использоваться пиксельные данные любого из пикселей: R-пикселя R21 или R-пикселя R22, или вместо этого может использоваться среднее значение пиксельных данных R-пикселя R21 и R-пикселя R22.

[0088] Кроме того, для G-пикселя G23, непосредственно примыкающего с правой стороны G-пикселя G2, аналогично G-пикселю G21, в качестве D4 в уравнении (1) используют пиксельные данные G-пикселя G22, находящегося на кратчайшем расстоянии от G-пикселя G23.

[0089] Ниже следует пояснение, относящееся к тому случаю, в котором выполняют коррекцию смешения цветов для B-пикселя B6. Как проиллюстрировано на Фиг. 11, в исходной матрице изображения перед прореживанием 1/2 (в первой матрице) R-пиксель R6, непосредственно примыкающий к верхней стороне B-пикселя B6, является пикселем, не считываемым при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне B-пикселя B6, является G-пиксель G6 (см. Фиг. 8), причем этот цвет является иным, чем цвет непосредственно примыкающего R-пикселя R6 в первой матрице. Соответственно, если должна быть выполнена коррекция смешения цветов согласно приведенному выше уравнению (1) с использованием пиксельных данных G-пикселя G6 в качестве D1, то имело бы место ухудшение точности коррекции смешения цветов.

[0090] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют среднее значение пиксельных данных R-пикселей R61, R62 которые имеют тот же самый цвет, что и пиксельные данные R-пикселя R6, непосредственно примыкающего к пикселю-объекту коррекции смешения цветов, а именно, к B-пикселю B6 в первой матрице, и которые находятся на кратчайшем расстоянии от R-пикселя R6 в первой матрице.

[0091] Кроме того, для G-пикселя G61, непосредственно примыкающего к нижней стороне B-пикселя B6, в качестве D2 в уравнении (1) используют среднее значение пиксельных данных для G-пикселей G62, G63, находящихся на кратчайшем расстоянии от G-пикселя G61.

[0092] Кроме того, для G-пикселя G64, непосредственно примыкающего к левой стороне B-пикселя B6, в качестве D3 в уравнении (1) используют пиксельные данные G-пикселя G65, находящегося на кратчайшем расстоянии от G-пикселя G64.

[0093] Кроме того, для G-пикселя G66, непосредственно примыкающего к правой стороне B-пикселя B6, в качестве D4 в уравнении (1) используют пиксельные данные G-пикселя G67, находящегося на кратчайшем расстоянии от G-пикселя G66.

[0094] Ниже приведено пояснение, относящееся к тому случаю, в котором корректируют смешение цветов G-пикселя G3. Как проиллюстрировано на Фиг. 12, в исходной матрице изображения до прореживания 1/2 (в первой матрице) B-пикселем B3, непосредственно примыкающий к верхней стороне G-пикселя G3, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне G-пикселя G3, является G-пиксель G31 (см. Фиг. 8), который имеет иной цвет, чем цвет непосредственно примыкающего B-пикселя B3 в первой матрице. Соответственно, если коррекция смешения цветов должна была быть выполнена согласно приведенному выше уравнению (1) с использованием пиксельных данных G-пикселя G31 в качестве D1, то имело бы место ухудшение точности коррекции смешения цветов.

[0095] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют пиксельные данные B-пикселя B31, который имеет тот же самый цвет, что и B-пиксель B3, непосредственно примыкающий к пикселю-объекту коррекции смешения цветов, а именно, к G-пикселю G3 в первой матрице, и который находится на кратчайшем расстоянии от B-пикселя B3 в первой матрице.

[0096] Кроме того, для G-пикселя G32, непосредственно примыкающего к нижней стороне G-пикселя G3, в качестве D2 в уравнении (1) используют пиксельные данные для G-пикселя G33, находящегося на кратчайшем расстоянии от G-пикселя G32.

[0097] Кроме того, для G-пикселя G34, непосредственно примыкающего к левой стороне G-пикселя G3, аналогично G-пикселю G32, в качестве D3 в уравнении (1) используют пиксельные данные G-пикселя G33, находящегося на кратчайшем расстоянии от G-пикселя G34.

[0098] Кроме того, для R-пикселя R3, непосредственно примыкающего к правой стороне G-пикселя G3, в качестве D4 в уравнении (1) используют пиксельные данные R-пикселя R31, находящегося на кратчайшем расстоянии от R-пикселя R3.

[0099] Следует отметить, что в качестве R-пикселя, находящегося на кратчайшем расстоянии от R-пикселя R3, имеется не только R-пиксель R31, но также и R-пиксель R32. В таких случаях в качестве D4 в уравнении (1) могут быть использованы пиксельные данные любого из пикселей: R-пикселя R31 или R-пикселя R32, или в качестве D4 в уравнении (1) может быть использовано среднее значение пиксельных данных R-пикселя R31 и R-пикселя R32.

[0100] Ниже приведено пояснение, относящееся к тому случаю, в котором G-пиксель G4 является скорректированным по смешению цветов. Как проиллюстрировано на Фиг. 13, в исходной матрице изображения до прореживания 1/2 (в первой матрице) B-пикселем B4, непосредственно примыкающий к верхней стороне G-пикселя G4, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне G-пикселя G4, является G-пиксель G41 (см. Фиг. 8), который имеет иной цвет, чем цвет непосредственно примыкающего B-пикселя B4 в первой матрице. Соответственно, если должна быть выполнена коррекция смешения цветов согласно приведенному выше уравнению (1) с использованием пиксельных данных G-пикселя G41 в качестве D1, то имело бы место ухудшение точности коррекции смешения цветов.

[0101] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют пиксельные данные B-пикселя B41, который имеет тот же самый цвет, что и B-пиксель B4, непосредственно примыкающий к пикселю-объекту коррекции смешения цветов, а именно, к G-пикселю G4 в первой матрице, и который находится на кратчайшем расстоянии от B-пикселя B4 в первой матрице.

[0102] Кроме того, для G-пикселя G42, непосредственно примыкающего к нижней стороне G-пикселя G4, в качестве D2 в уравнении (1) используют пиксельные данные для G-пикселя G43, находящегося на кратчайшем расстоянии от G-пикселя G42.

[0103] Кроме того, для R-пикселя R4, непосредственно примыкающего к левой стороне G-пикселя G4, в качестве D3 в уравнении (1) используют пиксельные данные R-пикселя R41, находящегося на кратчайшем расстоянии от R-пикселя R4.

[0104] Следует отметить, что в качестве R-пикселя, находящегося на кратчайшем расстоянии от R-пикселя R4, имеется не только R-пиксель R41, но также и R-пиксель R42. В таких случаях в качестве D3 в уравнении (1) могут быть использованы пиксельные данные любого из пикселей: R-пикселя R41 или R-пикселя R42, или в качестве D3 в уравнении (1) может быть использовано среднее значение пиксельных данных R-пикселя R41 и R-пикселя R42.

[0105] Кроме того, аналогично G-пикселю G42, для G-пикселя G44, непосредственно примыкающего к правой стороне G-пикселя G4, в качестве D4 в уравнении (1) используют пиксельные данные G-пикселя G43, находящегося на кратчайшем расстоянии от G-пикселя G44.

[0106] Ниже приведено пояснение, относящееся к тому случаю, в котором коррекцию смешения цветов выполняют для B-пикселя B7. Как проиллюстрировано на Фиг. 14, в исходной матрице изображения до прореживания 1/2 (в первой матрице) G-пикселем G7, непосредственно примыкающим к верхней стороне B-пикселя B7, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне B-пикселя B7, является B-пиксель B71 (см. Фиг. 8), имеющий иной цвет, чем цвет непосредственно примыкающего G-пикселя G7 в первой матрице. Соответственно, если коррекция смешения цветов должна была быть выполнена согласно приведенному выше уравнению (1) с использованием пиксельных данных B-пикселя B71 в качестве D1, то имело бы место ухудшение точности коррекции смешения цветов.

[0107] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют среднее значение пиксельных данных G-пикселей G71, G72, которые имеют тот же самый цвет, что и пиксельные данные G7 G-пикселя, непосредственно примыкающего к пикселю-объекту коррекции смешения цветов, а именно, к B-пикселю B7 в первой матрице, и которые находятся на кратчайшем расстоянии от G-пикселя G7 в первой матрице.

[0108] Кроме того, для R-пикселя R7, непосредственно примыкающего к нижней стороне B-пикселя B7, в качестве D2 в уравнении (1) используют среднее значение пиксельных данных для R-пикселей R71, R72, находящихся на кратчайшем расстоянии от R-пикселя R7.

[0109] Кроме того, для G-пикселя G73, непосредственно примыкающего к левой стороне B-пикселя B7, в качестве D3 в уравнении (1) используют пиксельные данные G-пикселя G74 находящегося на кратчайшем расстоянии от G-пикселя G73.

[0110] Кроме того, для G-пикселя G75, непосредственно примыкающего к правой стороне B-пикселя B7, в качестве D4 в уравнении (1) используют пиксельные данные G-пикселя G76, находящегося на кратчайшем расстоянии от G-пикселя G75.

[0111] Ниже приведено пояснение, относящееся к тому случаю, в котором выполняют коррекцию смешения цветов для R-пикселя R8. Как проиллюстрировано на Фиг. 15, в исходной матрице изображения до прореживания 1/2 (в первой матрице) G-пикселем G8, непосредственно примыкающим к верхней стороне R-пикселя R8, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице), пикселем, непосредственно примыкающим к верхней стороне R-пикселя R8, является G-пиксель G81 (см. Фиг. 8), имеющий тот же самый цвет, что и цвет непосредственно примыкающего G-пикселя G8 в первой матрице. Таким образом, в качестве D1 в уравнении (1) используют пиксельные данные G-пикселя G81, находящегося на кратчайшем расстоянии от G-пикселя G8 в первой матрице.

[0112] Кроме того, для G-пикселя G82, непосредственно примыкающего к нижней стороне R-пикселя R8, в качестве D2 в уравнении (1) используют пиксельные данные для G-пикселя G83, находящегося на кратчайшем расстоянии от G-пикселя G82.

[0113] Кроме того, для B-пикселя B8, непосредственно примыкающего к левой стороне R-пикселя R8, в качестве D3 в уравнении (1) используют среднее значение пиксельных данных B-пикселей B81, B82, находящихся на кратчайшем расстоянии от B-пикселя B8.

[0114] Кроме того, для G-пикселя G84, непосредственно примыкающего к правой стороне R-пикселя R8, в качестве D4 в уравнении (1) используют среднее значение пиксельных данных G-пикселей G85, G86, находящихся на кратчайшем расстоянии от G-пикселя G84.

[0115] Ниже приведено пояснение, относящееся к тому случаю, в котором выполняют коррекцию смешения цветов для R-пикселя R9. Как проиллюстрировано на Фиг. 16, в исходной матрице изображения до прореживания 1/2 (в первой матрице) G-пикселем G9, непосредственно примыкающий к верхней стороне R-пикселя R9, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне R-пикселя R9, является G-пиксель G91 (см. Фиг. 8), имеющий тот же самый цвет, что и цвет непосредственно примыкающего G-пикселя G9 в первой матрице. Таким образом, в качестве D1 в уравнении (1) используют пиксельные данные G-пикселя G91, находящегося на кратчайшем расстоянии от G-пикселя G9 в первой матрице.

[0116] Кроме того, для G-пикселя G92, непосредственно примыкающего к нижней стороне R-пикселя R9, в качестве D2 в уравнении (1) используют пиксельные данные для G-пикселя G93, находящегося на кратчайшем расстоянии от G-пикселя G92.

[0117] Кроме того, для G-пикселя G94, непосредственно примыкающего к левой стороне R-пикселя R9, в качестве D3 в уравнении (1) используют среднее значение пиксельных данных G-пикселей G95, G96, которые находятся на кратчайшем расстоянии от G-пикселя G94.

[0118] Кроме того, для B-пикселя B9, непосредственно примыкающего к правой стороне R-пикселя R9, в качестве D4 в уравнении (1) используют среднее значение пиксельных данных B-пикселей B91, B92, которые находятся на кратчайшем расстоянии от B-пикселя B9.

[0119] Ниже приведено пояснение, относящееся к тому случаю, в котором выполняют коррекцию смешения цветов для G-пикселя G5. Как проиллюстрировано на Фиг. 17, в исходной матрице изображения до прореживания 1/2 (в первой матрице) R-пикселем R5, непосредственно примыкающим к верхней стороне G-пикселя G5, является пиксель, не считываемый при прореживании 1/2 (см. Фиг. 8). В матрице после прореживания 1/2 (во второй матрице) пикселем, непосредственно примыкающим к верхней стороне G-пикселя G5, является B-пиксель B5, имеющий иной цвет, чем цвет непосредственно примыкающего R-пикселя R5 в первой матрице. Соответственно, если коррекция смешения цветов должна быть выполнена согласно приведенному выше уравнению (1) с использованием пиксельных данных B-пикселя B5 в качестве D1, то имело бы место ухудшение точности коррекции смешения цветов.

[0120] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, в качестве D1 в уравнении (1) используют среднее значение пиксельных данных R-пикселей R51, R52, которые имеют тот же самый цвет, что и R-пиксель R5, непосредственно примыкающий к верхней стороне пикселя-объекта коррекции смешения цветов, а именно, G-пикселя G5 в первой матрице, и которые находятся на кратчайшем расстоянии от R-пикселя R5 в первой матрице.

[0121] Кроме того, аналогично R-пикселю R5, для R-пикселя R53, непосредственно примыкающего к нижней стороне G-пикселя G5, в качестве D2 в уравнении (1) используют среднее значение пиксельных данных для R-пикселей R51, R52, находящихся на кратчайшем расстоянии от R-пикселя R53.

[0122] Кроме того, для B-пикселя B51, непосредственно примыкающего к левой стороне G-пикселя G5, в качестве D3 в уравнении (1) используют среднее значение пиксельных данных для B-пикселей B5, B52, находящихся на кратчайшем расстоянии от B-пикселя B51.

[0123] Кроме того, аналогично B-пикселю B51, для B-пикселя B53, непосредственно примыкающего к правой стороне G-пикселя G5, в качестве D4 в уравнении (1) используют среднее значение пиксельных данных для B-пикселей B5, B52, находящихся на кратчайшем расстоянии от B-пикселя B53.

[0124] Следует отметить, что контроллер 24 и узел 20 обработки изображений могут быть сконфигурированы компьютером, включающим в себя центральный процессор (CPU), постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM) и энергонезависимое ROM (постоянное запоминающее устройство). В таких случаях программа обработки для вышеупомянутой обработки может, например, быть заранее сохранена в энергонезависимом ROM и может выполняться путем считывания центральным процессором (CPU).

[0125] Таким образом, в данном варианте осуществления изобретения, который приведен в качестве примера, пиксельные данные пикселей-объектов скорректированы на основании пиксельных данных пикселей, имеющих тот же самый цвет, что и цвет смежных пикселей, которые являются смежными с пикселями-объектами коррекции смешения цветов в матрице, до прореживания (в первой матрице), и которые находятся на кратчайшем расстоянии от смежных пикселей в матрице перед прореживанием. Таким образом, это обеспечивает возможность выполнения коррекции смешения цветов с превосходной точностью, даже когда матрица цветов изображения перед прореживанием отличается от матрицы цветов изображения после прореживания.

[0126] Следует отметить, что в данном варианте осуществления изобретения, который приведен в качестве примера, было дано объяснение случая, в котором пиксельные данные каждого из пикселей считывают в 2 циклах пикселей в обоих направлениях: в направлении по вертикали и в направлении по горизонтали, а именно при прореживании 1/2, однако пиксельные данные каждого из пикселей также могут быть считаны за цикл, равный 3 циклам пикселей или более длительный. Однако, когда пиксельные данные каждого из пикселей считывают за цикл, превышающий 3 пикселя, то расстояние между пикселями-объектами коррекции смешения цветов и пикселями, используемыми при коррекции смешения цветов, становится более длинным, причем иногда это приводит к ухудшению точности коррекции смешения цветов, таким образом, пиксельные данные каждого из пикселей предпочтительно считывают за цикл, равный 3 циклам пикселей или более короткий. Цикл считывания также может быть различным между направлением по вертикали и направлением по горизонтали.

[0127] Второй вариант осуществления изобретения, который приведен в качестве примера

[0128] Ниже приведено пояснение, относящееся ко второму варианту осуществления настоящего изобретения, который приведен в качестве примера. Дано объяснение видоизмененного примера цветового фильтра в данном варианте осуществления изобретения, который приведен в качестве примера.

[0129] На Фиг. 18 проиллюстрирован цветовой фильтр согласно данному варианту осуществления изобретения, который приведен в качестве примера. Цветовой фильтр согласно данному варианту осуществления изобретения, который приведен в качестве примера, проиллюстрированному на Фиг. 18, включает в себя базовую матричную структуру P (структуру, обозначенную жирной рамкой), которая сформирована из квадратной матричной структуры, соответствующей 6×6 пикселям, причем эта базовая матричная структура P расположена так, что повторяется как в направлении по горизонтали, так и в направлении по вертикали. А именно, цветовой фильтр упорядочен так, что соответствующие фильтры каждого цвета R, G, B (R-фильтры, G-фильтры, B-фильтры) имеют специфичную периодичность.

[0130] Кроме того, в матрице цветового фильтра, проиллюстрированной на Фиг. 18, G-фильтр размещен в каждой строке матрицы цветового фильтра в обоих направлениях: в направлении по вертикали и в направлении по горизонтали.

[0131] Кроме того, в матрице цветового фильтра, проиллюстрированной на Фиг. 18, один или более из, соответственно, R-фильтра и B-фильтра, размещен в базовой матричной структуре P в каждой из строк матрицы цветового фильтра в обоих направлениях: в направлении по вертикали и в направлении по горизонтали.

[0132] На Фиг. 19 проиллюстрировано состояние, в котором базовая матричная структура P, проиллюстрированная на Фиг. 18, была разделена на 4 набора из 3×3 пикселей.

[0133] Базовая матричная структура P, проиллюстрированная на Фиг. 19, может восприниматься как матрица A 3×3 пикселя, окруженная рамкой в виде сплошной линии, и как матрица B 3×3 пикселя, окруженная рамкой в виде пунктирной линии, которые упорядочены так, что расположены с чередованием вдоль направлений по горизонтали и по вертикали.

[0134] В матрице A R-фильтр расположен в центре, B-фильтры расположены в 4 углах, а G-фильтры расположены с обеих сторон центрального R-фильтра сверху и снизу и слева и справа. Однако в матрице B B-фильтр расположен в центре, R-фильтры расположены в 4 углах, а G-фильтры расположены с обеих сторон центрального B-фильтра сверху и снизу и слева и справа. То есть, матрица A и матрица B имеют обратные взаимные расположения R-фильтров и B-фильтров, но имеют сходное расположение в ином случае.

[0135] Как проиллюстрировано на Фиг. 20A, цветовой фильтр из первого варианта осуществления изобретения, который приведен в качестве примера, может восприниматься как матрица A и как матрица B, расположенные с чередованием в направлении по вертикали и в направлении по горизонтали.

[0136] Как проиллюстрировано на Фиг. 20A, когда локальную область 5×5 пикселей (область, проиллюстрированная рамкой в виде жирной линии) с центром в матрице A извлекают из мозаичного изображения, выведенного из устройства 14 съемки изображений, то 8 отдельных G-пикселей в пределах этой локальной области расположены в форме креста, как проиллюстрировано на Фиг. 20B. G-пиксели в ней обозначены в последовательности слева направо как G1, G2, G3, G4, а в последовательности сверху вниз как G5, G6, G7, G8. Таким образом, пиксели G1, G2 и пиксели G2, G3 непосредственно примыкают друг к другу в направлении по горизонтали, пиксели G5, G6 и пиксели G7, G8 непосредственно примыкают друг к другу в направлении по вертикали, пиксели G6, G3 и пиксели G2, G7 непосредственно примыкают друг к другу в направлении по диагонали влево вверх, а пиксели G6, G2 и пиксели G3, G7 непосредственно примыкают друг к другу в направлении по диагонали вправо вверх.

[0137] Таким образом, получение абсолютных значений разности значений пикселей для этих смежных пикселей позволяет определить то направление из каждого из направлений: направления по горизонтали, направления по вертикали и направления по диагонали (NE, NW), которое имеет наименьшее изменение яркости (направление корреляции с самой высокой корреляцией), по минимальному расстоянию между пикселями.

[0138] То есть, сумма абсолютных значений разности в направлении по горизонтали равна |G1-G2|+|G3-G4|, сумма абсолютных значений разности в направлении по горизонтали равна |G5-G6|+|G7-G8|, сумма абсолютных значений разности в направлении по диагонали вправо вверх равна |G6-G2|+|G3-G7|, а сумма абсолютных значений разности в направлении по диагонали влево вверх равна |G6-G3|+|G2 G7|.

[0139] Затем может быть определена корреляция (определено направление корреляции) как направление с наименьшим абсолютным значением разности этих четырех абсолютных значений корреляции. Следует отметить, что определенное направление корреляции может использоваться во время выполнения обработки, например, обработки с синхронизацией.

[0140] Базовая матричная структура P, которая конфигурирует цветовой фильтр, проиллюстрированный на Фиг. 18, имеет точечную симметрию относительно центра базовой матричной структуры P.

[0141] Как проиллюстрировано на Фиг. 19, каждая из матриц: матрица A и матрица B в пределах базовой матричной структуры имеет точечную симметрию относительно центрального R-фильтра, или G-фильтра, и является симметричной сверху-вниз и слева-направо (имеет осевую симметрию).

[0142] Кроме того, размер базовой матричной структуры P, которая конфигурирует матрицу цветового фильтра, проиллюстрированную на Фиг. 18, равен (N×M) пикселям (где N, М - целые числа, равные 3 или более), который превышает размер (K×L) обычных пикселей (где K, L - целые числа, равные 2 или более). То есть, удовлетворяются условия N>K, и M>М.

[0143] Соответственно, цветовой фильтр согласно второму варианту осуществления изобретения, который приведен в качестве примера, имеет те же самые признаки, что и признаки (1) и (3)-(5) цветового фильтра согласно первому варианту осуществления изобретения, который приведен в качестве примера. (Признаки (2), (3) включают в себя признак, заключающийся в том, что 1 или более из G-фильтра, R-фильтра и B-фильтра размещены в каждой из строк матрицы цветового фильтра в направлении по вертикали и в направлении по горизонтали в пределах базовой матричной структуры P.

[0144] Таким образом, для такого цветового фильтра, когда выполняют считывание с прореживанием 1/2 в обоих направлениях: в направлении по вертикали и в направлении по горизонтали, подобно тому, как это делают в первом варианте осуществления изобретения, который приведен в качестве примера, изображением после прореживания является изображение, проиллюстрированное на Фиг. 21.

[0145] Следует отметить, что матрица цветового фильтра не ограничена описанными в каждом из вариантов осуществления изобретения, приведенных в качестве примера, и настоящее изобретение также может быть применено к устройству формирования изображений, имеющему устройство съемки изображений со следующей матрицей цветового фильтра.

[0146] Например, в качестве матрицы цветового фильтра, имеющей вышеупомянутые признаки (1), (2) и (3), существует, например, цветовой фильтр, в котором базовой матричной структурой P является цветовой фильтр 3×3 пикселя, проиллюстрированный на Фиг. 22. Эта матрица цветового фильтра сконфигурирована посредством повторяющейся базовой структуры с G-фильтрами из 3×3 пикселей, расположенными в центре и в 4 углах, а в остальных 4 пикселях расположено одно и то же количество каждого из R и B фильтров. Изображением, полученным путем прореживания 1/2 в обоих направлениях: в направлении по вертикали и в направлении по горизонтали, является изображение, такое как, например, проиллюстрированное на Фиг. 22.

[0147] Кроме того, в качестве матрицы цветового фильтра, имеющей вышеупомянутые признаки (1), (2) и (3), в базовой матричной структуре P имеется матрица цветового фильтра 5×5 пикселей, подобная, например, той, которая проиллюстрирована на Фиг. 23. Эта матрица цветового фильтра сконфигурирована повторяющейся базовой матричной структурой P, заданной так, что G-пиксели расположены вдоль двух диагональных направлений в виде 5×5 пикселей, а R-пиксели и B-пиксели расположены в остальных позициях пикселей так, что 1 или более каждого из них расположены в каждой из строк в направлении по горизонтали и в направлении по вертикали в области 5×5 пикселей, причем она задана так, что количество G является большим, чем количество R и количество B. Изображением в результате прореживания 1/2 в направлении по вертикали и в направлении по горизонтали является изображение, подобное, например, проиллюстрированному на Фиг. 23.

[0148] К тому же, в качестве матрицы цветового фильтра, имеющей вышеупомянутые признаки (1), (3), (4) и (5), имеется матрица цветового фильтра 4×4 пикселя из базовой матричной структуры P, такая как, например, проиллюстрированная на Фиг. 24. Эта матрица цветового фильтра представляет собой повторяющуюся базовую матричную структуру, в которой G расположен вдоль двух диагональных направлений матрицы 4×4 пикселя, а R-пиксели и B-пиксели расположены в остальных позициях пикселей так, что 1 или более каждого из них расположены в каждой из строк в направлении по горизонтали и в направлении по вертикали в области 4×4 пикселя, причем она задана так, что количество G является большим, чем количество R и B.

[0149] Кроме того, как проиллюстрировано на Фиг. 25, существует матрица цветового фильтра, в которой базовая матричная структура P имеет 5×5 пикселей.

[0150] Кроме того, как проиллюстрировано на Фиг. 26 существует матрица цветового фильтра, в которой базовая матричная структура P имеет 6×6 пикселей. Эта матрица цветового фильтра сконфигурирована повторяющейся базовой матричной структурой P, включающей в себя первую подматрицу с G, размещенными в виде прямоугольника на внешнем периметре R или B, и вторую подматрицу, в которой G помещен в центральный участок, при этом, две из каждых подматриц, расположены с чередованием так, что являются соседними друг с другом в направлении по горизонтали и в направлении по вертикали. Такая матрица является признаком (3) с дополнительным отличительным признаком, заключающимся в том, что 1 или более каждого из R и B расположены в каждой строке в диагональных (NE, NW) направлениях (третьих направлениях) матрицы цветового фильтра.

[0151] Кроме того, как проиллюстрировано на Фиг. 27, существует матрица цветового фильтра, в которой базовая матричная структура P имеет 7×7 пикселей, и, как проиллюстрировано на Фиг. 28, матрица цветового фильтра, в которой базовая матричная структура P имеет 8×8 пикселей, и т.д.

[0152] Следует отметить, что с учетом простоты обработки изображений, такой как, например, обработка с синхронизацией или обработка с прореживанием во время захвата видеоизображения, предпочтительно каждое из N, М равно 10 или менее.

[0153] Следует отметить, что размер N×М базовой матричной структуры, примененной в настоящем изобретении, является предпочтительно равен 5×5 или более, и более предпочтительно равен 10×10 или менее. Когда размер базовой матричной структуры в пикселях увеличивается в направлении по горизонтали, то увеличивается количество степеней свободы для размещения 3 цветов, RGB, пикселей, и увеличивается количество комбинаций размещения цветов периферийных боковых пикселей, а это увеличивает вероятность того, что базовая матричная структура изображения до прореживание и базовая матричная структура после прореживания отличаются друг от друга, что делает настоящее изобретение применимым. Для случаев 5×5 или более имеются 25 или более пикселей, и, таким образом, может быть получен достаточный полезный эффект настоящего изобретения. N, М предпочтительно равны 10 или менее с учетом простоты обработки изображений, например, обработки с синхронизацией и обработки с прореживанием во время захвата видеоизображения.

[0154] Кроме того, хотя в вышеупомянутом варианте осуществления изобретения, который приведен в качестве примера, было дано объяснение случая, в котором имеется устройство съемки цветных изображений, имеющее 3 фильтра основных цветов, а именно, RGB, настоящее изобретение не ограничено этим вариантом, и может быть применен цветовой фильтр, имеющий 4 цвета из этих трех основных цветов RGB + один другой цвет (например, изумрудный (E)), такой как, например цветовой фильтр, проиллюстрированный на Фиг. 29. Кроме того, настоящее изобретение может быть применено для цветового фильтра, имеющего белый или прозрачный (W) фильтр в качестве другого цвета. Например, W-фильтр может быть помещен вместо изумрудного фильтра из Фиг. 29. В этих случаях первым цветом, который вносит наибольший вклад в сигнал яркости, является комбинация W и G, или W.

[0155] Кроме того настоящее изобретение может быть применено для устройства съемки цветных изображений, включающему в себя цветовой фильтр с системой дополнительных цветов из 4 цветов с C (голубым), M (пурпурным) и Y (желтым) в дополнение к G, которые являются дополнительными цветами основных цветов RGB.

[0156] Само собой разумеется, что настоящее изобретение не ограничено приведенными в качестве примера вариантами его осуществления, которые описаны выше, и могут быть реализованы различные другие видоизменения в пределах диапазона, не выходящего за пределы сущности настоящего изобретения.

[0157] ОПИСАНИЕ ССЫЛОЧНЫХ ПОЗИЦИЙ

10 - устройство формирования изображений

12 - оптическая система

14 - устройство съемки изображений

16 - узел обработки захвата изображений

20 - узел обработки изображений

22 - узел приведения в действие

24 - контроллер

P - базовая матричная структура

1. Устройство формирования изображений содержащее:
устройство съемки изображений, содержащее множество элементов фотоэлектрического преобразования, упорядоченных в предопределенном первом направлении и во втором направлении, пересекающемся с первым направлением;
цветовой фильтр, который обеспечен над множеством пикселей, образованных множеством элементов фотоэлектрического преобразования, причем упомянутый цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответствующие, соответственно, 2 или более вторым цветам, являющимся иными, чем первый цвет, которые расположены в виде предопределенной структуры;
средство приведения в действие, которое приводит в действие устройство съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей, считанных с устройства съемки изображений; и
средство коррекции смешения цветов, которое выполняет коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта для коррекции смешения цветов на основании пиксельных данных пикселя, который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.

2. Устройство формирования изображений по п. 1, в котором:
один или более первых фильтров расположены в каждой строке в цветовом фильтре в первом направлении, во втором направлении и в третьих направлениях, которые пересекаются с первым направлением и вторым направлением; и
вторые фильтры, которые соответственно соответствуют каждому цвету из вторых цветов, расположены так, что имеется 1 или более каждого из них в каждой строке в базовой матричной структуре в первом направлении и во втором направлении.

3. Устройство формирования изображений по п. 1, в котором:
цветовой фильтр является цветовым фильтром с расположенной с повторением базовой матричной структурой, причем упомянутая базовая матричная структура имеет первый фильтр, который соответствует первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, которые соответственно соответствуют 2 или более вторым цветам, являющимся иными, чем первый цвет, расположены в предопределенной структуре из (NxM) пикселей (где N, М - целые числа, равные 3 или более) в первом направлении и во втором направлении.

4. Устройство формирования изображений по п. 1, в котором:
цветовой фильтр включает в себя квадратную матрицу, соответствующую 2x2 пикселям, сконфигурированную из первого фильтра.

5. Устройство формирования изображений по п. 1, в котором:
первым цветом является зеленый (G), а вторыми цветами являются красный (R) и синий (B).

6. Устройство формирования изображений по п. 5, в котором:
цветовой фильтр включает в себя R-фильтр, G-фильтр и B-фильтр, соответствующие красному цвету (R), зеленому цвету (G) и синему цвету (B); и
цветовой фильтр сконфигурирован первой матрицей и второй матрицей, упорядоченными с чередованием в первом направлении и во втором направлении, при этом первая матрица соответствует 3x3 пикселям с G-фильтром, расположенным в центре и в 4 углах, B-фильтром, расположенным сверху и снизу от центрального G-фильтра, и R-фильтром, расположенным слева и справа от центрального G-фильтра, а вторая матрица соответствует 3x3 пикселям с G-фильтром, расположенным в центре и в 4 углах, R-фильтром, расположенным сверху и снизу от центрального G-фильтра, и B-фильтром, расположенным слева и справа от центрального G-фильтра.

7. Устройство формирования изображений по п. 5, в котором:
цветовой фильтр включает в себя R-фильтр, G-фильтр и B-фильтр, соответствующие следующим цветам: красному (R), зеленому (G) и синему (B);
и цветовой фильтр сконфигурирован первой матрицей и второй
матрицей, упорядоченными с чередованием в первом направлении и во втором направлении, при этом первая матрица соответствует 3x3 пикселям с R-фильтром, расположенным в центре, B-фильтром, расположенным в 4 углах, и G-фильтром, расположенным сверху, снизу, слева и справа от центрального R-фильтра, а вторая матрица соответствует 3x3 пикселям с B-фильтром, расположенным в центре, R-фильтром, расположенным в 4 углах, и G-фильтром, расположенным сверху, снизу, слева и справа от центрального B-фильтра.

8. Устройство формирования изображений по любому из пп. 1-7, в котором:
средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта на основании пиксельных данных одного пикселя из множества пикселей в тех случаях, когда имеется множество пикселей, находящихся на кратчайшем расстоянии.

9. Устройство формирования изображений по любому из пп. 1-7, в котором:
средство коррекции смешения цветов корректирует пиксельные данные пикселя-объекта на основании среднего значения пиксельных данных множества пикселей в тех случаях, когда имеется множество пикселей, находящихся на кратчайшем расстоянии.

10. Устройство формирования изображений по п. 1, в котором:
цикл является циклом из 3 или менее пикселей.

11. Устройство формирования изображений по п. 1, дополнительно содержащее средство переключения, которое переключает цикл.

12. Способ управления для устройства формирования
изображений, содержащего устройство съемки изображений, включающего в себя множество элементов фотоэлектрического преобразования, упорядоченных в предопределенном первом направлении и втором направлении, пересекающемся с первым направлением, цветовой фильтр, который обеспечен над множеством пикселей, образованных посредством множества элементов фотоэлектрического преобразования, причем упомянутый цветовой фильтр имеет расположенную с повторением базовую матричную структуру, которая включает в себя первый фильтр, соответствующий первому цвету, который вносит наибольший вклад в получение сигнала яркости, и вторые фильтры, соответственно соответствующие 2 или более вторым цветам, являющимся иными, чем первый цвет, расположенные в виде предопределенной структуры, при этом упомянутый способ управления содержит этапы, на которых:
приводят в действие устройство съемки изображений так, для матрицы пикселей для считывания с устройства съемки изображений, что пиксельные данные пикселей, расположенных в заданном цикле в, по меньшей мере, одном направлении из первого направления и второго направления, считываются, чтобы получить вторую матрицу, которая отличается от первой матрицы, выражающей матрицу всех пикселей устройства съемки изображений; и
выполняют обработку по коррекции смешения цветов, при которой выполняют коррекцию смешения цветов для каждых из пиксельных данных пикселей, расположенных в заданном цикле, при этом пиксельные данные пикселя-объекта для коррекции смешения цветов корректируют на основании пиксельных данных пикселя,
который имеет тот же самый цвет, что и смежный пиксель, непосредственно примыкающий к пикселю-объекту в первой матрице, и который является пикселем, который имеет кратчайшее расстояние от смежного пикселя в первой матрице.