Устройство формирования изображения, способ обработки сигналов и программа

Группа изобретений относится к устройству формирования изображения, способу обработки сигналов и программе, обеспечивающим возможность генерирования изображений с широким динамическим диапазоном и высоким качеством, путем обработки синтеза изображений, используя множество изображений с разным временем экспозиции. Техническими результатами являются уменьшение необходимой емкости запоминающего устройства, предотвращение возникновения ошибок на выходе во время переключения между режимами съемки двух типов изображений (изображение с широким динамическим диапазоном и нормальное изображение) и обеспечение плавного переключения режимов. Устройство формирования изображения по-разному управляет трактом ввода/вывода запоминающего устройства для генерирования нормального изображения и для генерирования изображения широкого динамического диапазона. Для генерирования нормального изображения сигналы изображения сохраняют в запоминающем устройстве и считывают из запоминающего устройства после коррекции изображения. Для формирования изображения широкого динамического диапазона сигналы изображения сохраняют в запоминающем устройстве и считывают из запоминающего устройства до коррекции сигналов изображения. 3 н. и 17 з.п. ф-лы, 22 ил.

 

Уровень техники

Настоящее раскрытие относится к устройству формирования изображения, способу обработки сигналов и программе. Более конкретно, оно относится к устройству формирования изображения, способу обработки сигналов и программе, обеспечивающим возможность генерирования изображений с широким динамическим диапазоном и высоким качеством, путем обработки синтеза изображений, используя множество изображений с разным временем экспозиции.

Твердотельные устройства формирования изображения, такие как датчики изображения CCD (прибор с зарядовой связью) и датчики изображения CMOS (комплементарный металло-оксидный проводник), используемые в видеокамерах и в цифровых фотокамерах, и т.п., накапливают заряд, соответствующий количеству падающего света, и выполняют фотоэлектрическое преобразование, в котором выводят электрический сигнал, соответствующий накопленному заряду. Однако существует верхний предел количества заряда, накапливаемого в устройстве фотоэлектрического преобразования, и в случае приема света определенное количество или большее количество накопленного заряда достигает уровня насыщенности, в результате чего возникает то, что называется "ограничением белого", где в областях изображения объекта с определенной яркостью или больше устанавливается насыщенный уровень яркости.

Для предотвращения такого явления выполняют такую обработку, как регулирование времени экспозиции путем управления периодом накопления заряда в устройстве фотоэлектрического преобразования, в соответствии с внешним светом и т.д., так, чтобы управлять чувствительностью до оптимального значения. Например, что касается ярких объектов, затвор спускают с высокой скоростью для уменьшения времени экспозиции, сокращая, таким образом, период накопления заряда в устройстве фотоэлектрического преобразования, и выводят электрические сигналы до того, как накопленное количество заряда достигнет уровня насыщения. Такая обработка обеспечивает возможность вывода изображения, в котором точно воспроизводится градиент, соответствующий объекту.

Однако при формировании изображения объекта, включающего в себя, как яркие, так и темные участки, спуск затвора с высокой скоростью приводит к недостаточному времени экспозиции на темных участках, что ухудшает отношение S/N (сигал/шум) и ухудшает качество изображения. Для точного воспроизведения уровня яркости ярких участков и темных участков в снимаемом изображении объекта, где одновременно присутствуют яркие участки и темные участки, высокое отношение S/N (сигал/шум), благодаря длительному времени экспозиции, должно быть реализовано для пикселей с малым падающим светом на датчик изображения, и одновременно должна быть выполнена обработка для исключения насыщенности пикселей с более высокой яркостью входного света.

В предшествующем уровне техники используется множество изображений с разным временем экспозиции. Эта технология подразумевает использование изображения с длительным периодом экспозиции для темных изображений, и использование изображения с коротким периодом экспозиции для областей изображения, где могло бы возникнуть ограничение белого при длительном периоде экспозиции, для определения оптимального уровня пикселей. В результате синтеза множества изображений с разной экспозицией может быть получено изображение с широким динамическим диапазоном и с отсутствием ограничения белого.

Например, в публикации №2008-99158 находящейся на экспертизе заявки на японский патент и в публикации №2008-227697 находящейся на экспертизе заявки на японский патент представлены конфигурации для синтеза множества изображений с разными величинами экспозиции для получения изображения с широким динамическим диапазоном.

На фиг.1 показана блок-схема устройства 10 формирования изображения в соответствии с предшествующим уровнем техники, которое синтезирует изображения двух типов чувствительности, полученные путем переключения времени экспозиции устройства формирования изображения между длительной экспозицией и короткой экспозицией в каждый вертикальный период, и генерирует изображение с широким динамическим диапазоном.

Обработка для генерирования изображения с широким динамическим диапазоном в устройстве 10 формирования изображения будет описана ниже. Свет, поступающий через объектив 11, подвергают фотоэлектрическому преобразованию в устройстве 12 формирования изображения, сигналы выходного изображения подвергают скоррелированой обработке двойной выборки и AGC (автоматическая регулировка усиления) в устройстве 13 предварительной аналоговой обработки и затем подвергают A/D (аналогово-цифровому) преобразованию, для получения цифрового сигнала. Цифровые сигналы изображений, выводимые из устройства 13 предварительной аналоговой обработки, подают в модуль 20 обработки сигналов.

В модуле 20 обработки сигналов, вначале Y сигналы, которые представляют собой сигналы яркости, и сигналы R, сигналы G и сигналы В, которые представляют собой сигналы цветности, генерируют с помощью схемы 21 генерирования YRGB, YRGB также называют яркостными RGB. Сигналы Y, сигналы R, сигналы G и сигналы В, выводимые из схемы 21 генерирования YRGB, подвергают соответствующей обработке сигналов в первом модуле 22 обработки сигналов, и затем выполняют обработку записи в запоминающем устройстве 23.

В запоминающем устройстве 23 сохраняется изображение с низкой чувствительностью и изображение с высокой чувствительностью с разным временем экспозиции в устройстве формирования изображения, то есть изображение с длительной экспозицией и изображение с короткой экспозицией. После этого, изображение с длительной экспозицией и изображение с короткой экспозицией считывают из запоминающего устройства 23 и подают в модуль 24 синтеза изображения (выполняют WDR (синтез широкого динамического диапазона)), где выполняют обработку для получения широкого динамического диапазона, используя синтез изображения.

Затем синтезированное изображение с широким динамическим диапазоном подают в модуль 25 коррекции изображения, для выполнения обработки гамма коррекции и т.д., включая в себя обработку для преобразования сигналов YRGB, например, в сигналы YCbCr, включающие в себя цветоразностные сигналы, и, кроме того, выполняют конечную обработку сигналов во втором модуле 26 обработки сигнала и генерируют конечное выходное изображение.

Следует отметить, что часто первый модуль 22 обработки сигналов выполняет коррекцию частоты, коррекцию уровня сигнала, коррекцию WB (баланса белого) и т.д., первый модуль 22 обработки сигналов и второй модуль 26 обработки сигналов выполняют вертикальную инверсию изображения, операции медленного затвора/неподвижного затвора, компенсацию движения рук, электронное масштабирование изображения и т.д., в соединении с управлением запоминающим устройством 23, и второй модуль 26 обработки сигнала выполняет обрезку пиков, генерирование цветоразностных сигналов, OSD (отображение меню на экране), выходную обработку кодирования и т.д.

В устройствах формирования изображения, генерирующих изображения с широким динамическим диапазоном, путем обработки синтеза изображений с длительной экспозицией и с изображения с короткой экспозицией, номинальное значение выходного уровня сигнала из устройства 10 формирования изображения является одинаковым, как для нормального изображения, которое не было преобразовано в изображение с широким динамическим диапазоном, так и для изображения, которое было преобразовано в изображение с широким динамическим диапазоном. В соответствии с этим, контраст и яркость объекта в нормальном изображении, которое не было преобразовано в изображение с широким динамическим диапазоном, и изображение, которое было преобразовано в изображение с широким динамическим диапазоном, отличаются друг от друга, в зависимости от состояния объекта, и изображение, которое было преобразовано в изображение с широким динамическим диапазоном, часто не является желательным изображением, и, соответственно, множество компоновок обеспечивают, как сглаживание нормальных изображений, которые не были преобразованы в изображение с широким динамическим диапазоном, так и изображений, преобразованных в изображение с широким динамическим диапазоном. Множество компоновок предусмотрено так, что, следует или нет формировать изображение с широким динамическим диапазоном, выбирают в соответствии с состоянием объекта.

Как показано на фиг.1, здесь, обработка синтеза, выполняемая модулем 24 синтеза изображения, который выполняет обработку для формирования изображения с широким динамическим диапазоном в результате синтеза изображения, должна быть выполнена перед γ-обработкой, выполняемой модулем 25 коррекции изображения. В соответствии с этим, например, в устройстве формирования изображения, которое генерирует Y, Cr и Cb, по 8 битов каждый, как выходные сигналы, в соответствии с предшествующим уровнем техники, запись/считывание данных в запоминающем устройстве выполняют как запись/считывание в формате данных, называемом форматом 422, с разрешением одна пара сигналов цветности на два пикселя сигналов яркости, при 10 битах или больше каждого из сигналов (Y) яркости и сигналов (G), (R) и (В) цветности, как показано на фиг.2А и 2В.

Как показано на фиг.2А, считывание/запись данных выполняют в формате 422, где сигналы, представляющие последовательное приращение пикселей, используют в качестве сигнала (Y) яркости, но среднее значение двух пикселей используют для сигналов (G), (R) и (В) цветности. На фиг.2В иллюстрируется пример установки битов для каждого из сигналов в случае выполнения считывания/записи с 10 битами сигналов (Y) яркости и 12 битами сигналов (G), (R) и (В) цветности.

Следует отметить, что в качестве способов считывания данных из устройства формирования изображения в предшествующем уровне техники используется способ последовательного считывания, в котором все пиксели считывают как независимые сигналы, и способ чересстрочного считывания, в котором пиксели двух соседних по вертикали строк смешивают и считывают.

Частоты возбуждения устройства формирования изображения для форматов NTSC и PAL, которые представляют собой форматы чересстрочного отображения, составляют 13,5 МГц, 14 МГц, 18 МГц и т.д., в случае чересстрочного считывания из устройства формирования изображения, в то время как в случае последовательного считывания, часто используют их удвоенные значения 27 МГц, 28 МГц и 36 МГц.

В случае, когда способ считывания из устройства формирования изображения представляет собой последовательное считывание, два считывания должны быть выполнены для одной записи, для выполнения обработки синтеза двух изображений, для получения широкого динамического диапазона так, что в случае, когда используется одно запоминающее устройство 23, запоминающим устройством должно работать с частотой, по меньшей мере, в три раза больше частоты возбуждения устройства формирования изображения, и в случае последовательного считывания, при котором представляет удвоенное ее значение, составляющее 81 МГц, приблизительно 86 МГц и 108 МГц.

Для выполнения считывания/записи YRGB в формате 422, 50/2=25 битов данных используют на один период тактовой частоты, таким образом, или требуется использовать 32-битное запоминающее устройство, или частоту требуется дополнительно удвоить до 162 МГц, приблизительно 171 МГц и 216 МГц, для использования 16-битного запоминающего устройства. Четыре изображения должны быть сохранены по порядку, для получения изображения с широким динамическим диапазоном в устройстве формирования изображения, которое совместимо с форматами NTSC или PAL, в то время как менее чем 64 Мбайта достаточно для размера данных, даже при работе в последовательном режиме, при этом 133-166 МГц составляют максимальную частоту для запоминающего устройства, соответствующего 64 Мбайтам, поэтому, вместо использования 133 МГц, ширина данных должна была составлять 32 бита, или необходимо использовать высокоскоростное запоминающее устройство.

В первом случае возникали проблемы, такие как увеличенная площадь монтажа, из-за увеличенного количества строк управления памятью или использования двух запоминающих устройств, что делало их дорогостоящими, из-за использования двух типов запоминающих устройств с малым спросом и т.д. Кроме того, возникла проблема ухудшения качества изображения из-за недостаточного разрешения данных в случае уменьшения формата данных запоминающего устройства до 16 бит или ниже, и в частности, это ухудшение качества изображения выглядело заметным в случае, когда не выполняли синтез WDR для получения широкого динамического диапазона. Кроме того, возникала проблема ошибок в изображениях во время переключения в устройстве формирования изображения, которое работает на основе переключения между двумя типами форматов данных, которые представляют собой изображения с широким динамическим диапазоном и нормальные изображения.

Раскрытие изобретения

Таким образом, желательно обеспечить устройство формирования изображения, способ обработки сигналов и программу, с помощью которых в устройстве формирования изображения, выполненном с возможностью съемки двух типов изображений, для изображения, которое было сформировано как изображение с широким динамическим диапазоном и нормальное изображение, можно уменьшить емкость запоминающего устройства, можно предотвратить возникновение ошибок на выходе во время переключения между режимами съемки двух типов изображений для изображения, сформированного как изображение с широким динамическим диапазоном и нормальное изображение, и обеспечить плавное переключение режимов.

Один вариант осуществления изобретения включает в себя модуль обработки сигнала для сигналов изображения, включающий в себя первый, второй и третий модули обработки сигнала, запоминающее устройство, содержащее сигналы изображения, и первый, второй, третий и четвертый переключатели. Первый переключатель соединен с входом второго модуля обработки сигнала. Первый переключатель переключается между выводом запоминающего устройства и выводом первого модуля обработки сигнала. Второй переключатель соединен с входом третьего модуля обработки сигнала. Второй переключатель переключается между выводом запоминающего устройства и выводом второго модуля обработки сигнала. Третий переключатель соединен с входом запоминающего устройства. Третий переключатель переключается между выводом второго модуля обработки сигнала и выводом первого модуля обработки сигналов. Четвертый переключатель, соединен с выводом запоминающего устройства. Четвертый переключатель переключается между входом третьего модуля обработки сигнала и входом второго модуля обработки сигнала.

В другом варианте осуществления управляют трактами ввода/вывода запоминающего устройства. Для генерирования нормального изображения сигналы изображения сохраняют в запоминающем устройстве и считывают из запоминающего устройства после коррекции изображения. Для генерирования изображения с широким динамическим диапазоном сигналы изображения сохраняют в запоминающем устройстве и считывают из запоминающего устройства перед коррекцией сигналов изображения.

В соответствии с другим вариантом осуществления, для нормального формирования изображения первый переключатель соединен с выводом первой схемы обработки сигналов. Второй переключатель соединен с выводом запоминающего устройства. Третий переключатель соединен с выводом второго модуля обработки сигнала. Четвертый переключатель соединен с входом третьего модуля обработки сигнала.

В другом варианте осуществления для генерирования изображения с широким динамическим диапазоном первый переключатель соединен с выводом запоминающего устройства. Второй переключатель соединен с выводом второго модуля обработки сигналов. Третий переключатель соединен с выводом первого модуля обработки сигналов. Четвертый переключатель соединен с входом второго модуля обработки сигналов.

В соответствии с еще одним вариантом осуществления, второй модуль обработки сигнала включает в себя модуль синтеза, генерирующий изображение широкого динамического диапазона из сигналов изображения, содержащихся в запоминающем устройстве. Модуль синтеза выполняет обработку синтеза изображения. При формировании нормального изображения обработка синтеза изображения не выполняется.

В еще одном варианте осуществления второй модуль обработки сигнала включает в себя модуль синтеза изображения, генерирующий изображение с широким динамическим диапазоном из сигналов изображения, хранящихся в запоминающем устройстве, и выполняющий обработку синтеза изображения. Второй модуль обработки сигнала также включает в себя модуль коррекции изображения и устройство обработки сигналов. Модуль коррекции изображения корректирует сигналы изображения. Устройство обработки сигналов преобразует сигналы изображения в цветоразностные сигналы. Для генерирования нормального изображения обработку синтеза изображения с помощью модуля синтеза изображения не выполняют.

В другом варианте осуществления модуль обработки изображения переключает обработку между операцией формирования нормального изображения и операцией формирования изображения широкого динамического диапазона в ответ на сигналы управления из контроллера. Модуль обработки сигналов включает в себя запоминающее устройство, модуль коррекции изображения и переключающие устройства. Запоминающее устройство содержит сигналы изображения. Модуль коррекции изображения корректирует сигналы изображения. Переключающие устройства соединены с запоминающим устройством и модулем коррекции изображения и трактами ввода/вывода переключателя запоминающего устройства в/из модуля коррекции изображения.

В еще одном варианте осуществления трактами ввода/вывода запоминающего устройства управляют по-разному при формировании нормального изображения и формирования изображения широкого динамического диапазона. При формировании нормального изображения сигналы изображения содержатся в запоминающем устройстве, и их считывают из запоминающего устройства после коррекции изображения модулем коррекции изображения. При формировании изображения широкого динамического диапазона сигналы изображения содержатся в запоминающем устройстве, и их считывают из запоминающего устройства прежде, чем сигналы изображения будут скорректированы модулем коррекции изображения.

В другом варианте осуществления система обработки сигнала изображения включает в себя запоминающее устройство, модуль управления, модуль обработки сигналов и модуль переключения. Модуль обработки сигналов включает в себя модуль коррекции изображения и модуль синтеза изображения. Запоминающее устройство содержит сигналы изображения. Модуль управления выполняет управление трактом сигнала для трактов ввода/вывода запоминающего устройства. Модуль коррекции изображения корректирует сигналы изображения. Модуль синтеза изображения генерирует изображение широкого динамического диапазона из сигнала изображения, содержащегося в запоминающем устройстве, и выполняет обработку синтеза изображения. Модули переключения соединены с запоминающим устройством и модулем обработки сигналов и переключают тракты сигнала запоминающего устройства в/из модуля обработки сигналов.

В еще одном варианте осуществления система обработки сигнала изображения управляет трактами ввода/вывода запоминающего устройства для формирования нормального изображения и для формирования изображения широкого динамического диапазона. Для формирования нормального изображения сигналы изображения сохраняют в запоминающем устройстве и считывают из запоминающего устройства после коррекции изображения модулем коррекции изображения. Для формирования изображения широкого динамического диапазона сигналы изображения сохраняют в запоминающем устройстве и считывают из запоминающего устройства прежде, чем сигналы изображения будут синтезированы модулем синтеза и скорректированы модулем коррекции изображения.

В еще одном варианте осуществления для формирования нормального изображения обработка синтеза изображения не выполняется модулем синтеза изображения.

Другие цели и преимущества настоящего изобретения будут понятны из следующего описания предпочтительных вариантов осуществления изобретения, которые представлены на приложенных чертежах.

Краткое описание чертежей

На фиг.1 представлена схема для описания примера конфигурации устройства формирования изображения, которое генерирует изображение широкого динамического диапазона, синтезируя изображения двух типов чувствительности;

на фиг.2А и 2В показаны схемы для описания примеров конфигурации данных, сохраняемых в запоминающем устройстве в устройстве формирования изображения;

на фиг.3 представлена схема для описания примера конфигурации устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.4 представлена схема для описания параметров настройки переключателя и обработки, когда установлен режим нормального изображения для генерирования нормального изображения, при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.5 представлена схема для описания параметров переключателя и обработки, когда установлен режим широкого динамического диапазона для генерирования изображения широкого динамического диапазона, при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.6В и 6В представлены схемы для описания примеров формата данных, сохраненных в запоминающем устройстве при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.7 представлена схема для описания примера формата данных, сохраненных в запоминающем устройстве при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.8 представлена схема для описания нормальной последовательности генерирования изображения с последовательным считыванием и последовательным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.9 представлена схема для описания последовательности генерирования изображения широкого динамического диапазона (первый пример) с последовательным считыванием и последовательным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.10 представлена схема для описания последовательности генерирования изображения широкого динамического диапазона (второй пример) с последовательным считыванием и последовательным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.11 представлена схема для описания последовательности генерирования нормального изображения (первый пример) с последовательным считыванием и чересстрочным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.12 представлена схема для описания последовательности генерирования нормального изображения (второй пример) с последовательным считыванием и чересстрочным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.13 представлена схема для описания последовательности генерирования изображения широкого динамического диапазона (первый пример) с последовательным считыванием и чересстрочным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.14 представлена схема для описания последовательности генерирования изображения широкого динамического диапазона (второй пример) с последовательным считыванием и чересстрочным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.15 представлена схема для описания последовательности генерирования изображения широкого динамического диапазона (третий пример) с последовательным считыванием и чересстрочным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.16 представлена схема для описания последовательности генерирования изображения широкого динамического диапазона (четвертый пример) с последовательным считыванием и чересстрочным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.17 представлена схема для описания последовательности для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.18 представлена схема для описания параметров переключателя в последовательности для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления;

на фиг.19 представлена схема для описания параметров переключателя в последовательности для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом при помощи устройства формирования изображения в соответствии с вариантом осуществления; и

на фиг.20 представлена схема для описания проблем в последовательности для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона.

Подробное описание изобретения

Устройство формирования изображения, способ обработки сигналов и программа в соответствии с настоящим изобретением будут описаны ниже со ссылкой на чертежи. Описание будет представлено в порядке следующих пунктов.

1. О примере общей конфигурации устройства формирования изображения

2. Об установках для выполнения обработки генерирования нормального изображения и обработки генерирования изображения с широким динамическим диапазоном

3. О формате данных, содержащихся в запоминающем устройстве

4. О подробной последовательности обработки генерирования изображения

(4-А) Последовательность генерирования нормального изображения с последовательным считыванием и последовательным выводом

(4-В) Последовательность генерирования изображения с широким динамическим диапазоном с последовательным считыванием и последовательным выводом (первый пример)

(4-С) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом (второй пример)

(4-D) Последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом (первый пример)

(4-Е) Последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом (второй пример)

(4-F) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (первый пример)

(4-G) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (второй пример)

(4-ая) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (третий пример)

(4-I) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (четвертый пример)

(4-J) Последовательность для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом

1. О примере общей конфигурации устройства формирования изображения

На фиг.3 показана блок-схема, иллюстрирующая вариант осуществления устройства формирования изображения в соответствии с настоящим изобретением. Хотя изобретение будет описано посредством варианта осуществления устройства формирования изображения, следует понимать, что изобретение не ограничено этим устройством формирования изображения и может применяться в других формах, включая в себя устройство обработки изображений, которое не имеет участка формирования изображения, для ввода сигналов формируемого изображения и выполнения обработки сигналов.

Конфигурация и обработка устройства 100 формирования изображения, показанная на фиг.3, будут описаны ниже. Свет, поступающий через объектив 101, подвергают фотоэлектрическому преобразованию в устройстве 102 формирования изображения. Электрические сигналы, соответствующие изображению, которые были сгенерированы в устройстве 102 формирования изображения, подвергают коррелированной обработке с двойной выборкой и AGC (автоматическое регулирование усиления) в блоке 103 предварительной аналоговой обработки и затем подвергают A/D (аналогово-цифровому) преобразованию для формирования цифровых сигналов, соответствующих изображению.

Далее, цифровые сигналы, выводимые из блока 103 предварительной аналоговой обработки, подают в модуль 121 генерирования YRGB модуля 120 обработки сигналов, с сигналами Y, которые представляют собой сигналы яркости, и сигналами R, сигналами G и сигналами В, которые представляют собой сигналы цветности, генерируемыми модулем 121 генерирования YRGB.

Сигналы Y, сигналы R, сигналы G и сигналы В, выводимые из модуля 121 генерирования YRGB, подвергают соответствующей обработке сигналов в первом модуле 122 обработки сигналов и затем подают на входной вывод N переключателя а (обозначен номером 151а ссылочной позиции; ниже также называется "переключатель 151а"), и входной вывод W переключателя с (обозначен номером 151с ссылочной позиции; ниже также называется "переключатель 151с").

Выходной сигнал переключателя 151а подают в модуль 123 синтеза изображения и подвергают соответствующей обработке синтеза изображения, то есть обработку для получения широкого динамического диапазона выполняют с помощью обработки синтеза изображения из изображения с короткой экспозицией и изображения с длительной экспозицией. Следует отметить, что при генерировании нормального изображения модуль 123 синтеза изображения не выполняет обработку синтеза изображения, и входной сигнал из первого модуля 122 обработки сигналов, имеющий достаточное разрешение для второй обработки сигнала, выполняемой во втором модуле 125 обработки сигнала, выводят в модуль 124 коррекции изображения (γ коррекция) без изменения.

Следует отметить, что первый модуль 122 обработки сигналов выводит сигналы, выполненные с возможностью генерирования данных нормального изображения (данные, соответствующие формату 1 (f1) на описанных ниже фиг.6А и 6В), сохраненного в запоминающем устройстве 130, например, сигналы YRGB по 10 битов каждый.

Модуль 124 коррекции изображения (γ коррекция) подвергает каждый из сигналов YRGB обработке γ коррекции и выводит скорректированное изображение во второй модуль 125 обработки сигнала.

Второй модуль 125 обработки сигнала выполняет обработку, например, для преобразования в сигналы, включающие в себя цветоразностные сигналы (YCbCr) и т.д., и выводит обработанное изображение на входной вывод W переключателя b (обозначен номером 151b ссылочной позиции; ниже также называется "переключателем 151b"), и на входной вывод N переключателя 151с. Выходной сигнал переключателя 151b подают в третий модуль 126 обработки сигнала, где выполняют конечную обработку сигналов, генерируя таким образом и выводя выходные сигналы устройства формирования изображения.

Выходные сигналы переключателя 151с представляют собой данные записи в запоминающее устройство 130, и данные считывания из запоминающего устройства 130 подают на переключатель d (обозначен номером 151d ссылочной позиции; ниже также называется "переключателем 151d"). Сигналы, выводимые с входного вывода N переключателя 151d, подают на входной вывод N переключателя 151b, а сигналы, выводимые с выходного вывода W переключателя 151d, подают на входной вывод W переключателя 151а.

Следует отметить, что с помощью первого модуля 122 обработки сигналов, выполняют коррекцию частоты, коррекцию уровня сигнала, коррекцию WB (баланса белого) и т.д. Часто во втором модуле 125 обработки сигналов выполняют обрезку пиков, генерирование цветоразностных сигналов, коррекцию и т.д., а в третьем модуле 126 обработки сигналов выполняют обработку OSD (отображение на экране), обработку выходного кодирования и т.д., но роли этих модулей обработки сигналов могут быть изменены соответствующим образом.

Устройство 100 формирования изображения, показанное на фиг.3, имеет конфигурацию, позволяющую избирательно выполнять следующую обработку:

(1) Обработка генерирования нормального изображения для генерирования изображения кадра, выводимого из устройства 102 формирования изображения в качестве одного выходного изображения, и

(2) Обработка генерирования изображения WDR (с широким динамическим диапазоном), при которой изображения двух типов чувствительности, полученные путем переключения времени экспозиции устройства 102 формирования изображения между длительной экспозицией и короткой экспозицией в каждый вертикальный период, синтезируют для генерирования изображения с широким динамическим диапазоном.

Объекты, выводимые с требуемой яркостью при нормальной обработке генерирования изображения, часто представляют собой изображения, которые являются темными и имеют низкий контраст, при формировании из них изображения с широким динамическим диапазоном. Соответственно, даже видеокамеры, которые могут снимать изображения с широким динамическим диапазоном, имеют такие условия объекта, когда лучше использовать изображения с широким динамическим диапазоном, и такие условия объекта, когда лучше использовать нормальные изображения.

В устройстве 100 формирования изображения, показанном на фиг.3, модуль 105 управления детектирует установки пользователя, например, через модуль 106 ввода, и обеспечивает возможность переключения между операциями генерирования нормального изображения и операциями генерирования изображения с широким динамическим диапазоном.

В качестве альтернативы, управление может быть выполнено таким образом, что, например, модуль 105 управления анализирует гистограмму сигналов яркости изображения с высокой чувствительностью, полученного, например, с использованием длительной экспозиции, и, в случае определения, что процент области с насыщенным белым является высоким, выполняют формирование изображений для выполнения формирования изображений как изображений с низкой чувствительностью с использованием короткой экспозиции. Например, в случае, когда области с ограничением черного и с ограничением белого являются малыми на гистограмме, при выполнении формирования изображений с высокой чувствительностью, определяют, что получение изображения с широким динамическим диапазоном является нежелательным, и установки переключают в нормальный режим работы при съемке изображения.

Модуль 105 управления выполняет управление доступом к запоминающему устройству, такое как, например, управление установками адреса и последовательностью доступа. Кроме того, во время обработки переключения между операциями генерирования нормального изображения и операциями генерирования изображения с широким динамическим диапазоном модуль 105 управления выполняет управление трактами передачи сигнала, сопровождающими, например, переключение трактов ввода/вывода в запоминающее устройство 130. Следует отметить, что модуль 105 управления выполняет различные типы обработки и управления в соответствии с программой, содержащейся в участке хранения данных в нем самом или в непоказанном модуле хранения данных.

Пример конкретной обработки для обработки переключения между операциями генерирования нормального изображения и операциями генерирования изображения с широким динамическим диапазоном, которая представляет собой управление, выполняемое модулем 105 управления, представляет собой следующую обработку. Во время генерирования нормального изображения, когда обработка синтеза изображения в модуле 123 синтеза изображения не выполняется, управление трактом передачи сигнала выполняют для установки сигналов после коррекции, выполняемой модулем 124 коррекции изображения, в качестве сигналов для считывания/записи в и из запоминающего устройства 130, и во время генерирования изображения с широким динамическим диапазоном в случае, когда выполняют обработку синтеза изображения в модуле 123 синтеза изображения, выполняют управление трактами передачи сигнала для установки сигналов перед коррекцией с помощью модуля 124 коррекции изображения как сигналов для считывания/записи в и из запоминающего устройства 130.

Таким образом, устройство 100 формирования изображения имеет конфигурацию, обеспечивающую возможность переключения между режимом генерирования нормального изображения и режимом генерирования изображения с широким динамическим диапазоном с помощью установок пользователя или при выполнении автоматического управления с помощью модуля 105 управления. Модуль 105 управления выполняет управление таким образом, что в случае работы в режиме генерирования нормального изображения, переключатели 151а-151d модуля 120 обработки сигналов находятся в конфигурации соединения со стороной N, а в случае режима генерирования изображения с широким динамическим диапазоном переключатели 151а-151d модуля 120 обработки сигналов находятся в конфигурации соединения со стороной W.

Кроме того, в случае режима генерирования нормального изображения модуль 105 управления выполняет управление для остановки обработки синтеза изображения в модуле 123 синтеза изображения и выводит входной сигнал из первого модуля 122 обработки сигналов непосредственно в модуль 124 коррекции изображения.

В случае режима генерирования изображения с широким динамическим диапазоном выполняют обработку синтеза изображения в модуле 123 синтеза изображения. Модуль 123 синтеза изображения генерирует изображение с широким динамическим диапазоном путем выполнения обработки синтеза изображения для установки действительных значений пикселя изображения с низкой чувствительностью, получаемых при короткой экспозиции в области ограничения белого изображения с высокой чувствительностью, полученной в результате длительной экспозиции.

2. Об установках для выполнения обработки генерирования нормального изображения и обработки генерирования изображения с широким динамическим диапазоном

В конфигурации устройства 100 формирования изображения по фиг.3 установки переключателей 151а-151d отличаются, а также отличается поток сигналов между выполнением нормальных операций для генерирования нормального изображения и при выполнении операций широкого динамического диапазона для генерирования изображения с широким динамическим диапазоном.

Разница потока сигналов из-за разницы в этих режимах будет описана со ссылкой на фиг.4 и 5. На фиг.4 показана схема, где поток сигналов при выполнении нормальных операций для генерирования нормального изображения представлен жирными линиями. На фиг.5 показана схема, где поток сигналов, при выполнении операции с широким динамическим диапазоном для генерирования изображения с широким динамическим диапазоном представлен жирными линиями.

Вначале, со ссылкой на фиг.4, будет описан поток сигналов, при выполнении нормальных операций для генерирования нормального изображения. Во время выполнения нормальных операций для генерирования нормального изображения переключатели 151а-151d переключены на сторону N. После того как входные сигналы из устройства 102 формирования изображения будут преобразованы в цифровые сигналы в блоке 103 аналоговой предварительной обработки, их подают в модуль 121 генерирования YRGB модуля 120 обработки сигналов и генерируют сигналы Y яркости и сигналы R, G, В цветности.

Сигналы Y яркости и сигналы R, G, В цветности подвергают обработке сигналов в модуле 122 первой обработки сигналов, а затем подают в модуль 123 синтеза изображения через переключатель 151а. При выполнении нормальных операций генерирования изображения модуль 123 синтеза изображения не выполняет обработку синтеза изображения и выводит входные сигналы в модуль 124 коррекции изображения без изменения.

Модуль 124 коррекции изображения выполняет γ-коррекцию для каждого из сигналов YRGB и выводит скорректированные сигналы во второй модуль 125 обработки сигналов. Во втором модуле 125 обработки сигнала, например, выполняют преобразование в сигналы, включающие в себя цветоразностные сигналы (YCbCr) и т.д., обрезку пиков и другую обработку сигналов, и обработанные сигналы записывают в запоминающее устройство 130 через переключатель 151 с во входном участке запоминающего устройства 130.

Кроме того, сигналы, считанные из запоминающего устройства 130, подают в третий модуль 126 обработки сигнала через переключатели 151d и 151b. Третий модуль 126 обработки сигнала выполняет заключительную обработку сигналов для сигналов, считываемых из запоминающего устройства 130, и генерирует и выводит нормальное изображение на выход из устройства формирования изображения.

Далее, со ссылкой на фиг.5, будет описан поток сигналов, при выполнении операции с широким динамическим диапазоном для генерирования изображения с широким динамическим диапазоном. При выполнении операции с широким динамическим диапазоном для генерирования изображения с широким динамическим диапазоном переключатели 151а-151d переключают на сторону W.

Входные сигналы из устройства 102 формирования изображения преобразуют в цифровые сигналы через блок 103 аналоговой предварительной обработки и затем подают в модуль 121 генерирования YRGB модуля 120 обработки сигналов, генерируя, таким образом, сигналы Y яркости и сигналы R, G, В цветности.

Сигналы YRGB, в которых сигналы Y яркости и сигналы R, G, В цветности были подвергнуты обработке сигналов в первом модуле 122 обработки сигналов, временно сохраняют в запоминающем устройстве 130 перед выполнением последующей обработки сигналов. Запись в запоминающее устройство 130 выполняют через переключатель 151 с на входном участке запоминающего устройства 130.

Как описано выше, при обработке синтеза изображения, предназначенной для генерирования изображения с широким динамическим диапазоном, используют два изображения, такие как изображение с длительной экспозицией и изображение с короткой экспозицией. Соответственно, обработку при съемке изображения с помощью устройства 102 формирования изображения, путем сохранения изображения в запоминающем устройстве 130, которое было описано выше, выполняют как обработку, выполняемую для двух последовательно снимаемых изображений (а) и (b), которые представляют собой

(а) изображение с короткой экспозицией (изображение с низкой чувствительностью: Ln) и

(b) изображение с длительной экспозицией (изображение с высокой чувствительностью: Hn).

Следует отметить, что конкретные последовательности обработки будут подробно описаны ниже.

Два изображения, сохраненные в запоминающем устройстве 130, подвергают считыванию из запоминающего устройства 130 через переключатель 151d на выходном участке запоминающего устройства 130 и подают в модуль 123 синтеза изображения через переключатель 151а. Обработка считывания изображений из запоминающего устройства 130 выполняется как обработка для считывания параллельно, используя адреса сохранения в запоминающем устройстве каждого из двух изображений, таких как

(a) изображение с короткой экспозицией (изображение с низкой чувствительностью: Ln)и

(b) изображение с длительной экспозицией (изображение с высокой чувствительностью: Hn).

Модуль 123 синтеза изображения синтезирует изображение с короткой экспозицией и изображение с длительной экспозицией, считанные из запоминающего устройства 130, и генерирует изображение с широким динамическим диапазоном. Сгенерированное изображение с широким динамическим диапазоном выводят в модуль 124 коррекции изображения.

Модуль 124 коррекции изображения выполняет γ-коррекцию каждого из сигналов YRGB и выводит скорректированные сигналы во второй модуль 125 обработки сигналов. Второй модуль 125 обработки сигналов выполняет, например, обработку преобразования для сигналов, включающих в себя цветоразностные сигналы (YCbCr) и т.д., и обрезку пиков и другую обработку сигналов, и обработанные сигналы подают в третий модуль 126 обработки сигналов через переключатель 151b. Третий модуль 126 обработки сигналов выполняет конечную обработку сигналов для сигналов, считанных из запоминающего устройства 130, и генерирует изображение с широким динамическим диапазоном, предназначенное для вывода из устройства формирования изображения.

Одно существенное различие между обработкой генерирования нормального изображения, описанной со ссылкой на фиг.4, и обработкой генерирования изображения с широким динамическим диапазоном, описанной со ссылкой на фиг.5, состоит в следующих моментах времени считывания и записи из запоминающего устройства.

При обработке генерирования нормального изображения, описанной со ссылкой на фиг.4, запись в и считывание из запоминающего устройства 130 выполняют после коррекции изображения (γ коррекции) в модуле 124 коррекции изображения и обработки сигналов во втором модуле 125 обработки сигнала. Затем сигналы, считанные из запоминающего устройства 130, подвергают конечной обработке сигналов во втором модуле 125 обработки сигнала и выводят нормальное изображение.

С другой стороны, при обработке генерирования изображения с широким динамическим диапазоном, описанной со ссылкой на фиг.5, выполняют обработку синтеза изображения в модуле 123 синтеза изображения, коррекцию изображения (γ коррекцию) в модуле 124 коррекции изображения, и обработку записи/считывания в запоминающем устройстве 130 перед обработкой сигналов во втором модуле 125 обработки сигнала.

Затем сигналы, считанные из запоминающего устройства 130, подвергают обработке синтеза изображения в модуле 123 синтеза изображения, коррекции изображения (γ коррекции) в модуле 124 коррекции изображения, обработке сигналов во втором модуле 125 обработки сигнала, и дальнейшую конечную обработку сигналов выполняют во втором модуле 125 обработки сигнала, и выводят изображение с широким динамическим диапазоном.

Следует отметить, что при обработке генерирования изображения с широким динамическим диапазоном выполняют запись в запоминающее устройство 130 так, что два изображения, такие как

(a) изображение с короткой экспозицией (изображение с низкой чувствительностью: Ln)и

(b) изображение с длительной экспозицией (изображение с высокой чувствительностью: Hn)

последовательно записывают в отдельные установленные положения адреса в запоминающем устройстве, и, во время считывания, их считывают параллельно, используя два адреса в запоминающем устройстве.

Следует отметить, что при обработке генерирования нормального изображения, описанной со ссылкой на фиг.4 после коррекции изображения (γ коррекции) в модуле 124 коррекции изображения сигналы, в частности сигналы YCbCr, например, записывают в запоминающее устройство 130, а также считывают из него.

С другой стороны, при обработке генерирования изображения с широким динамическим диапазоном запись в и считывание из запоминающего устройства 130 выполняют перед следующей коррекцией изображения (γ коррекцией) в модуле 124 коррекции изображения. То есть, сигналы YRGB, которые выводят из первого модуля 122 обработки сигналов, записывают и считывают.

Следует отметить, что при выполнении генерирования изображения с широким динамическим диапазоном, описанного со ссылкой на фиг.5, значения каждого из сигналов YRGB каждого из двух изображений, таких как

(a) изображение с короткой экспозицией (изображение с низкой чувствительностью: Ln)и

(b) изображение с длительной экспозицией (изображение с высокой чувствительностью: Hn)

сохраняют в запоминающем устройстве 130.

3. О формате данных, содержащихся в запоминающем устройстве

Как описано выше, при обработке генерирования нормального изображения, описанной со ссылкой на фиг.4, сигналы YCbCr, которые представляют собой результаты коррекции изображения (γ коррекции) в модуле 124 коррекции изображения и обработки сигналов во втором модуле 125 обработки сигнала, записывают в запоминающее устройство 130, и также считывают из него. Примеры конфигурации данных, содержащихся в запоминающем устройстве, представлены в позициях (1а) и (1b) на фиг.6А и 6В.

Сохранение данных выполняют в запоминающем устройстве 130 в формате данных (ниже называется форматом 1 данных (f1)), сигналов, в так называемом формате 422, с разрешением одной пары цветоразностных сигналов (Cbn, Crn) для двух пикселей сигналов (Yn) яркости, как показано в позиции (1а) на фиг.6А, или, в так называемом, формате 411, который представляет собой формат данных с разрешением одной пары сигналов цветности для четырех пикселей сигналов яркости с 8 битами сигналов (Y) яркости и 8 битами (Cr=R-Y, Cb=В-Y) сигналов цветности, так же, как и у выходных сигналов, показанных в позиции (1b) на фиг.6В.

Следует отметить, что два Cb1, показанные в позиции (1b) на фиг.6В, обозначают те же 8-битные данные (например, среднее значение двух пикселей). Два Сг1 также представляют собой 8-битные данные того же Cr1. С другой стороны, во время генерирования изображения с широким динамическим диапазоном, описанного со ссылкой на фиг.5, выходные сигналы первого модуля 122 обработки сигналов сохраняют в запоминающем устройстве 130.

Пример конфигурации данных, содержащихся при этом в запоминающем устройстве, показан как позиция (2) на фиг.7. Как показано в позиции (2) на фиг.7, данные записывают в и считывают из запоминающего устройства 130 в формате данных (ниже называется форматом 2 данных (f2)), в так называемом формате 411, который представляет собой формат данных с разрешением одной пары сигналов цветности для четырех пикселей сигналов яркости с 9 битами сигналов (Y) яркости и 10 битами сигналов (G) цветности, и 9 битами каждого из сигналов цветности (R) и (В).

Как описано выше, модуль 105 управления выполняет управление каналом передачи сигналов таким образом, что, когда выполняют генерирование нормального изображения, когда не выполняют обработку синтеза изображения в модуле 123 синтеза изображения, сигналы, следующие после коррекции в модуле 124 коррекции изображения, устанавливают как сигналы, предназначенные для записи в и считывания из запоминающего устройства 130, и при выполнении генерирования изображения с широким динамическим диапазоном, когда обработку синтеза изображения выполняют в модуле 123 синтеза изображения, сигналы перед коррекцией в модуле 124 коррекции изображения устанавливают как сигналы, предназначенные для записи в и считывания из запоминающего устройства 130.

Второй модуль 125 обработки сигналов выводит сигналы в соответствии с форматом (f1), показанным на фиг.6А и 6 В, имеющим отношение два каждого из цветоразностных сигналов (Cb, Cr) к четырем значениям яркости (Y), или имеющим отношение каждого из цветоразностных сигналов (Cb, Cr) к четырем значениям яркости (Y) с установками из 8 битов сигналов (Y) яркости и 8 битов каждого из (Cb), (Cr), в отношении цветоразностных сигналов (Cb, Cr), и при генерировании нормального изображения, в случае, когда обработку синтеза изображения не выполняют в модуле 123 синтеза изображения, модуль 105 управления выполняет управление путем передачи сигнала таким образом, что сигналы, соответствующие формату (f1), показанному на фиг.6А и 6В, устанавливают как сигналы, предназначенные для записи в и считывания из запоминающего устройства 130.

Первый модуль 122 обработки сигналов выводит сигналы, соответствующие формату (f2), показанному на фиг.7, имеющему отношение один каждый из сигналов (R, G, В) цветности к четырем значениям сигнала (Y) яркости, при установке 9 битов сигналов (Y) яркости и 10 битов (G), и 9 битов каждого из (R) и (В), в отношении сигналов (R, G, В) цветности, и при генерировании изображения с широким динамическим диапазоном, когда выполняют обработку синтеза изображения в модуле 123 синтеза изображения, модуль 105 управления выполняет управление каналом передачи сигнала таким образом, что сигналы, соответствующие формату (f2), устанавливают как сигналы, которые должны быть записаны в и считаны из запоминающего устройства 130.

4. О подробной последовательности обработки генерирования изображения

Как описано со ссылкой на фиг.3-5, устройство формирования изображения в соответствии с настоящим изобретением генерирует разные изображения в двух режимах, таких как режим обработки генерирования нормального изображения, выполняемой в нормальном режиме изображения, описанном со ссылкой на фиг.4, и обработки генерирования изображения с широким динамическим диапазоном, выполняемой в режиме с широким динамическим диапазоном, описанном со ссылкой на фиг.5.

Устройство формирования изображения в соответствии с настоящим изобретением выполняет обработку, в которой сохранение данных в запоминающем устройстве 130 изменяют, или моменты времени записи и считывания запоминающего устройства делают разными для этих разных обработок генерирования изображения. Далее будет представлено подробное описание различных последовательностей обработки генерирования изображения, которые выполняет устройство формирования изображения в соответствии с настоящим изобретением.

Следует отметить, что, в качестве форм считывания пикселей из устройства формирования изображения принято последовательное считывание, когда значения пикселей для пикселей, составляющих изображение, считывают за один ход развертки, и чересстрочное считывание, когда независимо выполняют развертку четной строки и развертку нечетной строки для считывания. Кроме того, что касается форм вывода из устройства формирования изображения, которое выполняет вывод на устройство отображения, выполняют последовательный вывод, когда значения пикселей для пикселей, составляющих одно изображение, выводят за один проход развертки, и чересстрочный вывод, когда развертку четной строки и развертку нечетной строки выполняют независимо для вывода.

Ниже будут по отдельности подробно описаны конкретные последовательности обработки генерирования изображения, соответствующие различным комбинациям этих форм считывания и вывода. Каждая из следующих обработок будет описана в следующей последовательности.

(4-А) Последовательность генерирования нормального изображения с последовательным считыванием и последовательным выводом (фиг.8)

(4-В) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом (первый пример) (фиг.9)

(4-С) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом (второй пример) (фиг.10)

(4-D) Последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом (первый пример) (фиг.11)

(4-Е) Последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом (второй пример) (фиг.12)

(4-F) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (первый пример) (фиг.13)

(4-G) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (второй пример) (фиг.14)

(4-Н) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (третий пример) (фиг.15)

(4-I) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (четвертый пример) (фиг.16)

(4-J) Последовательность для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом (фиг.17)

(4-А) Последовательность генерирования нормального изображения с последовательным считыванием и последовательным выводом

Вначале будет представлено подробное описание последовательности генерирования нормального изображения с последовательным считыванием и последовательным выводом со ссылкой на фиг.8. На фиг.8 показана схема, иллюстрирующая подробную последовательность во время выполнения нормальных операций (см. фиг.4) для генерирования нормального изображения при помощи устройства формирования изображения в соответствии с настоящим изобретением путем выполнения операций с устройством формирования изображения с последовательным считыванием и последовательной операцией вывода из устройства формирования изображения.

Прошедшее время (моменты времени t0-t6) показано слева направо, и следующие данные и установки представлены в каждый из этих моментов времен.

(1) экспозиция и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные

(4) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал устройства 100 формирования изображения

Временные интервалы t0-t1, t1-t2 и так далее эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства 102 формирования изображения. Как показано в позиции (1) на фиг.8, устройство 102 формирования изображения выводит (VII), (VI2), (VI3), (VI4) и так далее, в качестве выходных сигналов устройства формирования изображения, полученных в результате экспонирования в каждом из циклов кадровой развертки (от t0 до t1, от t1 до t2 и так далее). Цифровые значения 1, 2 и так далее представляют собой идентификационные номера, указывающие порядок вывода из устройства формирования изображения.

Как показано в позиции (2) на фиг.8, все установки переключателей 151а и 151с установлены на сторону N выводов в режиме генерирования нормального изображения, как описано выше со ссылкой на фиг.4. Следует отметить, что эти установки выполняются модулем 105 управления. Результаты обработки второго модуля 125 обработки сигнала сохраняют в запоминающем устройстве 130 в соответствии с этими установками переключателя. Как показано в позиции (3) на фиг.8, два адреса AD1 и AD2 в запоминающем устройстве используются поочередно для последовательного сохранения данных (f1_1), (f1_2), (f1_3) и так далее, полученных в результате обработки второго модуля 125 обработки сигнала. Следует отметить, что f1 означает, что сохранение в запоминающем устройстве будет выполнено в соответствии с форматом 1 сохранения в запоминающем устройстве.

Формат 1 (f1) соответствует формату, описанному выше со ссылкой на фиг.6А и 6В, и содержит сигналы YCbCr, которые представляют обработку во втором модуле 125 обработки сигнала в первом формате по фиг.6А или 6В.

В режиме генерирования нормального изображения сигналы YCbCr, выводимые как результаты обработки третьего модуля 126 обработки сигнала, записывают в запоминающем устройстве 130 в первом формате (f1), показанном на фиг.6А или 6В. То есть, в запоминающее устройство 130 записывают сигналы в так называемом формате 422 с разрешением одна пара цветоразностных сигналов (Cbn, Crn) для двух пикселей сигналов (Yn) яркости, как показано на фиг.6А, или сигналы в так называемом формате 411 с разрешением одна пара сигналов цветности для четырех пикселей сигналов яркости с 8 битами сигналов (Y) яркости и 8 битами цветоразностных сигналов (Cr, Cb), как показано на фиг.6В.

Следует отметить, что данные, используемые как результаты обработки второго модуля 125 обработки сигнала для выходного сигнала (VII) устройства формирования изображения, показанного в позиции (1) на фиг.8, соответствуют данным (f1_1), сохраненным в запоминающем устройстве, показанном в позиции (3) на фиг.8. Обработку с выхода из устройства 102 формирования изображения для сохранения в запоминающем устройстве 130 выполняют в период времени от t0 до t1.

В течение этого периода времени от t0 до t1 выполняют обработку для сохранения данных (f1_1) в положении, указанном адресом AD1 в запоминающем устройстве в формате 1 (f1).

В следующий период времени от t1 до t2, при обработке "(1) устройство формирования изображения" вплоть до "(3) запись в запоминающее устройство", выполняют ту же обработку, что и обработка выходного сигнала (VII) устройства формирования изображения в период времени от t0 до t1 для следующего выходного сигнала (VI2) устройства формирования изображения. Следует, однако, отметить, что данные (f1_2) записывают в положении в запоминающем устройстве с адресом AD2, который отличается от адреса, в котором выполнялось сохранение в запоминающем устройстве в период времени от t0 до t1.

В этот период времени от t1 до t2, кроме того, также выполняют обработку, показанную на фиг.8 от "(4) считать из запоминающего устройства" до "(6) выходной сигнал устройства формирования изображения". Эта обработка соответствует обработке записи данных (f1_1) в запоминающее устройство в период времени от t0 до t1.

Как показано в месте, отмеченном "(4) считать из запоминающего устройства" на фиг.8, данные (f1_1) считывают из положения по адресу AD1. Установки переключателя в положении (5) на фиг.8 иллюстрируют состояние установки переключателей 151d и 151b. Как описано со ссылкой на фиг.4, в режиме обработки генерирования нормального изображения, переключатели 151d и 151b оба установлены в соединение на стороне N.

Данные (f1_1), считанные из запоминающего устройства 130, в соответствии с этими установками переключателя, подают в третий модуль 126 обработки сигнала, подвергая конечной обработке сигнала, и выводят в качестве выходного сигнала (VO1) для нормального изображения.

В последовательности генерирования нормального изображения с последовательным считыванием и последовательным выводом, показанной на фиг.8, два адреса, AD1 и AD2, используются для поочередной записи данных с форматом 1 данных (f1). Считывание данных выполняют вместе с обработкой записи данных, используя другие адреса, чем адреса, использовавшиеся при обработке записи.

После времени t1 данные, подаваемые из устройства формирования изображения, записывают, используя один из адресов AD1 и AD2 таким же образом, и считывание данных, записанных заранее в запоминающем устройстве, выполняют, используя другой из этих адресов.

Эту обработку повторяют и выполняют, выводя, таким образом, выходные данные VO1 VO2, VO3, VO4 устройства формирования изображения и так далее в виде нормального изображения.

(4-В) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом (первый пример)

Далее, со ссылкой на фиг.9, будет подробно описана последовательность генерирования изображения с широким динамическим диапазоном, с последовательным считыванием и последовательным выводом. На фиг.9 показана схема, иллюстрирующая подробную последовательность во время выполнения операций с широким динамическим диапазоном (см. фиг.5), для генерирования изображения с широким динамическим диапазоном при помощи устройства формирования изображения в соответствии с настоящим изобретением, путем выполнения операции при помощи устройства формирования изображения с последовательным считыванием и последовательной операцией вывода устройства формирования изображения.

Течение времени (время от t0 до t6) показано слева направо, и следующие данные и установки представлены в каждом из этих моментов времени.

(1) экспозиция и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные (4а) считать адрес из запоминающего устройства 130 и считать данные (4b) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал из устройства 100 формирования изображения.

В этом примере считывания данных из запоминающего устройства 130 выполняют как обработку считывания двух наборов данных изображения для изображения с длительной экспозицией (изображение с высокой чувствительностью (Hn)) и изображения с короткой экспозицией (изображение с низкой чувствительностью (Ln)) для подачи на обработку синтеза изображения, выполняемую в модуле 123 синтеза изображения. Такая параллельная обработка считывания соответствует обработке по позициям (4а) и (4b).

Временные интервалы от t0 до t1, от t1 до t2 и так далее, эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства 102 формирования изображения. Как показано в позиции (1) на фиг.9, устройство 102 формирования изображения выводит (VIL1), (VIH1), (VIL2), (VIH2) и так далее как выходные сигналы устройства формирования изображения, полученные в результате экспонирования в каждом из циклов кадровой развертки (от t0 до t1, от t1 до t2 и так далее). Следует отметить, что L означает изображение с короткой экспозицией (изображение с низкой чувствительностью), а Н представляет собой изображение с длительной экспозицией (изображение с высокой чувствительностью). Цифровые значения 1, 2 и так далее представляют собой идентификационные номера, указывающие порядок вывода из устройства формирования изображения.

Как показано в позиции (2) на фиг.9, все переключатели 151 а и 151 с установлены на стороне W выводов в режиме генерирования изображения с широким динамическим диапазоном, как описано выше со ссылкой на фиг.5. Следует отметить, что эти установки выполняют с помощью модуля 105 управления.

Результаты обработки первого модуля 122 обработки сигналов сохраняют в запоминающем устройстве 130 в соответствии с этими установками переключателей. Как показано в позиции (3) на фиг.9, четыре адреса AD1, AD2, AD3 и AD4 в запоминающем устройстве многократно используют по порядку для последовательного сохранения данных (f2_L1), (f2_H1), (f2_L2), (f2_H2) и так далее как результатов обработки первого модуля 122 обработки сигналов. То есть, последовательно сохраняют изображение с короткой экспозицией (изображение с низкой чувствительностью (Ln)) и изображение с длительной экспозицией (изображение с высокой чувствительностью (Hn)).

Следует отметить, что f2 означает, что сохранение в запоминающем устройстве будет выполнено в соответствии с форматом 2 сохранения в запоминающем устройстве. Формат 2 (f2) соответствует формату, описанному выше со ссылкой на позицию (2) на фиг.7, и в нем сохраняют сигналы YRGB, которые представляют собой результаты обработки первого модуля 122 обработки сигналов во втором формате, как показано в позиции (2) на фиг.7.

В режиме генерирования изображения с широким динамическим диапазоном сигналы YRGB, выводимые в результате обработки первого модуля 122 обработки сигналов, записывают в запоминающем устройстве 130 в формате, показанном в позиции (2) на фиг.7. То есть, данные, записанные в запоминающее устройство 130, представляют собой сигналы в так называемом формате 411 (второй формат (f2)), формате данных с разрешением одна пара сигналов цветности для четырех пикселей сигналов яркости, с 9 битами сигналов (Y) яркости и 10 битами сигналов (G) цветности и 9 битами сигналов (R) цветности и 9 битами (В).

Следует отметить, что данные, используемые как результаты обработки первого модуля 122 обработки сигналов для вывода (VIL1) из устройства формирования изображения, показанные в позиции (1) на фиг.9, соответствуют данным (f2_L1), сохраненным в запоминающем устройстве, показанным в позиции (3) на фиг.9. Обработку выходного сигнала устройства 102 формирования изображения для сохранения в запоминающем устройстве 130 выполняют в течение периода времени от t0 до t1.

В этот период времени от t0 от t1 выполняют обработку для сохранения данных (f2_L1) в положении, указанном по адресу AD1 в запоминающем устройстве в формате 2 (f2).

В следующий период времени от t1 до t2 при обработке в соответствии с позициями "(1) устройство формирования изображения" до "(3) запись в запоминающее устройство", выполняют ту же обработку, что и обработка для выходного сигнала (VIL1) устройства формирования изображения в период времени от t0 до t1 для следующего выходного сигнала (VIH1) устройства формирования изображения. Следует отметить, что выходной сигнал (VIL1) устройства формирования изображения и выходной сигнал (VIH1) устройства формирования изображения в период времени от t0 до t1 представляет два изображения, которые должны быть подвергнуты обработке синтеза изображения для генерирования изображения с широким динамическим диапазоном.

На фиг.9 в позиции "(3) запись в запоминающее устройство" данные (f2_H1) записывают в положении в запоминающем устройстве по адресу AD2, который отличается от адреса AD1, по которому осуществлялось сохранение в запоминающем устройстве в период времени от t0 до t1.

В следующий период времени от t2 до t3, при выполнении обработки "(1) устройство формирования изображения" до "(3) запись в запоминающее устройство", выполняется та же обработка, что и обработка для выходного сигнала (VIL1) устройства формирования изображения в период времени от t0 до t1, для следующего выходного сигнала (VIL2) устройства формирования изображения. В позиции "(3) запись в запоминающее устройство" на фиг.9 данные (f2_L2) записывают в положение в запоминающем устройстве по адресу AD3, который отличается от адреса AD1, в котором выполняли сохранение в запоминающем устройстве в период времени от t0 до t1, и от адреса AD2, в который осуществляли сохранение с запоминающем устройстве в период времени от t1 до t2.

Кроме того, в следующий период времени от t2 до t3 также выполняют обработку в соответствии с "(4) считывание из запоминающего устройства" по "(б) выход из устройства формирования изображения" на фиг.9. Эта обработка относится к данным (f2_L1), записанным в запоминающее устройство в период времени от t0 до t1, и данным (f2_H1), записанным в запоминающее устройство в период времени от t1 до t2.

Как показано на участке "(4а) считывание из запоминающего устройства" на фиг.9, данные (f2 L1) считывают из положения по адресу AD1. Кроме того, как показано на участке "(4b) считывание из запоминающего устройства" на фиг.9, данные (f2_H1) считывают из положения по адресу AD2.

Следует, однако, отметить, что считывание данных (f2_L1) и данных (f2_H1) не ограничено этим временем t2-t3, и что считывание тех же данных также выполняют в следующий период времени от t3 до t4.

Как показано на участках на фиг.9 для периодов времени от t2 до t3 и от t3 до t4, два набора данных для генерирования синтезируемого изображения, то есть считывание данных (f2_L1) по адресу AD1 и считывание данных (f2_H1) по адресу AD2 выполняют, используя время записи данных (f2_L2) в запоминающее устройство (адреса AD3) в период времени от t2 до t3 и запись данных (f2_H2) в запоминающее устройство (адрес AD4) в период времени от t3 до t4.

То есть в соответствии со временем обработки записи двух изображений для генерирования синтезированного изображения выполняют считывание двух изображений для генерирования синтезированного изображения, заранее записанных в запоминающем устройстве.

Установки переключателя в позиции (5) на фиг.9 иллюстрируют состояние установок переключателей 151d и 151b. Как описано со ссылкой на фиг.5, в режиме обработки генерирования изображения с широким динамическим диапазоном оба переключателя 151d и 151b установлены для соединения на стороне W.

Данные изображения с короткой экспозицией (данные изображения с низкой чувствительностью (f2_L1)) и данные изображения с длительной экспозицией (данные изображения с высокой чувствительностью (f2_H1)), считываемые из запоминающего устройства 130 в соответствии с этими установками переключателя, выводят в модуль 123 синтеза изображения. Модуль 123 синтеза изображения выполняет обработку синтеза изображения, используя эти два изображения, и генерирует изображение с широким динамическим диапазоном.

После этого сгенерированное изображение с широким динамическим диапазоном выводят в модуль 124 коррекции изображения. Модуль 124 коррекции изображения выполняет у коррекцию и выводит скорректированные сигналы во второй модуль 125 обработки сигнала. Во втором модуле 125 обработки сигнала, сигналы YRGB преобразуют, например, в сигналы YCbCr, и преобразованные сигналы выводят в третий модуль 126 обработки сигнала через переключатель 151b.

Третий модуль 126 обработки сигнала выполняет конечную обработку сигналов на сигнале, считанном из запоминающего устройства 130, и генерирует и выводит изображение в широком динамическом диапазоне, предназначенное для вывода из устройства формирования изображения. Конечный выходной сигнал эквивалентен "(б) выходной сигнал из устройства формирования изображения" на фиг.9 (WV11).

В последовательности генерирования изображения с широким динамическим диапазоном при последовательном считывании и последовательном выводе, показанной на фиг.9, четыре адреса AD1, AD2, AD3 и AD4 запоминающего устройства последовательно используются с форматом 2 (f2) данных, и пары изображения из данных изображения с короткой экспозицией (изображение (f2_Ln) с низкой чувствительностью) и данных изображения с длительной экспозицией (изображение с высокой чувствительностью (f2_Hn)), и, кроме того, данные следующего изображения с короткой экспозицией (изображение с низкой чувствительностью (f2_Ln+1)) и данные изображения с длительной экспозицией (изображение с высокой чувствительностью (f2_Hn+1)), последовательно записывают в разные положения в запоминающем устройстве.

Как показано, когда выполняется обработка во время t2 и далее, считывание выполняют для данных двух изображений, для генерирования синтезированного изображения, используя другие два адреса, чем адрес, применявшийся для обработки записи в сочетании с обработкой записи данных.

От момента времени t2 и далее запись данных, вводимых из устройства формирования изображения, выполняют, используя один из адресов AD1-AD4, и выполняют считывание данных двух изображений для генерирования синтезированного изображения, записанных заранее в запоминающее устройство, используя любой набор из адресов AD1 и AD2 или AD3 и AD4. Такую обработку многократно выполняют для вывода выходных данных WV11, WV11, WV22, WV22 устройства формирования изображения и так далее, в изображения с широким динамическим диапазоном.

Следует отметить, что WV означает изображение с широким динамическим диапазоном, и в последовательности значений, представленных после этого обозначения первое цифровое значение представляет собой идентификационный № изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)), а последнее цифровое значение представляет собой идентификационный № изображения с более короткой экспозицией (изображение с низкой чувствительностью (L)).

Например, выходной сигнал WV11 в период времени от t2 до t3 представляет собой изображение с широким динамическим диапазоном, генерируемое путем обработки синтеза изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)) (f2_H1) и изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) (f2_L1), считанных из запоминающего устройства. Выходной сигнал WV11 периода для времени от t3 до t4 также представляют собой тот же выходной сигнал.

Выходной сигнал WV22 в период времени от t4 до t5 представляют собой изображение с широким динамическим диапазоном, генерируемое в результате обработки синтеза изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)) (f2_H2) и изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) (f2_L2) считываемых из запоминающего устройства.

Следует отметить, что в этом примере обработки выходное изображение между двумя последовательными моментами времени от t2 до t3 и от t3 до t4 представляет собой то же самое изображение с широким динамическим диапазоном, и выходное изображение между следующими двумя моментами времени от t4 до t5 и от t5 до t6 также представляет собой то же самое изображение с широким динамическим диапазоном. То есть, частота выходного изображения будет ниже, чем частота вывода нормального изображения, описанного выше со ссылкой на фиг.8.

(4-С) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом (второй пример)

Далее другой пример последовательности генерирования изображения с широким динамическим диапазоном с последовательным считыванием и последовательным выводом будет описан со ссылкой на фиг.10. Пример обработки, показанный на фиг.10, представляет собой последовательность генерирования изображения с широким динамическим диапазоном при последовательном считывании и последовательном выводе, так же как и в примере обработки, показанном на фиг.9. Следует, однако, отметить, что обработка, показанная на фиг.10, отличается тем, что пара изображений, которые должны быть считаны из запоминающего устройства 130 для генерирования изображения с широким динамическим диапазоном, постоянно установлена на самое новое изображение.

Например, в последовательности, показанной на фиг.9, в период времени от t2 до t3 выполняют считывание данных (f2_L1) из адреса AD1 и считывание данных (f2_H1) из адреса AD2 и, кроме того, в период времени от t3 до t4 выполняют считыванию данные (f2_L1) из адреса AD1 и считывание данных (f2_H1) из адреса AD2.

С другой стороны, в последовательности, показанной на фиг.10, в период времени от t1 до t2, когда считывание не выполняют в случае на фиг.9, начинается считывание данных (f2_L1) из адреса AD1 и, кроме того, в период времени от t2 до t3, выполняют считывание данных (f2_L1) из адреса AD1 и считывание данных (f2_H1) из адреса AD2, а в следующий период времени от t3 до t4 считывание данных (f2_L2) из адреса AD3 и считывание данных (f2_H1) из адреса AD2.

То есть, этот пример обработки, показанный на фиг.10, отличается тем, что считывание данных (f2_L2) из адреса AD3 выполняют в период времени от t2 до t3. Эти данные (f2_L2) представляют собой данные, которые были записаны в запоминающее устройство 130 в непосредственно предшествующий период времени от t2 до t3. Этот пример обработки представляет собой последовательность для генерирования изображения в широком динамическом диапазоне как синтезированного изображения с использованием комбинации самых новых данных среди данных, сохраненных в запоминающем устройстве 130.

В последовательности, показанной на фиг.10, обработка от "(1) устройство формирования изображения" до "(3) запись в запоминающее устройство" представляет собой ту же, что и на фиг.9. Обработка в позициях (4а) и (4b) "считывание из запоминающего устройства" отличается тем, что самые новые данные среди данных, сохраненных в запоминающем устройстве, то есть, данные, записанные в запоминающее устройство 130 в последний момент времени, считывают, как описано выше.

Позиция "(5) установки переключателя" является той же, что и в последовательности, показанной на фиг.9, с установкой соединения на стороне W, как описано выше со ссылкой на фиг.5. В позиции "(6) выходной сигнал из устройства формирования изображения" изображение отличается от выходного сигнала в последовательности, описанной со ссылкой на фиг.9. То есть, отличается комбинация изображений, применяемых для генерирования изображения с широким динамическим диапазоном.

Как показано в "(6) выходной сигнал устройства формирования изображения" на фиг.10, установки таковы, что выходной сигнал в период времени от t2 до t3 составляет WV11, выходной сигнал в период времени от t3 до t4 представляет собой WV12, выходной сигнал в период времени от t4 до t5 представляет собой WV22 и выходной сигнал в период времени от t5 до t6 представляет собой WV23. Следует отметить, что WV означает изображение с широким динамическим диапазоном, а что касается следующей последовательности значений, первое цифровое значение представляет собой идентификационный № изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)), а последнее цифровое значение представляет собой идентификационный № изображения с короткой экспозицией (изображение с низкой чувствительностью (L)).

Например, выходной сигнал WV11 в период времени от t2 до t3 представляет собой изображение с широким динамическим диапазоном, сгенерированное в результате обработки синтеза изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)) (f2_H1) и изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) (f2_L1), считанных из запоминающего устройства. Выходной сигнал WV12 в период времени от t3 до t4 представляет собой изображение с широким динамическим диапазоном, сгенерированное путем обработки синтеза изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)) (f2_H1) и изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) (f2_L2), считанных из запоминающего устройства.

Таким образом, данный пример обработки представляет собой пример обработки для получения самых последних используемых изображений, сохраненных в запоминающем устройстве, и выполнения обработки синтеза для генерирования изображения с широким динамическим диапазоном. Таким образом, в соответствии с примером обработки, показанным на фиг.10, запись последовательно выполняют для вывода первого модуля 122 обработки сигналов в формате 2 данных (f2), используя четыре адреса AD1-AD4 запоминающего устройства 130. Что касается считывания данных из запоминающего устройства, считывают самые новые из каждых из данных с высокой чувствительностью и данных с низкой чувствительностью.

Модуль 123 синтеза изображения генерирует видеосигналы, сформированные с получением широкого динамического диапазона, используя пару самых последних изображений, и выводит как выходные сигналы WV11, WV12, WV22, WV23, WV33, WV34 и так далее устройства формирования изображения. Таким образом, этот пример обработки позволяет комбинировать изображения с низкой чувствительностью и изображения с высокой чувствительностью, используемые для обработки, для получения широкого динамического диапазона на основе самых последних снятых изображений.

(4-D) Последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом (первый пример)

Ниже, со ссылкой на фиг.11, будут подробно описаны последовательности нормального генерирования изображения с последовательным считыванием и чересстрочным выводом. На фиг.11 показана схема, иллюстрирующая подробную последовательность во время выполнения нормальных операций (см. фиг.4), для генерирования нормального изображения при помощи устройства формирования изображения в соответствии с настоящим изобретением в результате выполнения операций с устройством формирования изображения с последовательным считыванием и чересстрочной операцией для формирования выходного сигнала устройства формирования изображения.

Прошедшее время (от момента времени t0 до t6) показано слева направо, и следующие данные и установки представлены в каждый из этих моментов времени.

(1) экспонирование и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные

(4) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал из устройства 100 формирования изображения

Временные интервалы от t0 до t1, от t1 до t2 и так далее, эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства 102 формирования изображения.

Как показано в позиции "(4) считать из области памяти" на фиг.11, при чересстрочном выводе вывод нечетной строки из устройства формирования изображения и вывод четной строки из устройства формирования изображения представляет собой цикл кадровой развертки полного считывания. Следует отметить, что данные (f1_1o) считывания из запоминающего устройства в период времени от t2 до t3, например, означают, что данные, сохраненные в запоминающем устройстве, принадлежат первому нечетному полю (о) в формате 1 (f1). Здесь "о" представляет данные поля с нечетным номером, а "е" представляет данные поля с четным номером.

При чересстрочном выводе выходные данные устройства формирования изображения, показанные в позиции (6), выводят в порядке четных и нечетных выходных полей VO1o, Vo1e, VO2o, Vo2e, VO3o, Vo3e и так далее, путем считывания строки с нечетным номером, выводимой устройством формирования изображения, и строки с четным номером, выводимой устройством формирования изображения в каждом цикле кадровой развертки. То есть, реализуется чересстрочный вывод. В результате такого вывода, путем синтеза выходных сигналов в комбинации нечетных + четных, может быть получено изображение, в котором отсутствует размывание границ, связанное с чередованием.

Как показано в позиции (1) на фиг.11, устройство 102 формирования выводит сигналы (V11), (V12), (V13) и так далее как выходные данные устройства формирования изображения, полученные в результате двойной экспозиции в удвоенных каждом из периодов вертикального цикла (от t0 до t2, от t2 до t4, и так далее).

Как показано в позиции (2) на фиг.11, все установки переключателей 151а и 151с установлены на сторону N выводов в режиме генерирования нормального изображения, как описано со ссылкой на фиг.4. Следует отметить, что эти установки выполняются модулем 105 управления.

Как показано в позиции (3) на фиг.11, два адреса AD1 и AD2 запоминающего устройства поочередно используются для последовательного сохранения данных (f1_1), (f1_2), (f1_3) и так далее, как результаты обработки второго модуля 125 обработки сигнала. Следует отметить, что f1 означает сохранение в запоминающем устройстве в соответствии с форматом 1, описанным со ссылкой на фиг.6А и 6В. Данные (f1_1) сохраняют по адресу AD1 запоминающего устройства в момент времени t2. Данные (f1_2) сохраняют по адресу AD2 запоминающего устройства в момент времени t4. Данные (f1_3) сохраняют по адресу AD1 запоминающего устройства в момент времени t6.

В период, следующий после момента времени t2, также выполняется дополнительная обработка от "(4) считать из запоминающего устройства" до "(6) выходной сигнал устройства формирования изображения" на фиг.11. Эта обработка представляет собой обработку для данных, записанных в запоминающее устройство.

В момент времени t2-t3, как показано на участке "(4) считать из запоминающего устройства" на фиг.11, данные (f1_1o) считывают из положения адреса AD1o. Следует отметить, что адрес AD1o представляет собой адрес считывания данных, соответствующий нечетному полю, который составляет часть адреса AD1.

Адрес ADn имеет конфигурацию, которая может быть разделена на адрес ADno считываемых данных, соответствующий нечетному полю, и адрес ADne считываемых данных, соответствующий четному полю, и используется.

Данные (f1_1о), считанные из положения AD1o адреса, представляют собой данные только нечетного поля среди всех полей, составляющих выходной кадр.

Установки переключателя в позиции (5) на фиг.11 иллюстрируют состояние установки переключателей 151d и 151b. Как описано со ссылкой на фиг.4, в режиме обработки генерирования нормального изображения оба переключателя 151d и 151b установлены в соединение на стороне N.

Данные (f1_1о), считанные из запоминающего устройства 130, после этих установок переключателя подают в третий модуль 126 обработки сигнала, подвергают конечной обработке сигналов и выводят, как выходные данные (VO1o), как нормальное изображение.

Выходные данные (VO1o) представляют собой выходные данные, сгенерированные на основе данных (f1_1o), считанных из положения адреса AD1o, и их выводят только из нечетного поля среди всех полей, составляющих выходной кадр.

В следующий период времени от t3 до t4, выходные данные (VO1e) четного поля, соответствующие выходным данным (VO1o) нечетного поля, генерируют из данных (f1_1e), считанных из запоминающего устройства 130 по адресу AD1e, и выводят.

Таким образом, в соответствии с этим примером обработки, выходные данные нечетной строки устройства формирования изображения и выходные данные четной строки устройства формирования изображения считывают из запоминающего устройства 130 в каждом вертикальном цикле, выводя, таким образом, выходные данные устройства формирования изображения как выходные данные VO1o, VO1e, VO2o, VO2e, VO3o, VO3e и так далее четных и нечетных полей, и изображение без размытости, связанной с чередованием, может быть получено в результате синтеза выходных сигналов в комбинации нечетный + четный.

(4-Е) Последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом (второй пример)

Далее, со ссылкой на фиг.12 будут описаны детали второго примера последовательности генерирования нормального изображения с последовательным считыванием и чересстрочным выводом. На фиг.12 показана схема, иллюстрирующая подробную последовательность во время выполнения нормальных операций (см. фиг.4), для генерирования нормального изображения при помощи устройства формирования изображения в соответствии с настоящим раскрытием, путем выполнения операций с устройством формирования изображения с последовательным считыванием и чересстрочных операций вывода данных из устройства формирования изображения.

Прошедшее время (время от t0 до t6) показано слева направо, и следующие данные и установки представлены в каждый из этих моментов времени.

(1) экспонирование и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные

(4) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал устройства 100 формирования изображения.

Временные интервалы от t0 до t1, от t1 до t2 и так далее эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства

102 формирования изображения.

Пример, показанный на фиг.12, представляет собой последовательность генерирования нормального изображения с последовательным считыванием и чересстрочным выводом, такую же, как и на фиг.11, описанной выше. Различие между фиг.11 и 12 представляет последовательность "(6) выходной сигнал устройства формирования изображения".

При выполнении обработки, описанной со ссылкой на фиг.11, порядок вывода представляет собой VO1o, VO1e, VO2o, VO2e и так далее, то есть, конфигурацию выходных данных в порядке нечетного поля и четного поля.

С другой стороны, при обработке, описанной со ссылкой на фиг.12, порядок вывода представляет собой VO1e, VO1o, VO2e, VO2o и так далее, то есть, конфигурацию выходных данных в порядке четного поля и нечетного поля.

В результате изменения порядка вывода порядок "(4) считывание из запоминающего устройства" имеет четное поле (f1_1e), считанное до нечетного поля (f1_1o). Другие элементы являются такими же, как и при обработке, описанной выше со ссылкой на фиг.11.

В этом примере обработки также, таким же образом, как и в примере обработки, описанном выше со ссылкой на фиг.11, нечетную строку, выводимую устройством формирования изображения, и четную строку, выводимую устройством формирования изображения, считывают из запоминающего устройства 130 в каждом цикле кадровой развертки, выводя, таким образом, выходные данные VO1e, VO1o, VO2e, VO2o, VO3e, VO3o и так далее четного и нечетного полей устройства формирования изображения, и изображение без размытости из-за чередования может быть получено путем синтеза выходных сигналов в комбинации четный + нечетный.

(4-F) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (первый пример)

Далее, со ссылкой на фиг.13 будут подробно описаны последовательности генерирования изображения с широким динамическим диапазоном с последовательным считыванием и чересстрочным выводом. На фиг.13 показана схема, иллюстрирующая подробную последовательность во время выполнения операций с широким динамическим диапазоном (см. фиг.5) для генерирования изображения с широким динамическим диапазоном с помощью устройства формирования изображения в соответствии с настоящим изобретением путем выполнения операций устройством формирования изображения с последовательным считыванием и чересстрочной операцией для вывода данных устройства формирования изображения.

Прошедшее время (время от t0 до t6) показано слева направо, и следующие данные и установки представлены в каждый из этих моментов времени.

(1) экспонирование и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные (4а) считать адрес из запоминающего устройства 130 и считать данные (4b) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал устройства 100 формирования изображения.

В этом примере данные, считываемые из запоминающего устройства 130 выполняют как обработку считывания двух наборов данных изображения для изображения с длительной экспозицией (изображение с высокой чувствительностью (Hn)) и изображения с короткой экспозицией (изображение с низкой чувствительностью (Ln)), применяемой при выполнении обработки синтеза изображения, выполняемой в модуле 123 синтеза изображения. Такая параллельная обработка считывания соответствует обработке в позициях (4а) и (4b).

Временные интервалы от t0 до t1, от t1 до t2 и так далее, эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства 102 формирования изображения. Как показано в позиции (1) на фиг.13, устройство 102 выводит (VIL1), (VIH1), (VIL2), (VIH2) и так далее как выходные данные устройства формирования изображения, полученные в результате экспонирования в каждом из циклов кадровой развертки (от t0 до t1, от t1 до t2 и так далее). Следует отметить, что L означает изображение с короткой экспозицией (изображение с низкой чувствительностью), а Н означает изображение с длительной экспозицией (изображение с высокой чувствительностью). Цифровые значения 1, 2 и так далее представляют собой идентификационные номера, указывающие порядок вывода из устройства формирования изображения.

Как показано в позиции (2) на фиг.13, установки переключателей 151а и 151с все установлены на сторону W выводов в режиме генерирования изображения с широким динамическим диапазоном, как описано выше со ссылкой на фиг.5. Следует отметить, что эти установки выполняют с помощью модуля 105 управления. Результаты обработки первого модуля 122 обработки сигналов сохраняют в запоминающем устройстве 130 после этих установок переключателя.

Как показано в позиции (3) на фиг.13, четыре адреса AD1, AD2, AD3 и AD4 в запоминающем устройстве многократно используют для последовательного сохранения данных (f2_L1), (f2_H1), (f2_L2), (t2_H2) и так далее, полученных в результате обработки первого модуля 122 обработки сигналов. То есть, последовательно сохраняют изображение с короткой экспозицией (изображение (Ln) с низкой чувствительностью) и изображение с длительной экспозицией (изображение (Hn) с высокой чувствительностью).

Формат 2 (f2) соответствует формату, описанному выше со ссылкой на позицию (2) на фиг.7, и в нем содержатся сигналы YRGB, которые представляют собой результаты обработки модуля 122 обработки первого сигнала во втором формате, показанном в позиции (2) на фиг.7.

Следует отметить, что данные, используемые как результаты обработки первого модуля 122 обработки сигналов для выходных данных (VIL1) устройства формирования изображения, показанные в позиции (1) на фиг.13, соответствуют данным (f2_L1), сохраненным в запоминающем устройстве, показанным в позиции (3) на фиг.13.

Обработку от вывода из устройства 102 формирования изображения до сохранения в запоминающем устройстве 130 выполняют в период времени от t0 до t1. В этот период времени от t0 до t1 выполняют обработку сохранения данных (f2_L1) в положении, установленном адресом AD1 запоминающего устройства, в формате 2 (f2).

В следующий период времени от t1 до t2, при обработке от "(1) устройство формирования изображения" до "(3) записать в запоминающее устройство", выполняется та же обработка, что и обработка для выходных данных (VIL1) устройства формирования изображения, выполняемая в период времени от t0 до t1 для следующих выходных данных (VIH1) устройства формирования изображения. Следует отметить, что выходные данные (VIL1) устройства формирования изображения и выходные данные (VIH1) устройства формирования изображения в период времени от t0 до t1 представляют собой два изображения, подвергаемые обработке синтеза изображения для генерирования изображения с широким динамическим диапазоном.

В позиции "(3) записать в запоминающее устройство" на фиг.13 данные (f2_H1) записывают в положение запоминающего устройства с адресом AD2, отличающимся от адреса AD1, по которому была выполнена запись в запоминающем устройстве в период времени от t0 до t1.

В следующий период времени от t2 до t3, при обработке от позиции "(1) устройство формирования изображения" до позиции "(3) записать в запоминающее устройство", выполняется та же обработка, что и обработка для выходных данных (VIL1) устройства формирования изображения в период времени от t0 до t1 по следующим выходным данным (VIL2) устройства формирования изображения.

В позиции "(3) записать в запоминающее устройство" на фиг.13 данные (f2_L2) записывают в положении запоминающего устройства по адресу AD3, отличающемуся от адреса AD1, используемого для записи в запоминающее устройство в период времени от t0 до t1, и адреса AD2, используемого для записи в запоминающее устройство в период времени от t1 до t2.

Кроме того, в следующий период времени от t2 до t3 также выполняется обработка от позиции "(4) считать из запоминающего устройства" по позицию "(б) выходной сигнал устройства формирования изображения" на фиг.13. Эта обработка предназначена для обработки данных (f2_L1), записанных в запоминающее устройство в период времени от t0 до t1, и данных (f2_H1), записанных в запоминающее устройство в период времени от t1 до t2.

Как показано на участке "(4а) считать из запоминающего устройства" на фиг.13, данные (f2_L1o) считывают из положения адреса AD1o. Кроме того, как показано на участке "(4b) считать из запоминающего устройства" на фиг.13, данные (f2e_H1o) считывают из положения адреса AD2o.

Следует отметить, что адрес AD1o представляет собой адрес считывания данных, соответствующий нечетному полю, который составляет часть адреса AD1. Адрес ADn имеет конфигурацию, которая может быть разделена на адрес ADno считывания данных, соответствующих нечетному полю, и адрес ADne считывания данных, соответствующих четному полю, и используется.

В период времени от t2 до t3 данные (f2_L1o), считанные из положения AD1o адреса, представляют собой данные нечетного поля для изображения с короткой экспозицией (изображение (L) с низкой чувствительностью). Данные (f2_H1o), считанные из положения AD2o адреса, представляют собой данные нечетного поля для изображения с длительной экспозицией (изображение (Н) с высокой чувствительностью).

Установки переключателя в позиции (5) на фиг.13 иллюстрируют состояние установки переключателей 151d и 151b. Как описано со ссылкой на фиг.5, в режиме обработки генерирования изображения с широким динамическим диапазоном, оба переключателя 151d и 151b установлены в соединение на стороне W.

Данные (f2_L1o) нечетного поля для данных изображения с короткой экспозицией (изображение (L) с низкой чувствительностью) и данные (f2_H1o) нечетного поля для данных изображения с длительной экспозицией (изображение (Н) с высокой чувствительностью), считываемые из запоминающего устройства 130 в соответствии с этими установками переключателя, выводят в модуль 123 синтеза изображения. Модуль 123 синтеза изображения выполняет обработку синтеза изображения, используя эти два изображения, и генерирует синтезированное изображение, соответствующее нечетному полю изображения с широким динамическим диапазоном.

После этого сгенерированное изображение с широким динамическим диапазоном, соответствующее нечетному полю, выводят в модуль 124 коррекции изображения. Модуль 124 коррекции изображения выполняет у коррекцию и выводит скорректированные сигналы во второй модуль 125 обработки сигнала. Во втором модуле 125 обработки сигнала сигналы YRGB преобразуют, например, в сигналы YCbCr, и эти преобразованные сигналы подают в третий модуль 126 обработки сигнала через переключатель 151b.

Третий модуль 126 обработки сигнала выполняет конечную обработку сигналов для считывания сигнала из запоминающего устройства 130, и генерирует и выводит изображение в широком динамическом диапазоне, предназначенном для вывода из устройства формирования изображения. Конечные выходные данные эквивалентны позиции "(6) выходной сигнал устройства формирования изображения" на фиг.13 (WV11o).

Следует отметить, что WV означает изображение с широким динамическим диапазоном и что для последовательности значений, представленных ниже, первое цифровое значение представляет собой идентификационный № изображения с длительным временем экспозиции (изображение (Н) с высокой чувствительностью), а следующее цифровое значение представляет собой идентификационный № изображения с короткой экспозицией (изображение (L) с низкой чувствительностью). Здесь "о" обозначает изображение поля с нечетным номером, а "е" обозначает изображение поля с четным номером. Такие выходные данные (WV11o) устройства формирования изображения представляют собой изображение, состоящее только из нечетного поля.

В следующий период времени (от t3 до t4) генерируют и выводят изображение (WV11e) четного поля, соответствующее выходным данным (WV11o) устройства формирования изображения. В период времени от t3 до t4 данные (f2_L1e) считывают из положения адреса AD1e. Кроме того, как показано на участке "(4b) считывание из запоминающего устройства" на фиг.13, данные (f2_H1e) считывают из положения AD2e адреса. Следует отметить, что адрес AD1e представляет собой адрес считывания данных, соответствующий четному полю, составляющий часть адреса AD1.

В период времени от t2 до t3 данные (f2_L1e), считанные из положения адреса AD1e, представляют собой данные четного поля изображения с короткой экспозицией (изображение (L) с низкой чувствительностью). Данные (f2_H1e), считанные из положения AD2e адреса, представляют собой данные четного поля изображения с длительной экспозицией (изображение (Н) с высокой чувствительностью).

Установки переключателя в позиции (5) на фиг.13 иллюстрируют состояние установки переключателей 151d и 151b. Как описано со ссылкой на фиг.5, в режиме обработки генерирования изображения с широким динамическим диапазоном оба переключателя 151d и 151b установлены в положение соединения на стороне W.

Данные (f2_L1e) нечетного поля для данных изображения с короткой экспозицией (изображение (L) с низкой чувствительностью), и данные (f2_H1e) нечетного поля для данных изображения с длительной экспозицией (изображение (Н) с высокой чувствительностью), считанные из запоминающего устройства 130 в соответствии с этими установками переключателя, выводят в модуль 123 синтеза изображения. Модуль 123 синтеза изображения выполняет обработку синтеза изображения, используя эти два изображения, и генерирует синтезированное изображение, соответствующее четному полю изображения с широким динамическим диапазоном.

Далее, сгенерированное изображение с широким динамическим диапазоном, соответствующее четному полю, выводят в модуль 124 коррекции изображения. Модуль 124 коррекции изображения выполняет у коррекцию и выводит скорректированные сигналы во второй модуль 125 обработки сигнала. Во втором модуле 125 обработки сигнала, сигналы YRGB преобразуют, например, в сигналы YCbCr, и преобразованные сигналы подают в третий модуль 126 обработки сигнала через переключатель 151b.

Третий модуль 126 обработки сигнала выполняет конечную обработку сигналов по считанному сигналу из запоминающего устройства 130 и генерирует и выводит изображение с широким динамическим диапазоном, предназначенное для вывода из устройства формирования изображения. Конечный вывод эквивалентен позиции "(6) выходной сигнал устройства формирования изображения" на фиг.13 (WV11e).

Такой выходной сигнал (WV11e) устройства формирования изображения представляет собой изображение, состоящее только из нечетного поля. Его выводят вместе с выходными данными (WV11o) устройства формирования изображения в предыдущий период времени (от t2 до t3), и отображают изображение всего кадра.

В этом примере обработки выходные данные VIL1, VIH1, VIL2, VIH2, VIL3, VIH3 и так далее устройства формирования изображения с высокой чувствительностью и с низкой чувствительностью, полученные путем чередования двух типов времени экспозиции в каждом вертикальном цикле, подвергают обработке сигналов в первом модуле 122 обработки сигналов, а затем сохраняют в запоминающем устройстве 130, последовательно применяя четыре разных адреса от AD1 до AD4.

Кроме того, выходные данные нечетной строки и выходные данные четной строки адресов AD1-AD4 считывают каждый цикл кадровой развертки, подвергают обработке коррекции синтеза изображения и обработке сигналов, и выходные данные устройства формирования изображения представляют собой выходные данные с отдельными четными и нечетными полями. В результате такой обработки, как показано в позиции (6) на фиг.13, выходные сигналы синтезируют как комбинацию нечетных + четных данных, таких как WV11o, WV11e, WV22o, WV22e и так далее, и выполняют чересстрочный вывод. В таком примере обработки реализуют выход изображения с широким динамическим диапазоном с малой степенью размывания из-за чередования.

(4-G) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (второй пример)

Далее будет подробно описан со ссылкой на фиг.14 второй пример последовательности генерирования изображения с широким динамическим диапазоном с последовательным считыванием и чересстрочным выводом. На фиг.14 показана схема, иллюстрирующая подробную последовательность во время выполнения операций широкого динамического диапазона (см. фиг.5) для генерирования изображения с широким динамическим диапазоном во время выполнения устройством формирования изображения операций с последовательным считыванием и чересстрочных операций для вывода из устройства формирования изображения.

Прошедшее время (время от t0 до t6) показано слева направо, и следующие данные и установки представлены для каждого из этих моментов времени.

(1) экспонирование и вывод из устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные (4а) считать адрес из запоминающего устройства 130 и считать данные (4b) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал из устройства 100 формирования изображения.

В этом примере данные, считываемые из запоминающего устройства 130, выполняют как обработку считывания двух наборов данных изображения, представляющих собой изображение с длительной экспозицией (изображение с высокой чувствительностью (Hn)) и изображение с короткой экспозицией (изображение с низкой чувствительностью (Ln)), подаваемые на обработку синтеза изображения, выполняемую в модуле 123 синтеза изображения. Такая обработка параллельного считывания соответствует обработке для позиций (4а) и (4b).

Интервалы времени от t0 до t1, от t1 до t2 и так далее эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства 102 формирования изображения.

Пример, показанный на фиг.14, представляет собой последовательность генерирования изображения с широким динамическим диапазоном с последовательным считыванием и чересстрочным выводом, такую же, как и в примере на фиг.13, описанном выше. Разница между фиг.13 и 14 состоит в "(6) выходном сигнале устройства формирования изображения".

В обработке, описанной со ссылкой на фиг.13, порядок вывода представляет собой WV11o, WV11e, WV22o, WV22e и так далее, то есть, конфигурацию вывода в порядке нечетных и четных полей.

С другой стороны, при обработке, описанной со ссылкой на фиг.14, порядок вывода представляет собой WV11e, WV11o, WV22e, WV22o и так далее, то есть конфигурацию вывода в порядке четных и нечетных полей.

В результате изменения порядка вывода порядок "(4) считать из запоминающего устройства" имеет четное поле (f2_H1e), считанное перед нечетным полем (f2_H1o). Другие моменты являются теми же, что и в обработке, описанной выше со ссылкой на фиг.13.

В таком примере обработки также нечетную строку, выводимую из устройства формирования изображения, и четную строку, выводимую из устройства формирования изображения, считывают из запоминающего устройства 130 в каждый цикл кадровой развертки, выводя, таким образом, выходной сигнал устройства формирования изображения как выходные данные четного и нечетного полей WV11e, WV11o, WV22e, WV22o и так далее, и изображение без размытости, связанной с чередованием, может быть получено, в результате синтеза выходных сигналов в комбинации четный + нечетный.

(4-Н) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (третий пример)

Далее, со ссылкой на фиг.15, будет подробно описан третий пример последовательности генерирования изображения с широким динамическим диапазоном с последовательным считыванием и чересстрочным выводом.

Пример обработки, показанный на фиг.15, представляет собой последовательность генерирования изображения с широким динамическим диапазоном с последовательным считыванием и чересстрочным выводом, такую же, как и в примере по фиг.13. Следует, однако, отметить, что обработка, показанная на фиг.15, отличается тем, что пара изображений, которые должны быть считаны из запоминающего устройства 130, для генерирования изображения с широким динамическим диапазоном, постоянно устанавливается как самое новое изображение.

Например, в последовательности, показанной на фиг.13, в период времени от t2 до t3, в позиции (4а) выполняют считывание данных (f2_L1o) из адреса AD1o, а в позиции (4b) считывание данных (f2_H1o) из адреса AD2o, и кроме того, в период времени от t3 до t4, в позиции (4а) выполняют считывание данных (f2_L1e) из адреса AD1e и в позиции (4b) считывание данных (f2_H1e) из адреса AD2e.

С другой стороны, в последовательности, показанной на фиг.15, в период времени от t1 до t2 в позиции (4а) выполняют считывание данных (f2_L1e) из адреса AD1e, а в период времени от t2 до t3 в позиции (4а) выполняют считывание данных (f2_L1o) из адреса AD1o, а в позиции (4b) выполняют считывание данных (f2_H1o) из адреса AD1o, a в следующий период времени от t3 к t4 в позиции (4а) выполняют считывание данных (f2_L2e) из адреса AD3e, а в позиции (4b) выполняют считывание данных (f2_H1e) из адреса AD2e.

То есть, этот пример обработки, показанный на фиг.15, отличается тем, что самые новые данные используются как данные считывания. В таком примере обработки для данных, доступных при считывании в каждый момент времени считывания, получают самые новые данные. Этот пример обработки представляет собой последовательность для генерирования изображения с широким динамическим диапазоном в качестве синтезированного изображения, используя комбинацию самых новых данных среди данных, сохраненных в запоминающем устройстве 130.

В последовательности, показанной на фиг.15, обработка от "(1) устройство формирования изображения" до "(3) записать в запоминающее устройство" является той же, что и на фиг.13. Считывание данных из запоминающего устройства в момент времени t1 и далее отличается от фиг.13 тем, что установки выполнены так, чтобы считывать самые новые данные из данных, уже сохраненных в запоминающем устройстве.

"(5) установки переключателя" на фиг.13 представляют состояние переключателей 151d и 151b. Как описано со ссылкой на фиг.5, в режиме обработки генерирования изображения с широким динамическим диапазоном оба переключателя 151d и 151b установлены как соединение стороны W.

Данные, считываемые из запоминающего устройства 130 после этих установок переключателя, вводят в модуль 123 синтеза изображения и выполняют обработку генерирования изображения с широким динамическим диапазоном путем синтеза изображения. Следует, однако, отметить, что в период времени от t1 до t2, только данные изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) (f2_L1e) были считаны из позиции (4а) адреса AD1e, и считывание данных изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)) не было выполнено, поэтому обработка синтеза изображения не была выполнена в этот период времени от t1 до t2.

В период времени от t2 до t3, данные изображения с короткой экспозицией (изображение с низкой чувствительностью (L)), данные (f2_L1o) и данные изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)), данные (f2_H1o), считанные из запоминающего устройства 130 в позициях (4а) и (4b), соответственно, подвергают обработке синтеза изображения и генерируют изображение с широким динамическим диапазоном только из нечетного поля.

После этого сгенерированное изображение с широким динамическим диапазоном выводят в модуль 124 коррекции изображения. Модуль 124 коррекции изображения выполняет у коррекцию и выводит скорректированные сигналы во второй модуль 125 обработки сигнала. Во втором модуле 125 обработки сигнала сигналы YRGB преобразуют, например, в сигналы YCbCr, и преобразованные сигналы вводят в третий модуль 126 обработки сигнала через переключатель 151b.

Третий модуль 126 обработки сигнала выполняет конечную обработку сигналов для сигнала, считанного из запоминающего устройства 130, и генерирует и выводит изображение с широким динамическим диапазоном, которое должно быть выведено из устройства формирования изображения. Конечный выходной сигнал эквивалентен позиции "(б) выходной сигнал устройства формирования изображения" на фиг.13 (WV11o).

Такой выходной сигнал (WV11o) устройства формирования изображения представляет собой изображение только нечетного поля. Его выводят вместе с выходными данными (WV11e) устройства формирования изображения в следующий период времени (t3- t4) и отображают весь кадр изображения.

Как показано на участке " (4а) считать из запоминающего устройства" на фиг.15, в период времени от t3 до t4 данные (f2_H1e) считывают из положения по адресу AD3e.

В период времени от t2 до t3 данные (t2_L2e), считываемые из положения адреса AD3e, представляют собой данные четного поля изображения с короткой экспозицией (изображение с низкой чувствительностью (L)). Данные (f2_H1e), считанные из положения адреса AD2e, представляют собой данные четного поля изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)).

"(5) установки переключателя" на фиг.15 представляют состояние переключателей 151d и 151b. Как описано со ссылкой на фиг.5, в режиме обработки генерирования изображения с широким динамическим диапазоном, оба переключателя 151d и 151b устанавливают в соединение на стороне W.

Данные четного поля (f2_L2e) данных изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) и данные четного поля (f2_H1e) данных изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)), считанные после этих установок переключателя, выводят в модуль 123 синтеза изображения. Модуль 123 синтеза изображения выполняет обработку синтеза изображения, используя эти два изображения, и генерирует синтезированное изображение, соответствующее четному полю изображения с широким динамическим диапазоном.

После этого сгенерированное изображение с широким динамическим диапазоном выводят в модуль 124 коррекции изображения. Модуль 124 коррекции изображения выполняет у коррекцию и выводит скорректированные сигналы во второй модуль 125 обработки сигнала. Во втором модуле 125 обработки сигнала сигналы YRGB преобразуют, например, в сигналы YCbCr, и преобразованные сигналы выводят в третий модуль 126 обработки сигнала через переключатель 151b.

Третий модуль 126 обработки сигнала выполняет конечную обработку сигналов для сигнала, считанного из запоминающего устройства 130, и генерирует и выводит изображение с широким динамическим диапазоном, которое предназначено для вывода из устройства формирования изображения. Конечный выходной сигнал эквивалентен позиции "(6) выходной сигнал устройства формирования изображения" на фиг.15 (WV12e). Такой выходной сигнал (WV12e) устройства формирования изображения представляет собой изображение, состоящее только из четного поля. Его выводят вместе с выходными данными (WV11o) устройства формирования изображения в предыдущий период времени (от t2 до t3) и отображают весь кадр изображения.

В этом примере обработки выходные данные устройства формирования изображения VIL1, VIH1, VIL2, VIH2, VIL3, VIH3 и так далее с высокой чувствительностью и низкой чувствительностью, полученные путем чередования двух типов времени экспонирования в каждом вертикальном цикле, подвергают обработке сигналов в первом модуле 122 обработки сигналов, а затем сохраняют в запоминающем устройстве 130, последовательно применяя четыре разных адреса AD1-AD4.

Кроме того, выходные данные нечетной строки и выходные данные четной строки адресов от AD1 до AD4, считанные в каждом вертикальном цикле, подвергают синтезу изображения и обработке коррекции, и обработке сигналов, и выходные данные устройства формирования изображения выводят в виде отдельных четного и нечетного полей.

В результате такой обработки, как показано в позиции (6) на фиг.15, выполняют чересстрочный вывод в виде WV11o, WV12e, WV22o, WV23e и так далее. В этом примере обработки комбинация изображения с низкой чувствительностью и изображения с высокой чувствительностью, которые должны применяться при обработке с широким динамическим диапазоном, могут быть сгенерированы на основе новых снятых изображений.

(4-I) Последовательность генерирования изображения широкого динамического диапазона с последовательным считыванием и чересстрочным выводом (четвертый пример)

Далее, со ссылкой на фиг.16, будет подробно описан четвертый пример последовательности генерирования изображения с широким динамическим диапазоном с последовательным считыванием и чересстрочным выводом. На фиг.16 показана схема, иллюстрирующая подробную последовательность во время выполнения операций с широким динамическим диапазоном (см. фиг.5), для генерирования изображения с широким динамическим диапазоном, путем выполнения операций с устройством формирования изображения, с последовательным считыванием и чересстрочных операций для выходных данных устройства формирования изображения.

Прошедшее время (время от t0 до t6) представлено слева направо, и следующие данные и установки показаны в каждый из этих моментов времени.

(1) экспонирование и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные (4а) считать адрес из запоминающего устройства 130 и считать данные (4b) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал устройства 100 формирования изображения.

В этом примере данные, считываемые из запоминающего устройства 130, обрабатывают как обработку считывания двух наборов данных изображения для изображения с длительной экспозицией (изображение с высокой чувствительностью (Hn)) и изображения с короткой экспозицией (изображение с низкой чувствительностью (Ln)), которые должны использоваться при обработке синтеза изображения, выполняемой в модуле 123 синтеза изображения. Эта параллельная обработка считывания соответствует обработке, показанной в позициях (4а) и (4b).

Временные интервалы от t0 до t1, от t1 до t2 и так далее эквивалентны циклу кадровой развертки, который представляет собой цикл считывания сигнала из устройства 102 формирования изображения.

Пример, показанный на фиг.16, представляет собой последовательность генерирования изображения в широком динамическом диапазоне с последовательным считыванием и чересстрочным выводом, такую же, как и в примере по фиг.15, описанном выше. Разница между фиг.15 и 16 состоит в "(6) выходном сигнале устройства формирования изображения".

При обработке, описанной со ссылкой на фиг.15, порядок вывода представляет собой WV11o, WV12e, WV22o, WV23e и так далее, то есть, конфигурацию выводов в порядке четных и нечетных полей. С другой стороны, при обработке, показанной на фиг.16, порядок вывода представляет собой WV11e, WV12o, WV22e, WV23o и так далее, то есть, конфигурацию выходных данных в порядке четных и нечетных полей.

Из-за изменений в порядке вывода, порядок в позиции (4) также изменился. То есть, порядок или считывание данных четного поля и данных нечетного поля переключился между фиг.15 и 16. Другие моменты являются теми же, что и при обработке, описанной выше со ссылкой на фиг.15.

В этом примере обработки также выходной сигнал нечетной строки устройства формирования изображения и вывод четной строки устройства формирования изображения считывают из запоминающего устройства 130 в каждый цикл кадровой развертки, выполняя, таким образом, вывод с чередованием выходных сигналов устройства формирования изображения, которые выводят как выходные данные с четными и нечетными полями WV11e, WV12o, WV22e, WV23o и так далее. В этом примере обработки комбинация изображения с низкой чувствительностью и изображения с высокой чувствительностью, применяемая для обработки с широким динамическим диапазоном, могут быть сгенерированы на основе новых снятых изображений.

(4-J) Последовательность для переключения между генерированием нормального изображения и генерированием изображения широкого динамического диапазона с последовательным считыванием и последовательным выводом

Далее, со ссылкой на фиг.17, будет описана последовательность переключения между генерированием нормального изображения и генерированием изображения с широким динамическим диапазоном с последовательным считыванием и последовательным выводом. Обработка, показанная на этой фиг.17, представляет собой последовательность обработки для переключения между обработкой, описанной выше со ссылкой на фиг.8, и обработкой, описанной со ссылкой на фиг.9. Таким образом, эта обработка предназначена для переключения между

(4-А) последовательностью генерирования нормального изображения с последовательным считыванием и последовательным выводом (фиг.8)

(4-В) последовательностью генерирования изображения с широким динамическим диапазоном с последовательным считыванием и последовательным выводом (первый пример) (фиг.9).

На фиг.17 показана схема, иллюстрирующая подробную последовательность в случае выполнения управления переключением между нормальным режимом генерирования нормального изображения (см. фиг.4) и режимом с широким динамическим диапазоном (см. фиг.5), с установками работы устройства формирования изображения с последовательным считыванием, и также при операции последовательного вывода устройства формирования изображения.

Следует отметить, что во время режимов переключения управление выполняют для переключения всех установок соединения переключателей 151а-151d, из соединения N в соединение W или наоборот из соединения W в соединение N. Это переключение выполняют с помощью модуля 105 управления.

На фиг.17 показано прошедшее время (время от t0 до t17) слева направо, и следующие данные и установки показаны в каждый из этих моментов времен.

(1) экспонирование и выходной сигнал устройства 102 формирования изображения

(2) установки переключателей 151а и 151с

(3) записать адрес в запоминающее устройство 130 и записать данные (4а) считать адрес из запоминающего устройства 130 и считать данные (4b) считать адрес из запоминающего устройства 130 и считать данные

(5) установки переключателей 151d и 151b

(6) выходной сигнал устройства 100 формирования изображения.

До момента времени Та (t6), обработку выполняют в нормальном режиме работы, который представляет собой обработку генерирования нормального изображения. Обработка в период времени от t0 до t6 представляет собой ту же обработку, которая описана выше со ссылкой на фиг.8, то есть, обработка является той же, что (4-А) последовательность генерирования нормального изображения с последовательным считыванием и последовательным выводом. Установки, показанные в позициях от "(1) экспонирование/выходной сигнал устройства формирования изображения" до "(6) выходной сигнал устройства формирования изображения" на фиг.17, являются теми же, как и при установках для обработки от момента времени t0 до t6, показанных на фиг.8.

В момент времени Та (t6), модуль 105 управления начинает переход из обработки генерирования нормального изображения в обработку генерирования изображения с широким динамическим диапазоном. Следует отметить, что, как описано выше, эта обработка переключения режима выполняется под автоматическим управлением, на основе результатов анализа снятого изображения с помощью модуля 105 управления, например, на основе инструкции пользователя, поданной через модуль 106 ввода.

После времени Та (t6) в устройстве формирования изображения поочередно снимают изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) и изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)).

Во время обработки переключения из нормальной работы в работу в широком динамическом диапазоне модуль 105 управления выполняет следующее управление переключением. Вначале только переключатель 151с, который представляет собой переключатель на входном участке запоминающего устройства 130, переключат на сторону W. Этот переключатель устанавливают на период времени от Ta (t6) до Tb (t8).

Такая установка переключателя показана на фиг.18. Как показано на фиг.18, как только переключатель 151с, который представляет собой переключатель на входном участке запоминающего устройства 130, переключают на сторону W. Другие переключатели 151а, 151b и 151d остаются в установке соединения на стороне N.

В момент времени от Ta (t6) до Tb (t8) один и тот же адрес AD2 поддерживают в качестве адреса для считывания данных из запоминающего устройства 130. Выходные данные в этот период представляют собой выходные данные (VO6), как обозначено в "(6) выходной сигнал устройства формирования изображения", который представляет собой нормальный выходной сигнал из-за применения обработки считывания данных по одному и тому же адресу считывания.

Кроме того, в период времени от Ta (t6) по Tb (t8) изображение с короткой экспозицией (изображение с низкой чувствительностью (L)) и изображение с длительной экспозицией (изображение с высокой чувствительностью (Н)), снятые в устройстве 102 формирования изображения и подвергнутые обработке сигнала в первом модуле 122 обработки сигналов, записывают в запоминающее устройство 130 через переключатель 151с, используя другой адрес, чем адрес AD2 считывания.

Таким образом, как показано на фиг.17, в период времени от t6 no t7, данные (f2_L1) изображения с короткой экспозицией (изображение с низкой чувствительностью (L)) записывают в соответствии с адресом AD3. В период времени от t7 по t8 данные (f2_H1) изображения с длительной экспозицией (изображение с высокой чувствительностью (Н)) записывают по адресу AD4.

В период времени от Ta (t6) по Tb (t8), после записи двух изображений, которые должны использоваться при обработке синтеза для генерирования изображения с широким динамическим диапазоном, переключатели 151а, 151b и 151d, переключают на сторону W, то есть в установки режима с широким динамическим диапазоном, описанные со ссылкой на фиг.5. В этот момент времени Tb (t8) переключение из нормального режима в режим с широким динамическим диапазоном заканчивается.

То есть, во время переключения из нормального режима в режим с широким динамическим диапазоном, только входные данные в запоминающее устройство 130 переключают заранее в состояние изображения широкого динамического диапазона, и выходной сигнал из запоминающего устройства 130 и подключение других участков обработки сохраняют на установках (установки на стороне N) для нормального режима.

После того, как изображение для генерирования изображения с широким динамическим диапазоном будет сохранено в запоминающем устройстве 130, то есть, в момент времени Tb (t8), выход из запоминающего устройства 130 и подключение к другим участкам обработки изменяется на установки режима широкого динамического диапазона (соединение на стороне W).

На фиг.17, обработка в период времени от Tb (t8) по Те (t14) представляет собой обработку, описанную выше со ссылкой на фиг.9, то есть, обработка является той же, что и в позиции (4-В) последовательность генерирования изображения с широким динамическим диапазоном с последовательным считыванием и последовательным выводом (Первый пример). Установки, показанные позиции от "(1) экспозиция/выходной сигнал устройства формирования изображения" по "(6) выходной сигнал устройства формирования изображения" для периода времени от Tb (t8) по Tc (t14) на фиг.17, являются теми же, что и установки для обработки в период времени от t0 по t6, показанный на фиг.8.

Следует отметить, что в период времени от t6 по t8 на фиг.17 AD3 и AD4 использовались заранее как адреса записи в запоминающее устройство, поэтому, существует смещение в адресах и идентификаторах данных между фиг.9 и 17. Однако при этом обработка все еще является одинаковой обработкой для обоих случаев.

В момент времени Tc (t14) модуль 105 управления начинает переход от обработки генерирования изображения с широким динамическим диапазоном к обработке генерирования нормального изображения. Следует отметить, что, как описано выше, эту обработку переключения режима выполняют под автоматическим управлением, на основе результатов анализа снятого изображения, модулем 105 управления, например, на основе команд пользователя, вводимых через модуль 106 ввода.

С момента времени Tc (t14) и далее нормальные изображения последовательно отображают в устройстве формирования изображения. В момент времени выполнения обработки переключения с переходом от операций в широком динамическом диапазоне к нормальным операциям модуль 105 управления выполняет следующее управление переключением.

Вначале только переключатель 151с, который представляет собой переключатель на входном участке запоминающего устройства 130, переключают на сторону N. Эта установка переключателя предназначена для периода времени от Tc (t14) по Td (t15).

Такая установка переключателя показана на фиг.19. Как показано на фиг.19, только переключатель 151с, который представляет собой переключатель на входном участке запоминающего устройства 130, переключают на сторону N. Другие переключатели 151 а, 151b и 151d, остаются в установках соединения на стороне W.

В период времени от Та (t14) по Tb (t15) те же самые адреса AD3 и AD4 из непосредственно предшествующего периода от t13 по tl4 сохраняются как адреса для считывания данных из запоминающего устройства 130. Выходным сигналом в этот период остается выходной сигнал (WV33), как обозначено в позиции "(6) выходной сигнал устройства формирования изображения", который представляет собой выход изображения с широким динамическим диапазоном, в результате обработки считанных данных, применяемой для одних и тех же адресов считывания.

Кроме того, в период времени от Tc (t14) по Td (t15), нормальное изображение, снятое устройством 102 формирования изображения и подвергнутое обработке сигналов во втором модуле 125 обработки сигнала, записывают в запоминающем устройстве 130 через переключатель 151с, используя другой адрес, чем этот адрес считывания.

Таким образом, как показано на фиг.17, в период времени от Tc (t14) по Td (t15), адрес AD1 оставляют таким, что он содержит тот же адрес, что и адреса считывания AD3 и AD4 для непосредственно предшествующего периода времени от t13 по t14, для адреса считывания данных из запоминающего устройства 130. Благодаря такой обработке считывания данных с применением одинакового адреса считывания, выходной сигнал в этот период поддерживают как вывод изображения с широким динамическим диапазоном (WV33), показанный в позиции "(6) вывод устройства формирования изображения". Переключатель 151а находится на стороне W, изображение (WV33) с широким динамическим диапазоном генерируют в модуле 123 синтеза изображения, и данные (f1_WV33) изображения с широким динамическим диапазоном в формате 1, полученные в результате обработки в модуле 124 коррекции и во втором модуле 125 обработки сигнала записывают в запоминающее устройство 130 через переключатель 151с.

В период времени от Tc (t14) по Td (t15), после записи нормального изображения в запоминающее устройство 130, переключатели 151а, 151b и 151d, переключают на сторону N в установки режима нормального изображения, описанные со ссылкой на фиг.4. В этот период времени от Tc (t14) по Td (t15) выводят изображение с широким динамическим диапазоном, а в период времени Те (16) переключение из режима широкого динамического диапазона в нормальный режим заканчивается.

Такое управление переключением выполняют под управлением модуля 105 управления. Модуль 105 управления во время переключения между режимом обработки генерирования нормального изображения и режимом обработки генерирования изображения с широким динамическим диапазоном выполняет управление для обеспечения переходного периода, который установлен таким образом, чтобы ввести данные, соответствующие режиму после переключения данных, в качестве входных данных в запоминающее устройство 130, и вывести данные, соответствующие режиму перед переключением, как выходные данные из запоминающего устройства 130, и после того как пройдет период перехода, вывести данные, соответствующие режиму после переключения, как выходные данные из запоминающего устройства 130.

В частности, модуль 105 управления выполняет такое управление, что в случае, когда режим после переключения представляет собой режим обработки генерирования изображения с широким динамическим диапазоном, период перехода представляет собой период до окончания сохранения изображения с длительной экспозицией (изображение с высокой чувствительностью) и изображения с короткой экспозицией (изображение с низкой чувствительностью) для генерирования изображения в широком динамическом диапазоне, и в случае, когда режим после переключения представляет собой режим обработки генерирования нормального изображения, период перехода представляет собой период до окончания сохранения изображения для генерирования нормального изображения.

Таким образом, при обработке переключения режима в соответствии с настоящим изобретением, конфигурацию выполняют таким образом, чтобы только входные данные запоминающего устройства переключались заранее, и в момент времени, когда сохранение данных изображения для генерирования нормального изображения или двух изображений для генерирования изображения в широком динамическом диапазоне будет закончено в запоминающем устройстве, переключатели вывода данных из запоминающего устройства и других схем обработки переключают.

В соответствии с таким управлением, выходные данные из устройства формирования изображения в каждый момент времени переключения являются такими, что одно из нормального изображения или изображения с широким динамическим диапазоном выводят таким же образом, реализуя переключение в плавном режиме и вывод изображения без возникновения какого-либо разрыва изображений во время переключения режима.

Теперь, на фиг.20 иллюстрируется последовательность обработки в случае, в котором все переключатели 151а-d переключают одновременно, в качестве опорной последовательности. Как показано на фиг.20, выполнение такого управления приводит к ошибкам считывания из запоминающего устройства или ошибкам вывода из устройства формирования изображения, которые возникают в определенный период после переключения режима.

Например, в момент времени Та на фиг.20, если все переключатели 151а-151d будут переключены из соединения N в соединение W в момент времени переключения из режима нормального изображения в режим изображения с широким динамическим диапазоном, выход изображения с широким динамическим диапазоном начнется в состоянии, когда изображение для генерирования изображения с широким динамическим диапазоном не сохранено в запоминающем устройстве, в результате чего получают состояние, в котором изображение не может быть выведено ("ERR" на фиг.20).

В момент времени Tb также на фиг.20, если все переключатели 151а-151d переключить из соединения W в N во время переключения из режима изображения с широким динамическим диапазоном в режим нормального изображения, вывод нормального изображения начнется в состоянии, в котором изображение для генерирования нормального изображения не сохранено в запоминающем устройстве, приводя к состоянию, в котором изображение не может быть выведено (ERR).

В отличие от этого, при выполнении такого управления, что только входные данные запоминающего устройства переключают заранее, как описано со ссылкой на фиг.17, плавное переключение режимов и переключение выходного изображения может быть реализовано, не вызывая ошибки в выходных данных устройства формирования изображения.

Кроме того, в то время как такая обработка, как, например, вертикальная инверсия и т.п., может быть выполнена для данных, сохраненных в запоминающем устройстве, и в случае выполнения такой обработки, считывание/запись в запоминающее устройство 130 могут быть выполнены, при выполнении такого управления, как коррелирование адреса записи в запоминающее устройство во время переключения только переключателя 151с во входном участке запоминающего устройства 130, для вертикальной инверсии или коррелирования адресов считывания запоминающего устройства непосредственно после переключения остальных переключателей 151а, 151b и 151d, так, чтобы они не были вертикально инвертированы в течение определенного периода, и т.п. То есть, модуль 105 управления управляет данными записи/считывания в запоминающее устройство, для поддержания корреляции между адресами и данными без ошибки.

В устройстве формирования изображения, в соответствии с настоящим раскрытием, когда при выполнении нормальных операций генерирования нормального изображения, запись в формате 422 YCrCb 8 битов, каждое описано выше со ссылкой на фиг.6А и 6В, может быть выполнена для данных, сохраненных в запоминающем устройстве.

Кроме того, во время операций с широким динамическим диапазоном синтезированное изображение генерируют в модуле синтеза на основе двух изображений, таких как изображение с длительной экспозицией (изображение с высокой чувствительностью) и изображение с короткой экспозицией (изображение с низкой чувствительностью). Во время такого синтеза изображения выполняют обработку синтеза в соответствии с установками значения пикселя, при которой значения пикселей двух изображений умножают на величину, меньшую чем 1, и затем суммируют. Такая обработка синтеза компенсирует недостаточное разрешение каждого изображения, и при этом генерируют изображение, сформированное как изображение с широким динамическим диапазоном.

Кроме того, как описано выше со ссылкой на фиг.6А-7, сохранение данных в запоминающем устройстве 130, используя устройство формирования изображения в соответствии с изобретением, выполняют в разных форматах данных в режиме генерирования нормального изображения и в режиме генерирования изображения с широким динамическим диапазоном.

В режиме генерирования нормального изображения сохранение выполняют в формате данных (формат 1 данных (f1)) сигналов в формате 422 одной пары 8-битных цветоразностных сигналов (Cb, Cr), как для двух пикселей 8-битных сигналов (Y) яркости, показанных на фиг.6А, или в формате 411 пары цветоразностных сигналов (Cr, Cb), как для четырех пикселей сигналов (Y) яркости, показанных на фиг.6В.

Кроме того, в режиме генерирования изображения с широким динамическим диапазоном сохранение выполняют в формате данных (формат 2 данных (f2)) для сигналов в так называемом формате 411 с разрешением одной пары сигналов цветности, как для четырех пикселей сигналов яркости, с 9 битами сигналов (Y) яркости, 10 битами сигналов (G) цветности и 9 битами каждого из сигналов (R) и (В) цветности.

Используя, таким образом, форматы сохранения в запоминающем устройстве в соответствии с ситуацией, реализуют устройство формирования изображения, которое обеспечивает выход как изображений в виде нормальных изображений, так и в виде изображений с широким динамическим диапазоном, совместимых с форматами NTSC и PAL, используя конфигурацию одного запоминающего устройства, имеющего, например, 16-битную ширину данных, скорость доступа 133 МГц и емкость запоминающего устройства 64 Мбайта, при этом может быть реализовано уменьшение степени использования запоминающего устройства, уменьшение области монтажа и уменьшение затрат.

Кроме того, как описано со ссылкой на фиг.17, при выполнении управления для переключения входных данных запоминающего устройства заранее во время перехода режима, даже если форматы данных запоминающего устройства во время нормальных операций и во время операций широкого динамического диапазона отличаются, вывод изображения с ошибками из-за того, что форматы данных будут разными, предотвращается, и может быть реализован плавный переход режимов.

Настоящее изобретение было описано выше со ссылкой на конкретный вариант осуществления. Однако, понятно, что специалист в данной области техники может выполнить модификации и замены вариантов осуществления, без выхода за пределы сущности настоящего раскрытия. То есть, изобретение было выполнено в форме примера, и его не следует интерпретировать как ограничение. Любые интерпретации сущности настоящего изобретения должны быть выполнены со ссылкой на формулу изобретения.

Кроме того, последовательность обработки, описанная в описании, может быть выполнена с использованием аппаратных средств, программных средств или объединенной конфигурацией обоих подходов. В случае выполнения обработки с помощью программных средств, программа, в которой записана последовательность обработки, может быть установлена в запоминающем устройство в компьютере, встроенном в специализированные аппаратные средства, и выполнена, или программа может быть установлена в компьютере общего назначения, который выполнен с возможностью выполнения различных типов обработки, и выполнена. Например, программа может быть заранее записана на носителе записи. Помимо установки с носителя записи в компьютер, программа может быть принята через сеть, такую как LAN (локальная вычислительная сеть), Интернет и т.п., и установлена на носителе записи, таком как встроенный жесткий диск и т.п.

Следует отметить, что различные типы обработки, описанные в описании, не ограничены выполнением в описанной временной последовательности, и могут быть выполнены параллельно или по отдельности в соответствии с возможностями обработки устройства, выполняющего обработку, или соответствующим образом. Кроме того, в настоящем описании термин "система" относится к конфигурации логической группы множества устройств и не ограничен устройствами каждой конфигурации, находящимися в одном и том же корпусе.

Настоящее изобретение содержит предмет изобретения, относящийся к тому, что раскрыто в приоритетной заявке JP 2010-193692 на японский патент, поданной в Японское патентное ведомство 31 августа 2010 г., полное содержание которой представлено здесь по ссылке.

Специалистам в данной области техники следует понимать, что различные модификации, комбинации, подкомбинации и изменения могут возникать в зависимости от требований к конструкции и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.

1. Модуль обработки сигнала для сигналов изображения, содержащий:
первый, второй и третий модули обработки сигнала;
запоминающее устройство, содержащее сигналы изображения;
первый, второй, третий и четвертый переключатели;
при этом первый переключатель соединен со входом второго модуля обработки сигнала, причем указанный первый переключатель выполнен с возможностью выполнять переключение между выводом запоминающего устройства и выводом первого модуля обработки сигнала,
второй переключатель соединен со входом третьего модуля обработки сигнала, причем указанный второй переключатель выполнен с возможностью выполнять переключение между выводом запоминающего устройства и выводом второго модуля обработки сигнала,
третий переключатель соединен со входом запоминающего устройства, причем третий переключатель выполнен с возможностью выполнять переключение между выводом второго модуля обработки сигнала и выводом первого модуля обработки сигнала, и
четвертый переключатель соединен с выводом запоминающего устройства, причем четвертый переключатель выполнен с возможностью выполнять переключение между входом третьего модуля обработки сигнала и входом второго модуля обработки сигнала.

2. Модуль обработки сигнала по п.1, характеризующийся тем, что выполнен с возможностью управлять трактом ввода/вывода запоминающего устройства так, что для формирования нормального изображения сигналы изображения сохраняются в запоминающем устройстве и/или считываются из запоминающего устройства только после коррекции изображения вторым модулем обработки сигнала, а для формирования изображения широкого динамического диапазона сигналы изображения сохраняются в запоминающем устройстве и/или считываются из запоминающего устройства до коррекции вторым модулем обработки сигнала.

3. Модуль обработки сигнала по п.1, в котором для формирования нормального изображения первый переключатель соединен с выводом первого модуля обработки сигнала, второй переключатель соединен с выводом запоминающего устройства, третий переключатель соединен с выводом второго модуля обработки сигнала, а четвертый переключатель соединен со входом третьего модуля обработки сигнала.

4. Модуль обработки сигнала по п.1, в котором для формирования изображения широкого динамического диапазона первый переключатель соединен с выводом запоминающего устройства, второй переключатель соединен с выводом второго модуля обработки сигнала, третий переключатель соединен с выводом первого модуля обработки сигнала, а четвертый переключатель соединен со входом второго модуля обработки сигнала.

5. Модуль обработки сигнала по п.1,
в котором второй модуль обработки сигнала включает в себя модуль синтеза, выполненный с возможностью формировать изображение широкого динамического диапазона из сигналов изображения, содержащихся в запоминающем устройстве, и выполнять процесс синтеза изображения,
при этом для формирования нормального изображения процесс синтеза изображения модулем синтеза не выполняется.

6. Модуль обработки сигнала по п.1,
в котором второй модуль обработки сигнала включает в себя
модуль синтеза изображения, выполненный с возможностью формировать сигнал широкого динамического диапазона, содержащийся в запоминающем устройстве, и выполнять обработку синтеза изображения,
модуль коррекции изображения, выполненный с возможностью коррекции сигналов изображения, и
устройство обработки сигналов, выполненное с возможностью преобразования сигналов изображения в цветоразностные сигналы,
при этом для формирования нормального изображения обработка синтеза изображения модулем синтеза изображения не выполняется.

7. Модуль обработки сигнала, характеризующийся тем, что выполнен с возможностью переключения обработки между операцией формирования нормального изображения и операцией формирования изображения широкого динамического диапазона в ответ на сигналы управления из контроллера, при этом модуль обработки сигнала содержит:
запоминающее устройство, содержащее сигналы изображения,
модуль коррекции изображения, выполненный с возможностью коррекции сигналов изображения; и
переключающие устройства, соединенные с запоминающим устройством и модулем коррекции изображения, выполненные с возможностью переключать тракты ввода/вывода запоминающего устройства в/из модуля коррекции изображения.

8. Модуль обработки сигнала по п.7, характеризующийся тем, что выполнен с возможностью управлять трактами ввода/вывода так, что для формирования нормального изображения сигналы изображения сохраняются в запоминающем устройстве и/или считываются из запоминающего устройства только после коррекции изображения модулем коррекции изображения, а для формирования изображения широкого динамического диапазона сигналы изображения сохраняются в запоминающем устройстве и/или считываются из запоминающего устройства до коррекции модулем коррекции изображения.

9. Модуль обработки сигнала по п.7,
в котором переключающие устройства включают в себя первый, второй, третий и четвертый переключатели,
при этом первый переключатель соединен со входом модуля коррекции изображения, причем указанный первый переключатель выполнен с возможностью выполнять переключение между выводом запоминающего устройства и входным сигналом изображения,
второй переключатель соединен с выводом модуля обработки сигналов, причем указанный второй переключатель выполнен с возможностью выполнять переключение между выводом запоминающего устройства и выводом модуля коррекции изображения,
третий переключатель соединен со входом запоминающего устройства, причем третий переключатель выполнен с возможностью выполнять переключение между выводом модуля коррекции изображения и входным сигналом изображения, и
четвертый переключатель соединен с выводом запоминающего устройства, причем четвертый переключатель выполнен с возможностью выполнять переключение между выводом модуля обработки сигналов и входом модуля коррекции изображения.

10. Модуль обработки сигнала по п.9, в котором для формирования нормального изображения первый переключатель соединен со входным сигналом изображения, второй переключатель соединен с выводом запоминающего устройства, третий переключатель соединен с выводом модуля коррекции изображения, а четвертый переключатель соединен с выводом модуля обработки сигналов.

11. Модуль обработки сигнала по п.9, в котором для формирования изображения широкого динамического диапазона первый переключатель соединен с выводом запоминающего устройства, второй переключатель соединен с выводом модуля коррекции изображения, третий переключатель соединен с входным сигналом изображения, а четвертый переключатель соединен с входом модуля коррекции изображения.

12. Модуль обработки сигнала по п.7,
дополнительно содержащий модуль синтеза изображения, выполненный с возможностью формировать изображение широкого динамического диапазона из сигналов изображения, содержащихся в запоминающем устройстве, и выполнять обработку синтеза изображения,
при этом для формирования нормального изображения обработка синтеза изображения модулем синтеза изображения не выполняется.

13. Модуль обработки сигнала по п.7,
дополнительно содержащий устройство обработки сигналов, выполненное с возможностью преобразования сигналов изображения в цветоразностные сигналы, и модуль синтеза изображения, выполненный с возможностью формировать изображение широкого динамического диапазона из сигналов изображения, содержащихся в запоминающем устройстве, и выполнять обработку синтеза изображения,
при этом для формирования нормального изображения обработка синтеза изображения модулем синтеза изображения не выполняется.

14. Система обработки сигнала изображения, содержащая:
запоминающее устройство для хранения сигналов изображения;
модуль управления, выполненный с возможностью управлять трактом прохождения сигнала между трактами ввода/вывода запоминающего устройства;
модуль обработки сигналов, включающий в себя
модуль коррекции изображения, выполненный с возможностью коррекции сигналов изображения, и
модуль синтеза изображения, выполненный с возможностью формировать изображение широкого динамического диапазона из сигналов изображения, содержащихся в запоминающем устройстве, и выполнять обработку синтеза изображения;
модули переключения, соединенные с запоминающим устройством и модулем обработки сигналов, выполненные с возможностью переключения трактов прохождения сигнала запоминающего устройства в/из модуля обработки сигналов.

15. Система обработки сигнала изображения по п.14, характеризующаяся тем, что выполнена с возможностью управлять трактами ввода/вывода запоминающего устройства так, что для формирования нормального изображения сигналы изображения сохраняются в запоминающем устройстве и/или считываются из запоминающего устройства только после коррекции изображения модулем коррекции изображения, а для формирования изображения широкого динамического диапазона сигналы изображения сохраняются в запоминающем устройстве и/или считываются из запоминающего устройства до синтезирования сигналов изображения модулем синтеза и коррекции сигналов изображения модулем коррекции изображения.

16. Система обработки сигнала изображения по п.14,
в которой для формирования нормального изображения процесс синтеза изображения модулем синтеза не выполняется.

17. Система обработки сигнала изображения по п.14,
в которой модули переключения включают в себя первый, второй, третий и четвертый переключатели,
при этом первый переключатель соединен со входом модуля обработки сигналов, причем указанный первый переключатель выполнен с возможностью выполнения переключения между выводом запоминающего устройства и входным сигналом изображения,
второй переключатель соединен с выводом системы обработки сигнала изображения, причем указанный второй переключатель выполнен с возможностью выполнения переключения между выводом запоминающего устройства и выводом модуля обработки сигналов,
третий переключатель соединен со входом запоминающего устройства, причем третий переключатель выполнен с возможностью выполнения переключения между выводом модуля обработки сигналов и входным сигналом изображения, а
четвертый переключатель соединен с выводом запоминающего устройства, причем четвертый переключатель выполнен с возможностью выполнения переключения между выводом системы обработки сигналов и входом модуля обработки сигналов.

18. Система обработки сигнала изображения по п.17, в которой для формирования нормального изображения первый переключатель соединен со входным сигналом изображения, второй переключатель соединен с выводом запоминающего устройства, третий переключатель соединен с выводом модуля обработки сигналов, а четвертый переключатель соединен с выводом системы обработки.

19. Система обработки сигнала изображения по п.17, в которой для формирования изображения широкого динамического диапазона первый переключатель соединен с выводом запоминающего устройства, второй переключатель соединен с выводом модуля обработки сигналов, третий переключатель соединен со входным сигналом изображения, а четвертый переключатель соединен со входом модуля обработки сигналов.

20. Система обработки сигнала изображения по п.14, в которой модуль обработки сигналов дополнительно содержит устройство обработки сигналов, выполненное с возможностью преобразования сигналов изображения в цветоразностные сигналы.