Устройство съемки изображения и способ обработки результата съемки изображения
Изобретение относится к устройству съемки изображения и способу обработки результата съемки изображения и его можно применять, например, в устройстве съемки изображения, в котором используется твердотельный элемент съемки изображения типа CMOS. Техническим результатом является улучшение качества снимаемого изображения. Предложено устройство съемки изображения, содержащее: средство съемки изображения, имеющее сформированную на нем поверхность съемки изображения, состоящую из пикселей, расположенных в виде матрицы, предназначенное для вывода результата съемки оптического изображения, сформированного на поверхности съемки изображения; средство детектирования движения, предназначенное для детектирования величины движения в результате съемки изображения в каждом из блоков, на которые разделена поверхность съемки изображения в горизонтальном направлении и/или в вертикальном направлении; средство управления, предназначенное для управления временем экспозиции указанного средства съемки изображения в каждом из блоков, на основе результата детектирования, полученного с помощью указанного средства детектирования движения; и средство коррекции уровня сигнала, предназначенное для коррекции и вывода для каждого из блоков уровня сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции. 2 н. и 5 з.п. ф-лы, 9 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству съемки изображения и способу обработки результата съемки изображения, и его можно применять, например, в устройстве съемки изображения, в котором используется твердотельный элемент съемки изображения типа CMOS (КМОП, комплементарный металлооксидный полупроводник). Настоящее изобретение позволяет дополнительно улучшить качество изображения по сравнению с обычно доступным качеством изображения в отношении управления временем экспозиции с использованием электронного затвора, путем разделения изображения экрана на множество блоков, при детектировании движения и управлении временем экспозиции для каждого из блоков.
Уровень техники
Обычно устройство съемки изображения выполнено таким образом, что временем накопления заряда элемента съемки изображения управляют с помощью электронного затвора для управления временем экспозиции с тем, чтобы, также в случае, когда снимают изображение быстро движущегося объекта съемки, можно было получить результат съемки изображения без размытого изображения. Что касается такого описанного выше управления с помощью электронного затвора, например, в выложенном японском патенте № Hei 6-165047 и в выложенном японском патенте № Hei 6-261256 предложен способ, в котором движение объекта съемки изображения детектируют с помощью системного контроллера и временем экспозиции управляют на основе результата детектирования движения, вместе с управлением усиления с помощью AGC (АРУ, автоматическая регулировка усиления) и управления ALC (АРС, автоматическая регулировка света).
Однако обычное управление временем экспозиции с помощью электронного затвора выполняется таким образом, что, когда время экспозиции изменяют в одинаковой степени для всех пикселей, которые формируют одно изображение экрана, для изменения времени экспозиции с учетом движения на участке изображения на экране, время экспозиции уменьшается также для неподвижного участка изображения на экране, такого как фоновое изображение или тому подобное. Поэтому, в таком случае, как описано выше, возникает проблема повышения отношения сигнал/шум (S/N) на таком неподвижном участке, и в такой же степени ухудшается качество изображения.
И, наоборот, существует другой случай, в котором невозможно детектировать движение малого объекта. В этом случае, поскольку трудно соответствующим образом управлять временем экспозиции, изображение малого объекта получается нерезким. Поэтому, в этом случае, также возникает проблема снижения качества изображения.
Сущность изобретения
Настоящее изобретение было разработано с учетом указанного выше, и в нем предлагается устройство съемки изображения и способ обработки результата съемки изображения, с помощью которых можно существенно улучшить качество изображения по сравнению с обычным качеством изображения, благодаря управлению временем экспозиции с использованием электронного затвора.
Для достижения описанной выше цели настоящее изобретение применяют в устройстве съемки изображения, которое включает в себя: средство съемки изображения, имеющее сформированную на нем поверхность съемки изображения, состоящую из пикселей, расположенных в виде матрицы, для вывода результата съемки оптического изображения, сформированного на поверхности съемки изображения; средство детектирования движения, предназначенное для детектирования величины движения в результате съемки изображения в каждом из блоков, на которые разделена поверхность съемки изображения в горизонтальном направлении и/или вертикальном направлении; средство управления, предназначенное для управления временем экспозиции средства съемки изображения в каждом из блоков, на основе результата детектирования, полученного с помощью средства детектирования движения, таким образом, что время экспозиции уменьшается при увеличении степени движения; и средство коррекции уровня сигнала, предназначенное для коррекции и вывода для каждого из блоков уровня сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции.
В соответствии с конфигурацией настоящего изобретения в случае, когда его применяют в устройстве съемки изображения, включающем в себя: средство съемки изображения, имеющее поверхность съемки изображения, сформированную на нем из пикселей, упорядоченных в матрице, для вывода результата съемки оптического изображения, сформированного на поверхности съемки изображения; средство детектирования движения, предназначенное для детектирования величины движения при съемке изображения в каждом из блоков, на которые разделена поверхность съемки изображения в горизонтальном направлении и/или вертикальном направлении; и средство управления, предназначенное для управления временем экспозиции средства съемки изображения в каждом из блоков, на основе результата детектирования средством детектирования движения, таким образом, что время экспозиции уменьшается по мере увеличения величины движения, причем временем экспозиции можно управлять в соответствии с движением в каждом из блоков. Следовательно, для неподвижного фонового изображения можно установить длинное время экспозиции, чтобы предотвратить ухудшение отношения сигнал/шум, но на участке, на котором происходит некоторое движение, может быть установлено короткое время экспозиции для предотвращения размытости изображения. Кроме того, путем детектирования движения в каждом из блоков можно детектировать движение также малого объекта и в результате можно предотвратить возникновение размытого изображения также для такого малого объекта, как описано выше. Следовательно, что касается управления временем экспозиции с помощью электронного затвора, качество изображения существенно улучшается по сравнению с обычно доступным качеством изображения. Кроме того, поскольку средство коррекции уровня сигнала, предназначенное для коррекции и вывода каждого из блоков, обеспечивает уровень сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции, можно предотвратить вариации уровня сигнала между блоками, который изменяется в соответствии с управлением временем экспозиции для каждого из блоков.
Кроме того, настоящее изобретение применяется к способу обработки результата съемки изображения, который включает в себя: этап детектирования движения, состоящий в детектировании величины движения по результату съемки изображения, полученному с помощью средства съемки изображения в каждом из блоков, на которые разделена поверхность съемки изображения средства съемки изображения в горизонтальном направлении и/или в вертикальном направлении; этап управления, состоящий в управлении временем экспозиции средства съемки изображения в каждом из блоков, на основе результата детектирования на этапе детектирования движения; и этап коррекции уровня сигнала, состоящий в коррекции и выводе, для каждого из блоков, уровня сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции.
Следовательно, в соответствии с конфигурацией настоящего изобретения может быть предложен способ обработки результата съемки изображения, с помощью которого может быть существенно улучшено качество изображения по сравнению с обычно доступным качеством изображения, при управлении временем экспозиции с помощью электронного затвора.
В соответствии с настоящим изобретением, качество изображения может быть существенно улучшено по сравнению с обычно доступным качеством изображения при управлении временем экспозиции с помощью электронного затвора.
Краткое описание чертежей
На фиг.1 показана блок-схема, представляющая общую конфигурацию интегральной микросхемы в соответствии с вариантом выполнения настоящего изобретения.
На фиг.2 показан вид в разрезе микросхемы датчика интегральной микросхемы по фиг.1.
На фиг.3 показан вид сбоку, иллюстрирующий структуру наложения слоев микросхемы датчика и логической микросхемы.
На фиг.4 показана блок-схема, подробно представляющая конфигурацию интегральной микросхемы по фиг.1.
На фиг.5 показаны временные графики, иллюстрирующие работу блока пикселя по фиг.4.
На фиг.6 показаны временные диаграммы, иллюстрирующие управление временем экспозиции пикселей.
На фиг.7 показан вид, иллюстрирующий концепцию управления временем экспозиции блоков.
На фиг.8 показана блок-схема, представляющая устройство съемки изображения в соответствии со вторым вариантом выполнения настоящего изобретения.
На фиг.9 показана блок-схема, представляющая устройство съемки изображения в соответствии с третьим вариантом выполнения настоящего изобретения.
Подробное описание изобретения
Далее подробно описаны варианты выполнения настоящего изобретения с соответствующей ссылкой на чертежи.
(1) Конфигурация первого варианта выполнения
На фиг.1 показана блок-схема, представляющая интегральную микросхему, используемую в устройстве съемки изображения в соответствии с первым вариантом выполнения настоящего изобретения. Устройство съемки изображения в соответствии с настоящим вариантом выполнения формирует требуемое оптическое изображение на поверхности съемки изображения интегральной микросхемы 1 с использованием автоматического управления диафрагмой и автоматического управления фокусированием, выполняемым с помощью контроллера, в котором используется объектив, который не показан на чертежах и который выводит результат съемки оптического изображения.
Здесь интегральная микросхема 1 представляет собой интегральную микросхему, включающую в себя элемент съемки изображения, которая сформирована путем упаковки многослойного объекта микросхемы 2 датчика и логической микросхемы 3.
Здесь микросхема 2 датчика представляет собой полупроводниковую микросхему элемента съемки изображения, которая выводит результат съемки изображения в соответствии со способом адресации XY, и, в настоящем варианте выполнения, в качестве элемента съемки изображения используется твердотельный элемент съемки изображения типа КМОП. Микросхема 2 датчика включает в себя блок 4 съемки изображения и блок 5 управления, предназначенный для управления работой блока 4 съемки изображения.
Здесь блок 4 съемки изображения образует поверхность съемки изображения, сформированную благодаря размещению пикселей в виде матрицы и выводит результат съемки оптического изображения, сформированного на поверхности съемки изображения. В блоке 4 съемки изображения пиксели, расположенные в виде матрицы, разделены равномерно в горизонтальном направлении и в вертикальном направлении, и поверхность съемки изображения, таким образом, разделена на множество блоков 6 пикселей. Периферийная схема, относящаяся к пикселям, которые принадлежат каждому из блоков 6 пикселей, предусмотрена индивидуально для блоков 6 пикселей, и блоки 6 пикселей индивидуально сформированы так, что выводится результат их съемки изображения. Поэтому микросхема 2 датчика одновременно и параллельно выводит результат съемки изображения множества блоков 6 пикселей.
Как показано с частичным разрезом на фиг.2, в микросхеме 2 датчика слой 12 элемента сформирован из слоя кремния (Si), имеющего толщину приблизительно 10-20 [мкм], и элемент 13 приема света сформирован на слое 12 элемента. Кроме того, пленка 14 двуокиси кремния (SiO2), пленка 15 блокирования света, пленка 16 нитрида кремния (SiN), цветной фильтр 17 и микролинза 18 расположены в виде последовательно нанесенных слоев как верхний слой относительно участка, соответствующего элементу 13 приема света, и в результате формируется пиксель 19. Кроме того, периферийные схемы блоков 6 пикселей, блока 5 управления и слоя 20 разводки для разводки периферийных схем, и блока 5 управления, сформированы как нижний слой относительно слоя 12 элемента, и элемент 21 основания подложки, предназначенный для установки на нем всей конструкции, предусмотрен на нижней стороне слоя 20 разводки. Следовательно, в микросхеме 2 датчика слой 20 разводки расположен на стороне, противоположной стороне, на которой предусмотрена поверхность съемки изображения и предусмотрены периферийные схемы, блок 5 управления и т.д. Таким образом, микросхема 2 датчика выполнена таким образом, что эффективно предотвращается уменьшение цифровой апертуры также в случае, когда периферийная схема и т.д. предусмотрена отдельно для каждого из блоков 6 пикселей. Кроме того, микросхема 2 датчика сформирована так, что устраняются различные ограничения, возникающие в случае, когда слой 20 разводки сформирован на стороне поверхности съемки изображения, и степень свободы при разводке может быть существенно повышена.
Следует отметить, что микросхема 2 датчика сформирована таким образом, что, поскольку слой 20 разводки сформирован на стороне, противоположной стороне, на которой расположена поверхность съемки изображения, полупроводниковая подложка, имеющая малую толщину, обрабатывается со стороны слоя 20 разводки, формируя элемент 13 приема света и элементы цепей периферийных схем, и затем слой 20 разводки и элемент 21 основания подложки последовательно сформированы на полупроводниковой подложке, и после этого, слой 12 элемента заканчивают путем переворота и полировки полупроводниковой подложки, используя ХМП (СМР, химико-механическая полировка) и пленку 15, блокирующую свет, при этом последовательно формируются пленка 16 нитрида кремния (SiN), цветной фильтр 17 и микролинзы 18.
Как показано на фиг.3, в микросхеме 2 датчика логическая микросхема 3 расположена на элементе 21 основания подложки, и микросхема 2 датчика электрически соединена с и установлена на логической микросхеме 3 с помощью тонких выступающих электродов 31, сформированных на стороне слоя 20 разводки, и тонких выступающих электродах 32, сформированных на логической микросхеме 3. Тонкие выступающие электроды 32 далее называются микровыступами.
Здесь логическая микросхема 3 представляет собой интегральную микросхему, включающую в себя схему обработки сигналов, предназначенную для обработки результата съемки изображения микросхемой 2 датчика, и в настоящем варианте выполнения схема обработки сигналов сформирована из блока 41 формирования импульса, который предназначен для управления временем экспозиции блока 4 съемки изображения, предусмотренном в микросхеме 2 датчика, и блока 42 управления, который предназначен для вывода различных сигналов синхронизации в блок 41 формирования импульса.
Здесь в блоке 41 формирования импульса предусмотрены блоки 43 генерирования импульса, индивидуально соответствующие блокам 6 пикселей микросхемы 2 датчика. Блоки 43 генерирования импульса индивидуально соединены с блоками 6 пикселей, в соответствии с микровыступами 31 и 32, в результате чего управляют временем экспозиции соответствующих блоков 6 пикселей. Следовательно, интегральная микросхема 1 сформирована таким образом, что результат съемки изображения из множества блоков 6 пикселей может быть выведен одновременно и параллельно, и периодами времени экспозиции блоков 6 пикселей можно индивидуально управлять с помощью блоков 43 генерирования импульса.
На фиг.4 показана блок-схема, представляющая блок 6 пикселей и блок 43 генерирования импульса. Здесь в блоке 6 пикселей последовательно расположенные пиксели 19А и 19В в горизонтальном направлении соединены так, что обеспечивается их сброс схемой 52 управления через общую линию вентиля. Кроме того, пиксели 19А и 19В, расположенные последовательно в вертикальном направлении, соединены друг с другом через общую линию сигнала и подключены к схеме 53 управления с горизонтальным съемом. Пиксели 19А и 19В выполняют обработку оптоэлектрического преобразования поступающего света, накапливая электрический заряд и затем разряжая накопленный электрический заряд в соответствии с импульсами RST1 и RST2 сброса, поступающими из схемы 52 управления сбросом. Кроме того, пиксели 19А и 19В преобразуют накопленный электрический заряд в напряжение в соответствии с импульсами R0UT1 и R0UT2 считывания, выводимыми из схемы 52 управления сбросом, и выводят полученное в результате напряжение в сигнальную линию. Следовательно, в блоке 6 пикселей, под управлением схемы 52 управления сбросом, время накопления электрического заряда изменяется, в результате чего изменяется время экспозиции и результат съемки изображения выводят в строке в схему 53 управления с горизонтальным съемом.
Схема 52 управления сбросом выполняет операцию сброса в соответствии с сигналом VD вертикальной синхронизации, поступающим с выхода блока 5 управления, как показано в позиции (А) на фиг.5 и в позиции (А) на фиг.6. Затем схема 52 управления сбросом обеспечивает формирование импульса RST1 сброса в момент времени переднего фронта импульса SHT затвора (показано в позиции (В) на фиг.5 и в позиции (В) на фиг.6), выводимого из блока 43 генерирования импульса (позиция (С1) на фиг.5 и (С1) на фиг.6, и обеспечивает формирование импульса R0UT1 считывания в момент времени заднего фронта импульса SHT затвора (показано в позиции (D1) на фиг.5 и в позиции (D1) на фиг.6).
Схема 52 управления сбросом выводит импульс RST1 сброса и импульс R0UT1 считывания, сгенерированные относительно импульса SHT затвора, в пиксель 19А верхней строки. Кроме того, схема 52 управления сбросом выполняет последовательную задержку импульс RST1 сброса и импульса R0UT1 считывания на время Δt задержки, которая соответствует количеству строк, которые формируют блоки 6 пикселей, для последовательного генерирования импульсов RST2... и RSTn сброса, и импульсов R0UT2..., и R0UTn считывания, относящихся к пикселям 19В... остальных строк (обозначено позициями (С2) и (D2) на фиг..5 и (С2), (D2), (Cn) и (Dn) на фиг.6) и выводит импульс RST2 сброса и импульс R0UT2 считывания... в пиксели 19В... в других строках.
Следовательно, схема 52 управления сбросом установлена так, что периоды Т1 и Т2 от переднего фронта до заднего фронта импульса SHT затвора установлены как периоды времени экспозиции для пикселей 19А и 19В. Кроме того, схема 52 управления сбросом управляет работой пикселей 19А и 19В так, что накопленный электрический заряд (обозначен позицией (Е1) и (Е2) на фиг.5) в пикселях 19А и 19В выводят как результат съемки изображения в сигнальной линии в строке в моменты времени окончания времени экспозиции (обозначено как (F1) и (F2) на фиг.5).
Кроме того, схема 52 управления сбросом выводит сигнал G управления усилением для схемы 54 усиления в соответствии со временем экспозиции, на основе импульса SHT затвора, и затем корректирует уровень сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции, на основе импульса SHT затвора.
Следовательно, результаты съемки изображения для пикселей 19А, 19В..., расположенных последовательно в вертикальном направлении, последовательно выводят в сигнальные линии с разделением по времени (обозначено позицией (Е) на фиг.6). Схема 53 управления с горизонтальным съемом выполняет мультиплексирование с разделением по времени, объединяет и выводит результаты съемки изображения, поступающие из пикселей 19А и 19 В, в сигнальные линии в строках, таким образом, как описано выше (смотри позицию (F) на фиг.6).
Схема 54 усиления изменяет коэффициент усиления в соответствии с сигналом G управления усилением, выводимым из схемы 52 управления сбросом, и усиливает и выводит результат съемки изображения, выводимый из схемы 53 управления с горизонтальным съемом. В результате интегральная микросхема 1 корректирует уровень сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции, и выводит результат съемки изображения со скорректированном уровнем сигнала.
Схема 55 аналогово-цифрового преобразования (АЦП) выполняет обработку аналогово-цифрового преобразования для выходного сигнала схемы 54 усиления и выводит данные изображения OUT, в соответствии с результатом обработки, в соответствующий блок 43 генерирования импульса логической микросхемы 3. Следовательно, в настоящем варианте выполнения периферийные схемы для пикселей 19А и 19В, принадлежащих блокам 6 пикселей, состоят из схемы 52 управления сбросом, схемы 53 управления с горизонтальным съемом, схемы 54 усиления и схемы 55 аналогово-цифрового преобразования.
Следовательно, интегральная микросхема 1 выполнена таким образом, что результаты OUT съемки изображения, полученные с помощью пикселей 19А и 19В, выводятся одновременно и параллельно из блоков 6 пикселей таким образом, что результаты OUT съемки изображения выводят из блоков 6 пикселей в соответствии с порядком растрового сканирования, и периоды времени экспозиции электронного затвора изменяются индивидуально для блоков 6 пикселей под управлением соответствующего блока 43 генерирования импульса, и вариации уровней сигнала результатов OUT съемки изображения, возникающие из-за вариаций скорости времени экспозиции, корректируют индивидуально в блоках 6 пикселей.
Блок 43 генерирования импульса детектирует величину движения результата съемки изображения, выводимого из соответствующих блоков 6 пикселей, с использованием схемы 61 детектирования величины движения и изменяет и выводит импульс SHT затвора в соответствии с результатом детектирования величины движения.
В частности, в схеме 61 детектирования величины движения схема 62 усреднения усредняет результаты съемки изображения, выводимые из соответствующих блоков 6 пикселей в кадре. В частности, схема 62 усреднения одновременно суммирует результаты съемки изображения, выводимые из соответствующих блоков 6 пикселей, используя схему 63 суммирования и схему 64 задержки, и выводит результат суммирования в схему 66 расчета разности кадров для каждого из кадров и инициализирует значение суммы под управлением схемы 65 переключателя, предусмотренной в выходном каскаде схемы 63 суммирования. Вследствие этого схема 61 детектирования величины движения суммирует с накоплением результаты съемки изображения в кадре и затем рассчитывает среднее значение результатов съемки изображения по блокам 6 пикселей.
Схема 66 расчета разности кадра выполняет задержку выходного значения схемы 62 усреднения на период времени одного кадра, используя схему 67 задержки (задержки IV). Кроме того, схема 66 расчета разности кадра вычитает выходное значение схемы 67 задержки из выходного значения схемы 62 усреднения с помощью схемы 68 вычитания для расчета значения ΔS разности между кадрами. Таким образом схема 61 детектирования величины движения приблизительно рассчитывает величину движения на основе значения ΔS разности между кадрами.
Схема 69 генерирования импульса затвора генерирует импульс SHT затвора в соответствии с результатом детектирования величины движения, полученным таким образом, как описано выше, с помощью схемы 61 детектирования величины движения. В частности, схема 69 генерирования импульса затвора генерирует импульс SHT затвора таким образом, что если значение ΔS разности между кадрами, выводимой из схемы 61 детектирования величины движения, увеличивается, тогда период времени передней кромки импульса SHT затвора уменьшается в той же степени. Следовательно, импульс SHT затвора будет сгенерирован таким образом, что, если увеличивается величина движения, тогда в равной степени уменьшается время экспозиции.
Во время обработки схема 69 генерирования импульса затвора вводит задержку, если значение ΔS разности между кадрами, выводимое схемой 61 детектирования количества движения, задерживается, момент времени передней кромки импульса SHT затвора задерживается в той же степени, и момент времени задней кромки импульса SHT затвора приближается на величину, на которую задержан момент времени передней кромки. Вследствие этого схема 69 генерирования импульса затвора выполняет такую установку, что даже если скорость затвора будет меняться, момент времени центра времени экспозиции блоков 6 пикселей не изменяется, в результате чего фаза импульса SHT затвора не изменяется на значительную величину относительно других блоков 6 пикселей. Следует отметить, что это обеспечивает то, что время от момента передней кромки до следующей передней кромки импульса SHT затвора будет равно, как минимум, половине периода вертикальной синхронизации. В соответствии с этим схема 52 управления сбросом выполнена таким образом, что импульс RST1 сброса и импульс R0UT1 считывания формируют из импульса SHT затвора и последовательно вводят задержку для формирования импульсов RST2, ... сброса и импульсов R0UT2, ... считывания для строк, и затем импульсы RST1, RST2, ... сброса и импульсы R0UT1, R0UT2, ... считывания выводят индивидуально в пределах периодов передней половины и задней половины периода вертикальной синхронизации.
Таким образом, интегральная микросхема 1 устанавливает более короткой скорость затвора только в местах, в которых детектируется движение по результатам OUT (F1), OUT (F2) и OUT (F3) съемки изображения, последовательно полученным микросхемой 2 датчика, в соответствии со значениями ΔS разности между кадрами и с результатами OUT (F1), OUT (F2) и OUT (F3) съемки изображения, как показано на фиг.7. Вследствие этого эффективно предотвращается ухудшение отношения сигнал/шум на неподвижных участках, что предотвращает размытие подвижного объекта съемки изображения. Кроме того, также в случае, когда объект съемки изображения, который проявляет движение, является малым объектом, скорость затвора участка, относящегося к малому объекту, устанавливается более короткой, что надежно предотвращает размытие. Следует отметить, что на фиг.7 время экспозиции блоков пикселей в случае, когда время экспозиции вообще не установлено более коротким, обозначено дробью.
Затем интегральная микросхема 1 накапливает результаты OUT съемки изображения, выводимые одновременно и параллельно из блоков 6 пикселей, таким образом, как описано выше, в запоминающем устройстве изображения, предусмотренном в микросхеме 2 датчика, и мультиплексирует результаты OUT съемки изображения в соответствии с порядком растрового сканирования, и затем выводит мультиплексированные результаты в виде одиночных последовательностей.
Следовательно, в настоящем варианте выполнения пиксели 19А и 19В, схема управления 52 управления сбросом и схема 53 управления с горизонтальным съемом формируют средство съемки изображения для вывода результата съемки изображения оптического изображения, сформированного на поверхности съемки изображения, и схема 61 детектирования величины движения формирует средство детектирования движения для детектирования величины движения результата съемки изображения для каждого из блоков, сформированных путем разделения поверхности съемки изображения в горизонтальном направлении и/или вертикальном направлении. Кроме того, схема 69 формирования импульса затвора образует средство управления, предназначенное для управления временем экспозиции средства съемки изображения для каждого из блоков, на основе результата детектирования, выполняемого средством детектирования движения, так, что время экспозиции уменьшается по мере того, как величина движения в блоке увеличивается, и схема 52 управления сбросом и схема 54 усиления образуют средство коррекции уровня сигнала, предназначенное для коррекции и вывода, для каждого из блоков, уровня сигнала результата съемки изображения, который изменяется под управлением временем экспозиции.
(2) Работа первого варианта выполнения
В устройстве съемки изображения (фиг.1), имеющем описанную выше конфигурацию, оптическое изображение формируется на поверхности съемки изображения интегральной микросхемы 1 через объектив, и результат съемки изображения оптического изображения получают и выводят из интегральной микросхемы 1. В процессе обработки, выполняемой интегральной микросхемой 1, в интегральной микросхеме 1 (фиг.2 и 4) поверхность съемки изображения формируется путем размещения пикселей 19А и 19В элемента 13 приема света в виде матрицы, и результаты OUT съемки изображения получают из блоков 6 пикселей, сформированных путем равномерного разделения поверхности съемки изображения в горизонтальном направлении и вертикальном направлении.
В частности, в блоках 6 пикселей, импульсы ROUT1, ROUT2... считывания, время синхронизации которых последовательно сдвинуто по строкам, выводят из схемы 52 управления сбросом, и результаты out1, out2, ... съемки изображения в пикселях 19А и 19В подают в схему 53 управления с горизонтальным съемом по строкам, в соответствии с импульсами R0UT1, R0UT2, ... считывания и затем мультиплексируют с разделением по времени в схеме 53 управления с горизонтальным съемом. Кроме того, после коррекции уровня сигнала результатов съемки изображения в расположенной последовательно схеме 54 усиления результаты съемки изображения преобразуют и выводят как цифровые сигналы с помощью схемы 55 аналогово-цифрового преобразования. Таким образом, результат OUT съемки изображения получают для каждого из блоков 6 пикселей, сформированных путем разделения поверхности съемки изображения, и результаты OUT съемки изображения выводят одновременно и параллельно.
Кроме того, результаты OUT съемки изображения блоков 6 пикселей подают индивидуально в соответствующие блоки 43 формирования импульса и по ним определяют величину ΔS движения в блоках 6 пикселей. Затем, на основе величины ΔS движения, управляют временем накопления электрического заряда в соответствующих блоках 6 пикселей таким образом, чтобы уменьшать время экспозиции при увеличении величины движения в блоке пикселей.
Следовательно, в настоящем устройстве съемки изображения, временем экспозиции можно управлять в соответствии с движением в каждом из блоков, сформированных путем разделения одного изображения экрана, и с учетом неподвижного фонового изображения, при этом время экспозиции можно установить длительным для исключения деградации отношения сигнал/шум, но для участка, в котором происходит некоторое движение время экспозиции может быть установлено коротким, для исключения размытости изображения. Кроме того, благодаря детектированию движения в каждом из блоков движение можно детектировать также для малых объектов, и в результате может быть предотвращено состояние размытого изображения также для таких малых объектов, как описано выше. Следовательно, благодаря управлению временем экспозиции с помощью электронного затвора, качество изображения существенно улучшается по сравнению с обычным доступным качеством изображения.
Кроме того, в настоящем устройстве съемки изображения при управлении временем экспозиции так, как описано выше, повышают усиление схемы 54 усиления для коррекции уровня сигнала результата OUT съемки изображения на величину, соответствующую величине уменьшения времени экспозиции. Таким образом, временем экспозиции можно управлять для каждого из блоков таким образом, как описано выше, с предотвращением вариаций уровня сигнала в разных блоках и, таким образом, можно предотвратить деградацию качества изображения.
Благодаря такому управлению временем экспозиции для каждого из блоков пикселей, в настоящем устройстве съемки изображения результаты OUT съемки изображения получают для отдельных блоков 6 пикселей и выводят одновременно и параллельно, и величину ΔS движения в блоках 6 пикселей детектируют для управления временем экспозиции с помощью блока 43 формирования импульса, индивидуально в соответствии с блоками 6 пикселей. Следовательно, в настоящем устройстве съемки изображения временем экспозиции может управлять для каждого из блоков, независимо от других блоков, путем одновременной и параллельной обработки множества блоков, в результате чего улучшается качество изображения при использовании простой обработки, по сравнению с обычно доступным качеством изображения.
В частности, в настоящем устройстве съемки изображения можно использовать такую конфигурацию, в которой микросхема 2 датчика и логическая микросхема 3 соединены и ламинированы с использованием микровыступов 31 и 32, так что результаты OUT съемки изображения получают с помощью микросхемы 2 датчика, и временем экспозиции при этом управляют с помощью логической микросхемы 3 для управления временем экспозиции в каждом из блоков, с использованием одновременной и параллельной обработки множества блоков независимо друг от друга таким образом, как описано выше, в такой многослойной структуре микросхемы 2 датчика и логической микросхемы 3, как описано выше, для упрощения общей конфигурации.
Кроме того, в микросхеме 2 датчика, благодаря размещению периферийных схем, таких как схема 52 управления сбросом, схема 53 управления с горизонтальным съемом и т.д., на стороне, противоположной поверхности съемки изображения, и благодаря ламинированию периферийных схем на поверхности противоположной стороны, вместе с логической микросхемой 3, можно эффективно предотвратить уменьшение цифровой апертуры пикселей 19А и 19В, и, кроме того, можно снизить перекрестные помехи между пикселями 19А и 19В, расположенными рядом друг с другом, и т.д. Кроме того, на поверхности съемки изображения может быть обеспечена достаточная площадь для размещения пикселей 19А и 19В, что, в результате, способствует повышению качества пикселей и упрощает производство устройства съемки изображения. Кроме того, степень свободы в отношении последующей логической микросхемы 3 может быть существенно повышена, и также может быть повышена степень свободы при конструировании.
Таким образом, благодаря детектированию движения для управления временем экспозиции в блоке 43 формирования импульса, схема 62 усреднения накопительно суммирует результаты OUT съемки изображения по кадрам для определения среднего значения результатов OUT съемки изображения в каждом кадре. Затем последующая схема 66 расчета разности кадров определяет разность средних значений между кадрами для определения величины ΔS движения. Кроме того, схема 69 формирования импульса затвора формирует импульсы SHT затвора по величине ΔS движения, и схема 52 управления сбросом формирует импульсы RST1, RST2, ... сброса на основании импульсов SHT затвора и изменяет моменты времени синхронизации импульсов R0UT1, R0UT2, ... считывания для изменения времени экспозиции. Следовательно, в настоящем устройстве съемки изображения величину ΔS движения рассчитывают с использованием простого и легко осуществимого процесса определения разности между кадрами и выполняют процесс управления экспозицией. Таким образом, процесс управления экспозицией может выполняться для каждого блока с использованием простой и легко осуществимой конфигурации.
(3) Эффект первого варианта выполнения
В соответствии с описанной выше конфигурацией, благодаря разделению одного изображения экрана на множество блоков и выполнению детектирования движения для каждого из блоков для управления временем экспозиции в каждом блоке, качество изображения может быть улучшено по сравнению с обычно доступным качеством изображения, благодаря управлению временем экспозиции с использованием электронного затвора.
Кроме того, в данный момент времени, благодаря выводу результатов съемки изображения блоков одновременно и параллельно и обработке результатов съемки изображения в блоках для детектирования величины движения в каждом из блоков, можно управлять временем экспозиции, используя выполняемые одновременно и параллельно процессы, которые являются независимыми друг от друга для каждого из блоков. Следовательно, качество изображения можно существенно улучшить по сравнению с обычно доступным качеством изображения, благодаря управлению временем экспозиции с помощью электронного затвора, с использованием простых и легко осуществимых процессов.
Кроме того, благодаря накопительному суммированию результатов съемки изображения для каждого из блоков в модуле кадра, для получения накопленных средних значений и расчета значения разности средних значений между кадрами для детектирования величины движения в каждом из блоков, величину движения можно детектировать с использованием простой и легко осуществимой конфигурации, и общая конфигурация может быть в той же степени упрощена.
Кроме того, благодаря формированию, по меньшей мере, пикселей средства съемки изображения, периферийных схем для пикселей и конфигурации средства детектирования движения в разных полупроводниковых микросхемах и соединению их через микровыступы, все устройство может быть сформировано, как интегральная микросхема, для упрощения конфигурации, что, таким образом, предотвращает уменьшение цифровой апертуры пикселей и дополнительно обеспечивает достаточную степень свободы при конструировании.
(4) Второй вариант выполнения
Как показано на фиг.8, устройство 71 съемки изображения в соответствии с настоящим вариантом выполнения включает в себя средство 72 кодирования и средство 73 записи в дополнение к конфигурации интегральной микросхемы 1, описанной выше, со ссылкой на первый вариант выполнения. Средство 72 кодирования и средство 73 записи выполняют процесс кодирования для результатов OUT съемки изображения и записывают результат процесса кодирования на носителе записи. Таким образом, в устройстве 71 съемки изображения, в соответствии с настоящим вариантом выполнения, система 74 съемки изображения сформирована на основе интегральной микросхемы 1, описанной выше, со ссылкой на первый вариант выполнения, и результаты OUT съемки изображения, выводимые из системы 74 съемки изображения, мультиплексируют и затем преобразуют и выводят как сигнал яркости и цветоразностные сигналы в соответствии со средством 72 кодирования. Затем полученные в результате данные процесса кодирования, выполняемого средством 72 кодирования, записывают на носитель записи с помощью средства 73 записи.
Здесь средство 72 кодирования представляет собой средство кодирования со сжатием данных, в котором используется вектор движения, и выполняет процесс кодирования результатов OUT съемки изображения, используя, например, методику Н.264.
С другой стороны, система 74 съемки изображения устанавливает количество пикселей, формирующих блок 6 пикселей, таким образом, чтобы оно соответствовало макроблоку, используемому для детектирования вектора движения с помощью средства 72 кодирования. Следует отметить, что, в данном случае, блок пикселей может быть установлен так, чтобы он соответствовал макроблоку одного из сигнала яркости и цветоразностного сигнала. Кроме того, в соответствии с Н.264, детектирование движения может быть выполнено для множества видов макроблоков с разным размером, при этом блок пикселей устанавливают таким, чтобы он соответствовал макроблоку одного из множества видов макроблоков.
Кроме того, система 74 съемки изображения, таким образом, устанавливает блоки 6 пикселей и выводит величину ΔS движения, детектируемую блоками 6 пикселей.
Средство 72 кодирования определяет величину ΔS движения с заданным пороговым значением для определения наличия или отсутствия движения. Затем, если будет определено, в результате определения, что движение присутствует, тогда вектор движения детектируют с использованием обычного процесса и выполняют процесс кодирования результата OUT снятого изображения. С другой стороны, если определяют, в качестве результата определения, что движение отсутствует, тогда детектирование вектора движения приостанавливают, и значение вектора движения устанавливают равным нулю для выполнения процесса кодирования результата OUT снятого изображения.
Таким образом, в настоящем варианте выполнения результат детектирования движения, используемый при управлении временем экспозиции, используют в процессе кодирования таким образом, что детектирование движения выполняют для каждого блока для управления временем экспозиции, и в той же степени снижают нагрузку, связанную с процессом кодирования.
В соответствии с настоящим вариантом выполнения, благодаря разделению результатов съемки изображения на блоки с размером, соответствующим модулю детектирования вектора движения в процессе кодирования, и выполнению детектирования движения в каждом из блоков для управления временем экспозиции каждого блока и с последующим использованием результатов детектирования движения в процессе кодирования, можно существенно повысить качество изображения по сравнению с обычным доступным качеством изображения, благодаря управлению временем экспозиции с использованием электронного затвора. Таким образом, нагрузка, связанная с процессом кодирования, может быть уменьшена.
(5) Третий вариант выполнения
Как показано на фиг.9, в отличие от фиг.8, устройство 81 съемки изображения в соответствии с настоящим изобретением детектирует величину движения с помощью вектора движения, вместо детектирования величины движения по разности между кадрами с помощью схемы 61 детектирования движения (см. фиг.4) системы 74 съемки изображения, описанной выше, со ссылкой на второй вариант выполнения. В частности, детектируют вектор V движения, и этот вектор движения преобразуют в указанное выше абсолютное значение для детектирования длины вектора V движения, и затем магнитуду движения детектируют по длине вектора V движения. Следует отметить, что для детектирования вектора V движения можно применять различные способы детектирования, такие как способ соответствия блоков и способ уклона.
Кроме того, средство 82 кодирования приостанавливает детектирования вектора V движения для блока с размером, который соответствует блоку 6 пикселей, и выполняет процесс кодирования, используя вектор V движения, детектированный с помощью схемы 61 детектирования движения. Следует отметить, что устройство 81 съемки изображения имеет аналогичную конструкцию, такую же, как и устройство 71 съемки изображения, описанное выше, со ссылкой на второй вариант выполнения, за исключением конструктивных особенностей, которые относятся к описанному выше вектору V движения.
В соответствии с настоящим вариантом выполнения можно достичь аналогичного эффекта, что и во втором варианте выполнения, также, когда движение детектируют, используя вектор движения, для управления временем экспозиции для каждого блока.
(6) Другие варианты выполнения
Следует отметить, что в то время как в описанных выше вариантах выполнения моменты времени синхронизации импульса сброса и импульса считывания изменяют для управления временем экспозиции, в соответствии с настоящим изобретением, управление временем экспозиции не ограничивается этим, и временем экспозиции можно управлять, изменяя только время синхронизации импульса сброса.
Кроме того, в то время как в описанных выше вариантах выполнения результат съемки изображения выводят и обрабатывают для каждого блока пикселей, в соответствии с настоящим изобретением, вывод результата съемки изображения не ограничивается этим, и результаты съемки изображения для изображения одного экрана могут быть выведены совместно и затем классифицированы и обработаны для каждого блока изображения, для управления временем экспозиции каждого из блоков пикселей. Благодаря этому, даже когда используется элемент съемки изображения с обычной конфигурацией, в которой результаты съемки изображения выводят в соответствии с порядком растрового сканирования при выводе результатов съемки изображения, качество изображения может быть существенно улучшено по сравнению с обычным доступным качеством изображения, благодаря управлению временем экспозиции с помощью электронного затвора так же, как и в описанных выше вариантах выполнения.
Кроме того, в то время как, в описанных выше вариантах выполнения, микросхема датчика сформирована в виде твердотельного элемента съемки изображения типа КМОП, настоящее изобретение не ограничивается этим, и его также можно широко применять для случая, в котором микросхема датчика сформирована из других твердотельных элементов съемки изображения в соответствии с системой адресации XY и для другого случая, в котором микросхема датчика сформирована из твердотельного элемента съемки изображения типа ПЗС (CCD, прибор с зарядовой связью).
Кроме того, в то время как в описанных выше вариантах выполнения поверхность съемки изображения разделена в горизонтальном направлении и в вертикальном направлении для формирования блоков пикселей, в соответствии с настоящим изобретением, формирование блоков пикселей не ограничивается этим, и поверхность съемки изображения может быть разделена только в одном из горизонтального направления и вертикального направления для формирования блоков пикселей.
Кроме того, в то время как в описанных выше вариантах выполнения периферийные схемы для пикселей предусмотрены на стороне задней поверхности микросхемы 2 датчика и ламинированы вместе с логической микросхемой, настоящее изобретение не ограничивается этим, и может применяться широко также для случая, в котором периферийные схемы для пикселей предусмотрены на стороне передней поверхности микросхемы 2 датчика, и в другом случае, в котором логическая микросхема сформирована как отдельный элемент и т.д.
Промышленная применимость
Настоящее изобретение можно применять для устройства съемки изображения, в котором, например, используется твердотельный элемент съемки изображения типа КМОП.
1. Устройство съемки изображения, содержащее средство съемки изображения, имеющее сформированную на нем поверхность съемки изображения, состоящую из пикселей, расположенных в виде матрицы, предназначенное для вывода результата съемки оптического изображения, сформированного на поверхности съемки изображения; средство детектирования движения, предназначенное для детектирования величины движения в результате съемки изображения в каждом из блоков, на которые разделена поверхность съемки изображения в горизонтальном направлении и/или в вертикальном направлении; средство управления, предназначенное для управления временем экспозиции указанного средства съемки изображения в каждом из блоков, на основе результата детектирования, полученного с помощью указанного средства детектирования движения; и средство коррекции уровня сигнала, предназначенное для коррекции и вывода для каждого из блоков уровня сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции.
2. Устройство съемки изображения по п.1, в котором указанное средство управления управляет на основе результата детектирования с помощью указанного средства детектирования движения временем экспозиции указанного средства съемки изображения в каждом из блоков так, что время экспозиции уменьшается при увеличении величины движения.
3. Устройство съемки изображения по п.1, в котором указанное средство съемки изображения выводит результаты съемки изображения блоков одновременно и параллельно для вывода, таким образом, результатов съемки оптического изображения, и указанное средство детектирования движения выполняет обработку результатов съемки изображения блоков, выводимых из указанного средства съемки изображения, по отдельности, для детектирования величины движения в каждом из блоков.
4. Устройство съемки изображения по п.1, в котором указанное средство детектирования движения включает в себя схему расчета среднего значения, выполненную с возможностью накопительного суммирования результатов съемки изображения для каждого из блоков в кадре для расчета среднего значения, и схему расчета разности между кадрами, предназначенную для расчета разности средних значений между кадрами, рассчитанных с помощью указанной схемы расчета среднего значения для каждого из блоков и детектирования величины движения на основе значения этой разности между кадрами.
5. Устройство съемки изображения по п.1, в котором по меньшей мере, указанное средство съемки изображения и указанное средство детектирования движения сформированы в виде полупроводниковых микросхем, отличающихся друг от друга и соединенных друг с другом с помощью микровыступов.
6. Устройство съемки изображения по п.1, дополнительно содержащее средство кодирования, предназначенное для выполнения процесса кодирования результата съемки изображения с использованием макроблока на основе результата детектирования с помощью указанного средства детектирования движения, в котором размер блоков, используемых в указанном средстве детектирования движения, установлен таким, что он соответствует размеру макроблока, используемого в указанном средстве кодирования.
7. Способ обработки результата съемки изображения, содержащий этап детектирования движения, состоящий в детектировании величины движения по результату съемки изображения, полученному с помощью средства съемки изображения в каждом из блоков, на которые разделена поверхность съемки изображения средства съемки изображения в горизонтальном направлении и/или в вертикальном направлении; этап управления, состоящий в управлении временем экспозиции средства съемки изображения в каждом из блоков, на основе результата детектирования на этапе детектирования движения; и этап коррекции уровня сигнала, состоящий в коррекции и выводе, для каждого из блоков, уровня сигнала результата съемки изображения, который изменяется в соответствии с управлением временем экспозиции.
