Устройство формирования изображения, способ обработки изображения и интегральная схема
Изобретение относится к системам формирования и обработки изображения для получения информации движения, получаемой по пикселям. Техническим результатом изобретения является повышение надежности детектирования и обработки движения. Предложено устройство формирования изображения, содержащее интегральную схему устройства обработки сигналов изображения, сформированную путем наложения друг на друга множества полупроводниковых схем, в котором в верхней полупроводниковой схеме интегральной схемы предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в расположенную ниже полупроводниковую схему, в которой предусмотрена схема детектирования движения для обработки сигналов изображения, предоставляемых устройством съемки изображения, и получения информации движения по отдельным пикселям, и схема обработки движения, которая выполняет процесс обработки информации движения по отдельным пикселям и предоставляет результаты обработки, при этом схема детектирования движения получает информацию движения по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания, и схема вычитания для расчета разностей совместно используется соседними пикселями. 4 н. и 3 з.п. ф-лы, 8 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству формирования изображения, способу обработки изображения и интегральной схеме, в частности предназначенных для получения информации движения, получаемой по пикселям. В настоящем изобретении полупроводниковая схема, содержащая устройство съемки изображения, управляемое по адресу XY, состоит из полупроводниковой схемы с установленной на нее схемой детектирования, предназначенной для получения информации движения, получаемой по пикселям, для обработки изображений с высокой скоростью, надежностью, с использованием процесса детектирования движения.
Уровень техники
Устройство формирования изображения получает изображение в порядке растрового сканирования CCD (ПЗС, прибор с зарядовой связью) и выполняет процесс, такой как процесс детектирования движения.
На фиг.1 показана блок-схема устройства 1 формирования изображения, в котором используется твердотельное устройство 2 съемки изображения типа ПЗС. В устройстве 1 формирования изображения твердотельное устройство 2 съемки изображения типа ПЗС имеет пиксели 3 фотоэлектрических датчиков, расположенные в виде матрицы. Вентильными элементами 4 считывания управляют для передачи зарядов, накапливаемых в пикселях 3 в регистры 5 вертикальной передачи. В твердотельном устройстве 2 съемки изображения типа ПЗС накапливаемые заряды последовательно передают из регистров 5 вертикальной передачи в регистр 6 горизонтальной передачи, и эти заряды подают на выход из регистра 6 горизонтальной передачи.
В устройстве 1 формирования изображения логический модуль 7 получает сигналы изображения, предоставляемые твердотельным устройством 2 съемки изображения типа ПЗС и обрабатывает их, используя логические операции, для получения информации движения на основе, например, каждого пикселя. Процессор 8 обрабатывает информацию движения, рассчитывает движение в определенной области и использует рассчитанные движения для обработки сигналов изображения.
В последнее время практическое использование получили твердотельные устройства съемки изображения типа CMOS (КМОП, комплементарный металлооксидный полупроводник). Устройство для интегрирования твердотельного устройства съемки изображения типа КМОП и периферийных цепей предложено, например, в JP-A-2004-31785.
Когда получают информацию движения по отдельным пикселям, логический модуль 7 принимает сигналы изображения для одного кадра и начинает обработку сигналов изображения, и передает информацию движения для одного кадра в виде пакета в процессор 8.
Например, когда сигналы изображения, получаемые в результате растрового сканирования, и твердотельные устройства съемки изображения типа КМОП используются для получения сигналов изображения, следующих с высокой скоростью, процесс детектирования движения вносит задержку, и, таким образом, сложно выполнять обработку сигналов изображения с высокой скоростью.
Сущность изобретения
Настоящее изобретение выполнено с учетом этих проблем и поэтому цель настоящего изобретения состоит в создании устройства формирования изображения, которое позволяет надежно детектировать и обрабатывать движения, способа обработки сигнала изображения и интегральной схемы.
Устройство формирования изображения в соответствии с настоящим изобретением включает в себя интегральную схему, сформированную путем наложения друг на друга множества полупроводниковых схем, в верхней полупроводниковой схеме интегральной схемы предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в расположенную ниже полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, и в нижней полупроводниковой схеме предусмотрена схема детектирования движения, которая выполняет процесс обработки сигналов изображения, предоставляемых устройством съемки изображения, и получает информацию движения по отдельным пикселям, и схема обработки движения, которая выполняет процесс обработки информации движения по отдельным пикселям и представляет результаты обработки.
Поскольку верхняя полупроводниковая схема в интегральной схеме содержит устройство съемки изображения, пиксели, которые расположены в виде матрицы и управляются путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, нижняя полупроводниковая схема снабжена интегральной схемой, включающей в себя схему детектирования движения, которая обрабатывает сигналы изображения, предоставляемые устройством съемки изображения, и получает информацию движения, и схему обработки движения, которая обрабатывает информацию движения по отдельным пикселям и предоставляет результаты обработки, например, схема детектирования движения может обрабатывать сигналы изображения, предоставляемые пикселями устройства съемки изображения, одновременно, в режиме параллельной обработки, когда две полупроводниковые схемы соединены. Таким образом, сигналы изображения могут надежно обрабатываться в процессе детектирования движения, даже если сигналы изображения поступают с высокой скоростью.
Способ обработки сигнала изображения в соответствии с настоящим изобретением, состоящий в обработке сигналов изображения, предоставляемых устройством формирования изображения, включающим в себя интегральную схему, сформированную путем наложения друг на друга множества полупроводниковых схем, включает в себя следующие этапы: управления пикселями, расположенными в виде матрицы в верхней полупроводниковой схеме интегральной схемы путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой; обработки сигналов изображения, предоставляемых устройством съемки изображения в верхней полупроводниковой схеме в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, для получения информации движения по отдельным пикселям, для обработки информации движения для отдельных пикселей и для предоставления результатов обработки.
Способ обработки сигнала изображения в соответствии с настоящим изобретением позволяет надежно обрабатывать сигналы изображения, получаемые с высокой скоростью с помощью процесса детектирования движения.
Интегральная схема в соответствии с настоящим изобретением включает в себя множество полупроводниковых схем, уложенных друга на друга слоями, в которой самая верхняя полупроводниковая схема из множества полупроводниковых схем снабжена устройством съемки изображения, пиксели которого расположены в виде матрицы и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой, и нижняя полупроводниковая схема снабжена схемой детектирования движения, которая обрабатывает сигналы изображения, предоставляемые устройством съемки изображения, и получает информацию движения по отдельным пикселям, и схему обработки движения, которая обрабатывает информацию движения по отдельным пикселям и предоставляет результаты обработки.
Интегральная схема в соответствии с настоящим изобретением позволяет надежно обрабатывать сигналы изображения, предоставляемые с высокой скоростью с использованием процесса детектирования.
Способ обработки сигнала изображения в соответствии с настоящим изобретением, состоящий в обработке сигналов изображения, предоставляемых интегральной схемой, сформированной путем наложения друг на друга множества полупроводниковых схем, включает в себя следующие этапы: управления пикселями, расположенными в виде матрицы в самой верхней полупроводниковой схеме интегральной схемы, с использованием управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой; обработки сигналов изображения, предоставляемых пикселями верхнего полупроводникового устройства, которое используется как устройство съемки изображения, нижней полупроводниковой схемой, расположенной под верхней полупроводниковой схемой, для получения информации движения в отдельных пикселях, для обработки информации движения об отдельных пикселях и для предоставления результатов обработки.
Способ обработки сигнала изображения в соответствии с настоящим изобретением позволяет надежно обрабатывать сигналы изображения, предоставляемые с высокой скоростью с использованием процесса детектирования движения.
Настоящее изобретение позволяет надежно обрабатывать сигналы изображения с помощью процесса детектирования движения, даже если сигналы изображения поступают с высокой скоростью.
Краткое описание чертежей
На фиг.1 показана блок-схема известного устройства формирования изображения.
На фиг.2 показана блок-схема устройства формирования изображения по первому варианту выполнения в соответствии с настоящим изобретением.
На фиг.3 показан вид в перспективе с покомпонентным представлением деталей интегральной схемы, включенной в устройство формирования изображения, представленное на фиг.2.
На фиг.4 показан вид в перспективе с покомпонентным представлением деталей слоя обработки движения, включенного в интегральную схему, показанную на фиг.3.
На фиг.5 показана схема данных, получаемых в результате обработки информации движения.
На фиг.6 показана таблица, изображающая выходную информацию движения.
На фиг.7 схематично показана схема, предназначенная для пояснения интегральной схемы в третьем варианте выполнения в соответствии с настоящим изобретением.
На фиг.8 показана схема, предназначенная для пояснения схемы детектирования движения, включенной в интегральную схему, показанную на фиг.7.
Подробное описание изобретения
Предпочтительные варианты выполнения настоящего изобретения будут описаны со ссылкой на прилагаемые чертежи.
(1) Первый вариант выполнения
На фиг.2 показана блок-схема устройства формирования изображения по первому варианту выполнения в соответствии с настоящим изобретением. Устройство 31 формирования изображения сжимает данные изображения требуемого объекта и записывает сжатые данные изображения на носитель записи и передает данные изображения в требуемое устройство.
В устройстве 31 формирования изображения предусмотрен объектив 32. Пользователь выполняет операции с объективом 32 для изменения степени увеличения, регулирует степень увеличения и диафрагму. Падающий свет фокусируется на поверхности съемки изображения устройства 33 съемки изображения. Оптический фильтр 34 нижней частоты ослабляет компоненты падающего света, поступающего из объектива 32, имеющие высокие пространственные частоты. Фильтр 35 компенсации цвета, расположенный позади оптического фильтра 34 нижней частоты, компенсирует цветовую температуру падающего света после оптического фильтра 34 нижней частоты.
Устройство 33 съемки изображения представляет собой, например, твердотельное устройство съемки изображения типа КМОП. Устройство съемки изображения 33 работает в соответствии с сигналом синхронизации, поступающим из модуля 36 привода, для преобразования оптического изображения, сформированного на поверхности съемки изображения в виде пикселей сигнала S1 изображения в результате фотоэлектрического преобразования.
Модулем 36 привода управляет модуль 39 управления, который вырабатывает сигналы синхронизации для синхронизации работы устройства с устройством 33 съемки изображения 33. Таким образом, модуль 9 управления управляет работой устройства 33 съемки изображения.
Аналогово-цифровой преобразователь (А/Ц преобразователь) 37 обрабатывает сигнал S1 изображения, используя процесс аналогово-цифрового преобразования, и предоставляет данные D1 изображения.
Модуль 38 обработки изображения сжимает данные D1 изображения, передает кодированные данные D2, полученные в результате сжатия данных D1 изображения, в систему записи и в систему передачи. Таким образом, устройство 31 формирования изображения записывает кодированные данные D2 на заданный носитель записи с помощью системы записи и передает кодированные данные D2 во внешнее устройство с помощью системы передачи.
Модуль 39 управления включает в себя микрокомпьютер, выполняющий функцию средства обработки данных. Модуль 39 управления выполняет заданную программу управления и управляет всеми операциями устройства 31 формирования изображения, в соответствии с инструкциями, вводимыми пользователем, в результате выполнения операций с устройством ввода операций. В данном варианте выполнения программы управления заранее установлены в устройстве 31 формирования изображения. Программы управления могут быть загружены в устройство формирования изображения из сети, такой как сеть Интернет, или с носителя записи. Носитель записи может представлять собой любой соответствующий носитель записи, включая оптические диски, карты памяти и тому подобное.
Модуль 39 управления начинает работать после того, как пользователь подключит устройство 31 формирования изображения к источнику питания. Модуль 39 управления управляет всеми операциями в соответствии с операцией, выполняемой в устройстве ввода операций пользователем, для начала операций съемки изображения, выполняемой устройством 33 съемки изображения, и для начала операций записи и передачи данных изображения, предоставляемых устройством 33 съемки изображения.
На фиг.3 показан вид в перспективе с покомпонентным представлением деталей интегральной схемы 11, включенной в устройство 33 съемки изображения, в устройстве 31 формирования изображения. Эта интегральная схема 11 обрабатывает сигналы изображения в виде последовательных этапов и передает обработанные сигналы изображения в процессор. Модули схемы, которые выполняют этапы обработки в разных каскадах, интегрированы в интегральные схемы, сформированные на тонких полупроводниковых схемах, и эти тонкие полупроводниковые схемы уложены последовательно друг на друга в порядке каскадов для формирования интегральной схемы 11. Таким образом, интегральная схема 11 представляет собой многослойную структуру, включающую в себя слои обработки, соответственно, для выполнения процессов и промежуточные слои разводки, предназначенные для соединения слоев обработки. Самый верхний слой обработки интегральной схемы 11 выполняет функцию слоя 13 съемки изображения, который предоставляет сигналы изображения.
Слой 13 съемки изображения представляет собой полупроводниковую схему, в которой сформирована интегральная схема, включающая в себя твердотельное устройство съемки изображения, управляемое путем управления адресом XY, для получения сигналов изображения, и периферийная схема, соединенная с твердотельным устройством съемки изображения. Слой 13 съемки изображения имеет поверхность съемки изображения, сформированную путем расположения пикселей 14 в виде матрицы на его верхней поверхности. Таким образом, сформировано устройство 33 съемки изображения, упомянутое со ссылкой на фиг.2. Периферийная схема включает в себя схему 36 привода, предназначенную для управления пикселями 14, и А/Ц преобразователь 37, предназначенный для преобразования сигналов изображения, предоставляемых пикселями 14, в данные изображения, которые упомянуты со ссылкой на фиг.2, и схему считывания, предназначенную для считывания сигналов изображения из пикселей 14. Схемой считывания управляют с использованием управления адресом XY для считывания данных изображения, соответствующих сигналам изображения, предоставляемым пикселями 14 одновременно в режиме параллельного считывания, через короткие интервалы, и передает считанные данные изображения через промежуточный соединительный слой разводки в нижние слои 15 для одновременной обработки в режиме параллельного вывода.
Нижний слой обработки представляет собой слой 16 детектирования движения, предназначенный для детектирования информации движения, предоставляемой пикселями слоя 13 съемки изображения. Слой 16 детектирования движения содержит схему 17 детектирования движения, предназначенную для детектирования информации движения по отдельным пикселям. В данном варианте выполнения схема 17 детектирования движения включает в себя множество детекторов 17А движения, соответственно, соответствующих пикселям слоя 13 съемки изображения.
Промежуточный слой 15 разводки передает данные изображения, предоставляемые каждым из пикселей слоя 13 съемки изображения в соответствующий детектор 17А движения слоя 16 детектирования движения, в соответствии с пикселями, и в расположенные рядом детекторы 17А движения, соответственно, на негативных сторонах ассоциированного детектора 17А движения в отношении направления Х и направления Y, что позволяет детектировать информацию движения по отдельным пикселям с помощью схемы 17 детектирования движения.
Предположим, что положение ассоциированного детектора 17А движения имеет координаты (x, y) в системе координат, определенной осью X, параллельной направлению x, и осью y, параллельной направлению Y. Затем сигнал f (x, у) изображения, предоставляемый пикселем 14, соответствующим детектору 17А движения, и сигналы f(x-1, y) и f(х, y-1), предоставляемые соседними пикселями 14 на негативных сторонах пикселя 14, соответствующих детектору 17А движения относительно направления Х и направления Y, одновременно передают в детектор 17А движения в режиме параллельного ввода. Детектор 17А движения имеет регистр, предназначенный для сохранения сигнала f(x, y, t-1) изображения, предоставленного ассоциированным пикселем 14 в предыдущем цикле выборки, и схему вычитания. Схема вычитания выполняет следующую арифметическую операцию на основе схем вычитания, с использованием сигнала изображения f(x, y, t-1), сохраненного в регистре, сигнала f(x, y, t) изображения, предоставляемого ассоциированным пикселем 14, и сигналов f(x-1, y, t) и f(x, y-1, t), предоставляемых соседними ассоциированными пикселями 14. И схема вычитания рассчитывает разность между сигналом изображения, предоставляемым ассоциированным пикселем 14 и сигналами изображения, предоставляемыми пикселями, расположенными рядом с ассоциированным пикселем 14 в отношении направления Х и направления Y, fx(х, y) и
fy(х, y), и с учетом разности по оси времени, ft(x, у), соответственно.
Детектор 17А движения решает следующие уравнения с помощью арифметической схемы, используя рассчитанные значения разности fx(x, y), fy(x, y) и ft(x, y) для расчета информации движения (u, v) для ассоциированного пикселя 14. В следующих уравнениях fx(x-1, y) и fy(х-1, y) представлены расчетные значения разности, полученные с помощью соседнего детектора 17 движения на негативных сторонах относительно направления Х и направления Y детектора 17 движения, и ft(х-1, y) представляет собой расчетную разность по временной оси.
Значения U и v информации (u, v) движения, полученные путем решения уравнений (4) и (5), представлены выражениями (6) и (7). В частности, детектор 17А движения рассчитывает информацию (u, v) движения для ассоциированного пикселя 14 путем выполнения следующей арифметической операции с уравнениями (6) и (7), на основе арифметической схемы.
где К выражено уравнением (8). Когда знаменатель уравнения (8) равен нулю, информация (u, v) движения установлена в (0, 0).
Детектор 17А движения передает полученную таким образом информацию (u, v) движения и данные изображения, предоставляемые соответствующим пикселем 14, через промежуточный слой 19 разводки в следующий слой обработки, который представляет собой слой 18 обработки движения. Таким образом, промежуточный слой 19, расположенный под слоем 16 детектирования движения, передает информацию движения, предоставляемую детектором 17А движения слоя 16 детектирования движения и данные изображения, предоставляемые каждым пикселем 14 в слой 18 обработки движения.
В слое 18 обработки движения предусмотрена схема 20 обработки движения, предназначенная для обработки информации движения (u, v), рассчитанной слоем 16 детектирования движения по отдельным пикселям, для детектирования областей, в которых происходит идентичное движение. Схема 20 обработки движения обрабатывает информацию (u, v) движения в ходе последовательных этапов. Как показано на фиг.4, схема 20 обработки движения включает в себя уложенные друг на друга полупроводниковые схемы, снабженные интегральными схемами для выполнения процессов на этих этапах. Три последовательных слоя 21-23 обработки и два промежуточных слоя разводки 24 и 25 формируют схему 20 обработки движения.
Среди этих слоев 21-23 обработки схемы обработки движения самый верхний слой 21 обработки назначен для первого слоя 21 принятия решения об однородности движения, в котором предусмотрены первые схемы 27 принятия решения об однородности движения.
Первые схемы 27 принятия решения об однородности движения снабжены блоками, каждый из которых содержит заданное количество пикселей, расположенных в направлении Х и в направлении Y, соответственно. Слой 16 детектирования движения передает информацию (u, v) движения от пикселей блоков, соответствующих первым схемам 27 принятия решения об однородности движения, и данные изображения в первые схемы 27 принятия решения об однородности движения. Первая схема 27 принятия решения об однородности движения рассчитывает среднее значение информации (u, v) движения по пикселям. Первая схема 27 принятия решения об однородности движения рассчитывает отклонение информации (u, v) движения для каждого пикселя 14, на основе рассчитанного среднего значения и сравнивает рассчитанное отклонение с заданным пороговым значением. Таким образом, первая схема 27 принятия решения об однородности движения определяет, принадлежат ли одной области движения, представленные информацией (u, v) движения по пикселям блока, соответствующего первой схеме 27 принятия решения об однородности движения. Если отклонение не больше, чем пороговое значение, и если будет принято решение, что движения принадлежат одной области, решение, принятое на основе порогового значения и среднего значения информации (u, v) движения в каждом пикселе, передают вместе с данными изображения, полученными по пикселям. Если отклонение больше чем пороговое значение и если будет принято решение, что движения не принадлежат одной области, решение, принятое на основе порогового значения и информацию (u, v) движения по ассоциированным пикселям, передают вместе с данными изображения, представленными пикселями.
Промежуточный слой 24 разводки передает выходные данные, предоставляемые первым слоем 21 принятия решения об однородности движения, во второй слой 22 принятия решения об однородности движения. Второй слой 22 принятия решения об однородности движения снабжен вторыми схемами 28 принятия решения об однородности движения, каждая из которых соответствует заданному количеству первых схем 27 принятия решения об однородности движения в первом слоем 21 принятия решения об однородности движения.
Вторая схема 28 принятия решения об однородности движения рассчитывает среднее значение по средним значениям, рассчитанным первыми схемами 27 принятия решения об однородности движения, и принимает решение о принадлежности к одной области на основе решений, принятых первыми схемами 27 принятия решения об однородности движения. Вторая схема 28 принятия решения об однородности движения рассчитывает отклонение средних значений, рассчитанных первыми схемами 27 принятия решения об однородности движения на основе этого среднего значения, и сравнивает значение отклонения с заданным пороговым значением. Таким образом, вторая схема 28 принятия решения об однородности движения принимает решение, принадлежат ли пиксели, по которым с использованием первых схем 27 принятия решения об однородности движения принято решение, что они принадлежат малым областям, большой области, которая больше чем малые области.
Если отклонение не больше, чем пороговое значение, и будет принято решение, что пиксели принадлежат большой области, вторая схема 28 принятия решения об однородности движения предоставляет результат решения, принятого на основе порогового значения и среднего значения информации (u, v) движения для пикселей, вместе с данными изображения, предоставляемыми этими пикселями. Если отклонение больше чем пороговое значение и если будет принято решение, что пиксели не принадлежат большей области, решение, принятое на основе порогового значения и средних значений, рассчитанных первыми схемами 27 принятия решения об однородности движения, передают вместе с данными изображения, предоставляемыми пикселями. Для пикселей, для которых ранее было принято решение с использованием первой схемы 27 принятия решения об однородности движения, что они не принадлежат меньшей области, на выход передают информацию (u, v) движения, предоставляемую первым слоем 21 принятия решения об однородности движения и данные изображения.
Промежуточный слой 25 разводки передает выходные данные, предоставляемые вторым слоем 22 принятия решения об однородности движения, в слой 23 принятия решения об области движения.
Слой 23 принятия решения об области движения имеет одну схему 29 принятия решения об области движения. Схема 29 принятия решения об области движения рассчитывает среднее значение по средним значениям информации движения по пикселям, соответственно, в больших областях, рассчитанных вторыми схемами 28 принятия решения об однородности движения, на основе решений, принятых вторыми схемами 28 принятия решения об однородности движения. Схема 29 принятия решения об области движения рассчитывает отклонение средних значений, рассчитанных с помощью вторых схем 28 принятия решения об однородности движения на основе среднего значения, и сравнивает это значение отклонения с пороговым значением. Таким образом, слой 23 принятия решения об области движения принимает решение, включены ли или нет пиксели, для которых с помощью вторых схем 28 принятия решения об однородности движения было принято решение, что они принадлежат к одним и тем же областям, в одну область, продолжающуюся по всей поверхности изображения.
Если отклонение не превышает пороговое значение и принято решение, что пиксели принадлежат одной области изображения, схема 29 принятия решения об области движения назначает идентификационные коды, обозначающие области, данным изображения, предоставляемым пикселям, принадлежащим областям, как показано на фиг.5. В этом случае эти пиксели идентифицируют с помощью идентификационного кода 0 на фиг.5. Даже если отклонение не превышает пороговое значение, принимают решение, принадлежат ли пиксели, по которым невозможно непосредственно принять решение о принадлежности их области, соответствующей всему изображению, другой области, на основе решений, принятых вторым слоем 22 принятия решения об однородности движения, и первым слоем 21 принятия решения об однородности движения, и по среднему значению. Аналогично идентификационные коды, обозначающие области, которым принадлежат данные изображения, назначают данным изображения, предоставляемым по пикселям. На фиг.5 эти пиксели идентифицированы с помощью кодов 1 и 2 идентификации.
Схема 29 принятия решения об области движения предоставляет данные изображения, для которых были назначены идентификационные коды, в заданном порядке в процессор. Как показано на фиг.6, средние значения информации (u, v) движения о пикселях, принадлежащих областям, предоставляют вместе с ассоциированными идентификационными кодами в процессор. Затем схема 20 обработки движения рассчитывает средние значения информации (u, v) движения о пикселях в малых областях, информацию (u, v) движения о пикселях в больших областях и информацию (u, v) движения по пикселям во всем изображении и детектирует области, выражающие одни и те же движения.
Процессор устройства 31 формирования изображения в данном варианте выполнения обрабатывает данные изображения, используя результат обработки, предоставляемый схемой 29 принятия решения об области движения. Хотя процесс обработки данных изображения представляет собой процесс кодирования данных изображения в соответствии с данным вариантом выполнения, этот процесс может представлять собой процесс отслеживания объекта. В интегральной схеме 11 конфигурация, ранжированная от промежуточного слоя разводки до слоев 16 обработки, формирует модуль 38 обработки изображения, показанный на фиг.2.
(2) Операции первого варианта выполнения
Устройство формирования изображения, показанное на фиг.2 и 3, формирует изображение объекта на поверхности съемки изображения интегральной схемы 11 с помощью объектива 32. Пиксели 14, формирующие поверхность съемки изображения, предоставляют сигналы изображения, представляющие оптическое изображение. Схема 17 детектирования движения устройства формирования изображения обрабатывает сигналы изображения, предоставляемые пикселями 14, для получения информации (u, v) движения по пикселям. Схема 20 обработки движения обрабатывает информацию (u, v) движения по пикселям, рассчитывает средние значения информации (u, v) движения по пикселям в малых областях, больших областях и во всем изображении и детектирует области, выражающие одни и те же движения.
Устройство съемки изображения, которое предоставляет данные изображения, схема 17 детектирования движения и схема 20 обработки движения сформированы в интегральных схемах на тонких полупроводниковых схемах, и тонкие полупроводниковые схемы уложены друг на друга для формирования интегральной схемы 11, предназначенной для выполнения этих процессов. Сигналы изображения, предоставляемые пикселями устройства съемки изображения, подают одновременно в режиме параллельной передачи в схему 17 детектирования движения, сформированную на полупроводниковой схеме, расположенной под устройством съемки изображения. Схема 17 детектирования движения обрабатывает сигнал изображения одновременно в режиме параллельной обработки для предоставления информации (u, v) движения о пикселях. Информацию (u, v) движения о пикселях подают одновременно в режиме параллельной передачи в схему 20 обработки движения, сформированную на полупроводниковой схеме, которая расположена под полупроводниковой схемой, на которой сформирована схема 17 детектирования движения. Схема 20 обработки движения обрабатывает информацию движения по пикселям одновременно в режиме параллельной обработки.
В варианте выполнения сигналы изображения, предоставляемые пикселями, могут быть переданы на выход и могут быть обработаны одновременно в параллельном режиме для получения информации движения, путем использования уложенных друг на друга полупроводниковых схем, в которых, соответственно, предусмотрены устройство съемки изображения путем управления адресом XY, и схема детектирования движения, предназначенная для детектирования информации движения по пикселям. Таким образом, процесс детектирования движения позволяет использовать достаточное время обработки и может надежно выполнять процесс детектирования движения, даже если сигналы изображения предоставляются устройством съемки изображения с высокой скоростью.
Более конкретно, устройство формирования изображения в данном варианте выполнения обрабатывает информацию (u, v) движения по пикселям, полученную, таким образом, с помощью схемы обработки движения, рассчитывает средние значения информации (u, v) движения по пикселям в малых областях, больших областях и во всем изображении и детектирует области, выражающие одинаковые движения. Процессы, включающие в себя процесс компенсации движения, могут быть выполнены путем эффективного использования полученной таким образом информации (u, v) движения по пикселям.
Интегральная схема 11 рассчитывает средние значения информации (u, v) движения в ходе последовательных этапов, в порядке: малые области, большие области и все изображение, с использованием схемы 20 обработки движения для обработки информации (u, v) движения, для определения областей, выражающих одинаковые движения. Как показано на фиг.4, схема 20 обработки движения построена путем укладки друг на друга полупроводниковых схем, в которых предусмотрены интегральные схемы, предназначенные для выполнения процессов в малых областей, больших областях и для всего изображения. Информация движения может быть обработана с высокой скоростью путем одновременной передачи данных, обработанных интегральной схемой, в режиме параллельной передачи, в интегральную схему, сформированную в полупроводниковой схеме, лежащей в основе предыдущей полупроводниковой схемы, которая расположена под предыдущей схемой. Таким образом, сигналы изображения поступают с высокой скоростью для детектирования движения и полученная, таким образом, информация движения может быть надежно обработана.
(3) Эффект первого варианта выполнения
Процесс детектирования движения может быть надежно выполнен, даже если сигналы изображения будут поступать с высокой скоростью, путем использования уложенных друг на друга полупроводниковых схем, в которых, соответственно, предусмотрено устройство съемки изображения, управляемое по адресу XY, и схема детектирования движения, предназначенная для детектирования информации движения по пикселям.
Полученная таким образом информация движения может эффективно использоваться путем расчета средних значений информации движения по пикселям, с помощью схемы обработки движения, для обработки информации движения и детектирования областей, выражающих одно и то же движение.
(4) Второй вариант выполнения
Во втором варианте выполнения схема 20 обработки движения, указанная выше со ссылкой на фиг.3, рассчитывает сумму разностей между кадрами информации (u, v) движения о пикселях и передает рассчитанную сумму в процессор. Интегральная схема 11, включенная во второй вариант выполнения, идентична интегральной схеме 11, включенной в первый вариант выполнения, за исключением того, что схема 20 обработки движения во втором варианте выполнения отличается от первого варианта выполнения, Сумма разностей между кадрами представляет собой сумму квадратов разностей или сумму абсолютных значений разностей.
Во втором варианте выполнения полупроводниковая схема, в которой предусмотрено устройство съемки изображения, управляемое по адресу XY, и полупроводниковая схема, снабженная схемой детектирования движения, предназначенная для детектирования информации движения об отдельных пикселях, уложены друг на друга. Таким образом, даже сигналы изображения, поступающие с высокой скоростью, могут быть надежно обработаны с помощью процесса детектирования движения, и сумма разностей между кадрами информации движения по отдельным пикселям рассчитывается для эффективного использования детектируемой информации движения.
(5) Третий вариант выполнения
Промежуточный слой 15 разводки интегральной схемы 11, включенный в первый вариант выполнения, требует использования трех систем разводки для каждого из пикселей 14 для получения сигнала изображения, предоставляемого пикселем 14, и сигналов изображения, предоставляемых пикселями 14 на негативных сторонах пикселя 14 относительно направления Х и направления Y. Поэтому компоновка линий разводки промежуточного слоя 15 разводки является усложненной, промежуточный слой 15 разводки, требует сложных процессов производства, и производительность производственной линии по изготовлению промежуточного слоя 15 разводки является низкой.
В третьем варианте выполнения детектор 17А движения совместно используется соседними пикселями. Как показано на фиг.7, четыре пикселя 14, расположенные рядом друг с другом относительно направления Х и направления Y, обозначены от а00 до а11 и детекторы 17А движения, соответствующие пикселям a000-a11, обозначены как b00-b11 соответственно. Знак разности fx между пикселем а00, который расположен ближе всего к исходному направлению Х и направлению Y, и пикселя а10, который расположен ближе всего к пикселю 00 относительно направления X, выраженному выражением (1), преобразован на обратный для получения разности fx, выраженной уравнением (1) между пикселем а10 и соседним пикселем а00 на негативной стороне пикселя а10 относительно направления X. Знак разности fy между пикселем а00, который расположен ближе всего к исходному направлению Х и направлению Y, и пикселя а1, расположенного рядом с пикселем 00 относительно направления Y, выраженный уравнением (2), изменен на обратный для получения разности fy, выраженной уравнением (2), между пикселем а10 и соседним пикселем а00 на негативной стороне пикселя а10 относительно направления Y.
Детектор 17А движения (от b00 до b11) использует это соотношение. Как показано на фиг.8, каждая из схем А00 до А11 вычитания рассчитывает разность fx или fy между пикселем и одним из соседних пикселей, передает рассчитанную разность fx или fy в детектор 17А движения (от b00 до b11), ассоциированный с одним из соседних пикселей, и каждый из детекторов 17А (от b00 до b11) движения рассчитывает разность fx относительно направления Х и разность fy относительно направления Y. Информацию (u, v) движения рассчитывают путем обработки полученных, таким образом, значений разности fx относительно направления Х и разности fy относительно направления Y.
Схема 17 детектирования движения определяет информацию (u, v) движения для отдельных пикселей путем обработки разностей в сигнале изображения между соседними пикселями с помощью арифметического процесса. Схема вычитания для расчета разности совместно используется соседними пикселями. Следовательно, конфигурация схемы 17 детектирования движения упрощается, соответственно, и схема линии разводки промежуточного слоя 15 разводки упрощается. На практике только две линии разводки должны быть соединены с каждым детектором 17А движения, когда схема вычитания используется, таким образом, совместно с пикселями, и, следовательно, промежуточный слой 15 разводки может быть упрощен, и может быть улучшена производительность.
В третьем варианте выполнения полупроводниковая схема, в которой предусмотрено устройство съемки изображения, управляемое по адресу XY, и полупроводниковая схема, в которой предусмотрена схема детектирования движения для получения информации движения по отдельным пикселям, установлены друг на друга, и схема вычитания для расчета разности совместно используется соседними пикселями. Таким образом, процесс детектирования движения может быть надежно выполнен, даже если сигналы изображения поступают с высокой скоростью, и вся конструкция упрощается.
(6) Другие варианты выполнения
Хотя в детекторах движения в соответствии с третьим вариантом выполнения предусмотрены схемы вычитания, соответственно, в одном из детекторов движения, ассоциированных с соседними пикселями, может быть предусмотрена схема вычитания, которая дополнительно упрощает промежуточный слой разводки.
Хотя схема детектирования движения сформирована на основе схемы, отдельной от схемы детектирования движения, и схема обработки движения сформирована путем установки друг на друга множества полупроводниковых схем в описанном выше варианте выполнения, они могут быть выполнены на основе одной полупроводниковой схемы. Вкратце, многослойная структура, сформированная путем укладки друг на друга полупроводниковой схемы, в которой предусмотрено устройство съемки изображения, и полупроводниковой схемы, в которой предусмотрена схема детектирования движения, позволяет надежно выполнять процесс детектирования движения, даже если сигналы изображения поступают с высокой скоростью.
Хотя интегральная схема в соответствии с предыдущим вариантом выполнения также обеспечивает данные изображения, эта интегральная схема может широко использоваться для предоставления только результата обработки движения в случае, когда это необходимо.
Хотя приведенные выше варианты выполнения были описаны в применении к процессу кодирования и к процессу отслеживания объекта, настоящее изобретение также можно широко использовать в различных устройствах формирования изображения, в которых используется информация движения.
Промышленная применимость
Настоящее изобретение можно использовать для детектирования информации движения по отдельным пикселям.
1. Устройство формирования изображения, содержащее интегральную схему устройства обработки сигналов изображения, сформированную путем наложения друг на друга множества полупроводниковых схем, в котором в верхней полупроводниковой схеме интегральной схемы предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы, и которыми управляют путем управления адресом XY для передачи сигналов изображения, предоставляемых пикселями, в расположенную ниже полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, и в нижней полупроводниковой схеме предусмотрена схема детектирования движения, которая выполняет процесс обработки сигналов изображения, предоставляемых устройством съемки изображения, и получает информацию движения по отдельным пикселям, и схема обработки движения, которая выполняет процесс обработки информации движения по отдельным пикселям и предоставляет результаты обработки, при этом схема детектирования движения получает информацию движения по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания, и схема вычитания для расчета разностей совместно используется соседними пикселями.
2. Устройство формирования изображения по п.1, в котором процесс, выполняемый схемой обработки движения для обработки информации движения по отдельным пикселям представляет собой процесс усреднения информации движения по отдельным пикселям.
3. Устройство формирования изображения по п.1, в котором процесс, выполняемый схемой обработки движения для обработки информации движения по отдельным пикселям, представляет собой процесс расчета, предназначенный для расчета суммы разностей между кадрами информации движения по отдельным пикселям.
4. Устройство формирования изображения по п.1, в котором процесс, выполняемый схемой обработки движения для обработки информации движения по отдельным пикселям, представляет собой процесс для обработки информации движения по отдельным пикселям в последовательных этапах, для детектирования областей, выражающих одно и то же движение.
5. Способ обработки сигнала изображения, состоящий в обработке сигналов изображения, предоставляемых устройством формирования изображения, включающим в себя интегральную схему, сформированную путем наложения друг на друга множества полупроводниковых схем, причем указанный способ обработки сигнала изображения содержит следующие этапы: управления пикселями, расположенными в виде матрицы в верхней полупроводниковой схеме интегральной схемы, путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, расположенную под верхней полупроводниковой схемой; и обработки сигналов изображения, предоставляемых устройством съемки изображения в верхней полупроводниковой схеме, в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, для получения информации движения по отдельным пикселям, для обработки этой информации движения по отдельным пикселям и для предоставления результатов обработки, при этом информацию движения получают по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания.
6. Интегральная схема устройства обработки сигналов изображения, содержащая множество полупроводниковых схем, наложенных друг на друга слоями; в которой в самой верхней полупроводниковой схеме из множества полупроводниковых схем предусмотрено устройство съемки изображения, пиксели которого расположены в виде матрицы, и которыми управляют путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой, и в нижней полупроводниковой схеме предусмотрена схема детектирования движения, которая обрабатывает сигналы изображения, предоставляемые устройством съемки изображения, и которая получает информацию движения об отдельных пикселя, и схема обработки движения, которая обрабатывает информацию движения об отдельных пикселях и предоставляет результаты обработки, при этом схема детектирования движения получает информацию движения по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания, и схема вычитания для расчета разностей совместно используется соседними пикселями.
7. Способ обработки сигнала изображения, состоящий в обработке сигналов изображения, предоставляемых интегральной схемой устройства обработки сигналов изображения, сформированной путем наложения друг на друга множества полупроводниковых схем, причем указанный способ обработки сигнала изображения содержит следующие этапы: управления пикселями, расположенными в виде матрицы в верхней полупроводниковой схеме интегральной схемы, путем управления адресом XY, для передачи сигналов изображения, предоставляемых пикселями, в нижнюю полупроводниковую схему, которая расположена под верхней полупроводниковой схемой; и обработки сигналов изображения, предоставляемых пикселями в верхнем полупроводниковом устройстве, которое выполняет функцию устройства съемки изображения, с помощью нижней полупроводниковой схемы, расположенной под верхней полупроводниковой схемой, для получения информации движения от отдельных пикселей, для обработки информации движения по отдельным пикселям и для предоставления результатов обработки, при этом информацию движения получают по отдельным пикселям путем обработки разностей сигнала изображения между соседними пикселями, рассчитанных путем вычитания.
