Способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью и устройство для его реализации

Изобретение относится к телевидению и может быть использовано при создании прикладных систем. Технический результат - выполнение неискажающей пространственно-временной обработки изображения, обеспечивающей выделение неподвижных и движущихся объектов на нестационарном фоне достигается тем, что пространственно-временная обработка изображений на основе матриц фоточувствительных приборов с зарядовой связью осуществляется в виде свертки проецируемого на матрицу фоточувствительных приборов с зарядовой связью изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию. При этом время накопления зарядов в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра. 2 н.п. ф-лы, 3 ил.

 

Изобретение относится к телевидению и может быть использовано при создании прикладных систем.

Известен способ выделения движущихся объектов в изображении (Пресс Ф.П. Фоточувствительные приборы с зарядовой связью. - М.: Радио и связь, 1991. - 264 с.), основанный на использовании фоточувствительных приборов с зарядовой связью (ФПЗС) в режиме временной задержки с накоплением (ВЗН), в котором осуществляется дискретное накопление зарядов, фотогенерированных под воздействием проецируемого изображения зарядов в потенциальных ямах линейки ФПЗС, а между отдельными накоплениями выполняется перенос электрическим способом с тактовой частотой управляющих импульсов вдоль линейки ФПЗС. В случае перемещения зарядов синхронно с перемещением объекта (скорость и направление перемещения зарядов в ФПЗС должны совпадать с аналогичными параметрами движения объекта) происходит увеличение отношения сигнал/фон за счет когерентного накопления.

Наиболее близким к заявляемому способу является способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью и устройство для его реализации, взятый за прототип (Патент 2216117 РФ, МКИ⁵ Н04N 5/14. - №2001113366/09; заявл. 14.05.2001; опубл. 10.11.2003, Бюл. №31), основанный на том, что пространственно-временную обработку выполняют путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах ФПЗС, и перемещают в пространстве изображение относительно матрицы ФПЗС, а время накопления в каждой точке пространства изменяют пропорционально величине отсчетов пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации и условий наблюдения, например, освещенности сцены. Способ реализации пространственно-временной обработки изображений на основе матриц ФПЗС состоит в том, что пространственно-временную обработку осуществляют в виде свертки проецируемого на ФПЗС изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, следующим образом: в режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики, с последующим сдвигом по пространству после каждого цикла, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления - пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления - хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени. Хранение накопленных зарядовых пакетов до начала следующего этапа дискретного накопления организуют путем экранирования фоточувствительной поверхности матрицы ФПЗС на время хранения с помощью обтюратора на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./. Взаимное перемещение матрицы ФПЗС и оптического изображения реализуют путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./.

Определение величины отсчетов импульсной характеристики выполняют на основе хорошо разработанных методов синтеза дискретных фильтров.

Структурная схема устройства для реализации известного способа пространственно-временной обработки изображений показана на фиг.1. Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, а также дополнительно введенных обтюратора 6, устройства взаимного смещения ОС и блоков ФПЗС (УВС) 7. Оптическая связь показана штриховой линией. На обтюратор проецируется изображение сцены, формируемое ОС, а на вход поступает сигнал управления с выхода УУ. С обтюратора сигнал изображения проецируется на УВС, на вход которого поступает сигнал управления с выхода УУ. С выхода УВС сигнал изображения проецируется на секции накопления ФПЗС-1 и ФПЗС-2. На входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления ФН_{1, 2, 3}, ФП_{1, 2, 3}, ФР_{1, 2, 3} с выхода УУ. С выходных регистров ФПЗС-1 и ФПЗС-2 сигналы изображения поступают на входы ВУ, формирующего выходной сигнал.

Реализация пространственно-временной обработки на основе блоков ФПЗС, обтюратора, УВС под управлением УУ осуществляется следующим образом. ФПЗС выполняет дискретное накопление зарядов, фотогенерированных под воздействием проецируемого ОС изображения сцены, и хранение накопленных зарядовых пакетов между отдельными этапами дискретного накопления при экранировании секции накопления ФПЗС от светового потока с помощью обтюратора на основе электрооптического модулятора. Блок ФПЗС-1 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 - с отрицательными. Необходимость использования двух отдельных матриц ФПЗС обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства обработки. УВС в соответствии с управляющими сигналами УУ осуществляет взаимное пространственное смещение оптического потока и ФПЗС. Синхронизацию работы устройства обработки при фильтрации изображений осуществляет УУ путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюратором, сигналов управления УВС.

Недостатком данного способа является внесение искажений при осуществлении пространственно-временной обработки.

Согласно описанию изобретения «...в режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики...». Таким образом, временной интервал между центрами циклов накоплений будет непостоянным из-за разной величины отсчетов импульсной характеристики. Следовательно, «...определение величины отсчетов импульсной характеристики, выполненное на основе хорошо разработанных методов синтеза дискретных фильтров» приведет к искажениям при осуществлении пространственно-временной обработки (ПВО) из-за того, что эти методы подразумевают постоянство временных и пространственных интервалов между точками отсчетов сигнала /Гольденберг Л.М. и др. Цифровая обработка сигналов: Справочник / Л.М.Гольденберг, Б.Д.Матюшкин, М.Н.Поляк. - М.: Радио и связь, 1985. - 312 с./. За точку отсчета берется центр цикла накопления, включающего дискретное накопление и быстрый сдвиг по пространству.

Для устранения непостоянства временного интервала Т_отсч между отсчетами сигнала предлагается между дискретным накоплением длительностью T_i и сдвигом по пространству ввести стадию хранения длительностью Т_{хр i} (см. фиг.2). Тогда временной интервал между отсчетами сигнала будет определяться временным интервалом между центрами стадий накопления.

Реализация пространственно-временной обработки при обеспечении постоянства временного интервала между центрами стадий накопления позволит исключить искажения ПВО, а также позволит адаптивно изменять ее характеристики за счет различия величины взаимного пространственного сдвига проецируемого изображения и ФПЗС за время цикла для объектов с различными скоростями движения.

Таким образом, если взять, что временной интервал между центрами стадий накопления постоянен и равен ΔT, то длительность каждого i-го цикла накопления Т_цi должна быть равна

где T_i+1 - время накопления в следующем (i+1) цикле,

Т_i - время накопления в текущем i-м цикле.

Следовательно, каждый цикл должен состоять из стадии накопления длительностью T_i и стадии хранения длительностью Если взять, что время накопления в (i+1)- и i-м циклах равно максимальному значению Т_макс, то отсюда следует, что значение ΔТ должно быть ≥ Т_макс.

Устройство, реализующее известный способ, также имеет недостаток, заключающийся в невозможности обеспечения работы с отрицательными коэффициентами. Для реализации положительных и отрицательных коэффициентов необходимо переводить один из ФПЗС в режим хранения при накоплении в другом ФПЗС. Реализация этого условия с помощью общего обтюратора невозможна. Поэтому необходима светоделительная система и отдельные обтюраторы с системой сдвига для каждого ФПЗС.

Техническим результатом изобретения является выполнение неискажающей пространственно-временной обработки изображения, обеспечивающей выделение неподвижных и движущихся объектов на нестационарном фоне.

Сущность изобретения состоит в том, что для исключения искажений пространственно-временной обработки изображений известным способом на основе матриц ФПЗС, заключающимся в использовании дискретного накопления зарядов, фотогенерированных в потенциальных ямах матрицы ФПЗС под воздействием проецируемого изображения, в сочетании с взаимным пространственным смещением изображения и матрицы ФПЗС, причем параметры перемещения определяются частотными характеристиками реализуемого пространственно-временного фильтра, а время накопления зарядов в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра, необходимо между накоплениями и пространственным смещением ввести стадию хранения на время, необходимое для обеспечения постоянства временного интервала между центрами накоплений.

Способ реализации пространственно-временной обработки изображений на основе матриц ФПЗС состоит в том, что пространственно-временную обработку осуществляют в виде свертки изображения, проецируемого на ФПЗС, с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, следующим образом: проецируемое изображение, перемещаемое непрерывно в пространстве, согласовано с сопровождаемым объектом, обрабатывается за несколько этапов, состоящих из циклов, включающих дискретное накопление, хранение, сдвиг по пространству и паузу до начала следующего этапа дискретного накопления. Количество циклов дискретное накопление - хранение - пространственный сдвиг соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов - размерности апертуры во времени. Дискретное накопление во время цикла происходит в течение времени, соответствующего величине отсчетов импульсной характеристики. Стадия хранения во время цикла обеспечивает постоянство временного интервала между центрами стадий прошедшего и последующего дискретного накопления. Сдвиг по пространству между соседними циклами соответствует интервалу дискретизации импульсной характеристики по пространству, временной интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени. Хранение накопленных зарядовых пакетов во время стадий хранения, а также пауз между этапами организуют путем экранирования фоточувствительной поверхности матрицы ФПЗС посредством обтюратора на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./. Взаимное перемещение матрицы ФПЗС и оптического изображения реализуют путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./.

В результате устранения искажений ПВО предлагаемый способ реализации пространственно-временной обработки будет обладать более широкими функциональными возможностями, т.к. при этом становится возможным осуществлять обработку, учитывающую особенности параметров движущегося объекта и мешающего наблюдению фона изображения, а также производить адаптивную пространственную обработку объектов, перемещающихся с различными скоростями. При этом возможно, кроме выделения движущихся объектов подобно режиму ВЗН, реализовывать другие виды фильтрации: низкочастотную пространственно-временную и режекторную фильтрацию пространственно-временных частот, подобную винеровской и учитывающую характеристики мешающего наблюдению фона. Определение величины отсчетов импульсной характеристики выполняется на основе хорошо разработанных методов синтеза дискретных фильтров.

На фиг.3 показана структурная схема устройства для реализации предлагаемого способа пространственно-временной обработки изображений. Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, обтюратора 6, устройства взаимного смещения ОС и блоков ФПЗС-1 (УВС-1) 7, а также дополнительно введенных светоделительной системы 8, обтюратора 9, устройства взаимного смещения ОС и блоков ФПЗС-2 (УВС-2) 10. Оптическая связь показана штриховой линией. На обтюраторы 6, 9 через светоделительную систему проецируется изображение сцены, формируемое ОС, а на их электрические входы поступают сигналы управления с выхода УУ. С обтюратора 6 сигнал изображения проецируется на УВС-1, а с обтюратора 9 - на УВС-2, на электрические входы которых поступают сигналы управления с выхода УУ. С выхода УВС-1 сигнал изображения проецируется на секцию накопления ФПЗС-1, а с выхода УВС-2 - на секцию накопления ФПЗС-2. На входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления ФН_{1, 2, 3}, ФП_{1, 2, 3}, ФР_{1, 2, 3} с выхода УУ. С выходных регистров ФПЗС-1 и ФПЗС-2 сигналы изображения поступают на входы ВУ, формирующего выходной сигнал.

Реализация пространственно-временной обработки на основе блоков ФПЗС, светоделительной системы, обтюраторов, устройств взаимного смещения ОС и блоков ФПЗС под управлением УУ осуществляется следующим образом. Блок ФПЗС-1 совместно с обтюратором 6 и УВС-1 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 совместно с обтюратором 9 и УВС-2 - с отрицательными. Соответственно при реализации свертки изображения с положительными коэффициентами импульсной характеристики фильтра блок ФПЗС-2 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-2 от светового потока с помощью обтюратора на основе электрооптического модулятора, а при реализации свертки с отрицательными коэффициентами - ФПЗС-1. Необходимость использования двух отдельных матриц ФПЗС обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). ФПЗС выполняет дискретное накопление зарядов, фотогенерированных под воздействием проецируемого ОС изображения сцены, и хранение накопленных зарядовых пакетов во время пауз между накоплениями. Вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства обработки. УВС в соответствии с управляющими сигналами УУ осуществляет взаимное пространственное смещение оптического потока и ФПЗС: непрерывное согласовано с сопровождаемым объектом и скачкообразное во время каждого цикла. Синхронизацию работы устройства обработки осуществляет УУ путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюраторами, сигналов управления УВС-1 и УВС-2.

Применение предложенного способа позволит реализовать широкий круг задач пространственно-временной обработки изображений одновременно с их формированием в реальном масштабе времени на основе устройства, обладающего характерными для ФПЗС минимальными массогабаритными и энергетическими показателями.

1. Способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, осуществляемой в виде свертки проецируемого на матрицу фоточувствительных приборов с зарядовой связью изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, заключающийся в использовании дискретного накопления зарядов, фотогенерированных в потенциальных ямах матрицы фоточувствительных приборов под воздействием проецируемого изображения, в сочетании с взаимным пространственным смещением изображения и матрицы фоточувствительных приборов с зарядовой связью, при этом параметры перемещения определяются частотными характеристиками реализуемого пространственно-временного фильтра, а время накопления зарядов в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра, отличающийся тем, что в цикле накопления между стадией накопления зарядов длительностью Т_i и пространственным смещением вводится стадия хранения зарядов на время Т_{хр i}, равное ,

где T_i+1 - время накопления в следующем (i+1) цикле накопления;

Т_i - время накопления в текущем i-м цикле накопления;

ΔТ - временной интервал между центрами стадий накопления, принятый равным в разных циклах накопления,

обеспечивающая постоянство временного интервала Т_отсч между отсчетами сигнала.

2. Устройство пространственно-временной обработки изображений, содержащее оптическую систему, обтюратор, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью (ФПЗС-1 и ФПЗС-2) и устройство взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью, причем оптическая система оптически соединена с обтюратором, обтюратор оптически соединен с устройством взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью, устройство взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью оптически соединено с секциями накопления блоков ФПЗС-1 и ФПЗС-2, а вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства пространственно-временной обработки изображений, отличающееся тем, что в него дополнительно введены светоделительная система, отдельные обтюратор и устройство взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью для блока ФПЗС-2, причем оптическая система оптически соединена со светоделительной системой, светоделительная система оптически соединена с обтюраторами, каждый обтюратор оптически соединен со своим устройством взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью, каждое устройство взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью оптически соединено с секцией накопления своего ФПЗС, и устройство управления, выполненное с возможностью синхронизации работы устройства путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС-1 и ФПЗС-2, сигналов управления обтюраторами, сигналов управления устройствами взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью, при этом на входы секций накопления, памяти и выходные регистры блоков ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления с первого выхода устройства управления, вход первого обтюратора связан со вторым выходом устройства управления, вход устройства взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью блока ФПЗС-1 связан с третьим выходом устройства управления, вход второго обтюратора связан с четвертым выходом устройства управления, а вход устройства взаимного смещения оптической системы и блоков фоточувствительных приборов с зарядовой связью блока ФПЗС-2 связан с пятым выходом устройства управления.