Способ повышения разрешающей способности видеосистем
Владельцы патента RU 2712821:
Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации (RU)
Изобретение относится к технологиям обработки изображений и может быть использовано в системах технического зрения. Технический результат заключается в повышении разрешающей способности видеосистем в m раз при использовании одной фоточувствительной поверхности. Для этого используется взаимный субпиксельный сдвиг изображения и светочувствительной поверхности в соседних кадрах, запоминание сформированных кадров, получение последовательности увеличенных кадров, при этом первый кадр формируют без сдвига, затем осуществляют субпиксельный сдвиг светочувствительной поверхности под светонепроницаемую поверхность на величину, равную m-й части соответствующего линейного размера светочувствительного элемента, где m - кратность повышения разрешающей способности видеосистемы, после сдвига формируют кадр, сдвиги осуществляют последовательно по вертикали и горизонтали (m2-1) раз, а отсчеты увеличенного кадра определяют из отсчетов всех сформированных m2 кадров. 4 ил.
Изобретение относится к технологиям обработки изображений и может быть использовано в системах технического зрения.
Известен способ повышения разрешающей способности видеосистем (патент США №4038690, МПК H04N 3/14, опубл. 26.07.1977 г.), включающий использование двух матриц ПЗС, выполненных с зазорами между пикселями, взаимное расположение которых предусматривает возможность смещения по горизонтали пикселей одной из матриц относительно другой на половину ширины пикселя.
Недостатками прототипа являются необходимость обеспечения точного относительного смещения двух матриц ПЗС, а также уменьшение чувствительности видеосистемы из-за имеющихся зазоров между элементами в матрицах ПЗС.
Также известен способ повышения разрешающей способности изображений, реализующий устройство (патент США №4038690, МПК H04N 5/225, опубл. 27.01.1998 г.), согласно которому имеется датчик изображения, состоящий из отдельных детекторных элементов, расположенных по строкам и столбцам, а также имеется маска с прозрачными и непрозрачными областями в шахматном порядке, которая прилегает к фокальной плоскости, на которую экспонируется изображение с помощью оптической системы, где производится пошаговое перемещение маски на расстояние, меньшее длины элемента детектора, в процессе которого производится восстановление изображения из сигналов, формируемых на фокальной плоскости.
Недостатком указанного способа является то, что он применим для ограниченного класса изображений, характеризующихся регулярной структурой.
Также известен способ повышения разрешающей способности аэрокосмических снимков (В.Г. Буравчик, В.И. Зацерковный, В.Ю. Беленок. Эффективность применения субпиксельных технологий синтеза изображений объектов для крупномасштабной аэрокосмической съемки. Чернiгiвський науковий часопис. Серiя 2, Технiка i природа, №2(2), 2011), согласно которому при съемке выполняют угловое смещение оптической оси съемочной камеры по направлению строк и столбцов фотоприемной матрицы на долю размера пикселя, при дешифрировании определяют уровень электрических сигналов от засвечивания прямоугольных участков пикселей, далее, базируясь на группе пикселей с одинаковым уровнем сигналов от их засветки, преимущественно минимального уровня, по данным сигналам от прямоугольных участков определяют уровень электрического сигнала для каждого участка пикселя (субпикселя).
Недостатком указанного способа является то, что обработка базируется на выделении равносигнальных групп пикселей, что сужает класс обрабатываемых изображений.
Наиболее близким по технической сущности к заявленному изобретению (прототипом) является способ повышения разрешающей способности видеосистем (патент RU 2549353 С1, МПК H04N 7/015, опубл, 03.02.2014), основанный на использовании субпиксельного сдвига матричного изображения в соседних кадрах при съеме информации, характеризующийся тем, что четные кадры снимают со сдвигом по диагонали на полпикселя относительно нечетных кадров и снятые кадры запоминают, после чего размеры этих кадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк и эти увеличенные кадры тоже запоминают, а потом производят формирование последовательности выходных сигналов путем одновременного или последовательного считывания данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот.
Недостатком указанного способа является то, что он позволяет повысить разрешающую способность только в два раза.
Техническим результатом предлагаемого способа является повышение разрешающей способности видеосистем в m раз при использовании одной фоточувствительной поверхности.
Указанный технический результат достигается за счет способа, основанного на взаимном субпиксельном сдвиге изображения и светочувствительной поверхности в соседних кадрах, запоминании сформированных кадров, получении последовательности увеличенных кадров, согласно которого, что первый кадр формируют без сдвига, затем осуществляют субпиксельный сдвиг светочувствительной поверхности под светонепроницаемую поверхность на величину, равную m-той части соответствующего линейного размера светочувствительного элемента, где m-кратность повышения разрешающей способности видеосистемы, после сдвига формируют кадр, сдвиги осуществляют последовательно по вертикали и горизонтали (m2-1) раз, а отсчеты увеличенного кадра определяют из отсчетов всех сформированных m2 кадров.
Сущность изобретения заключается в том, что для повышения разрешающей способности видеосистем в m раз, первый кадр формируют без сдвига, затем осуществляют субпиксельный сдвиг светочувствительной поверхности под светонепроницаемую поверхность на величину, равную m-й части соответствующего линейного размера светочувствительного элемента, где m - кратность повышения разрешающей способности видеосистемы, после сдвига формируют кадр, сдвиги осуществляют последовательно по вертикали и горизонтали (m2-1) раз, а отсчеты увеличенного кадра определяют из отсчетов всех сформированных m2 кадров.
Сущность изобретения поясняется следующим.
В качестве светочувствительной поверхности используют поверхность матрицы ПЗС (прибор с зарядовой связью), на которую в течение времени Т проецируется сцена. Светочувствительная поверхность представляет собой набор светочувствительных ячеек размерами Δx×Δy. Учитывая технологию производства ПЗС, расстояние между светочувствительными ячейками составляет 2-6% от Δx и Δy, поэтому, в данном случае, расстоянием между ячейками можно пренебречь. В результате экспонирования в каждой ячейке (k, l) матрицы ПЗС накапливается заряд
где E(x,y,t) - освещенность поверхности ПЗС; А - коэффициент пропорциональности; 
, 
; М и N - количество ячеек матрицы ПЗС по горизонтали и вертикали, соответственно.
На выходе ПЗС формируют сигнал кадра в виде совокупности 
отсчетов, пропорциональных 
.
Для повышения разрешающей способности матрицы ПЗС в m раз каждой ячейке (k, l) сопоставляют совокупность m2 субъячеек с номерами (i, j) и размерами 
, i, j, 
. Левая нижняя ячейка матрицы при этом имеет номер (1,1).
Освещенность E(x,y,t) представляют в виде:
где 
- освещенность в пределах ячейки (k, l); 
- освещенность в пределах (i, j)-й части ячейки (k, l) (фиг.1).
В результате в ячейке (k, l) формируют видеосигнал:
После формирования видеосигнал кадра сохраняют в памяти запоминающего устройства.
В межкадровое время осуществляют сдвиг светочувствительной поверхности ПЗС на расстояние в m-ю долю линейного размера ячейки так, что светочувствительная поверхность на эту долю попадает под светонепроницаемую поверхность. Сдвиги производят последовательно по горизонтали и по вертикали m2-1 раз под воздействием управляющих сигналов (фиг. 2).
В процессе сдвигов формируют последовательность отсчетов 
видеосигнала, соответствующих светочувствительным ячейкам с номерами (k, l) :
где 
и
- величины смещения всей светочувствительной поверхности по горизонтали влево и вертикали вниз, соответственно, р, r=0…(m-1); 
; 
при λ=0 и (или) μ=0.
На фигуре 3 показаны этапы последовательных горизонтальных и вертикальных сдвигов части светочувствительной поверхности при увеличении разрешающей способности в три раза (m=3). При этом для ячейки с номером (1,1) получают следующую последовательность отсчетов 
:
;
;
;
;
;
;
;
;
.
После проведения m2-1 сдвигов каждой i-й ячейке будет соответствовать совместная определенная система m2 алгебраических уравнений с m2 неизвестными 
. Количество таких систем равно M×N. Системы решают, начиная с той, которая соответствует (k, l)=(1,1) .
При этом каждому отсчету 
, который был бы сформирован с исходным разрешением, соответствует m2 его «составляющих» 
.
Получив все множество M×N×m2 отсчетов 
, формируют изображение, разрешение которого в m раз выше исходного.
Таким образом, повышение разрешающей способности видеосистемы в m раз достигается за счет того, что вместо одного отсчета кадра, путем осуществления серии последовательных субпиксельных сдвигов светочувствительной поверхности под светонепроницаемую поверхность на величину, равную m-той части соответствующего линейного размера светочувствительного элемента, где m- кратность повышения разрешающей
способности видеосистемы, получают m-1 дополнительных кадров, при этом выходной сигнал формируется в результате обработки видеосигналов всех m2 кадров.
Учитывая расстояние между светочувствительными ячейками, волновые свойства света и наличие механического смещения светочувствительной поверхности, m может принимать значения в пределах 5…7.
Способ может быть реализован, например, с помощью устройства (фигура 4), включающего в себя: 1. Устройство затенения; 2. Матрица ПЗС; 3. Устройство смещения; 4. Устройство управления и синхронизации; 5. Запоминающее устройство; 6. Вычислитель; 7. Устройство отображение высокого разрешения.
Устройство затенения 1 предназначено для экранирования части светочувствительной поверхности, оно может быть выполнено, например, в виде уголка из светонепроницаемого материала. Устройство смещения 3 предназначено для перемещения матрицы ПЗС под светонепроницаемую поверхность на величины порядка 1 мкм, представляет собой механическую систему, состоящую, например, из двух гребенчатых или зубчатых микродвигателей [Мальцев П.П., Телец В.А., Никифоров А.Ю. Технологии и изделия микроэлектромеханики // Микросистемная техника. 2001. - №10. С. 18-24]. Вычислитель 6 предназначен для нахождения отсчетов увеличенных кадров по системе (4) и их запоминания, может быть выполнен на микроконтроллерах.
Работа устройства осуществляется следующим образом.
Сцена проецируется на светочувствительную поверхность ПЗС. Измеренные отсчеты видеосигнала изображения, пропорциональные уровню освещенности, передаются в Запоминающее устройство 5. В Устройство управления и синхронизации 4 вводится величина m повышения разрешающей способности системы. С Устройство управления и синхронизации 4 на Устройство смещения 3 подается команда на смещение светочувствительной поверхности под Устройство затенения 1. Под воздействием Устройства смещения 3 производится последовательное смещение светочувствительной поверхности на долю пикселя с измерением отсчетов видеосигналов. Каждый сформированный таким образом кадр передается в Запоминающее устройство 5. С выхода Запоминающего устройства 5 отсчеты, соответствующие модификациям строк и столбцов изображения, передаются в Вычислитель 6, где производится восстановление субпиксельных отсчетов изображения. С выхода Вычислителя 6 изображение передается в Устройство отображение высокого разрешения 7, где формируется кадр высокого разрешения.
Предложенный способ повышения разрешения видеосистемы в m раз с помощью одной матрицы ПЗС полезен всегда, когда возникает необходимость более детального изучения части формируемого изображения, например, при ведении космической съемки, распознавании объектов малых размеров, контроле качества материалов и изделий, в микроскопии.
Способ повышения разрешающей способности видеосистем, основанный на взаимном субпиксельном сдвиге изображения и светочувствительной поверхности в соседних кадрах, запоминании сформированных кадров, получении последовательности увеличенных кадров, отличающийся тем, что первый кадр формируют без сдвига, затем осуществляют субпиксельный сдвиг светочувствительной поверхности под светонепроницаемую поверхность на величину, равную m-й части соответствующего линейного размера светочувствительного элемента, где m - кратность повышения разрешающей способности видеосистемы, после сдвига формируют кадр, сдвиги осуществляют последовательно по вертикали и горизонтали (m2-1) раз, а отсчеты увеличенного кадра определяют из отсчетов всех сформированных m2 кадров.
