Способ стабилизации изображения (варианты)

Изобретение относится к области телевидения и цифровой фотографии, а именно к способам стабилизации изображения. Техническим результатом является компенсация влияния дрожания рук оператора. Результат достигается тем, что на одном кристалле вместе с основной фотоприемной матрицей размещают два дополнительных линейных фотоприемника существенно меньшей площади, выполненных в виде строки (столбца), считывают сигнал с дополнительных двух линейных фоточувствитсльных приборов с частотой строк во много раз большей кадровой частоты основной фотоприемной матрицы, при этом размер пиксела вдоль линейного фотоприемника выбирают в несколько раз меньше размера пиксела основной матрицы, при этом для сохранения равенства чувствительности основной матрицы и дополнительных линейных фотоприемников в последних размер пиксела в направлении поперек считывания увеличивают пропорционально уменьшению продольного размера и времени считывания, далее снимают три потока видеоинформации - один основной и два вспомогательных, по которым вычисляют смещение кристалла относительно формируемого объективом изображения. 2 н.п. ф-лы, 6 ил.

 

Предлагаемое техническое решение относится к области телевидения и цифровой фотографии, а именно к способам стабилизации изображения, и предназначено для компенсации влияния дрожания рук оператора.

Известен и широко применяется способ стабилизации изображений, использующий для получения информации об относительном движении изображения и матричного фотоприемника косвенный метод: относительное движение оценивают по собственному движению всего фотоаппарата (видеокамеры), для чего служат два датчика ускорения или гироскопических датчика [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л.: Машиностроение, 1988, стр.36]. В качестве исполнительного механизма в этом методе используют электромеханическое устройство перемещения элементов объектива [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л.: Машиностроение, 1988, стр.98] или устройство перемещения самой фотоприемной матрицы [Ушольд А. Системы стабилизации изображения. Foto & Video, №7, 2007].

Выбор между перемещением элементов объектива или матрицы в данном способе (см. Фиг.1) осуществляется исходя из конструктивных требований к массе перемещаемых элементов и качеству изображения, но при обоих вариантах способа в силу использования косвенного метода оценки относительного смещения известный способ позволяет компенсировать лишь медленные движения цифрового фотоаппарата или телекамеры в небольших пределах, что не позволяет компенсировать быстрые движения цифрового фотоаппарата или телекамеры с ускорениями, имеющими место при установке аппаратуры на подвижные носители или иные вибрирующие основания.

Известен и широко применяется способ стабилизации изображений, заключающийся в смещении небольшой «области интереса» («окна интереса») из большого матричного фотоприемника [напр., A CMOS image sensor with high-speed readout of multiple regions-of-interest for an opto-navigation system (Proceedings Paper)/Koji Yamamoto; Yuki Maeda; Yasuo Masaki et all. // Proc. SPIE, vol.5677, pp.90-97, 2005]. Управление положением считываемого окна осуществляется автокорреляционным методом по сигналам предыдущего телевизионного кадра (см. Фиг.2). Возможна модификация способа путем формирования управляющих сигналов не по сигналу предыдущего кадра, а по сигналам датчиков ускорения (недостатки такого косвенного метода оценки смещения рассмотрены при анализе способа по Фиг.1) Достоинствами этого способа стабилизации являются прямой метод оценки смещения и отсутствие механически перемещаемых элементов. Основным недостатком этого способа является неизбежная задержка на время считывания кадра в процессе измерения смещения изображения текущего кадра относительно предыдущего. Такая большая задержка ведет к неизбежному ограничению диапазона компенсируемых механических возмущений из-за смаза изображения. Этот способ может найти ограниченное применение в системах с низкими требованиями к качеству изображения и работающих при достаточно больших освещенностях, когда время экспозиции много меньше времени кадра (например, в цифровых фотоаппаратах, встроенных в мобильные телефоны

[www.3dnews.ru/news/micron_predstavila_3_mp_sensor_s_sistemoi_stabilizatsii].

Наиболее близким к заявляемому по своей технической сути является способ стабилизации изображения, в котором используется прямой метод измерения смещения, и с целью уменьшения задержек на формирование сигнала смещения измерение производят не по сигналу кадра основной фотоприемной матрицы, а по сигналу дополнительного фотоприемника [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л.: Машиностроение, 1988, стр.37]. При этом для оценки смещения изображения используется одноэлементный фотоприемник, так же как и основная фотоприемная матрица, расположенный в фокальной плоскости объектива, сигналы с которого обрабатываются автокорреляционным методом [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л.: Машиностроение, 1988, стр.124].

Основным недостатком последнего упомянутого способа является возможность измерения смещения лишь при поступательном движении изображения относительно фотоприемника, так как при вибрации (возвратно-поступательном движении) на одноэлементный фотоприемник может проецироваться участок кадра с постоянной освещенностью. Этот способ может найти ограниченное применение в видеоинформационных системах с достаточно равномерным движением основания (например, в некоторых авиакосмических системах мониторинга [Бузников А.А., Купянский А.В. Динамическое совмещение полутоновых аэрокосмических и графических изображений. Изв. Вузов, сер. «Геодезия и аэрофотосъемка», 1993, №3, с.102-107]).

В результате, так же как во всех рассмотренных выше способах, использующих как косвенное, так и прямое измерение смещения изображения, при использовании способа по Фиг.3 не удается компенсировать быстрые неравномерные движения цифрового фотоаппарата или телекамеры с ускорениями, имеющими место при установке аппаратуры на подвижные носители или иные вибрирующие основания.

Проведенный анализ показывает, что для достижения высокой чувствительности к смещению изображения и для обеспечения широкого диапазона компенсируемых смещений и ускорений смещения целесообразно применить новый способ, который должен использовать прямой метод измерения смещения и, так же как и в способе-прототипе (фиг.3), должен разделить процессы формирования основного сигнала изображения и вспомогательных сигналов измерения смещения.

Техническим результатом заявляемого способа является пространственное разделение формирователей сигналов основного изображения и сигналов смещения изображения с тем, чтобы в ходе прямого измерения смещения, вызываемого вибрацией системы, для расширения диапазона ускорений компенсируемых возмущений одновременно повысить и скорость, и точность формирования оценок смещения изображения по двум взаимно перпендикулярным направлениям.

Это достигается тем, что способ стабилизации изображения, включающий операции измерения смещения изображения, формирования сигналов управления и механического перемещения фотоприемной матрицы или элементов объектива по двум взаимно перпендикулярным направлениям в фокальной плоскости изображения, отличается тем, что по предлагаемому способу на одном кристалле вместе с основной фотоприемной матрицей размещают два дополнительных линейных фотоприемных прибора существенно меньшей площади, выполненных в виде строки (столбца), считывают сигнал с дополнительных двух линейных фоточувствительных приборов с частотой строк выше кадровой частоты основной фотоприемной матрицы (на два порядка и более), при этом размер пиксела вдоль линейного фотоприемника выбирают в несколько раз меньше размера пиксела основной матрицы, при этом для сохранения равенства чувствительности основной матрицы и дополнительных линейных фотоприемников в последних размер пиксела в направлении поперек направления считывания пропорционально увеличивают, далее снимают три потока видеоинформации - один основной и два вспомогательных, по которым вычисляют смещение кристалла относительно формируемого объективом изображения по двум взаимно перпендикулярным осям.

Другой вариант способа отличается тем, что по предлагаемому способу на фотоприемной матрице формируют один основной фрагмент большой площади и два дополнительных фрагмента малой площади, вытянутых вдоль двух граней основного фрагмента, считывают сигнал с дополнительных двух фрагментов с частотой во много раз большей кадровой частоты основного фрагмента и суммируют сигналы вдоль короткой стороны каждого дополнительного фрагмента, при этом для сохранения равенства чувствительности основного фрагмента и дополнительных фрагментов в последних размер фрагмента вдоль короткой стороны каждого дополнительного фрагмента увеличивают пропорционально увеличению частоты считывания, далее снимают три потока видеоинформации - один основной и два вспомогательных, по которым вычисляют смещение фотоприемной матрицы относительно формируемого объективом изображения.

Представленные чертежи поясняют суть предлагаемого технического решения.

На фиг.1 изображена структурная схема стабилизации изображения относительно фотоприемника с датчиками ускорения и управлением смещением изображения за счет изменения положения фотоприемной матрицы или элементов объектива (аналог).

На фиг.2 представлена структурная схема стабилизации изображения относительно фотоприемника со считыванием фрагмента изображения, положение которого определяется автоколлиматорным методом по сигналу предыдущего кадра (аналог).

На фиг.3 изображена структурная схема стабилизации изображения относительно фотоприемника с измерителем относительного смещения фотоприемника и изображения с помощью дополнительного одноэлементного фотоприемника (прототип).

На фиг.4 - пример реализации заявляемого способа - структурная схема (Фиг.4a) системы стабилизации изображения с пространственным разделением считывания основного изображения с основного матричного фотоприемника и двух линейных фотоприемников, формирующих с высокой частотой проекции на вертикальную и горизонтальную оси с двух участков фотоприемного модуля, прилегающих к матричному фотоприемнику, и примерное соотношение размеров пикселов основного матричного фотоприемника и дополнительных линейных фотоприемников (Фиг.4б).

Предлагаемый способ может быть реализован следующим образом. Система стабилизации изображения должна содержать фотоприемный модуль 10, включающий матричный фотоприемник 11, вплотную к которому вдоль двух его взаимно перпендикулярных граней располагаются два линейных фотоприемника 12 и 13. На фотоприемный модуль 10 проецируется изображение с помощью объектива 20. Выход подвижного элемента 30 соединен с фотоприемным модулем 10 или с элементом (элементами) объектива 20, вход подвижного элемента 30 соединен с выходом блока управления 40, вход которого подключен к выходу блока измерения смещения изображения 50, первый и второй входы последнего подключены соответственно к выходам линейных фотоприемников 12 и 13.

Линейные фотоприемники 12 и 13 формируют с высокой частотой проекции изображения на вертикальную и горизонтальную оси с двух участков фотоприемного модуля 10, прилегающих к матричному фотоприемнику 11. В результате фотоприемный модуль 10 постоянно (без разделения во времени) формирует сигналы на трех независимых выходах. На первом выходе формируется сигнал основного изображения, на двух других - сигналы проекций его приграничных областей на две оси без задержки на время кадра основной фотоприемной матрицы. Смещение изображения, так же как и в способе-прототипе (Фиг.3), оценивается по смещению сигнала за некоторое время. Отличием сигналов линейных фотоприемников в предлагаемом способе относительно прототипа является использование двух фотоприемников с большим числом элементарных фотоприемников, что обеспечивает достоверную оценку смещения изображения и требует при использовании автокорреляционного метода использования задержки не на произвольное время, а на время считывания одной строки линейного фотоприемника.

Заявляемый способ прошел апробацию на модели и показал возможность расширения диапазона компенсируемых ускорений на два порядка и более для широкого класса изображений, не содержащих на своей периферии полей с постоянной интенсивностью и размерами, большими стороны фотоприемной матрицы. В современных матричных фотоприемниках с общим числом несколько мегапикселов число элементов в строке (столбце) более чем в тысячу раз меньше общего числа пикселов. Это означает, что при фиксированной частоте считывания время считывания дополнительной измерительной строки может быть сделано более чем в тысячу раз меньше времени считывания кадра основной фотоприемной матрицы. Даже уменьшение в несколько раз размера пиксела вдоль строки линейного фотоприемника (с соответствующим увеличением числа пикселов по сравнению с гранями матричного фотоприемника) позволяет реализовать на два порядка более высокие частоты считывания по сравнению с кадровой частотой матричного фотоприемника.

В частности, был проанализирован второй вариант реализации способа, при котором размер элемента дополнительных линейных фотоприемников в направлении, перпендикулярном считыванию, равен размеру элемента основной фотоприемной матрицы, реализуется формированием одного основного фрагмента 111 большой площади и двух дополнительных фрагментов малой площади 112 и 113, вытянутых вдоль двух граней основного фрагмента. Этот вариант за счет увеличения частоты считывания дополнительных фрагментов по сравнению с частотой считывания основного фрагмента позволяет на порядок и более (а не два и более порядка, как в основном варианте способа) расширить диапазон ускорений компенсируемых возмущений. Хотя этот вариант реализации способа без уменьшения размера элемента линейных фотоприемников поперек направления считывания не полностью реализует возможности способа, его достоинством является простота реализации при использовании массово выпускаемых КМОП фотоприемных матриц с возможностью считывания сигналов с нескольких «фрагментов интереса» с разными частотами. Ограниченные возможности такой реализации предлагаемого способа связаны, в частности, с тем, что увеличение площади «фрагмента интереса», соответствующего дополнительному линейному фотоприемнику, требуемое для обеспечения равенства чувствительности линейного и матричного фотоприемников, ведет к увеличению числа считываемых пикселов исходной матрицы и, как следствие, уменьшает возможную частоту считывания измерительного фрагмента.

Эффективность измерения смещения изображения по смещению его проекций на вертикальную и горизонтальную оси для широкого класса изображений проверена экспериментально, и показано, что точность измерения по сравнению с измерением по всему кадру основного матричного фотоприемника почти не снижается, оставаясь на достаточно высоком уровне - до сотых долей пиксела [Твердотельная революция в телевидении / Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. - М.: Радио и связь, 2006, стр.146].

Особенностями реализации предлагаемого способа являются:

- возможность заметного повышения точности измерения смещения изображения и его стабилизации благодаря использованию меньшего размера накапливающего элемента вдоль строки Δ_л→ по отношению к размеру накапливающего элемента матричного фотоприемника Δ_м;

- возможность заметного расширения диапазона компенсируемых смещений и ускорений смещения благодаря возможности существенного (на два и более порядка) повышения частоты считывания F_л сигналов введенных дополнительных линейных фотоприемников по сравнению с кадровой частотой F_м основного матричного фотоприемника;

- целесообразность увеличения площади каждого накопительного элемента в дополнительных линейных фотоприемниках для обеспечения равенства их светочувствительности и светочувствительности основного матричного фотоприемника; такое увеличение площади производится за счет увеличения размера накопительного элемента в поперечном направлении Δ_л↑, как это реализуется в линейных фотоприемниках на приборах с зарядовой связью, предназначенных для спектрального анализа излучения; при этом соотношение длины и ширины накопительного элемента определяется произведением отношения частот считывания и размеров элемента дополнительных линейных фотоприемников и основного матричного фотоприемника Δ_л↑/Δ_л→=F_лΔ_м/F_мΔ_л→;

- целесообразность реализации фотоприемного модуля как СБИС класса «видеосистема на кристалле» с предельно малыми зазорами между линейными фотоприемниками и матричным фотоприемником; попытка реализовать предложенный способ с помощью раздельных (корпусированных) СБИС матричного фотоприемника и двух линейных фотопниемников наталкивается на трудности формирования больших полей изображения и заметное уменьшение использования света в формируемом объективом изображении.

1. Способ стабилизации изображения, включающий операции измерения смещения изображения, формирования сигналов управления и механического перемещения элементов объектива или фотоприемной матрицы по двум взаимно перпендикулярным направлениям в фокальной плоскости изображения, отличающийся тем, что по предлагаемому способу на одном кристалле вместе с основной фотоприемной матрицей размещают два дополнительных линейных фотоприемника существенно меньшей площади, выполненных в виде строки (столбца), считывают сигнал с дополнительных двух линейных фоточувствительных приборов с частотой строк во много раз большей кадровой частоты основной фотоприемной матрицы, при этом размер пиксела вдоль линейного фотоприемника выбирают в несколько раз меньше размера пиксела основной матрицы, при этом для сохранения равенства чувствительности основной матрицы и дополнительных линейных фотоприемников в последних размер пиксела в направлении поперек считывания увеличивают пропорционально уменьшению продольного размера и времени считывания, далее снимают три потока видеоинформации: один основной и два вспомогательных, по которым вычисляют смещение кристалла относительно формируемого объективом изображения.

2. Способ стабилизации изображения, включающий операции измерения смещения изображения, формирования сигналов управления и механического перемещения элементов объектива или фотоприемной матрицы по двум взаимно перпендикулярным направлениям в фокальной плоскости изображения, отличающийся тем, что по предлагаемому способу на фотоприемной матрице формируют один основной фрагмент большой площади и два дополнительных фрагмента малой площади, вытянутых вдоль двух граней основного фрагмента, считывают сигнал с дополнительных двух фрагментов с частотой во много раз большей кадровой частоты основного фрагмента и суммируют сигналы вдоль короткой стороны каждого дополнительного фрагмента, при этом для сохранения равенства чувствительности основного фрагмента и дополнительных фрагментов в последних размер фрагмента вдоль короткой стороны каждого дополнительного фрагмента увеличивают пропорционально увеличению частоты считывания, далее снимают три потока видеоинформации: один основной и два вспомогательных, по которым вычисляют смещение фотоприемной матрицы относительно формируемого объективом изображения.