Способ совмещения изображений от матричных фотоприемников разного спектрального диапазона
Владельцы патента RU 2789691:
Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации (RU)
Изобретение относится к области цифровой обработки изображений и касается способа совмещения изображений от матричных фотоприемников разного спектрального диапазона. При осуществлении способа в качестве эталонного изображения выбирают изображение, полученное фотоприемником с большим углом зрения, определяют коэффициент относительности масштабов изображений, уменьшают разрешение исходных изображений в заданное число раз, вычисляют контуры объектов на изображениях, приведенных к минимальному масштабу. Далее находят значения линейного коэффициента корреляции Пирсона для всех возможных положений изображения от n-го фотоприемника относительно эталонного, где индексы коэффициента корреляции Пирсона (n, m) показывают номер пикселя базового изображения, характеризующего положение верхнего левого угла n-го изображения относительно эталонного, и определяют максимальный коэффициент корреляции из всех получившихся значений. По индексам (n, m) находят положение изображения n-го фотоприемника относительно эталонного, приведенных к минимальному масштабу, и вычисляют положение исходных изображений от n-х фотоприемников относительно эталонного. Технический результат заключается в ускорении процесса совмещения изображений и обеспечении возможности совмещения изображений разного спектрального диапазона. 2 ил.
Изобретение относится к способам цифровой обработки изображений, в частности к совмещению цифровых изображений разного спектрального диапазона и может быть использовано для осуществления мониторинга местности в любое время суток при помощи оптических электронных систем, размещенных на беспилотных летательных аппаратах или пилотируемых летательных средствах.
Известен способ предварительного грубого совмещения изображений (см. статью Волегов Д.Б., Юрин Д.В. Предварительное грубое совмещение изображений по найденным на них прямым линиям для построения мозаик, сверхразрешения и восстановления трехмерных сцен // Программирование. - 2008. - Т. 34, №5. - С. 47-66). Предлагаемый способ заключается в выделении контурного аппарата (например, с помощью известного фильтра Собеля) на совмещаемых изображениях, поиске параметрических линий с помощью быстрого варианта известного преобразования Хафа, вычислении параметров проективного матричного преобразования сцены, зависящего от параметров найденных прямых, которое находят путем минимизации суммы квадратов разности яркости элементов изображений в окрестности соответствующих прямых и применении найденного преобразования для одного из изображений.
Недостатком данного способа является низкая точность совмещения по близости, по критерию яркости, соответствующих деталей, что говорит о применимости метода только для совмещения изображений одного спектрального диапазона, соответственно выполнить совмещение кадров разного спектрального диапазона не представляется возможным.
Наиболее близким выбран способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона (см. патент RU 2705423 С1, МПК G06T 3/00, опубл. 07.11.2019 г.). Данный способ, заключающийся в том, что одновременно получают несколько изображений разного спектрального диапазона, из числа этих изображений выбирают эталонное изображение, выбирают начало координат и четыре опорные точки на эталонном изображении, определяют координаты этих точек, затем находят те же точки на всех остальных изображениях и также определяют их координаты, далее по этим измерениям вычисляют параметры проективных матричных преобразований томографии, полученные преобразования применяют для совмещения всех изображений к эталонному.
Недостатками данного способа является то, что изображение выбирается один раз оператором наблюдения в ручном режиме, что увеличивает время определения эталонного изображения, а затем, за основу совмещения берут четыре опорные точки и визуально выбирают те же точки наблюдаемых объектов на всех изображениях. Данные изображения получены одновременно, что не обеспечивает возможность использования разновременных изображений, тем самым не учитываются изменения взаимного положения кадров при съемке одного участка местности, на котором расположены элементы сцены.
Техническим результатом предлагаемого способа является сокращение времени определения эталонного изображения, обеспечение возможности совмещения изображений разного спектрального диапазона, формируемых матричными фотоприемниками в разные интервалы времени, отсутствием потерь по разрешающей способности.
Указанный технический результат достигается тем, что принимают сигнал от n фотоприемников разного спектрального диапазона, установленных на одной базе, которые формируют исходные изображения с различными разрешениями, выделяют из исходных изображений эталонное изображение, преобразуют исходные изображения и совмещают с эталонным.
Сущность заключается в том, что выбирают в качестве эталонного изображения, изображение от матричного фотоприемника с большим углом зрения, затем определяют коэффициент относительности масштабов изображений (kn) относительно эталонного на основе величин углов зрения (ϕn) разноспектральных матричных фотоприемников в соответствии с формулой
где n - номер матричного фотоприемника, ϕ1 - угол зрения эталонного матричного приемника, ϕn - угол зрения n-го матричного фотоприемника (фиг. 1), затем приводят все изображения к изображению, имеющему наименьшее разрешение матрицы, для этого уменьшают разрешение исходных изображений в kpn раз, что позволяет уменьшить вычислительные затраты по сравнению с обработкой изображений исходного разрешения по формуле
где kpn - коэффициент масштабирования разрешения матрицы n-го матричного фотоприемника, kмин - относительный масштаб изображения с минимальным углом зрения, который соответствует минимальному значению kn (с худшим разрешением), Δn - значение матрицы в пикселях от n-го матричного фотоприемника, Δмин - минимальное значение матрицы фотоприемника в пикселях (с худшим разрешением), затем находят взаимное расположение разноспектральных уменьшенных изображений на основе корреляционного анализа, для этого вычисляют на всех изображениях контуры объектов приведенных к минимальному масштабу (например с помощью алгоритма Кении, Собеля) и находят значения линейного коэффициента корреляции Пирсона (rn,m), для всех возможных положений изображения от n-го фотоприемника относительно эталонного, где индексы коэффициента корреляции Пирсона (n, m) показывают номер пикселя базового изображения характеризующего положение верхнего левого угла n-го изображения относительно эталонного (фиг. 2), определяют максимальный коэффициент корреляции из всех получившихся значений, и по индексам (n, m) находят положение изображения n-го фотоприемника относительно эталонного, приведенных к минимальному масштабу, вычисляют положение исходных изображений от n-х фотоприемников относительно эталонного, приведенных к одинаковому разрешению пикселя в соответствии с выражениями
Где 
и 
- положение верхнего левого угла изображения n-го фотоприемника относительно эталонного изображения с максимальным полем зрения. На основе полученных координат верхнего левого угла изображения возможно совмещение изображений от всех матричных приемников, в которых все элементы сцены совмещены.
Заявленный способ разъясняется следующими графическими изображениями:
На фиг. 1 представлено расположение кадров n-х фотоприемников;
На фиг. 2 представлена диаграмма значений индексов n,m характеризующих положение верхнего левого угла изображения относительно эталонного.
Способ совмещения изображений от матричных фотоприемников разного спектрального диапазона, заключающийся в том, что принимают сигнал от N фотоприемников разного спектрального диапазона, установленных на одной базе, которые формируют исходные изображения с различными разрешениями, выделяют из исходных изображений эталонное изображение, преобразуют исходные изображения и совмещают с эталонным, отличающийся тем, что в качестве эталонного выбирают изображение, полученное фотоприемником с большим углом зрения, определяют коэффициент относительности масштабов изображений, уменьшают разрешение исходных изображений в заданное число раз, вычисляют контуры объектов на изображениях, определяют коэффициент относительности масштабов изображений (kn) относительно эталонного на основе величин углов зрения (ϕn) разноспектральных матричных фотоприемников в соответствии с формулой
где n - номер матричного фотоприемника, ϕ1 - угол зрения эталонного матричного приемника, ϕn - угол зрения n-го матричного фотоприемника, затем приводят все изображения к изображению, имеющему наименьшее разрешение матрицы, для этого уменьшают разрешение исходных изображений в kpn раз, по формуле
где kpn - коэффициент масштабирования разрешения матрицы n-го матричного фотоприемника, kмин - относительный масштаб изображения с минимальным углом зрения, который соответствует минимальному значению kn с худшим разрешением, Δn - значение матрицы в пикселях от n-го матричного фотоприемника, Δмин - минимальное значение матрицы фотоприемника в пикселях с худшим разрешением, вычисляют на всех изображениях контуры объектов, приведенных к минимальному масштабу, находят значения линейного коэффициента корреляции Пирсона (rn,m), для всех возможных положений изображения от n-го фотоприемника относительно эталонного, где индексы коэффициента корреляции Пирсона (n, m) показывают номер пикселя базового изображения, характеризующего положение верхнего левого угла n-го изображения относительно эталонного, определяют максимальный коэффициент корреляции из всех получившихся значений и по индексам (n, m) находят положение изображения n-го фотоприемника относительно эталонного, приведенных к минимальному масштабу, вычисляют положение исходных изображений от n-х фотоприемников относительно эталонного, приведенных к одинаковому разрешению пикселя в соответствии с выражениями
где Ni и Mi - положение верхнего левого угла изображения n-го фотоприемника относительно эталонного изображения с максимальным полем зрения и на основе полученных координат верхнего левого угла изображения осуществляют совмещение изображений от всех матричных приемников.
