Способ компенсации геометрического шума инфракрасных изображений
Владельцы патента RU 2688616:
Акционерное общество "Государственный Рязанский приборный завод" (RU)
Изобретение относится к области обработки цифровых изображений и касается способа компенсации геометрического шума инфракрасных изображений от сенсоров с вертикальным расположением линеек фоточувствительных элементов. Способ заключается в том, что осуществляют прием потока излучения и выполняют вычитание из массива яркости пикселей входного изображения массива скомпенсированных постоянных составляющих сигналов с фоточувствительных элементов. Массив постоянных составляющих сигналов с фоточувствительных элементов получают в результате рекуррентного усреднения яркости пикселей совокупности кадров. При этом в каждом кадре случайным образом переставляют строки, оценивают дисперсию градиента яркости в рекуррентно усредненном кадре в направлении строк и сравнивают с ее предыдущим максимальным значением. Если данное значение превышено, выполняют запись в память рекуррентно усредненного кадра, разделяют его на низкочастотную и высокочастотную составляющие, сохраняют высокочастотную составляющую в памяти и вычитают ее из текущего кадра. Если значение не превышено, из текущего кадра вычитают ранее сохраненную высокочастотную составляющую. Технический результат заключается в формировании калибровочного кадра с равномерной яркостью вне зависимости от распределения яркости наблюдаемой сцены. 10 ил.
Изобретение относится к области обработки цифровых изображений, в частности - фильтрации помех, и может быть использовано для улучшения визуального качества инфракрасных изображений, для которых актуальна задача компенсации неоднородности постоянной составляющей сигнала с матричного фотоприемного устройства (МФПУ) - геометрического шума.
Из уровня техники известны способ и система коррекции геометрического шума (патент US 8503821, опубликовано 06.08.2013, МПК: G06K 9/40). В указанном способе компенсация основана на сопоставлении двух кадров видеопоследовательности и содержит следующие этапы:
- оценку пиксельного смещения между первым и вторым кадрами с МФПУ, причем данная оценка выполняется по характерным особенностям (особым точкам) сцены в первом и втором кадрах;
- определение различий яркости пикселей с первого и второго кадров, соответствующих одним и тем же объектам сцены;
- компенсацию неоднородности яркости на основе различий в средней яркости кадров и информации о направлении смещения от кадра к кадру.
Недостатком способа является ограничение его применения для малоконтрастных изображений, на которых межкадровое смещение по особым точкам оценивается с большой ошибкой.
Известны способы коррекции неоднородности сканирующих многоэлементных фотоприемных устройств по сигналам сцены (патент RU 2347324, опубликовано 28.05.2007, МПК: H04N 5/33 и патент RU 2411684, опубликовано 10.02.2011, МПК: H04N 5/33, H04N 1/409), в которых:
- производится последовательная регистрация элементов сцены соседними фоточувствительными элементами сенсора при сканировании, которое выполняется в направлении, перпендикулярном линейкам фоточувствительных элементов;
- определяется зависимость сигналов каждого элемента от сигналов соседнего элемента и по этим зависимостям оцениваются параметры корректирующих функций: коэффициенты полиномов первого порядка (патент RU 2347324, опубликовано 28.05.2007, МПК: H04N 5/33) или второго порядка (патент RU 2411684, опубликовано 10.02.2011, МПК: H04N 5/33, H04N 1/409);
- после оценивания параметров функций последовательно осуществляется коррекция сигналов каждого элемента фотоприемного устройства относительно предыдущего.
Недостатками рассмотренных способов являются:
- необходимость попадания световых потоков одних и тех же элементов сцены на соседние элементы МФПУ и попадание потоков соседних элементов сцены на один и тот же элемент устройства;
- большое время обработки, связанное с вычислением коэффициентов линейной регрессии для каждой пары соседних пикселей кадра.
От указанных недостатков свободен способ выравнивания неравномерной чувствительности фотоприемников сканирующих линеек тепловизоров (патент RU 2113065, опубликовано 10.06.1998, H04N 5/33), который содержит следующие этапы:
- построчно разлагают видеосигнал с выходов фотоприемников,
- видеосигналы с выхода каждого фотоприемника суммируют вдоль каждой строки,
- сглаживают полученную последовательность суммарных сигналов в направлении кадровой развертки,
- для каждой строки вырабатывают корректирующий сигнал путем деления сглаженного суммарного сигнала для данной строки на соответствующий этой строке суммарный сигнал,
- формируют результирующий выровненный сигнал на каждой строке посредством умножения видеосигнала строки с выхода фотоприемника на соответствующий корректирующий сигнал.
Сглаживание последовательности суммарных сигналов в направлении кадровой развертки также может осуществляться заменой значений суммарных сигналов, полученных на интервале времени формирования строк, на значение суммы соседних с ним значений суммарных сигналов.
Способ, согласно его описанию, подразумевает направление считывания зарядовых пакетов с МФПУ по строкам, однако при изменении направления суммирования видеосигналов (со строки на столбец) и сглаживания суммарных сигналов (в направлении строчной развертки) также может быть применен и к МФПУ с вертикальным направлением считывания зарядовых пакетов.
К недостаткам способа следует отнести высокое качество коррекции геометрического шума только при съемке сцен с однородным фоном, при котором световой поток, падающий на все элементы МФПУ, приблизительно одинаков. При наличии в кадре протяженных (в направлении считывания заряда с фоточувствительных элементов МФПУ) объектов с яркостью, отличной от яркости фона (большей или меньшей), выравнивание средней яркости в строках/столбцах МФПУ приводит к артефактам: появлению на участках фона полос (темных или светлых) с шириной, соответствующей ширине протяженного объекта. Такой эффект проиллюстрирован на Фиг. 1 и Фиг. 2, где приведен фрагмент изображения с инфракрасной камеры коротковолнового диапазона Xenics Bobcat 640 до и после коррекции геометрического шума согласно рассматриваемому способу соответственно. Как видно на Фиг. 2, над изображением вышки сотовой связи с низкой яркостью появляется полоса, яркость которой выше яркости фона.
Повысить равномерность яркости калибровочной сцены позволяет усреднение последовательности кадров во времени, которое дает положительный эффект, но только на большом наборе различных сцен с некоррелированными сюжетами. Однако для большинства практических задач, связанных со съемкой вне помещений, сцена кадра, как правило, состоит из двух областей различной яркости: менее контрастной в верхней части кадра (небо) и более контрастной - в нижней (расположенные на земле объекты). Также зачастую углы перемещения камеры по азимуту превосходят углы перемещения в плоскости угла места. В таких случаях усреднение по последовательности кадров приводит к формированию калибровочного изображения с двумя областями, имеющими различную яркость.
Сформировать однородный по яркости калибровочный кадр позволяет выбранный по совокупности признаков в качестве прототипа способ компенсации неоднородности усиления фоточувствительных элементов многоэлементного фотоприемника (патент RU 2449491, опубликовано 27.04.2012, МПК: H04N 5/33, G02B 23/12). В указанном способе постоянные составляющие сигналов с фоточувствительных элементов получают в результате расфокусирования, за счет введения в тракт оптической системы тепловизионного прибора расфокусирующего элемента, формирующего на входе фотоприемника равномерный поток излучения или поток с заданной равномерностью. Компенсация заключается в том, что осуществляют прием подлежащего регистрации потока излучения и выполняют обработку вырабатываемого фотоприемником сигнала в соответствии с формулой
S - массив пикселей изображения в результате компенсации,
T(in) - входной массив пикселей изображения, поступающего с многоэлементного фотоприемника,
T(fon) - массив постоянных составляющих сигналов с фоточувствительных элементов, полученных в результате выполнения оптического расфокусирования,
K - массив коэффициентов для коррекции чувствительности элементов,
i и j - номер пикселя в строке и номер строки изображения соответственно. При формировании скомпенсированных постоянных составляющих сигналов с фоточувствительных элементов путем расфокусирования сохраняют требуемое поле зрения тепловизионного прибора.
Недостатком способа прототипа является усложнение конструкции объектива тепловизионного прибора, связанное с необходимостью введения в него дополнительной расфокусирующей линзы.
Техническая проблема, решаемая созданием заявленного изобретения, заключается в необходимости формирования однородного по яркости калибровочного кадра для оценки геометрического шума матричного фотоприемного устройства (МФПУ), независимо от сюжета наблюдаемой сцены, без применения расфокусирующей линзы в оптическом тракте инфракрасной камеры.
Технический результат заключается в формировании калибровочного кадра с равномерной яркостью, вне зависимости от распределения яркости наблюдаемой сцены для МФПУ с вертикальным направлением считывания зарядовых пакетов.
Технический результат достигается за счет того, что способ компенсации геометрического шума инфракрасных изображений от сенсоров с вертикальным расположением линеек фоточувствительных элементов заключается в том, что осуществляют прием подлежащего регистрации потока излучения и выполняют вычитание из массива яркости пикселей входного изображения массива скомпенсированных постоянных составляющих сигналов с фоточувствительных элементов (оценки геометрического шума). При этом он отличается от прототипа тем, что массив постоянных составляющих сигналов с фоточувствительных элементов получают в результате рекуррентного усреднения яркости пикселей совокупности кадров. При формировании кадра с усредненной яркостью перестановку строк осуществляют таким образом, что яркости пикселей, соответствующих фоточувствительным элементам матричного фотоприемного устройства (МФПУ) в строках с четными номерами, усредняют с яркостями пикселей, находящимися только в четных строках, а яркости пикселей, соответствующих фоточувствительным элементам МФПУ в строках с нечетными номерами, усредняют с яркостями пикселей, находящимися только в нечетных строках. Причем в каждом кадре случайным образом переставляют строки, оценивают дисперсию градиента яркости в рекуррентно усредненном кадре в направлении строк и сравнивают с ее предыдущим максимальным значением. Если данное значение превышено, выполняют запись в память рекуррентно усредненного кадра, разделяют его на низкочастотную и высокочастотную составляющие, сохраняют высокочастотную составляющую в памяти и вычитают ее из текущего кадра. Если значение не превышено, из текущего кадра вычитают ранее сохраненную высокочастотную составляющую.
Наличие геометрических шумов обусловлено принципом формирования сигнала с МФПУ путем последовательного опроса сигналов всех фоточувствительных элементов встроенным электронным коммутатором, из-за чего выходной сигнал содержит стационарные шумы, вызванные неоднородностью темнового тока. Геометрический шум проявляется на изображении в виде горизонтальных или вертикальных полос различной яркости в зависимости от направления считывания зарядовых пакетов с МФПУ: по строкам или по столбцам.
Достижение технического результата основано на принятии двух гипотез: гипотезы об аддитивном характере геометрического шума и гипотезы об одинаковой постоянной составляющей у всех фоточувствительных элементов каждого столбца МФПУ. Указанное смещение обусловлено технологией изготовления МФПУ для инфракрасных камер (Тарасов В.В., Якушенков Ю.Г. Инфракрасные системы «смотрящего» типа. - М.: Логос, 2004, стр. 452).
Геометрический шум (статья Perry D.L., Dereniak E.L. Linear theory of nonuniformity correction in infrared staring sensors // Optical Engineering. - 1993. Vol. 32. - P. 1854-1859), описывается линейной моделью:
Yij - яркость пикселей изображения с геометрическим шумом,
i и j -номер строки и столбца сенсора,
gj - коэффициент усиления элементов j-й линейки,
Xij - яркость пикселей изображения без геометрического шума,
bj - постоянное смещение яркости на выходе элементов j-й линейки.
В ряде литературных источников, например (статья Hardie R.C. at al. Scene-based nonuniformity correction with video sequences and registration // Appl. Opt. - 2000. - Vol. 39, No. 8. - P. 1241-1250; статья Zuo C. at al. Improved interframe registration based nonuniformity correction for focal plane arrays // Infrared Phys. Technol. - 2012. - Vol. 55, No. 4. - P. 263-269; статья Cao Y. at al. Correction in Infrared Imaging System using ID Horizontal Differential Statistics // IEEE Photonics Journal. - 2017. - Vol. 9, No. 5), показано, что модель (2) может быть упрощена до одного параметра - постоянного смещения:
а коррекция аддитивного геометрического шума заключается просто в вычитании его оценок для каждого j-го столбца:
что исключает из обработки согласно (1) операцию деления на коэффициент усиления gj.
Таким образом, принятие двух приведенных выше гипотез является справедливым.
Способ компенсации геометрического шума инфракрасных изображений осуществляется следующим образом.
1. Получают видеосигналы с МФПУ и преобразуют их в цифровые сигналы.
2. Выполняют усреднение полученных от МФПУ кадров во времени согласно следующему алгоритму:
2.1 - в полученном в k-й момент времени кадре случайным образом перестанавливают все его строки и получают кадр 
в результате перестановки строк пиксели j-го столбца кадра соответствующие одной линейке фоточувствительных элементов с вертикальным направлением считывания зарядовых пакетов, в кадре 
по-прежнему остаются в j-м столбце;
2.2 - по рекуррентному правилу оценивают вспомогательный кадр Nk:
где n - количество ранее принятых кадров;
2.3 - по кадру Nk оценивают дисперсию градиента яркости при движении по строке (в горизонтальном направлении):
где оператор 
означает вычисление математического ожидания;
2.4 - При формировании Nk с равномерной яркостью фона оценка дисперсии Dhk будет максимальна и равна мощности шума сенсора.
если при получении нового кадра к оценка дисперсии Dhk больше, чем ее предыдущее максимальное значение Dhmax, это означает, что отношение «геометрический шум - фон» во вспомогательном кадре выросло и качество оценивания геометрического шума, а, следовательно, и его коррекции, повысится, поэтому выполняется запись Nk в калибровочный кадр K:
3. Оцененный калибровочный кадр K разделяется на две составляющих: низкочастотную KНЧ, содержащую фон, и высокочастотную KВЧ, содержащую геометрический шум сенсора:
4. Выполняется компенсация геометрического шума согласно математической модели (4):
с последующим линейным контрастированием кадра Xk.
Случайная перестановка строк в кадре Yk на этапе 2.1 с последующим усреднением таких кадров на этапе 2.2 позволяет выровнять яркость фона в кадре Nk даже при наличии на сцене областей различной яркости (для съемки вне помещений - областей «небо» и «подстилающая поверхность»).
При формировании кадра с усредненной яркостью, перестановку строк осуществляют таким образом, что яркости пикселей, соответствующих фоточувствительным элементам матричного фотоприемного устройства (МФПУ) в строках с четными номерами, усредняют с яркостями пикселей, находящимися только в четных строках, а яркости пикселей, соответствующих фоточувствительным элементам МФПУ в строках с нечетными номерами усредняют с яркостями пикселей, находящимися только в нечетных строках.
На Фиг. 3 представлена блок-схема рассмотренного выше алгоритма компенсации геометрического шума.
Принцип работы алгоритма поясняют Фиг. 4-9.
На Фиг. 4 показан кадр видеопоследовательности с инфракрасной камеры коротковолнового диапазона.
На Фиг. 5 показан вспомогательный кадр N1000, полученный усреднением 1000 кадров после случайной перестановки строк.
На Фиг. 6 отражен результат компенсации геометрического шума на Фиг. 4 согласно (5) с последующим расширением динамического диапазона яркостей до 255 путем линейного контрастирования.
На Фиг. 6 видно, что результат компенсации геометрического шума по заявляемому способу для статического положения камеры при съемке содержит артефакты коррекции аналогично компенсации по способу патента RU 2113065, опубликовано 10.06.1998, МПК: H04N 5/33). Устранение артефактов достигается за счет движения камеры в ходе съемки.
На Фиг. 7 показан кадр с инфракрасной камеры.
На Фиг. 8 показан вспомогательный кадр N1000, сформированный при выполнении этапов 2.1 - 2.4 по видеопоследовательности из 1000 кадров с изменяющимся сюжетом: в ходе съемки камеру медленно перемещают в направлении по часовой стрелке и против часовой стрелки.
На Фиг. 9 продемонстрирован результат компенсации геометрического шума на Фиг. 7 с последующим расширением динамического диапазона яркостей до 255.
Следует отметить, что если камера в ходе оценки калибровочного кадра K перемещается, и в поле ее зрения попадают сцены с различными сюжетами, то качество компенсации геометрического шума повышается. Это объясняется тем, что в силу центральной предельной теоремы закон распределения яркости фона калибровочного кадра стремится к нормальному, и накопление статистики геометрического шума является эффективным. Действительно, на Фиг. 9, в отличие от Фиг. 6, отсутствуют артефакты коррекции в виде полос с яркостью, отличной от яркости фона. Артефакты компенсации проявляются при наличии протяженных вертикальных объектов в кадре.
Особенностью некоторых инфракрасных камер с цифровым выходом является формирование кадров с ярко выраженной чересстрочной структурой. Такой эффект для камеры Xenics Bobcat 640 проиллюстрирован на Фиг. 10 (масштаб - 1600%). Для таких камер на этапе 2.1 перестановка четных и нечетных строк выполняется отдельно. При этом четные строки после перестановки попадают только на четные позиции, а нечетные строки - только на нечетные позиции.
Таким образом, предлагаемый способ компенсации геометрического шума инфракрасных изображений позволяет осуществлять формирование калибровочного кадра с равномерной яркостью вне зависимости от распределения яркости наблюдаемой сцены для МФПУ с вертикальным направлением считывания зарядовых пакетов.
Способ компенсации геометрического шума инфракрасных изображений от сенсоров с вертикальным расположением линеек фоточувствительных элементов, заключающийся в том, что осуществляют прием подлежащего регистрации потока излучения и выполняют вычитание из массива яркости пикселей входного изображения массива скомпенсированных постоянных составляющих сигналов с фоточувствительных элементов, отличающийся тем, что массив постоянных составляющих сигналов с фоточувствительных элементов получают в результате рекуррентного усреднения яркости пикселей совокупности кадров, причем при формировании кадра с усредненной яркостью перестановку строк осуществляют таким образом, что яркости пикселей, соответствующих фоточувствительным элементам матричного фотоприемного устройства (МФПУ) в строках с четными номерами, усредняют с яркостями пикселей, находящимися только в четных строках, а яркости пикселей, соответствующих фоточувствительным элементам МФПУ в строках с нечетными номерами, усредняют с яркостями пикселей, находящимися только в нечетных строках, при этом в каждом кадре случайным образом переставляют строки, оценивают дисперсию градиента яркости в рекуррентно усредненном кадре в направлении строк и сравнивают с ее предыдущим максимальным значением; если данное значение превышено, выполняют запись в память рекуррентно усредненного кадра, разделяют его на низкочастотную и высокочастотную составляющие, сохраняют высокочастотную составляющую в памяти и вычитают ее из текущего кадра; если значение не превышено, из текущего кадра вычитается ранее сохраненная высокочастотная составляющая.
