Способ обработки последовательности изображений для обнаружения и слежения за воздушными объектами
Владельцы патента RU 2419150:
Федеральное государственное унитарное предприятие "Государственный Рязанский приборный завод" (RU)
Изобретение относится к области цифровой обработки изображений и может быть использовано в охранных системах, системах мониторинга и контроля воздушного движения, оптоэлектронных системах сопровождения объектов. Техническим результатом является повышение точности обнаружения и слежения как за малоразмерными, так и протяженными воздушными объектами, наблюдаемыми на фоне ясного или облачного неба датчиками телевизионного (ТВ) и инфракрасного (ИК) диапазонов при низком отношении сигнал/шум в исходном изображении. Технический результат достигается путем применения последовательности следующих действий: временная экспоненциальная фильтрация наблюдаемых изображений, вычисление разности между наблюдаемым и отфильтрованным изображением, умноженным на весовой коэффициент, параллельная двумерная пространственная фильтрация временной разности двумя фильтрами с масками разного вида и размерности, получение разности результатов пространственной фильтрации, оценка дисперсии полученной разности в обрабатываемой области кадра, пороговая обработка с получением бинарного изображения, морфологическая фильтрация, разметка и параметризация бинарного изображения, принятие решения о наличии объектов в кадре, формирование строба слежения в зависимости от размеров и скорости движения объектов с последующей селекцией объектов в стробе. 1 з.п. ф-лы, 1 табл.
Изобретение относится к области цифровой обработки изображений и может быть использовано в охранных системах, системах мониторинга и контроля воздушного движения, оптоэлектронных системах сопровождения объектов и др.
Известен способ слежения за объектами [Патент Российской федерации 2153235, МПК7 H04N 7/18, F41G 7/26, 1991 г.], в котором для повышения точности и надежности слежения за объектом производят предварительную обработку цифрового телевизионного видеосигнала от изображения объекта путем селекции в нем участков, соответствующих яркостным аномалиям в изображении объекта, а затем выделяют на изображении информативные элементы путем формирования эталонной маски объекта и применения корреляционно-экстремального алгоритма. К недостаткам данного способа можно отнести необходимость формирования эталонного изображения объекта на каждом кадре и неприменимость алгоритма при низких отношениях сигнал/шум. Необходимо отметить тот факт, что процедура уточнения эталонной маски, использующая операторы дифференцирования, исходит из предположения о равномерности фона в области строба, не всегда выполняемого на практике.
Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ обработки сигналов, описанный в уровне техники [Li Biao, Shen ZhenKang, Li JiCheng Automatic Target Detection and Tracking System Using Infrared Imagery // Proc. of SPIE Vol.3069, Automatic Target Recognition VII, Jun 1997] и реализованный в автоматической системе обнаружения и слежения за объектами, наблюдаемыми на тепловизионных изображениях, заключающийся в аналого-цифровом преобразовании каждого кадра видеопоследовательности, компенсации фонового изображения с применением согласованной фильтрации, адаптивной пороговой обработке разностного изображения, временной фильтрации бинарного изображения, разметке и параметризации, построении траекторий обнаруженных объектов.
Недостатком способа прототипа является отсутствие этапа временной обработки исходной видеоинформации, что уменьшает вероятность обнаружения объектов при низких отношениях сигнал/шум (3 и менее). Данное обстоятельство также влияет на увеличение вероятности ложного обнаружения при использовании датчиков изображений с большой интенсивностью структурного шума, вызванного неодинаковым коэффициентом передачи элементов светочувствительной матрицы или линейки. Кроме того, способ прототипа предназначен для обнаружения, измерения координат и слежения только за малоразмерными объектами преимущественно на инфракрасных изображениях, что значительно сокращает область его практического применения.
Технический результат, на достижение которого направлено заявляемое изобретение, состоит в повышении точности обнаружения и слежения как за малоразмерными, так и протяженными воздушными объектами, наблюдаемыми на фоне ясного или облачного неба датчиками телевизионного (ТВ) и/или инфракрасного (ИК) диапазонов при низком отношении сигнал/шум в исходном изображении.
Технический результат достигается тем, что заявляемый способ обработки последовательности изображений для обнаружения и слежения за воздушными объектами включает в себя следующие действия:
1) временная фильтрация наблюдаемого изображения l(i,j,n), 
экспоненциальным фильтром, где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2,… - номер кадра;
2) вычитание полученного отфильтрованного изображения 
, умноженного на весовой коэффициент kst (влияющий на компенсацию геометрических искажений) из наблюдаемого изображения l(i,j,n) на текущем кадре n;
3) параллельная двумерная пространственная фильтрация вычисленной временной разности dвр (i,j,n) двумя фильтрами с масками разного вида и размерности;
4) получение разности результатов пространственной фильтрации dпр(i,j,n);
5) оценка дисперсии dпр(i,j,n) во всей обрабатываемой области кадра;
6) получение бинарного изображения r(i,j,n) путем пороговой обработки dпр(i,j,n);
7) морфологическая фильтрация бинарного изображения r(i,j,n);
8) обработка итогового бинарного изображения алгоритмом разметки и параметризации с целью вычисления основных параметров сегментов;
9) принятие решения о наличии объектов в обрабатываемом кадре в соответствии с имеющейся априорной информацией о параметрах сегментов;
10) формирование строба слежения в зависимости от размеров и скорости движения объектов с последующей селекцией объектов в стробе.
Обрабатываемое изображение каждого кадра видеопоследовательности имеет вид матрицы чисел l(i,j,n), 
n=1,2,…. Каждый элемент матрицы l(i,j,n) является результатом квантования по яркости соответствующей точки наблюдаемой сцены.
В соответствии с заявляемым способом выполняют временную фильтрацию наблюдаемого изображения l(i,j,n) экспоненциальным фильтром по формуле, известной из уровня техники [Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. - М.: Радиотехника, 2008]:
где 
, 
- изображения, сглаженные во времени к n-му и n-1 кадру соответственно,
β - коэффициент экспоненциального сглаживания, подбираемый эмпирически. После этого находится разность dвр(i,j,n) между наблюдаемым изображением и изображением, сглаженным во времени к n-му кадру, умноженным на весовой коэффициент kst:
Применение формул (1), (2) при значении весового коэффициента, влияющего на компенсацию геометрических искажений, kst=1 и условии неподвижности фона приводит к существенному подавлению геометрического шума видеодатчика и позволяет повысить контраст изменяющихся областей наблюдаемого изображения. Появление таких областей обусловлено перемещением объекта.
Однако в силу движения видеодатчика наблюдаемые изображения подвергаются воздействию геометрических преобразований. Разработанные алгоритмы компенсации геометрических преобразований изображений требуют дополнительных вычислительных затрат для их реализации и не всегда бывают эффективны при наблюдении изображений, содержащих однородный фон. Положение усложняет тот факт, что объекты, которые требуется обнаруживать, могут быть как движущимися, так и неподвижными. Поэтому применение формулы (2) при единичном коэффициенте kst в случае движения видеодатчика приводит к ухудшению
характеристик обнаружения объектов.
Для обеспечения компромисса между достоинствами и недостатками временной обработки по формулам (1), (2) целесообразно выбирать значения коэффициента kst из диапазона 0,4-0,6. При обнаружении протяженных контрастных объектов временная фильтрация может быть отключена вовсе путем установления kst, равным нулю.
Для более точной оценки яркости объекта и снижения влияния шумов значение анализируемого пикселя усредняется со своими ближайшими соседями, для чего полученная после временной фильтрации разность dвр(i,j,n) обрабатывается линейным усредняющим фильтром, имеющим маску w1(mx,my):
размерности q1×q1.
Параллельно с этим dвр(i,j,n) сглаживается фильтром с маской w2(mx,my)
размерности q2×q2, причем q2>q1.
Данная операция предназначена для оценки фоновой составляющей, содержащейся в dвр(i,j,n), путем усреднения значения каждого пикселя изображения по некоторой окрестности, определяемой видом маски w2(mx,my), при этом размерность применяемой маски зависит от яркостной изменчивости фоновой составляющей и площади наблюдаемого объекта. Наличие нулевых значений в центральной части маски позволяет более точно оценить фоновую составляющую, что в конечном итоге благоприятно сказывается на точности обнаружения объектов, особенно малоразмерных. Максимально точной оценка будет при условии постоянства фона в области изображения, ограниченной размерами маски w2(mx,my).
В соответствии с приведенным выше описанием результат пространственной фильтрации можно представить в следующем виде:
где f1(i,j,n) и f2(i,j,n), 
- выходные изображения, полученные после обработки dвр(i,j,n) фильтрами с масками w1(mx,my)и w2(mx,my) соответственно.
При аппаратной реализации заявляемого способа использование масок вида (3), (4) также позволяет существенно сократить вычислительную трудоемкость процедуры фильтрации, так как операция свертки обрабатываемого изображения фактически не включает операции умножения на весовые коэффициенты. После получения f1(i,j,n) и f2(i,j,n) в результате операции вычитания находится разность результатов пространственной фильтрации dпp(i,j,n) по формуле:
Использование параллельной двумерной пространственной фильтрации временной разности двумя фильтрами с масками разного вида и размерности по формулам (3)-(6) позволяет увеличить отношение сигнал/шум в разности dпp(i,j,n).
Анализ результатов экспериментальных исследований, в частности, проводимых в соответствии с критерием хи-квадрат, показывает, что шум, присутствующий в dпp(i,j,n), можно описать нормальным законом распределения. Операция вычитания фона приводит к тому, что математическое ожидание остаточного шума становится близким к нулевому. Так как яркости точек объекта превышают яркости точек, относимых к шуму, и расположены на краях гистограммы dпp(i,j,n), то объект можно выделить с помощью пороговой обработки после оценки дисперсии полученной разности dпp(i,j,n) по следующему решающему правилу:
.
где k - пороговый коэффициент,
- оценка среднеквадратического отклонения шума (дисперсия), вычисляемая во всей области кадра.
Если значение модуля разности в точке с координатами (i,j) превосходит порог, то принимается решение о принадлежности этой точки объекту, в противном случае - фону. Пороговый коэффициент k подбирается эмпирическим путем и для большинства практических ситуаций лежит в диапазоне от 3 до 5.
Часто на изображениях, полученных от инфракрасных видеодатчиков, объекты заметно светлее фона. Это обстоятельство может быть обусловлено, например, тем, что на большинстве наблюдаемых летательных аппаратов устанавливаются поршневые или реактивные двигатели, сильно излучающие в ИК-диапазоне. При наличии априорных сведений о яркостях объектов следует выполнять отсечение отрицательных значений в разности dпp(i,j,n).
В этом случае решающее правило (7) примет вид:
Бинаризация по правилу (8) приводит к уменьшению вероятности ложных тревог при одинаковой вероятности правильного обнаружения по сравнению с (7).
После получения бинарного изображения r(i,j,n) необходимо уменьшить степень фрагментации сегментов (связных областей) и подавить точечный шум, для чего осуществляется морфологическая фильтрация бинарных изображений, заключающаяся в последовательном применении операций морфологического закрытия и открытия с квадратным структурирующим элементом заданного размера. Размеры структурирующего элемента выбираются, исходя из имеющейся априорной информации о размерах обнаруживаемых объектов на изображении.
Информация, содержащаяся в бинарном изображении, обладает избыточностью и требует большого количества памяти для хранения. Кроме этого требуется измерить параметры сегментов, порожденных присутствием объектов на наблюдаемом изображении.
К числу основных параметров можно отнести среднюю яркость, средний контраст, координаты вершин, ширину и высоту ограничивающего сегмент прямоугольника, соотношение сторон описанного прямоугольника. Переход от бинарного изображения к представлению результатов обработки в виде списка параметров связных областей изображения производится с помощью процедуры разметки и параметризации. Важным преимуществом, получаемым при использовании данной процедуры, является снижение вычислительных затрат, необходимых для проведения дальнейшего анализа сегментов изображения.
Исходя из параметров найденных сегментов и имеющейся априорной информации, можно принять решение о наличии объектов в обрабатываемой области кадра. Сегменты, не прошедшие проверку, удаляются из дальнейшего рассмотрения.
С целью решения задачи слежения за найденными объектами предлагается использовать следующий алгоритм траекторного анализа. Если при обработке кадра n принимается решение об обнаружении нескольких объектов, вокруг каждого из них строится прямоугольная область, называемая стробом. Центр m-го строба совпадает с центром m-го объекта, а длины его сторон будут зависеть от заданной максимальной скорости перемещения m-го объекта на изображении и его измеренных размеров. На кадре n+1 вычисляются координаты центров всех найденных объектов, попадающих в m-й строб, и находится евклидовое расстояние от них до центра строба. Координаты объекта, имеющего минимальное евклидовое расстояние, принимаются за координаты центра нового m-го строба. Полученное расстояние фактически является скоростью перемещения объекта с номером m за кадр. Длина сторон прямоугольного строба на n+1 кадре будет складываться из измеренной скорости движения объекта, его габаритных размеров на изображении и некоторого заданного постоянного числа, принимаемого за максимальную ошибку измерения. Таким образом, продолжая формирование строба слежения в зависимости от размеров и скорости движения объектов, можно найти траекторию движения m-го объекта в последовательности кадров. В том случае, если центр обнаруженного объекта не попадает ни в один из стробов, то принимается решение о наличии нового объекта на изображении и процедура запускается с начала.
Также возможна ситуация, при которой ни один из центров объектов не попадает в m-й строб. При пропадании информации о координатах m-го объекта положение строба сохраняется неизменным, а его размеры увеличиваются на значение поправки, зависящей от найденной ранее скорости объекта. Если координаты центра объекта не появятся в течение заданного количества кадров, то делается вывод о потере объекта с номером m.
При реализации описываемого способа в оптоэлектронных системах сопровождения слежение, как правило, осуществляется за одним объектом. С целью повышения точностных характеристик в заявляемом способе может быть введен дополнительный канал пространственной фильтрации и пороговой обработки. Первый канал предназначен для выделения и обнаружения объектов, размеры которых лежат в широком диапазоне. Параметры канала фиксированы и не меняются во времени. Параметры дополнительного канала адаптируются для обеспечения лучшего выделения только интересующего объекта. Каждый канал генерирует свое бинарное изображение по формулам (7) либо (8). Для получения результата выделения объектов в виде единого бинарного изображения точки бинарного изображения первого канала, попадающие в область обработки дополнительного канала, замещаются точками изображения с выхода дополнительного канала.
Введем в рассмотрение следующие обозначения q21, k1 и q22, k2 -значения размеров маски w2 и порогового коэффициента первого и дополнительного каналов соответственно.
В обоих каналах осуществляется пространственная обработка по формулам (3)-(8), но значения q21, k1, q22, k2, положения и размеры зон обработки отличаются. Первоначально работает только первый канал, при выделении сегмента, порожденного присутствием интересующего объекта, последний может быть захвачен на сопровождение. В этом случае включается дополнительный канал, зона пространственной обработки которого соответствует стробу слежения за интересующим объектом. Размер маски фильтра q22 на следующем после включения дополнительного канала кадре выбирается, исходя из формул:
где 
- измеренное значение высоты объекта на изображении,
- измеренное значение ширины объекта на изображении,
kсл - коэффициент сглаживания маски фильтра.
Подстройка значений порогового коэффициента k2(n+1) в канале слежения в кадре n+1 осуществляется по формуле (10) в зависимости от количества обнаруженных объектов. Значения k2(n+1) ограничивается некоторым диапазоном [k2min, k2max]:
где [k2min, k2max] - диапазон изменения значений k2(n+1),
a - шаг,
k2(n) - значение порогового коэффициента в дополнительном канале на кадре n,
К2(n)- количество объектов в дополнительном канале, найденное на кадре n.
Эксперименты показывают, что введение дополнительного канала, где осуществляется пространственная фильтрация и пороговая обработка в области, ограниченной стробом слежения, с замещением тех точек в выходном бинарном изображении, которые попадают в зону обработки, с подстройкой маски фильтра в зависимости от измеренных размеров объекта и подстройкой порогового коэффициента в зависимости от количества обнаруженных объектов, увеличивает время уверенного слежения за интересующим объектом и уменьшает количество срывов.
Предлагаемый способ обработки последовательности изображений для обнаружения и слежения за воздушными объектами может быть реализован на базе персональной электронной вычислительной машины (ПЭВМ) общего назначения, осуществляющей обработку изображений, поступающих от цифровой видеокамеры или от аналоговой видеокамеры через плату оцифровки изображения.
В случаях, когда использование ПЭВМ общего назначения невозможно (например, в бортовых системах обработки видеоизображений), предлагаемый способ может быть реализован в реальном масштабе времени на базе программируемых логических интегральных схем (ПЛИС), либо совместного использования ПЛИС и специализированных цифровых процессоров обработки сигналов.
Использование предлагаемого способа в системах обработки видеоизображений реального времени (при этом считается, что обрабатывается стандартный телевизионный кадр, частота дискретизации составляет 25 кадров в секунду) позволяет повысить точность обнаружения и слежения за мало- и крупноразмерными воздушными объектами, наблюдаемыми на телевизионных и тепловизионных изображениях при низких отношениях сигнал/шум, в том числе при высоком уровне структурного шума датчика изображений. Для оценки точности обнаружения и слежения за воздушными объектами проводились экспериментальные исследования, результаты которых сведены в таблицу 1, при этом значение q1 принималось равным 3, значение q2 выбиралось из диапазона 9-31.
Заметим, что под отношением сигнал/шум понимается отношение контраста объекта к среднеквадратическому отклонению яркости изображения в окрестности объекта. Частота правильного обнаружения вычислялась в эксперименте как отношение числа кадров, на которых объект был обнаружен, к общему числу кадров видеопоследовательности. Под срывом слежения понималось превышение расстояния между эталонными и измеренными координатами центра объекта на величину, равную диагонали прямоугольника, ограничивающего эталонное изображение объекта. Количество срывов определялось как количество кадров, на которых объект не был найден, но при этом был обнаружен на предыдущем кадре.
| Таблица 1 | |||
| Результаты экспериментальных исследований точности обнаружения и слежения за воздушными объектами | |||
| Тип фона | Отношение сигнал/шум | Количество срывов слежения на 1000 кадров | Частота правильного обнаружения |
| Ясное небо | 2,5-3,5 | 2-4 | 0,87-0,92 |
| 3,5-6 | 0,5-2 | 0,92-0,98 | |
| 6 и выше | 0-0,5 | 0,98-1 | |
| Облачное небо | 2,5-3,5 | 9-15 | 0,71-0,8 |
| 3,5-6 | 3-9 | 0,8-0,89 | |
| 6 и выше | 0-3 | 0,89-1 |
Заявляемый способ отличается невысокой вычислительной сложностью и может быть реализован на существующей и перспективной элементной базе.
1. Способ обработки последовательности изображений для обнаружения и слежения за воздушными объектами, заключающийся в том, что последовательно выполняют временную фильтрацию наблюдаемого изображения, формируемого датчиками телевизионного и/или инфракрасного диапазонов, экспоненциальным фильтром, вычисление разности между наблюдаемым изображением и полученным сглаженным во времени изображением, умноженным на весовой коэффициент, параллельную двумерную усредняющую пространственную фильтрацию временной разности двумя фильтрами с масками разного вида и размерности, получают разность результатов пространственной фильтрации, находят оценку среднеквадратического отклонения шума, вычисляемую по всей области кадра, которую используют в операции пороговой обработки разности результатов пространственной фильтрации с получением бинарного изображения, подвергаемого операциям морфологического закрытия и открытия с квадратным структурирующим элементом, выполняют процедуру разметки и параметризации бинарного изображения, полученного после морфологических операций, получают списки параметров связных областей изображения, по которым принимают решение о наличии объектов в обрабатываемой области кадра изображения, после чего формируют строб слежения для каждого обнаруженного объекта в зависимости от его размеров и скорости движения с последующей селекцией объектов в стробе.
2. Способ по п.1, отличающийся тем, что пространственная фильтрация и пороговая обработка, осуществляемая в области, ограниченной стробом слежения, выполняется в дополнительном канале пространственной фильтрации и пороговой обработки с замещением тех точек в выходном бинарном изображении, которые попадают в зону обработки, при этом подстройка размеров маски фильтра дополнительного канала производится в зависимости от измеренных размеров объекта, а подстройка значений порогового коэффициента осуществляется в зависимости от количества обнаруженных объектов.
