Способ обработки сигналов для определения параметров геометрических искажений фона в последовательности телевизионных изображений

Изобретение относится к цифровой обработке изображений и может быть использовано в охранных системах, системах технического зрения, системах космического мониторинга Земли и др. Технической результат заключается в повышении точности определения параметров геометрических преобразований за счет выбора наилучших опорных участков и повышении точности вычисления их координат. Для чего выбирают на изображении первого кадра М_эт опорных участков, где М_эт=4, 5,…, назначают первые М_эт-1 участков основными, а последний - поисковым. Принимают изображения опорных участков на первом кадре за эталонные. Определяют положения опорных участков с субпиксельной точностью по данным каждого кадра за время между приемом текущего и следующего кадра. Определяют с помощью координат опорных участков на текущем и предыдущем кадре параметры сдвига и поворота фонового изображения относительно предыдущего и первого кадра. 4 з.п. ф-лы.

 

Изобретение относится к цифровой обработке изображений и может быть использовано в охранных системах, системах технического зрения, системах космического мониторинга Земли и др.

Известен способ обработки сигналов для выделения объектов, наблюдаемых в последовательности телевизионных изображений [Пат. РФ №2311684, Бюл. №33, 27.11.2007], состоящий в том, что запоминается первый кадр обрабатываемой последовательности в качестве фонового изображения, определяются параметры сдвига и поворота изображения текущего кадра относительно эталонного изображения, при этом угол поворота изображения текущего кадра относительно эталонного изображения определяется до вычисления параметров сдвига изображения, а затем вычисляются параметры сдвига изображения текущего кадра относительно эталонного изображения с субпиксельной точностью, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения.

Недостатками указанного способа являются высокие вычислительные затраты, а также отсутствие механизма отсеивания участков изображения, содержащих движущиеся объекты.

Известен способ обработки сигналов для совмещения наблюдаемых телевизионных изображений [Ranganath H.S., Borland J.S., Malcolm W.W. Feature extraction technique for fast digital image registration: SOUTHEASTCON, Proceedings of the Region 3 Conference and Exhibit, 1980. - Pp.225-228], состоящий в том, что запоминается исходное изображение, на нем выделяются наиболее информативные участки изображения, запоминается текущее изображение, производится корреляционная обработка выбранных участков с целью установления соответствия текущего и исходного изображений.

Недостатком данного способа является несовершенство метода выделения опорных участков, а также то, что он не учитывает возможность поворота текущего изображения относительно исходного.

Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ обработки сигналов для определения координат объектов, наблюдаемых в последовательности телевизионных изображений [Пат. РФ №2193825, Бюл. №33 27.11.2002], состоящий в том, что принимаются и запоминается сигналы текущего телевизионного изображения, на изображении выбираются 2-N ориентиров, причем N=3, 4, 5,…, формируются сигналы несходства телевизионных изображений 2·N ориентиров текущего телевизионного изображения и телевизионных изображений 2·N ориентиров предыдущего телевизионного изображения, определяются смещения телевизионных изображений 2·N ориентиров текущего телевизионного изображения относительно телевизионных изображений 2-N ориентиров предыдущего телевизионного изображения, на их основе определяют перемещение и крен поля текущего изображения за время между приемом предыдущего и текущего изображений.

Недостатком данного способа является несовершенство метода определения ориентиров, невозможность определения параметров смещения и поворота изображения с малым количество ориентиров, недостаточная точность определения смещения ориентиров.

Технической задачей изобретения является повышение точности определения параметров геометрических преобразований за счет выбора наилучших опорных участков и повышения точности вычисления их координат.

Технический результат, достигаемый при осуществлении заявленного изобретения, заключается в принятии и аналого-цифровом преобразовании сигнала изображения каждого кадра, выборе на первом кадре обрабатываемой последовательности М_эт опорных участков, где М_эт=4, 5, назначении первых М_эт-1 участков основными, а последнего - поисковым, определении положения опорных участков с субпиксельной точностью по данным каждого кадра за время между приемом текущего и следующего кадра, определение на основе координат опорных участков на текущем и предыдущем кадре параметров сдвига и поворота фонового изображения относительно предыдущего изображения, вычисление параметров сдвига и поворота фонового изображения относительно первого кадра, взаимозамене опорного участка, имеющего наибольшую невязку, и поискового опорного участка, замене поискового опорного участка на произвольный участок текущего изображения, не пересекающийся с основными опорными участками и находящийся на достаточном удалении от границ изображения, замене опорных участков, находящихся на небольшом удалении от границ кадра, на произвольные участки текущего изображения, не пересекающиеся с основными опорными участками и находящиеся на достаточном удалении от границ изображения, проведении межкадровой экспоненциальной фильтрации эталонных изображения опорных участков.

Способ обработки сигналов для определения параметров геометрических искажений фона в последовательности телевизионных изображений включает в себя выполнение следующих действий.

Производится прием и аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности. Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел l(i, j, n), , где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3,… - номер кадра. Каждый элемент матрицы l(i, j, n) является результатом квантования яркости соответствующей точки наблюдаемой сцены.

Осуществляется выбор на изображении первого кадра М_эт опорных участков, где М_эт=4, 5,…. Для этого на первом кадре изображения формируется зона выбора опорных участков Z(n). Она включает в себя точки z(i, j, n) изображения l(i, j, n) первого кадра, отвечающие следующим условиям:

где р - параметр, характеризующий минимальное удаление опорного участка от границ кадра.

Зона поиска первого опорного участка Z₁(n) полностью соответствует выбранной зоне поиска Z(n). Зоны поиска всех опорных участков, исключая первый, формируются по правилу:

,

где - номер опорного участка;

ω_m(n) - множество точек, принадлежащих эталону w_m(α, β, n);

А\В - операция исключения точек множества В из множества A.

Опорный участок w_m(α, β, n) выбирается в зоне поиска Z_m(n) по следующему правилу:

где

при i, j∈Z_m(n), - матрица значений критерия выбора

a_m, b_m - размеры опорного участка;

i, j - координаты центра текущего опорного участка;

- среднее значение яркости по текущему опорному участку.

Производится назначение первых М_Эт - 1 участков основными, а последнего - поисковым. Изображения опорных участков на первом кадре принимаются за эталонные изображения w_m(α, β, n).

Обработка каждого кадра наблюдаемой последовательности изображений, начиная со второго, начинается с предварительной оценки положения изображений опорных участков , . Определение предварительных оценок координат всех опорных участков на текущем изображении кадра производится по правилу:

где

- разностная критериальная функция;

w_m(α, β, n) - изображение m-го опорного участка в n-м кадре;

W_m (n) - зона поиска m-го опорного участка в n-м кадре.

Зона поиска W_m(n) представляет собой прямоугольную область изображения, центр которой находится в точке (i_m(n-1), j_w(n-1)), а размеры I_w, J_w заданы заранее и одинаковы для всех опорных участков.

Для уточнения предварительных оценок положения опорных участков производится определение субпиксельных поправок оценок координат δi_m(n), δj_m(n) всех опорных участков на текущем изображении кадра.

Субпиксельные поправки определяются из значений критериальной функции, аппроксимированной в ближайшей окрестности точки полиномом второго порядка:

;

.

Итоговые оценки положения опорных участков , на текущем изображении кадра вычисляются по следующему правилу:

,

.

Используя полученные оценки положения опорных участков, столбец , содержащий предварительные оценки параметров смещения и поворота текущего изображения относительно предыдущего, вычисляется по следующему правилу:

,

(m=1,2,…,М_эт)

где А^- - операция псевдообращения матрицы А.

Так как , то значения будут оцениваться приближенно.

Исходя из этого, выполняется вычисление столбца невязки оценки D(n) по значениям и , следующим образом:

.

(m=1,2,…,М_эт)

Так как опорный участок с наибольшим суммарным абсолютным значением невязки наиболее вероятно будет вносить наибольшую ошибку в оценку положения изображений опорных участков, то его номер m_d определяется по следующему правилу:

.

Из рассмотрения исключается поисковый опорный участок, а также участок с номером m_d. В том случае, когда m_d=М_эт, ни один основной опорный участок из рассмотрения не исключается. По оценкам координат оставщихся основных опорных участков вычисляются итоговые оценки параметров смещения и поворота текущего изображения относительно предыдущего по следующему правилу:

.

(m=1,2,…, m_d-1, m_d+1,…, М_эт-1)

Значения параметров сдвига Δi(n), Δj(n) и поворота Δφ(n) фона текущего изображения относительно фона первого кадра вычисляются по правилу:

,

,

В случае, когда , наибольшую суммарную абсолютную невязку имеет основной опорный участок . Этот участок с поисковым опорным участком заменяется один на другой по следующему правилу:

,

,

.

Так как поисковый опорный участок подлежит замене каждый кадр, то присвоение ему данных заменяемого им основного опорного участка не требуется.

Поисковый опорный участок и все основные опорные участки w_k(α, β, n), расположенные на расстоянии менее р пикселей от границ изображения, необходимо заменить на опорные участки, выбираемые в зонах поиска Z_k(n) случайным образом. При этом зоны поиска Z_k(n) формируются на основе Z(n) последовательным исключением из нее всех опорных участков, остающихся неизменными, а также всех уже выбранных эталонов.

Производится межкадровая экспоненциальная фильтрация эталонных изображений опорных участков, не подвергавшихся замене, по следующему правилу:

,

где k_ф∈[0, 1] - коэффициент межкадровой фильтрации эталонных изображений опорных участков.

Таким образом, отличия заявляемого способа от прототипа состоят в следующем:

1) наличии улучшенного метода выбора опорных участков;

2) наличии поискового опорного участка и процедуры, позволяющих адаптировать алгоритм к изменениям наблюдаемого изображения;

3) вычислении координат опорных участков с субпиксельной точностью;

4) возможности определения параметров смещения и поворота фона на изображении с малым количеством ориентиров.

1. Способ обработки телевизионных сигналов для определения параметров геометрических искажений фона в последовательности телевизионных изображений, заключающийся в приеме и аналого-цифровом преобразовании сигнала изображения каждого кадра, определении параметров сдвига и поворота изображения текущего кадра относительно первого кадра, отличающийся тем, что на изображении первого кадра выбирают М_эт опорных участков, где М_эт=4, 5,…, назначают первых М_эт-1 участков основными, а последний - поисковым, принимают изображения опорных участков на первом кадре за эталонные, определяют положение опорных участков с субпиксельной точностью по данным каждого кадра за время между приемом текущего и следующего кадра, взаимозаменяют опорный участок, имеющий наибольшую невязку и поисковый опорный участок, заменяют поисковый опорный участок на произвольный участок текущего изображения, не пересекающийся с основными опорными участками и находящийся на достаточном удалении от границ изображения, заменяют опорные участки, находящиеся на небольшом удалении от границ кадра, на произвольные участки текущего изображения, не пересекающиеся с основными опорными участками и находящиеся на достаточном удалении от границ изображения, проводят межкадровую экспоненциальную фильтрацию эталонных изображений опорных участков.

2. Способ по п.1, отличающийся тем, что m-й опорный участок выбирают в первом кадре последовательности по правилу:

где
при i, j∈Z_m(n) - матрица значений критерия;
n - текущий номер кадра;
l(α, β, n) - текущее изображение;
a_m, b_m - размеры опорного участка;
i, j - координаты центра текущего опорного участка;

- среднее значение яркости по текущему опорному участку;
Z_m (n) - зона выбора опорных участков.

3. Способ по п.1, отличающийся тем, что координаты m-го опорного участка , , в n-м кадре вычисляются по правилу:

,
где δi_m(n), δj_m(n) - субпиксельные поправки оценок координат m-го опорного участка;

- предварительные оценки координат m-го опорного участка;
- разностная критериальная функция;
w_m (α, β, n) - изображение m-го опорного участка в n-м кадре;
W_m(n) - зона поиска m-го опорного участка в n-м кадре.

4. Способ по п.3, отличающийся тем, что вычисление субпиксельных поправок оценок координат m-го опорного участка производится по следующему правилу:
;
.

5. Способ по п.1, отличающийся тем, что вычисление параметров сдвига (Δi(n), Δj(n)) и поворота Δφ фонового изображения относительно первого кадра производится на основе столбца итоговых оценок параметров геометрических преобразований по следующему правилу:
,
,
,
где
-
(m=1, 2,…,m_d-1,m_d+1…,M_эm-1)
столбец итоговых оценок параметров геометрических преобразований;
А^- - операция псевдообращения матрицы;
- номер элемента с наибольшей невязкой;
-
(m=1, 2,…М_эm)
столбец невязок;
-
(m=1, 2,…,М_эm)
столбец предварительных оценок параметров геометрических преобразований.