Способ обнаружения объектов, определения их геометрической формы и ориентации на изображениях
Владельцы патента RU 2623891:
Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации (RU)
Изобретение относится к автоматике и вычислительной технике и может быть использовано при построении интеллектуальных систем технического зрения, видеонаблюдения, видеоконтроля. Техническим результатом является повышение информативности при обнаружении объекта в текущем кадре видеопоследовательности, за счет определения геометрической формы обнаруженного объекта и его ориентации на изображении. Предложен способ обнаружения объектов, определения их геометрической формы и ориентации на изображениях. Способ основан на инициализации соседних кадров в предыдущий и текущий моменты времени, вычитании постоянной составляющей яркости кадров, измерении энергетического спектра данных кадров и представлении их в виде Si,j-матрицы, элементами которой являются коэффициенты разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам. При условии обнаружения объекта находят три коэффициента матрицы текущего кадра, сравнивают с коэффициентами матрицы эталонов, ранее сохраненной в базе данных, и определяют геометрическую форму обнаруженного объекта. По соотношениям коэффициентов матрицы текущего кадра между собой определяют ориентацию объекта на изображении. 1 ил.
Изобретение относится к автоматике и вычислительной технике и может быть использовано при построении интеллектуальных систем технического зрения, видеонаблюдения, видеоконтроля, а также для решения задачи автоматизированного обнаружения, определения геометрической формы и ориентации объектов на изображениях по видеопоследовательности.
Известен способ обнаружения появления объектов на изображениях (см. патент RU 2465649 С1, 27.10.2012 г. «Способ обнаружения появления объектов на изображениях»), основанный на инициализации соседних кадров в предыдущий и текущий в моменты времени tk и tk+1 соответственно, вычитании из полученных кадров постоянной составляющей яркости (средней яркости кадров), измерении энергетического спектра данных кадров и представлении в виде Snp-матрицы предыдущего и Smек-матрицы текущего кадров, каждая размерностью q×q, где , Q - количество коэффициентов разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам, определении характеристики δ2 и δ3 как отношения главных миноров Snp-матрицы предыдущего и Smек-матрицы текущего кадров, определении разности отношений соответствующих главных миноров для двух соседних кадров и сравнении полученной разности с порогом, принимая решение об обнаружении появления объекта в текущем кадре изображения.
Недостатком данного способа является низкая его информативность, так как в способе отсутствует информация о геометрической форме и ориентации обнаруженного объекта.
Известен способ поиска и распознавания объектов на изображениях (см. патент RU 2458397 С1, 10.08.2012 «Способ поиска и распознавания объектов на цифровых изображениях»), основанный на измерении энергетического спектра входного изображения и представлении его в виде Sвх-матрицы, выполнения адаптивной пространственной фильтрации входного изображения и сравнения его с эталонным изображением объекта.
Недостатком данного способа является наличие процедуры пространственной фильтрации входного изображения, повышающей алгоритмическую сложность и время вычислений, а также отсутствие информации об ориентации обнаруженного объекта.
Техническим результатом предлагаемого способа является повышение информативности при обнаружении объекта в текущем кадре видеопоследовательности, за счет определения геометрической формы обнаруженного объекта, путем сравнения трех коэффициентов s0,-1, s-1,0 и s-1,-1 Si,j-матрицы текущего кадра с коэффициентами s0,-1, s-1,0 и s-1,-1 Si,j-матрицы эталонов (изображений элементарных геометрических фигур, с помощью которых может быть сформировано эталонное изображение любого объекта в рамках решаемых системой задач), а по соотношениям данных коэффициентов его ориентации на изображении.
Указанный технический результат достигается тем, что в предлагаемом способе обнаружения объектов, определения их геометрической формы и ориентации на изображениях вычитается постоянная составляющая (средняя яркость) входного изображения, измеряется его энергетический спектр, который представляется в виде Si,j-матрицы, элементами которой являются коэффициенты разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам, вычисляется функция отношений главных миноров - 
в точках δ(2) и δ(3) соседних кадров в предыдущий и текущий моменты времени tk и tk+1 соответственно, вычисляются их соответствующие разности, которые сравниваются с порогом, при превышении которого делается вывод об обнаружении, сравниваются три коэффициента s0,-1, s-1,0 и s-1,-1 Si,j-матрицы изображения с обнаруженным объектом, с записанными в запоминающее устройство коэффициентами s0,-1, s-1,0 и s-1,-1 эталонных изображений, при этом определяется геометрическая форма обнаруженного объекта, а на основании соотношения данных коэффициентов между собой определяется и его ориентация.
Сущность предлагаемого способа заключается в следующем:
- обнаружение объекта на изображении осуществляется по способу, описанному в патенте RU 2465649 C1, 27.10.2012 г. «Способ обнаружения появления объектов на изображениях»;
- определение геометрической формы объекта осуществляется на основании сравнения значений коэффициентов s0,-1, s-1,0 и s-1,-1 изображения с обнаруженным объектом с записанными ранее соответствующими коэффициентами эталонов (изображений геометрических фигур), а определение его ориентации за счет соотношения данных коэффициентов между собой (см. Богословский Е.А., Четвертаков А.Н. Использование элементов S-матрицы входного сигнала для распознавания объектов на цифровых изображениях // Электромагнитные волны и электронные системы, 2014, №12. С. 15-18).
Контролируют текущий кадр видеопоследовательности с обнаруженным объектом определенной геометрической формы и ориентации.
Способ может быть реализован, например, с помощью устройства, структурная схема которого представлена на фигуре 1, где обозначены:
1 - система формирования входного цифрового изображения (цифровая видеокамера);
2 - блок вычитания постоянной составляющей яркости изображения (кадра);
3 - блок временной задержки, в котором входное цифровое изображение задерживается на время обработки;
4 - блок измерения коэффициентов s0,-1, s-1,0 и s-1,-1 кадра видеопоследовательности (измеряют по одному из способов, описанных в патентах RU 2373544 С1, 05.11.2008 «Способ измерения параметров энергетического спектра изображения» или RU 2370780 С1, 25.07.2008 «Способ измерения параметров энергетического спектра двумерного сигнала»);
5 - оперативное запоминающее устройство, в которое записываются измеренные коэффициенты s0,-1, s-1,0 и s-1,-1 кадра видеопоследовательности;
6 - база данных (память) коэффициентов s0,-1, s-1,0 и s-1,-1 эталонов;
7 - блок вычисления характеристик δ(2) и δ(3) в моменты времени tk и tk+1 соответственно;
8 - оперативное запоминающее устройство, в которое записываются вычисленные характеристики 
и 
в момент времени tk;
9 - блок определения разностей характеристик δ(2) и δ(3) в моменты времени tk и tk+1 соответственно (схема вычитания);
10 - блок пороговой обработки (схема определения порога - H0);
11 - блок (схема сравнения) обнаружения объектов (если |Н2| или |H3|>H0);
12 - блок определения геометрической формы и ориентации объектов (сравнение измеренных и записанных коэффициентов s0,-1, s-1,0 и s-1,-1 текущего кадра видеопоследовательности с соответствующими коэффициентами базы данных эталонов);
13 - видеоконтрольное устройство (монитор), на котором выводится исходное (необработанное) изображение с окном геометрической формы обнаруженного объекта и его ориентацией.
Схема устройства, представленная на фигуре 1, характеризуется следующим порядком работы.
С выхода блока 1 на вход блока 2 подается цифровое изображение эталона (изображения элементарных геометрических фигур), далее в блоке 2 вычитается постоянная составляющая яркости изображения и с его выхода изображение без постоянной составляющей подается на вход блока 4, где измеряются коэффициенты s0,-1, s-1,0 и s-1,-1 эталонов, которые далее с выхода 1 блока 4 поступают на вход блока 5, где они записываются и передаются (пунктирная линия) в базу данных, где они хранятся в памяти, для последующего сравнения (обнаружения объектов на изображениях).
Режим обнаружения объектов, определения их геометрической формы и ориентации на изображениях можно реализовать следующей последовательностью:
1) изображение реальной сцены поступает на блок 1;
2) далее цифровое изображение, в виде значений яркостей пикселей с выхода блока 1, подается на вход блока 2 и блока 3, где соответственно вычитается его постоянная составляющая яркости и происходит задержка текущего кадра на время, необходимое для обработки (обнаружения объектов на изображениях, определения их геометрической формы и ориентации);
3) с выхода блока 2 изображение без постоянной составляющей яркости поступает на вход блока 4, где измеряются коэффициенты s0,-1, s-1,0 и s-1,-1 кадра видеопоследовательности, например, по способу, описанному в патенте RU 2373544 C1, 05.11.2008 «Способ измерения параметров энергетического спектра изображения»;
4) далее измеренные коэффициенты s0,-1, s-1,0 и s-1,-1 кадра видеопоследовательности с выхода 1 блока 4 поступают на вход блока 5, где они записываются и хранятся для определения геометрической формы и ориентации объектов, а с выхода 2 блока 4 они подаются на вход блока 7, где происходит определение характеристик δ(2) и δ(3) в моменты времени tk и tk+1 соответственно;
5) далее, вычисленные в момент времени tk характеристики 
и 
с выхода 1 блока 7 поступают на вход блока 8, где они записываются и хранятся, а с выхода 2 блока 7 вычисленные в момент времени tk+1 характеристики 
и 
поступают на 2 вход блока 9, на 1 вход которого с выхода блока 8 подаются записанные ранее характеристики и ;
6) в блоке 9 определяются разности характеристик δ(2) и δ(3) в моменты времени tk и tk+1 соответственно по формулам 
и 
;
7) далее вычисленные разности H2 и H3 с выхода блока 9 поступают на вход блока 10, где определяется значение величины порога H0 по формуле 
;
8) с выхода блока 10 значение величины порога H0 поступает на вход блока 11, где принимается решение об обнаружении объекта на изображении по правилу |H2|>H0 или |H3|>Н0;
9) далее с выхода 1 блока 11 на 3 вход блока 12 подается управляющее воздействие, а с выхода 2 блока 11 подается информация об обнаружении объекта на 1 вход блока 13;
10) в блоке 12 на основании управляющего воздействия происходит определение геометрической формы обнаруженного объекта, путем сравнения трех коэффициентов s0,-1, s-1,0 и s-1,-1 Si,j-матрицы изображения с обнаруженным объектом, поступающим с выхода блока 5 на 1 вход блока 12, с записанными в базе данных коэффициентами, s0,-1, s-1,0 и s-1,-1 эталонных изображений, поступающими с выхода блока 6 на 2 вход блока 12, а также определяется ориентация объекта на изображении по соотношениям коэффициентов s0,-1, s-1,0 и s-1,-1 Si,j-матрицы изображения с обнаруженным объектом между собой;
11) с выхода блока 12 информация об обнаруженном объекте (вид объекта - геометрическая форма, и его ориентация - угол между осью объекта и горизонтальной прямой) поступает на 2 вход блока 13, куда на 3 вход подается необработанное изображение с выхода блока 3;
12) с выхода блока 13 информация об обнаруженном объекте, его геометрической форме и ориентации поступает потребителю.
Применение данного способа обнаружения объектов, определения их геометрической формы и ориентации на изображениях позволит определить как геометрическую форму обнаруженного объекта, так и его ориентацию на изображении, то есть повысить информативность изображений, обладающих сложным неоднородным фоном.
Проведенный заявителями анализ уровня техники, включающий поиск по патентным и научно-техническим источникам информации и выявлению источников, содержащих сведения об аналогах изобретения, позволил установить, что заявители не обнаружили аналогов, характеризующихся признаками, тождественными всем существенным признакам изобретения.
Следовательно, заявленное изобретение «Способ обнаружения объектов, определения их геометрической формы и ориентации на изображениях» соответствует критерию «новизна».
Способ обнаружения объектов, определения их геометрической формы и ориентации на изображениях, основанный на инициализации соседних кадров в предыдущий и текущий моменты времени, вычитании постоянной составляющей яркости кадров, измерении энергетического спектра данных кадров и представлении их в виде Si,j-матрицы, элементами которой являются коэффициенты разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам, вычисление функции отношений главных миноров в точках δ(2) и δ(3) соседних кадров в предыдущий и текущий моменты времени tk и tk+1 соответственно, вычисление их соответствующих разностей, которые сравниваются с порогом, при превышении которого, принимают решение об обнаружении объекта на изображении, отличающийся тем, что при условии обнаружения объекта находят три коэффициента s0,-1, s-1,0 и s-1,-1 Si,j-матрицы текущего кадра, сравнивают с коэффициентами s0,-1, s-1,0 и s-1,-1 Si,j-матрицы эталонов, ранее сохраненной в базе данных, и определяют геометрическую форму обнаруженного объекта, а по соотношениям коэффициентов s0,-1, s-1,0 и s-1,-1 Si,j-матрицы текущего кадра между собой определяют ориентацию объекта на изображении.
