Устройство обнаружения и определения координат объекта на изображении

 

Изобретение относится к технике цифровой обработки изображений и может быть использовано в системах технического зрения. Целью изобретения является повышение точности определения координат объекта. Устройство обнаружения и определения координат объекта на изображении содержит четыре блока памяти 1, 6, 8 и 9, блок 2 вычисления оценок яркости элементов изображений, коммутатор 3, блок 4 оценки параметров движения, блок 5 классификации объектов, блок дифференцирования 7, блок адресации 10, блок управления 11 и блок 12 координатных регистров . Цель изобретения достигается тем, что в устройстве в зависимости от режима работы выполняется линейная либо нелинейная оценка параметров траектории движения объекта, классификация элементов изображения на множество точек фона и объекта межкадровая фильтрация элементов изображений фона и объекта. 11 ил. сл С

СОЮЗ СОВЕТСКИХ

СОЦИАЛИСТИЧЕСКИХ

РЕСПУБЛИК

ГОСУДАРСТВЕННЫЙ КОМИТЕТ

ПО ИЗОБРЕТЕНИЯМ И ОТКРЫТИЯМ

ПРИ ГКНТ СССР

ОПИСАНИЕ ИЗОБРЕТЕНИЯ

К АВТОРСКОМУ СВИДЕТЕЛЬСТВУ (21) 4819727/09 (22) 27.04.90 (46) 30.05.92. Бюл, ¹ 20 (71) Рязанский радиотехнический институт (72) Б. А. Алпатов, Э. Т. Либияйнен и С. Ю. Хлудов (53) 621.397(088.8) (56) Авторское свидетельство СССР

N- 1427396,,кл. G 06 К 9/36, 1987. (54) УСТРОЙСТВО ОБНАРУЖЕНИЯ И ОПРЕДЕЛЕНИЯ КООРДИНАТ ОБЪЕКТА НА

И 3 ОБ РАЖЕ Н ИИ (57) Изобретение относится к технике цифровой обработки изображений и может быть использовано в системах технического зрения, Целью изобретения является повышение точности определения координат

Изобретение относится к технике цифровой обработки изображений и может быть использовано в системах технического зрения.

Известно устройство (1), содержащее аналого-цифровой преобразователь, три блока памяти, блок вычисления корреляции, вентиль и блок управления, Недостатком устройства является невысокая точность определения координат объекта, обусловленная наличием участков фона, а также аддитивных помех в эталонном изображении объекта.

Известно устройство (2), содержащее блок входной памяти, блок оперативной памяти, блок оперативной памяти для хранения корреляционных оценок, коррелятор, блокадресации, блокуправления, в котором в каждом кадре координаты объекта опреде(19) (11)! (я>з Н 04 N 7/18, G 06 К 9/36 объекта. Устройство обнаружения и определения координат объекта на изображении содержит четыре блока памяти 1, 6, 8 и 9, блок 2 вычисления оценок яркости элементов изображений, коммутатор 3, блок 4 оценки параметров движения., блок 5 классификации объектов, блок дифференцирования 7, блок адресации 10, блок управления 11 и блок 12 координатных регистров. Цель изобретения достигается тем, что в устройстве в зависимости от режима работы выполняется линейная либо нелинейная оценка параметров траектории движения объекта, классификация элементов изображения на множество точек фона и объекта межкадровая фильтрация элементов изображений фона и объекта. 11 ил. ляются путем отыскания глобального минимума меры отличия из двух множеств корреляционных оценок. Первое множество определяют путем сравнения эталона с реальным текущим изображением, а второе путем сравнения эталона с размасштабированным текущим изображением, при этом направление размасштабирования определяется тем, приближается или удаляется объект. Недостатком устройства является невысокая точность определения координат. объекта, вызванная тем, что в эталоне не учитываются изменения формы и яркости текущего изображения объекта. Кроме того, в эталоне наряду с искомым объектом присутствуют участки фона и аддитивные помехи, искажающие эталонное иэображение.

Наиболее близким по технической сущности к заявляемому устройству является

1737755

55 выбранное в качестве прототипа устройство для определения положения объекта на изображении (3), содержащее первый блок памяти, блок временного сглаживания, коммутатор, блок управления, второй блок памяти, коррелятор, блок определения координат. Первый вход первого блока памяти является информационным входом устройства, второй вход подключен к первому выходу блока управления, выход первого блока памяти подключен к первому входу блока сглаживания, к первому входу коммутатора и ко второму входу коррелятора. Второй вход блока сглаживания подключен ко второму выходу блока управления, а выход— к третьему входу коммутатора, второй вход которого подключен к пятому выходу блока управления. Выход коммутатора подключен к первому входу второго блока памяти, второй вход которого подключен к третьему выходу блока управления. Выход второго блока памяти подключен к первому входу коррелятора, третий вход коррелятора подключен к четвертому выходу блока управления, а выход — к первому входу блока определения координат, второй вход которого подключен к шестому выходу блока управления. Первый выход блока определения координат подключен к первому входу блока управления, второй выход блока определения координат является информационным выходом устройства, второй вход блока управления является синхронизирующим входом устройства, Недостатком устройства является невысокая точность определения координат объекта на изображении, вызванная тем, что в качестве эталонного изображения объекта используется сглаженное изображение, в котором наряду с искомым объектом присутствуют участки фона. Кроме того, в качестве координат объекта используются координаты центра эталонного изображения, а не некоторой точки объекта, условно принимаемой за его центр. В этом случае при частом обновлении эталона изображение объекта в эталоне смещается из центра к его краям, что приводит к ошибкам в определении его координат, а при отсутствии коррекции положения объекта относительно центра эталона — к срыву сопровождения.

Недостатком устройства является ограничение функциональных возможностей, обусловленных отсутствием возможности автоматического обнаружения малоразмерных объектов и слежения за ними.

Целью изобретения является повышение точности определения координат объекта и расширение функциональных возможностей устройства за счет решения

40 задачи автоматического обнаружения движущихся объектов и обеспечения возможности слежения за малоразмерными объектами.

Это достигается тем, что в устройство, содержащее первый блок памяти, первый вход которого является первым информационным входом устройства, а выход соединен с первыми входами блока вычисления оценок яркости элементов изображений и коммутатора, второй и третий входы коммутатора соединены соответственно с выходом блока вычисления оценок яркости элементов иэображений и первым выходом блока управления, второй выход которого соединен с первым входом второго блока памяти, второй вход которого соединен с выходом коммутатора, и блок координатных регистров, выход которого является выходом устройства, а управляющий вход соединен с третьим выходом блока управления, четвертый выход которого соединен со вторым входом блока вычисления оценок яркости элементов изображений, а вход блока управления является управляющим входом устройства, с целью повышения точности определения координат объекта, введены последовательно соединенные блок адресации, первый вход которого соединен с пятым выходом блока управления, блок дифференцирования, блок оценки параметров движения, второй вход которого соединен с выходом первого блока памяти, и блок классификации, второй вход которого соединен с первым выходом первого блока памяти, второй вход которого является вторым управляющим входом устройства, а также третий и четвертый блоки памяти, при этом шестой, седьмой, восьмой, девятый и десятый выходы блока управления соединены соответственно с третьим входом блока классификации, вторым входом блока оценки параметров движения, третьим входом блока дифференцирования, первым входом четвертого блока памяти и первым входом третьего блока памяти, второй вход которого соединен с выходом коммутатора, третий вход третьего блока памяти соединен с третьим входом второго блока памяти, четвертым входом блока классификации, первым входом первого блока памяти и вторым выходом блока адресации, третий выход которого соединен со вторым входом первого блока памяти, а второй вход соединен со вторым входом блока координатных регистров и вторым выходом блока оценки параметров движения, третий вход которого соединен с третьим входом блока дифференцирования и первым выходом четвертого блока памяти, второй выход которого

1737755

10

55 соединен со вторым входом блока управления,.третий вход которого соединен с первым выходом блока классификации, второй выход которого соединен с третьим входом блока вычисления оценок яркости элементов изображений, четвертый вход которого соединен с пятым выходом блока классификации, выходом второго блока памяти и вторым входом четвертого блока памяти, третий вход которого соединен с шестым входом блока классификации, пятым входом блока вычисления оценок яркости элементов изображений и выходом третьего блока памяти, а четвертый вход соединен с первым выходом блока адресации, третий вход которого является третьим управляющим входом устройства, четвертый выход блока классификации является вторым выходом устройства, На фиг. 1 представлена блок-схема устройства обнаружения и определения координат объекта на изображении; на фиг, 2— схема блока адресации и блока координатных регистров; на фиг. 3 — схема блока вычисления оценок яркости элементов изображений; на фиг, 4 — схема блока дифференцирования; на фиг. 5 — схема блока управления; на фиг. 6- схема первого блока памяти; на фиг. 7- схема блока нелинейного оценивания параметров на фиг. 8 — схема классификации; на фиг. 9 приведены временные диаграммы .сигналов, поясняющие работу устройства; на фиг. 10, 11 — блок-схема алгоритма работы устройства.

Устройство обнаружения и определения координат объекта на изображении (фиг. 1) содержит первый блок 1 памяти, блок 2 вычисления оценок яркости элементов изображений, коммутатор 3, блок 4 оценки параметров движения, блок 5 классификации объектов, второй блок 6 памяти, блок 7 дифференцирования, четвертый блок

8 памяти, третий блок 9 памяти, блок 10 адресации. блок 11 управления и блок 12 координатных регистров.

Блок адресации (фиг. 2) содержит два формирователя адреса (ФА) 13, 14, четыре регистра 15 — 18, четыре сумматора 19-22, три счетчика 23 — 25, компаратор 26 цифровых кодов, два элемента ИЛИ 27, 28, элемент НЕ 29.

Блок координатных регистров (фиг. 2) содержит два регистра 30, 31.

Блок вычисления оценок яркости элементов изображений (фиг. 3) содержит элемент И 32, два регистра 33, 34, мультиплексор 35, вычитатель 36, умножитель 37, сумматор 38.

Блок дифференцирования (фиг. 4) содержит пять регистров 39 — 43, вычитатель

44, блок 45 оперативной памяти (БОП), блок

46 постоянной памяти (БПП), элемент ИЛИ

47.

Блок управления (фиг. 5) содержит формирователь 48 адресов микрокоманд (ФАМ), блок 49 репрограммируемой памяти (БРП), регистр микрокоманды 50, элементы

И 51, 52, триггер 53, элемент И вЂ” Н Е 54, мультиплексор 55 кода условия, счетчик 56, элемент ИЛИ-НЕ 57.

Блок 1 памяти текущего изображения (фиг. 6) содержит два приемопередатчика информации (ППИ) 59, 60, два БОП 61, 62, триггер 63, элемент HE 64.

Блок 8 памяти (фиг. 6) содержит БОП 65 и мультиплексор 66.

Блок оценки параметровдвижения (фиг.

7) содержит регистры 67-81, вычитатели 82—

84, три умножителя 85-87, четыре сумматора 88 — 91, два мультиплексора 92, 93.

Блок классификации (фиг. 8) содержит регистры 94-100, два вычитателя 101, 102, три мультиплексора 103 — 105, четыре сумматора 106-109, четыре компаратора 110-113 цифровых кодов, БОП 114, элементы И 115, 116, счетчики 117, 118, элементы И 119, 120, два умножителя 121, 122, шесть БПП 123—

128.

Устройство обнаружения и определения координат объекта на изображении работает следующим образом. Сигнал А1 (фиг.

9, в) открывает элемент И 52, на вход которого поступает внешний сигнал тактовой частоты А2 типа меандра (фиг, 9, а), задающий частоту работы синхронизируемых элементов устройства. Частота сигнала А2 определяется быстродействием используемой элементной базы. На выходе элемента И 52 формируется сигнал АЗ (фиг. 9, б). Одновременно единичный уровень сигнала А1 поступает на вход R триггера 53 и первый вход элемента И вЂ” HE 54, на второй вход которого подается внешний кадровый синхроимпульс А4 (фиг. 9, д). Единичный уровень очередного кадрового синхроимпульса устанавливает триггер 53 в единичное состояние. В результате этого на выходе триггера

53 формируется сигнал А6 (фиг. 9, г), который открывает элемент И 51 и разрешает прохождение управляющих сигналов У1-У4 на первый управляющий вход ФАМ 48. С этого момента устройство обнаружения и определения координат объекта на изображении начинает работать в соответствии с микпропрограммой, хранящейся в блоке 49 репрограммируемой памяти. Работа устройства организована таким образом, что в течение времени одного кадра производится запись текущего кадра в один из блоков оперативной памяти, например блок 61, 1737755

20

55 блока 1 памяти текущего изображения и одновременно с этим осуществляется обработка предыдущего кадра, записанного в другом блоке оперативной памяти, блока 1., Для синхронизации записи текущего кадра- используются внешние синхронизирующие сигналы: сигнал тактовой частоты

А7 типа меандра (фиг. 9, з), задающий час.тоту дискретизации отсчетов входного цифрового видеосигнала А5, кадровый синхроимпульс А4 (фиг. 9, д), строчной синхро.импульс. А8 {фиг. 9, ж) видеосигнала и шестиразрядный сигнал А14, Эти сигналы управляют счетчиками 23 и 25, формирующими десятиразрядный адресный сигнал

А9 (фиг. 9, р), элементом ИЛИ 27, который формирует нулевой сигнал записи

A10=A7VA4VA8VA12 (фиг. 9, к), счетчиком 24 и цифровым компаратором 26. Счетчик 24, на счетный вход которого поступает строчной синхроимпульс А8, а на вход обнуления сигнал А15 (фиг. 9, м), и цифровой компаратор 26, сравнивающий цифровые значения сигнала А13 (фиг. 9, и), снимаемого с выхода счетчика 24,.и сигнала А14, представляющего коэффициент прореживания строк и, формируют сигнал А11 (фиг. 9, л), который появляется на выходе компаратора 26 в момент равенства цифровых значений сигналов А13. и А14, Сигнал А12=А11 разрешает запись каждой, строки изображения датчика видеосигнала, кратной и, в блоки оператив.ной памяти 61 или 62 блока 1. Сигнал А15 появляется на втором выходе цифрового компаратора 26 в случае, когда цифровое . значение сигнала А13 больше значения сигнала А14.

Счетчик 23, на счетный вход которого поступает сигнал А10, а на вход установки в ноль — сигнал A16=A12VA8, формирует адреса отсчетов сигнала А5 в строке текущего кадра (пять младших разрядов сигнала

А9(А9,1 — А9=5), а счетчик 25, управляемый по входам установки в ноль и счетному входу сигналами А4 и А12, формирует адрес строки текущего кадра (пять старших разрядов сигнала А9(А9=6 — А9=10), Передачу сигналов А9, А10 на управляющие входы БОП 61 или 62 блока 1, выбранного для записи очередного телевизионного кадра, осуществляет четырехканальный приемопередатчик 59 путем коммутации канала В с каналом А или С. Подключение входа выбранного БОП к информационному входу устройства осуществляется с помощью приемопередатчика информации 60 блока 1. Очередностью записи в БОП 60 и 61 последовательно поступающих кадров телевизионного изображения управляют сигналы А17 (фиг. 9, и) и А18=А17. Сигналы А17 и А18 формируются триггером 63, на счетный вход которого поступает инвертированный кадровый синхроимпульс А4.

Канал Х ППИ 60 соединен с информационными входами блоков 2 — 5. При нулевом уровне сигнала А17 канал В ППИ 59 коммутируется с каналом А, а канал Х вЂ” с каналом

С, канал В ППИ 60 коммутируется с каналом

Х, а канал С вЂ” с каналом А. При единичном уровне сигнала А17 все выполняется наоборот.

Канал А ППИ 60 блока i является информационным входом устройства обнаружения и определения координат объекта на изображении, На фиг. 9 показаны временные диаграммы сигналов, поясняющие момент начала работы устройства и процесс записи видеосигнала текущего кадра, например, в БОП

61. Диаграммы сигналов носят качественный характер, при этом считалось, что

0 =300 строк, а размерность текущего кадра 8х8 элементов. Диаграммы разрядов

А9=4, А9=5, A9=9, А9=10 сигнала А9 на фиг.

9 не показаны, поскольку имеют нулевое значение.

В самом первом с начала работы кадре производится только запись телевизионного изображения например в БОП 61. Формирование исходных массивов данных и запись их в соответствующие блоки происходит во время записи второго кадра в БОП

62. Начиная с третьего кадра устройство обнаружения и определения координат объекта на изображении, кроме записи очередного кадра в БОП 61, обрабатывает записанный в БОП 62 предыдущий кадр, Алгоритм обнаружения и определения координат движущегося объекта на изображении, реализованный в заявляемом устройстве, получен из решения задачи слежения как задачи оценки параметров движения и параметров, связанных с изображениями фона и объекта.

Блок-схема алгоритма, реализованного в устройстве обнаружения и определения координат объекта на изображении, приведена на фиг. 10, 11. Первая часть алгоритма (фиг, 10) соответствует работе устройства в режиме автоматического обнаружения и завязки траектории обнаруженного объекта.

На фиг. 11 приведена вторая часть алгоритма работы устройства в режиме слежения.

В алгоритме (фиг. 10, -11), реализованном в заявляемом устройстве, можно выделить следующие основные этапы обработки информации.

1. Формирование и запись исходных массивов информации Go, В<,.

1737755

10 пд е Нп И\ Х е lnl е Нп

ЛДУ с

15

25

35

55 г

>О, 2D

2. Классификация элементов наблюдаемого изображения Ln.

3. Рекуррентная фильтрация параметров движения объекта и выдача координат в блок 12.

4. Сглаживание эталонного изображения фона Gn.

5. Сглаживание эталонного изображения объекта Ín.

6. Формирование прогнозируемого изображения Sn+1.

7. Вычисление производной изображеis, ния

8, Нелинейное оценивание скорости и координаты объекта по оси Х.

9. Вычисление производной изображедЯп

НИЯ дд — .

10, Нелинейное оценивание скорости и координаты объекта по оси Y.

11. Классификация участка ф наблюдаемого изображения.

12. Коррекция координат объекта и выдачи их в блок 12.

Первый этап вычислений выполняется во время записи второго кадра в БОП 61 и только один раз. В течение этого этапа формируется исходное эталонное изображение фона Go, исходная функция Во и обнуляется содержимое блоков памяти 8, 9 и БОП 45. В качестве исходного эталонного изображения фона G< берется текущее изображение

Lo, записанное в БОП 62. При этом считается, что объект в изображении Lo отсутствует.

Исходная функция Во формируется путем записи в БОП 114 по всем адресам числа

"32".

На втором этапе вычислений для каждого элемента наблюдаемого изобретения Inij проверяется условие

Ьпи = b (п — 1)ij + .. г

Inij gni Ini Япг + 41

ГдЕ b(n-1)ij — ЭЛЕМЕНТЫ Вп-1; Inij ЭЛЕМЕНТЫ текущего изображения Ln, gnij — элементы прогнозируемого изображения фона 6п, Л1 — прогнозируемое минимальное отличие яркости объекта от яркости фона, Ь =1. В результате, если для элемента Inij условие (1) выполняется, то элемент классифицируется как элемент, принадлежащий множеству

Н, в противном случае как элемент фона.

Одновременно вычисляются координаты центра тяжести и площадь изображения объекта Нп. Координаты центра тяжести объекта вычисляются в соответствии с выражениями где Sn — площадь объекта, равная числу элементов, которые составляют иэображение объекта Hn, I — координата элемента 1 ij по оси Х; J — координата элемента 1пц по оси Y.

Реализуется выполнение второго этапа в блоке классификации 5, Цикл классификации одного элемента Inij выполняется за три такта сигнала АЗ.

На этапе классификации на входы регистров 96, 97 поступают соответственно значения элементов наблюдаемого Inij (сигнал

А20) и сглаженного эталонного изображения фона gnij (сигнал А21) из блоков памяти

1 и 6. На первый вход мультиплексора 104 поступает значение элемента сглаженного

-эталонного изображения объекта hnij (сигнал А22) из блока памяти 9. С выхода регистра 97 значение gnij поступает на первые входы вычитателя 101 и сумматора 106. На вторые входы этих элементов поступает значение Л1(сигнал А23), которое хранится в регистре 94. На выходе вычитателя 101 формируется значение (опц)- Л1) (сигнал

А24), которое поступает на второй адресный вход БПП 123 и на первый вход мультиплексора 103. На выходе сумматора 106 формируется величина (gnij+ Л1) (сигнал А25), которая поступает на второй адресный вход

БПП 124 и второй вход мультиплексора 103.

Первые адресные входы БПП 123 и 124 подключены к выходу регистра 96. В БПП 123 и

124 записаны соответственно значения модуЛЕй ВЫРажЕНИй Inij — (gnij 1) И Inij — (gnij+ Л1)

ДлЯ всех возможных комбинаЦий Inij, (gnij — Л 1) и (Inij. (gnij+ Л 1). Сигнал А26, фоРмиРУемый компаратором 110, управляет мультиплексором 103, Если Inlj (gnij+ Л1 ! Inij — (gnij — Л 1) !, та СИГНаЛ А26 ИМЕЕТ НуЛЕВОй уровень, который подключает ко второму входу мультиплексора 104 выход сумматора

106. В противном случае ко второму входу мультиплексора подключается выход вычитателя 101. Мультиплексор 104 управляется старшим знаковым разрядом сигнала А27, который представляет собой значение элемента b(n-1)ij и считывается из БОП 114, Если элемент!,1до решения задачи классификации принадлежал фону, т.е, Ь(-1)ij<0, то ко

1737755

5

30 (2) (3) 35 пу = .у +

Ъ

Япу -— Апу +

40 ох — 0 Лоу

55 входу регистра 95 подключается выход мультиплексора 103., В противном случае ко входу регистра 95 подключается выход блока 9.

На втором такте сигнала АЗ значение

hnij (сигнал А28) поступает на первый адресный вход БПП 125, на второй адресный вход подается значение lnii, На первый и второй адресные входы БПП 126 поступают соответственно Inij u gnij В БПП 125 и 126 записаны соответственно значения квадратов выражений (Inij — bnij) и (Inij — gnij) Выходы БПП

125 и 126 соединены соответственно со вторым и первым входами вычитателя 102, выход которого соединен с первым адресным входом БПП 127. На второй адресный вход

БПП 127 поступает сигнал У>1. В БПП 127 с помощью табличного метода выполняется деление числа, поступающего на первый адресный вход, на 20, где D=1. В результате на выходе БПП 127 формируется сигнал А29, . — .г значение которого равно ((l«j — gnii) — (Inij— — hnij) /2D, На выходе сумматора 107 формируется значение bnij, В третьем такте сигнала АЗ на выходе мультиплексора 105 формируется сигнал

АЗЗ, значение которого равно Ьп1, если

-32 bnij 32; -32, если bn;j<-32; 32, если

bnij>32. Значение bnij (сигнал АЗЗ) записывается в БОП 114 по адресу b(n-1)il Одновременно знаковый разряд A33=8 сигнала АЗЗ поступает на вход элемента НЕ 119 и третий вход мультиплексора 55 кода условия. Сигнал А34=А33=8 подается на управляющий вход элемента И 116, счетный вход счетчика

117 и четвертый вход мультиплексора 55 блока управления 11, На второй вход элемента И 116 поступает значение адреса элемента Inij (сигнал А69). Если bnij>0, то разрешается прохождение координат (сигнал А69) через элемент И 116, а также увеличивается содержимое счетчика 117, Пять младших разрядов сигнала А69 поступают на первый вход сумматора 108, а пять старших — на первый вход сумматора 109. Сумматор 108 и регистр 99 образуют накапливающий сумматор. Сумматор 109 и регистр 100 образуют второй накапливающий сумматор. На выходе регистров 99 и

100, которые соединены с первыми входами умножителей 121, 122, к концу этапа классификации формируются соответственно вел и ч и н а, i (с и r н а л А 3 7) и в е л и ч и н а

inije Hn

j (сигнал А38). В счетчике 117 формиinij < Hn руется площадь Sn множества Нп, равная числу элементов этого множества, На выходе БПП 128 формируется сигнал А36, значение которого равно 1/Sn. Сигнал А36 поступает на вторые входы умножителей 121 и

122. В результате на выходе умножителей

121 и 122 формируются координаты центра тяжести объекта по оси Х (сигнал А39) и по оси Y (сигнал А40), которые подаются в блок

4. Выход счетчика 117 соединен с первым входом цифрового компаратора 113, второй вход которого соединен с выходом регистра микрокоманд 50 — 3. На выходе компаратора

113 формируется сигнал А41 единичного уровня, если площадь объекта больше числа, поступающего на второй вход компаратора. Сигнал А41 поступает на пятый вход мультиплексора 55 и на первый вход элемента И 115, Выход элемента И 115 соединен со счетным входом счетчика 118.

Обнуляется счетчик 118 единичным уровнем сигнала У77 один раз на первом этапе работы устройства. На пятом разряде выхода счетчика 118 формируется сигнал У77 единичного уровня в момент окончания завязки траектории объекта, что соответствует обнаружению объекта в 16 кадрах наблюдаемого изображения.

На третьем этапе в блоке управления анализируется уровень сигнала А41, Если объект обнаружен на этапе классификации, то оценки координат и скорости объекта находятся в соответствии с выражениями пх = пх + К1 (пх пх ) пх = пх + К2 (пх Лпх ), K) (Япу — Япу ), (4)

К,) (Яду -Япу ), (5)

= О, Лох = О, i4y = О, (6) Вычисления оценок в блоке 4 по Х и Y выполняются последовательно и аналогично, поэтому достаточно рассмотреть вычисление оценок по одной оси, например Х.

Априорные оценки Япх и )„х хранится соответственно в регистрах 75 и 77. В регистре

78 хранится значение у, в регистре 764у. Первые входы вычитателей 83, 84 соединены соответственно с выходами регистров

70, 71, в которые записываются вычисленные значения координат центра тяжести объекта Япх (сигнал А39) и Япу (сигнал А40).

Второй вход вычитателя 83 — с выходом регистра 77. Аналогично второй вход сумматора 91 соединен с выходом регистра 75, На выходе вычитателя 83 формируется сигнал А43=Япх — Япх, который поступает на второй вход мультиплексора 92. На выходе

1737755

5

20 (7) (8) (9) (10) мультиплексора 92 формируется сигнал

А46. Сигнал А46 поступает на вторые входы умножителей 88 и 87. На первые входы умножителя 86 подается сигнал A47=K2, умножителя 87 — сигнал A48=K1. К1 и К2 хранятся соответственно в регистрах 73, 74. На выходе умножителя 87 формируется сигнал

A49=K1(ilnx Апх). Сигнал А49 поступает.на первый вход сумматора 90, второй вход которого соединен.в данный момент с выходом регистра 77. В результате на выходе сумматора 90 формируется апостериорная оценка координаты объекта4х, которая записывается в регистр 79, выход которого соединен с первым входом мультиплексора

93. Вычисленное значение Лпх через мультиплексор 93 подается на вход регистра 80.

На выходе умножителя 86 формируется сигнал А52=Кг(Япх — Апх), который поступает на первый вход сумматора 89. На второй вход сумматора 98 поступает сигнал А53= 4x. B результате на выходе сумматора 89 формируется апостериорная оценка скорости объекта ß x, которая записывается в регистр 75, Априорная оценка координаты на (и+1)-й кадр А (n + 1 ) x формируется на выходу,сумматора 91 как сумма сигнала A53= .4х и сигнала А51= ßх и записывается в регистр

77.

Отличие при вычислении оценок пу и

ily состоит в том, что вместо регистра 77 ко входам сумматоров 89, 91 подключен выход регистра 78, а вместо регистра 77 ко входам вычитателей 83, 84, сумматора 90 подключен выход регистра 78, сигнал А46=А44, а оценка Я у записывается единичным уровнем сигнала А69 в регистр 81.

Если объект в текущем кадре не обнаружен, то сигнал имеет нулевой уровень. В этом случае координаты и скорость объекта прогнозируются в соответствии с выражениями

1 х пх Л(п — 1) х + (п — 1) х, Ъ

kx = (п — 1)х л 1

"пу = (п — 1) у +2(п — 1) у, л пу = (n — 1)у и выражением (6). Это реализуется путем подключения в течение третьего этапа ко входу умножителей 86, 87 сигнала А46, равного сигналу А45, который, в свою очередь, имеет нулевое значение, Остальные вычисления аналогичны описанным.

В конце третьего этапа вычисленные оценки координат центра тяжести объекта при условии, что произошла завязка траектории, переписываются соответственно в регистры 30, 31 блока 12.

На червертом этапе в блоке 2 вычисляются оценки значений элементов эталонного изображения фона Gn в соответствии с выражением

ЯпЦ=ЯпЦ+КЗ(1пЦ ЯпЦ), (11)

rt где gnij=g(n-1)ij О< Кз<1.

Сглаживание эталонного изображения фона Gn приводит к уменьшению дисперсии аддитивного шума, присутствующего на исходном изображении эталонного фона, в(2—

Кз)/Кз раз, а также сглаживанию ошибок дискретизации и квантования в различных кадрах. Ограничение коэффициента Кз снизу позволяет отслеживать изменения фона.

На четвертом этапе на первый вход мультиплексора 35, который соединен с выходом блока памяти 6, поступают значения элементов фона фц (сигнал А21). На первый вход вычитателя 36 через элемент И 32 поступают значения элементов 1пц (сигнал А20) наблюдаемого изображения. На выходе вычитателя формируется сигнал А57, значение которого равно Inij — gnij. Сигнал А57 поступает на первый вход умножителя 37, На второй вход умножителя поступает коэффициент

КЗ, который хранится в регистре 33. Выход умножителя соединен с первым входом. сумматора 38, на выходе которого формируется значение gnij (сигнал А58).Вычисленное значение gnij записывается в блок памяти 6.

Подобные вычисления выполняются только для элементов Inij наблюдаемого изображения, классифицированных как элементы фона, Проверка на принадлежность фону осуществляется путем анализа знака значения Ьп1(сигнала АЗЗ вЂ” 8).

Сглаживание эталонного изображения объекта Нп существляется на пятом этапе в соответствии с выражением

Л

hnij=hniJ+K4(Inij — hnij) (12) гДе hnij=h(n 1)ij, 0<К4<1.

Вычисления, выполняемые в блоке 2 на пятом этапе, аналогичны вычислениям, выполняемым на четвертом этапе, Отличие состоит в том, что в регистре 33 хранится коэффициент К4, а на вторые входы вычитателя 36 и сумматора 38 подается значение элемента hnij (сигнал А22), считываемое из блока памяти 9. Вычисленное значение записывается в блок 9. Сглаживание в соответствии с выражением (12) выполняется

1737755

16 только для элементов Inij, классифицированных какэлементы объекта, Проверка на принадлежность объекту осуществляется путем анализа сигнала А34. B противном случае сигнал У40, управляющий элементом И 32, имеет нулевой уровень. В этом случае сглаживание выполняется в соответствии с выражением

Л

hnij=hnij-K4hnij (13)

Это позволяет обнулить элементы области памяти блока 9, которые в предыдущих кадрах соответствовали элементам объекта, а в текущий момент из-за перемещения объекта соответствуют элементам фона на наблюдаемом изображении.

На шестом этапе в блоке 8 формируется прогнозируемое изображение Sn+1 прямоУГОЛЬНОГО уЧаСтКа ИЗОбражЕНИя Ln+1, цЕНтр которого совпадает с центром объекта. Элементы изображения формируются в соответствии с выражением

Sn+1УИ =Г(п+1)цЦ h(п+1)iyj) +

+ (1 — г (п +1) izj2 ) g (n +1) i2j2 (14) где

Sn+1юи — элементы участка прогнозируемого изображения Sn+1 размерностью МхМ;

М . M

l1 = v +ilgwu — —, j) =,и +illy

2 2

M 2 1 + (п +1) х 2 ° )2 =/ + (п +1) у

; Япх, Япу апостериорные оценки координат центра тяжести объекта в наблюДаЕМОМ П-КаДРЕ, Х(п+1),,Л(п+1)у— прогнозируемые оценки координат центра тяжести объекта в (п+1)-м кадре;

Г(п+1);111 = "ni1j1 =1, ЕСЛИ y ni1J1 —.О, В противном случае г(п+1) 111 = О, для г(п +1);212 то же самое; h (Ä + 1),1J1—

= hni1j1 Я (и +1)i2j2 Яп!2>2

Формирование изображения Sn+1 осуществляется в два этапа. На первом этапе в

SOll 65 осуществляется запись элементов участка изображения Нп. Причем в БОП 65 записывается значение h (и + 1) iij1 (сигнал

А21) и сигнал А60 единичного уровня, если сигнал А34 единичного уровня, т.е.

b (n+1) i1j1 0. В противном случае в

БОП 65 записывается сигнал А59, имеющий нулевое значение, и сигнал А60, имеющий нулевой уровень. B результате в БОП 65 формируется изображение

S (n +1)VÈ = y (n +1)i1J1 h (n +1) i1J1 и бинаРное изобРажение Z(п+1)Уи маски объекта, сформированное по правилу

1, b (n+1) iyj1 0

Z(n+1)vH 0 (n+,) 111 «, На втором этапе в БОП 65 записываются значения элементов прогнозируемого участка фона. Причем в БОП 65 осуществляется

ЗаПИСЬ ЗНаЧЕНИя ЭЛЕМЕНта g (n + 1 ) iZJZ (СИГнал А22) в том случае, если соответствующее значение элемента бинарного изображения

Z(, +1)vp (сигнал А62, который формиру15 ется на первом выходе БОП 65 и поступает на шестой вход мультиплексора 55) равно нулю. В результате в БОП 65 формируется изображение Я(п+1)ии, значения эле- ментов которого (сигнал А61) считываются со второго выхода БОП 65.

На седьмом этапе в блоке 7 вычисляется производная прогнозируемого изображения Sn, сформированного в предыдущем кадре, по параметру Япх в соответствии с выраже"и"ем д Япи (Sn V +1 — Sn V — 1И ) д 2 Лп У/, х

ГДЕ ЗНаЧЕНИЕ Sn V+1+ фОРМИРУЕтСЯ На ВЫходе регистра 39, S v-1 и — на выходе регистра 41, Zn vp — на выходе регистра 40, В вычитателе 44 вычисляется значение

Snи+1,и — Snv-1и, которое поступает на первый адресный вход БПП 46. На второй адресный вход БПП 46 поступает Znvp. В БПП 46 записаны значения выражения

Sn V+1 — Sn V — 1

2 Znvp

45 для всех возможных комбинаций (8пУ+1и — Snv — 1и ) I4ZnvP. ВычиСлительное значение д Snуи/дЯп„ записывается в БОП 45 по адресу, определяемому значением сигнала А10, который,, последо5р вательно проходя через регистры 42, 43, поступает на адресный вход БОП 45.

На восьмом этапе в блоке 4 выполняется нелинейное оценивание координаты и скорости объекта по оси Х в соответствии с

55 выражениями л м м- я

>-0 op=o ппх и м-i м-i яб „ пп = пх 6 с Z D („; -5 ) =о ц=о д пу

1737755

18 где Sn vp — элементы прогнозируемого изоas,> бражения, хранящиеся в БОП 65; х элементы производной, хранящиеся в БОП

45: !1 — 1 +@x — 2 P+@y 2 К

M " M.

Кв — фиксированные коэффициенты ковариационной матрицы ошибок оценивания Vn, выбираемые из диапазона 0<(Кь, Кв)<1, исходя из задацаемоу эффективн ой памяти фильтРа; Йх =g(n — 1)х+1(n — 1)х, ky =L(n — 1)у+L(n — 1)у °

В течение восьмого этапа на входы регистров 67, 68, 69 поступают соответственно значения элементов Inij (сигнал А20), as.>

Sn 1 и, (сигнал А61), " (сигнал А66). х

Выходы регистров 67, 68 соединены соответственно с первым и вторым входами вычитателя 82, на выходе которого формируется величина lnij Sn уц (сигнал А67). Выход вычитателя 82 соединен с первым входом умножителя 85, второй вход которого соединен с выходом регистра

69,В умножителе 85 вычисляется значение

a Snva D (1пэ sïup i, при этом

О пх предполагается, что D--1. Выход умножителя соединен с входом накпливающего сумматора, который включает сумматор 88 и регистр 72, После того как в регистре 72 сформируется сумма

М-< М-i

:Е . Š— > Им; >.ор) о и о пх выход регистра 72 с помощью мультиплексора 92 подключается ко вторым входам умножителей 86, 87. На первые входы умножителей 86, 87 подаются соответственно значения коэффициентов К6, К5, которые записаны в регистрах 73, 74. Дальнейшие вычисления, связанные,с получением оценок

АЛх, Мпх, g(n + 1) х, Л(д +1) х аНаЛОГИЧны вычислениям, выполняемым на третьем этапе при получении соответствующих оценок.

Вычисления, выполняемые на девятом и десятом этапах, аналогичны вычислениям, выполняемым в устройстве на седьмом и восьмом этапах. Отличие состоит в том, что на девятом этапе элементы изображения

Sn ир и Zn и,и считываются из блока 8 не по строкам, а по столбцам.

На одиннадцатом этапе выполняется классификация участка фЪ размером МхМ наблюдаемого изображения Ln путем про верки для каждого элемента Inij условия

bnii = эО (и — 1)ij +

4п! — gni — Ini — 41пг

+ 2О >О. (17) Центр строба Q имеет координаты

Ax, illy, которые определяются на восьмом и десятом этапах, В результате выполнения этого этапа элементы участка делятся на множество точек фона и множество точек объекта. Одновременно с классификацией определяются площадь и координаты центра тяжести выделенного множества точек объекта. Вычисления, выполняемые в блоке

5 на одиннадцатом. этапе, аналогичны вычислениям, выполняемым на втором этапе.

В двенадцатом этапе осуществляется коррекция найауннь1х на восьмом и десятом этапах оценок ilgx, il4y путем замены их на координаты центра тяжести объекта, полученныее на одиннадцатом этапе. Это осуще.ствляется следующим образом. Координаты центра тяжести объекта — сигналы А39 и А40 — через мультиплексор 93 поочередно записываются в регистры 80, 81. Одновременно с этим корректируются прогнозиоуемые коОрдИНатЫ ОбЪЕКта Х(Л + 1)x, (n +1)y, хранящиеся в регистрах 77. 78. После этого

30 содержимое регистров 80, 81 перезаписывается в регистры 31, 30 блока координатных регистров.

Важная роль в реализации перечисленных этапов алгоритма принадлежит блоку

35 адресации. Блок адресации предназначен для формирования адресов элементов текущего изображения, сглаженных эталонных изображений фона и объекта, прогнозируемого изображения Sn и его производной по

40 параметру и функции классификации Вп, Формирование адресов -элдментов прогнозируемого изображения Sn u его производной по параметру i4x либо i4y осуществляется с помощью ФА 13, 14 и регист45 ра17.

Формирование адресов элементов обрабатываемого текущего изображения, сглаженных эталонных изображений фона и объекта и функции классификации осущест50 вляются с помощью ФА 13, 14, сумматоров

19-22, регистров 16-18.

Работой устройства обнаружения и определения координат объекта на изображении управляет блок управления, который

55 является микропрограммным блоком управления. Каждому из перечисленных этапов обработки текущего кадра соответствует определенная микрокоманда или группа микрокоманд, составляющих микропрограмму реализации данного этапа. Все управляю19

1737755

55 щие сигналы (Y1 — Y80) записаны в микропрограммируемую память 49. Блок 49 является блоком репрограммируемой памяти.

При подаче соответствующего адреса на адресный вход БРП49 происходит считывание выбранных значений управляющих сигналов, которые затем переписываются сигналом АЗ в.регистр микрокоманд 50.. Адрес микрокоманды генерируется формирователем 48 адреса микрокоманды.,Микрокоманда, формируемая блоком управления, имеет следующий формат. Сигналы Y1 — Y18 составляют поле микрокоманды, отведенное для управления генерацией адреса следующей микрокоманды сигналы

Y19 — Т26 составляют второе поле микрокоманды, используемое в качестве поля дан ных, кооторые требуются в процессе обработки информации, сигналы Y27 — Y80 составляют третье поле микрокоманды и управляют операционной частью устройства, Синхронизация работы блока управления, управляющего выполнением этапов обработки очередного кадра и их последовательностью, с процессом записи входного сигнала А5 обеспечивается путем фиксации момента окончания очередного кадрового синхроимпульса А4 формирователем 46 адреса микрокоманд. Таким моментом является переход значения сигнала из единичного в нулевое. Для этого сигнал

А4 и сигнал А74 подаются соответственно на девятый и.десятый вход мультиплексора

55 кода условия. Определение момента окончания кадрового синхроимпульса А4 выполняет микропрограмма фиксации момента начала записи нового кадра, состоящая из двух микрокоманд. Под управлением первой микрокоманды осуществляется фиксирование единичного уровня сигнала А4.

Если сигнал А4 имеет единичный уровень, то микрокоманда выполняется в течение одного периода тактового сигнала АЗ, если нет, то микрокоманда будет повторяться до тех пор, пока сигнал А4 не примет единичного значения, после этого управление передается второй микрокоманде, идентичной по инструкции (Y1 — Y4) первой микрокоманде, но фиксирующей нулевой уровень сигнала А4. После выполнения второй микрокоманды, что определяет конец кадрового синхраимпульса А4 и начало записи очередного нового текущего кадра, управление устройством в соответствии с инструкцией, хранящейся в поле (Y1 — Y4) второй микрокоманды, передается первой микрокоманде микропрограммы, осуществляющей выполнение первого этапа.

Устройство позволяет повысить точность определения координат объекта за счет выделения множества точек изображения объекта, использования в качестве координат объекта вычисленных координат центра тяжести объекта и периодической коррекции положения изображения объекта в эталоне относительно центра эталона.

Если комплекс этих мероприятий не выполнятьь, то в результате межкадрового сглаживания эталонного изображения объекта происходит смещение изображения объекта из центра эталона к его краям. По этом при использовании в качестве координат объекта координат центра эталона возникает ошибка в определении местоположения объкта, которая при отсутствии коррекции с течением времени накапливается и приводит к срыву слежения.

Устройство позволяет повысть точность определения, координат объекта зэ счет применения траекторной обработки результатов измерений, которая, во-первых, позволяет сгладить и тем самым уменьшить ошибки, имеющие место при измерении координат объекта, и, во-вторых, за счет прогнозирования положения объекта в следующих кадрах позволяет не терять контролируемый объект при временном его исчезновейии, например, из-за закрытия его посторонним объектом или случайных сбоев.

В устройстве на этапе нелинейного оценивания координат объекта учитываются элементы прогнозируемого (эталон ного) иэображения, принадлежащие множеству точек объекта. Элементы, принадлежащие фону, не учитываются, Это также повышает точность определения координат объекта.

Устройство обладает широкими функциональными возможностями, Помимо слежения за протяженными объектами, устройство выполняет автоматическое обнаружение малоразмерных и протяженных объектов, появляющихся в зоне наблюдения, а также осуществляет слежение за малоразмерными объектами с автоматическим переходом из режима обнаружения в режим сопровождения.

Формула изобретения

Устройство обнаружения и определения координат объекта на изображении, содержащее первый блок памяти, первый вход которого является первым информаци-. онным входом устройства обнаружения и определения координат объекта на,изображении, а выход соединен с первыми входами блока вычисления оценок яркости элементов изображения и коммутатора, вто21

1737755

22 рой и третий входы коммутатора соединены соответственно с выходом блока вычисления оценок яркости элеметов изображений и первым выходом блока управления, второй выход которого соединен с первым входом второго блока памяти, второй вход которого соединен с выходом коммутатора, и блок координатных регистров, выход которого является первым выходом устройства обнаружения и определения координат объекта на изображении, а управляющий вход соединен с третьим выходом блока управления, четвертый выход которого соединен с вторым входом блока вычисления оценок яркости элементов изображений, а вход блока управления является управляющим входом устройства обнаружения и определения координат объекта на изображении, о т л и ч а ю щ е е с я тем, что, с целью повышения точности определения координат объекта, введены последовательно соединенные блок адресации, первый вход которого соединен с пятым выходом блока управления, блок дифференцирования, блок оценки параметров движения, второй вход которого соединен с выходом первого блока памяти, и блока классификации объектов, второй вход которого соединен с первым выходом первого блока памяти, второй вход которого является вторым управляющим входом устройства обнаружения и определения координат объекта на изображении, а также третий и четвертый блоки памяти, и ри этом шестой, седьмой, восьмой, девятый и десятый выходы блока управления соединены соответственно с третьим входом блока классификации объектов, вторым входом блока оценки параметров движения, третьим входом блока дифференцирования, первым входом четвертого блока памяти и первым входом третьего блока памяти, второй вход которого соединен с вы5 ходом коммутатора, третий вход третьего блока памяти соединен с третьим входом второго блока памяти, четвертым входом блока классификации объектов, первым входом первого блока памяти и вторым

10 выходом блока адресации, третий выход которого соединен с вторым, входом первого блока памяти, а второй вход соединен с вторым входом блока координатных регистров и вторым выходом блока оценки параметров

15 движения, третий вход которого соединен с третьим входом блока дифференцирования и первым выходом четвертого блока памяти, второй выход которого соединен с вторым входом блока управления, третий вход кото20 рого соединен с первым выходом блока классификации, второй выход которого соединен с третьим входом блока вычисления оценок яркости элементов изображений, четвертый вход которого соединен с пятым

25 входом блока классификации, выходом второго блока памяти и вторым входом четвертого блока памяти, третий вход которого соединен с шестым входом блока классификации, пятым входом блока вычисления оце30 нок яркости элементов изображений и выходом третьего блока памяти, а четвертый вход соединен с первым выходом блока адресации, третий вход которого является третьим управляющим входом устройства

35 обнаружения и определения координат объекта на изображении, вторым выходом которого является четвертый выход блока классификации.

1737755

1737755

Фиг. Л

1737755

УХФ

УИ

УЮб

Фиг.7

1737755

А22

У19-9

А28

107

103

У70

129

110

106

111 32

А27-6

125

420

«32

98

127

102

105

107

АЗ

У71

А27

77М

А 33-8

У76

A 37

1А 9

708

127

У76

122

100

А36

177

128

115 УУУ 118

У 19-92

У8

A 77

8 блок 77

8 блок 11

3Ll2 8

4 1 яблок 11

112 А 32

В блок 11 ц У72 z

У 74 973

АЗ

3 блок 77

8 блок 17

1737755

1737755

Начало

Hem

Hem

Нет î5 9

Рорииро5ание иск эгпалоннаго эона,Функции классиФикации и т..о .

Риксиро а ие начала очеребноао кадра

/чласси@икация эле, кен. текущ.кадра ьек тек еи кадра

gLLf

Ьнаружен.

Да

5 зычисл. оцен. координ. ъекгпа Anx„Any и прог- ноза лл.ь, л п адюка

Hem ерае т акок ории,з нчилас

Да

Выдача о блок 12 для, лпу

Candu ание эталонного изображен. Фона

ЬбГ уекущ. кофре наруж ен.

1 Сглотни ание эталонного изобр.об ьекгаа

Да а язка раектории закочил ась? яблоко f7 ДО

6 ычисление проееоза n u, >n 1y а язка лраектоаио и- ончиАаси.

1 ь! ача лок и прогноза лпх ау и Вы ачащле ых координат 5 блок 12

Мблоку 2

1 Формирооание прогнозируемого изображ. S„+1

Риксиро ание начала очередного кадра

19

Вычисление >ïõ

>о Нелинейное оцени ание коорд. л пх и скор. л пх Обьект

EblVuCA8Hue лп,,g „1„â

Вычисление эллу 9

22 Нелинейное оцени ание коорд. лпу и скор. пу обьект

Вычисление лп 1у,л п 1у 1о

> 7 лассиФикация учо,сгпка текум. кадра с hîoðä-ии центра л пх, 2 и 11

2Ч ЛОРргКция ПХ,ЛПу,ЛП1х лл.1 с учетпом оычцсл. коорд. цен(пра обьекта, оыдача „„, Ú, 8 блок 12 11

2> Гглажиоание зталонног изображения щона

> глажиоание з палонного иэобр, обьекта

Да уу 3 )9 о5

Фи 2,77

Составитель Б.Алпатов

Редактор Т,Орловская Техред М.Моргентал Корректор О.Ципле

Заказ 1908 Тираж Подписное

ВНИИПИ Государственного комитета по изобретениям и открытиям при ГКНТ СССР

113035, Москва, Ж-35, Раушская наб., 4/5

Производственно-издательский комбинат "Патент", г. Ужгород, ул.Гагарина, 101