Система видеонаблюдения
Владельцы патента RU 2757802:
Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") (RU)
Изобретение относится к области видеонаблюдения. Техническим результатом изобретения является создание системы видеонаблюдения с улучшенным быстродействием и меньшей нагрузкой на вычислительный блок видеообработки, за счет применения более легковесных алгоритмов вычитания фона изображения. 2 з.п. ф-лы, 3 ил.
Изобретение относится к области видеонаблюдения, а именно к регистрационно-охранным системам видеонаблюдения и может применяться как на стационарных, так и на мобильных объектах, таких как поворотные платформы, БПЛА (беспилотные летательные аппараты) и автомобили.
В настоящее время в области видеонаблюдения остро стоит проблема размытия изображения, возникающего при движении телекамеры. Уменьшение степени размытия изображения при движении телекамеры достигают посредством применения более чувствительных матриц телекамеры, посредством увеличения размера ячейки (cell) матрицы телекамеры, посредством уменьшения величины выдержки телекамеры, а также посредством поиска величины и направления проекции вектора собственного движения телекамеры на плоскость изображения, с помощью алгоритмической обработки изображений или с помощью инерциальных датчиков, и последующего применения алгоритмических методов восстановления (deblurring).
В патенте US7720376B2 описана система видеонаблюдения, в которой применяют акселерометр для управления минимальным значением выдержки телекамеры для уменьшения степени размытия изображения.
Недостатками данной системы видеонаблюдения является то, что при уменьшении значения выдержки уменьшается количество фотонов, собираемых элементами матрицы камеры и соответственно падает яркость полученного изображения. Также, недостатком применения только акселерометра является то, что величина размытия зависит и от линейного и от углового перемещения: величина размытия при линейном перемещении, которое определяется акселерометрами, зависит от величины отношения перемещения камеры к расстоянию до наблюдаемых объектов, а для угловых перемещений, которое определяется гироскопами, величина размытия не зависит от расстояния до объектов, но зависит от скорости изменения углового положения камеры.
Устранение размытия при движении достигается в системе видеонаблюдения, описанной в патенте US8559751B2, путем вычисления движения между последовательными изображениями и последующей корректировкой размытия.
Недостатком данного аналога является то, что в нём не используют данные от инерциальных сенсоров ориентации, что приводит к существенным задержкам получения результата, то есть к снижению быстродействия системы видеонаблюдения, так как вычисление вектора производят на основе последовательности кадров.
В патенте US7561186B2 описана система видеонаблюдения, в которой используют алгоритмический итеративный поиск величины размытия по текущему изображению с камеры с последующей оценкой ошибки.
Недостатком данной системы видеонаблюдения является необходимость наличия на изображении протяженных линий, которые не всегда могут присутствовать на изображении. Таким образом, в зависимости от наблюдаемой сцены, есть вероятность того, что не будет найден оптимальный вектор проекции перемещения, достаточно точно соответствующий истинному вектору. Также на искажение результата в данном аналоге влияет наличие движущихся объектов на изображении. Кроме того, итерационная природа поиска оптимального решения в алгоритме аналога приводит к существенному росту затрат на вычисления.
Наиболее близкой к заявленному изобретению является система видеонаблюдения, описанная в патенте CN110648285, в которой поиск проекции вектора достигается вычислением на основе показаний гироскопа в интервале между началом и окончанием экспозиции. Изображение разбивают на сетку размерами n x n и для каждой ячейки вычисляют величину и направление среднего вектора размытия для последующего применения в алгоритме обратной свёртки Винера, используемого для компенсации размытия. Данная система видеонаблюдения выбрана в качестве прототипа заявленного изобретения.
Недостатком системы прототипа является то, что в ней не учитывают возможность синхронной связи показаний гироскопа и времени экспозиции камеры, что усложняет процесс калибровки и существенно ухудшает точность определения проекции вектора движения, и соответственно ухудшает качество восстановленного изображения. Также недостатком является отсутствие оценки величины размытия на основе данных о чувствительности матрицы, о времени экспозиции и угловой скорости с гироскопа, что приводит к существенному увеличению вычислительных затрат, и, соответственно, уменьшению скорости работы системы видеонаблюдения, так как алгоритм обратной свёртки применяют и к тем ячейкам, где совокупность движения и уровень экспозиции, не приводят к появлению размытия. Еще одним из недостатков прототипа является то, что применяемый в нем метод не способен корректно оценить и устранить угловое движение вокруг оси, связанной с оптической осью телекамеры (ось Z), что ухудшает качество восстановленного изображения. Размытие, зависимое от движения между открытием и закрытием затвора, зачастую имеет сложную траекторию и тогда плохо описывается допущением, указанным в вышеприведенном патенте, что движение это усредненный вектор размытия.
Техническим результатом изобретения является создание системы видеонаблюдения с улучшенным быстродействием и меньшей нагрузкой на вычислительный блок видеообработки, за счет применения более легковесных алгоритмов вычитания фона изображения.
Поставленный технический результат достигнут путем создания системы видеонаблюдения, содержащей соединенные шиной данных телекамеру, датчики пространственного положения, инерциальные датчики, блок подключения внешних устройств, вычислительный блок (DSP) и блок синхронизации, который включает в себя таймер реального времени, причем
- блок подключения внешних устройств выполнен с возможностью получения от внешних устройств данных о положении телекамеры и передачи их в шину данных;
- датчики пространственного положения и инерциальные датчики, выполненные с возможностью формирования данных о пространственном положении и скорости перемещения телекамеры и передачи их в виде пакетов данных с наибольшей частотой в шину данных;
- телекамера выполнена с возможностью формирования изображения и передачи его в виде пакетов данных в шину данных;
- блок синхронизации выполнен с возможностью получения из шины данных и маркировки пакетов данных датчиков, телекамеры и внешних устройств метками собственного времени, при этом приведения времени создания пакетов данных к единому времени между закрытиями экспозиции кадров изображения ПЗС-матрицы телекамеры, а также с возможностью передачи промаркированных пакетов данных обратно в шину данных;
- вычислительный блок выполнен с возможностью получения из шины данных промаркированных пакетов данных; с возможностью вычисления поля сдвига между соседними кадрами изображения, при этом обеспечения стабилизации изображения при движении и тряске, и построения модели подвижного фона изображения при детектировании движения телекамеры; с возможностью определения, в соответствии с данными о ПЗС-матрице и объектива телекамеры, поля сдвига во время получения кадра изображения, при этом определения размытия изображения; с возможностью формирования маски размытия; с возможностью определения значимых элементов изображения в маске размытия и с возможностью устранения размытия значимых элементов изображения;
- вычислительный блок выполнен с возможностью устранения размытия значимых элементов изображения, при этом разделения изображения на ячейки и для каждой ячейки, в которой обнаружено размытие, вычисления ядра размытия и применения алгоритма восстановления изображения по методу обратной свёртки Винера.
В предпочтительном варианте осуществления системы внешние устройства выбраны из набора внешних устройств, содержащего поворотные платформы, БПЛА, автомобили.
В предпочтительном варианте осуществления системы вычислительный блок выполнен с возможностью обнаружения объектов на изображении и передачи координат этих объектов через блок подключения внешних устройств на внешние отображающие устройства для отображения на карте пиктограммы обнаруженных объектов. Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг.1. Общая схема системы видеонаблюдения, выполненная согласно изобретению.
Фиг. 2. Пример сгенерированного ядра фильтра для ячейки, выполненный согласно изобретению.
Фиг. 3. Пример работы метода обратной свёртки Винера, выполненный согласно изобретению:
a) начальное размытое изображение с телекамеры;
b) отфильтрованное изображение.
Элементы:
1 – шина данных;
2 – телекамера;
3 - датчики пространственного положения и инерциальные датчики;
4 - блок подключения внешних устройств;
5 - вычислительный блок;
6 - блок синхронизации.
Рассмотрим более подробно функционирование варианта выполнения заявленной системы видеонаблюдения (Фиг. 1 - 3).
Информация с датчиков пространственного положения и инерциальных датчиков 3 поступает в общую шину данных 1 в виде пакетов данных с наиболее возможной частотой. Информация о текущем состоянии с телекамеры 2 также поступает в общую шину данных 1. Блок синхронизации 6 включает в себя таймер реального времени. Полученные пакеты данных от датчиков 3 и телекамеры 2 блок синхронизации 6 маркирует своим временем и транслирует в общую шину данных 1. Таким образом решается задача приведения времени создания пакетов данных к одному времени. Пакеты данных, содержащие метки времени полученные при синхронизации, поступают в вычислительный блок 6, который вычисляет поле сдвига во время получения кадра изображения и поле сдвига между соседними кадрами изображения; оценивает, в соответствии с данными о ПЗС-матрице и объектива телекамеры 2, поле сдвига во время получения кадра на предмет наличия размытия изображения. После оценки вычислительный блок 6 создает маску оцененного наличия размытия. Наличие значимых элементов в маске сообщает о том, что в этих элементах необходимо устранить размытие. Устранение размытия выполняют только для значимых элементов изображения. Вычислительный блок 6 разделяет изображение на ячейки и для каждой ячейки, в которой обнаружено размытие, определяет ядро размытия и применяет алгоритм восстановления изображения по методу обратной свёртки Винера (Фиг.2). Поле сдвига между соседними кадрами используется для обеспечения стабилизации изображений при движении и тряске, для построения модели подвижного фона при детектировании движения на подвижных камерах. Для отображения найденных на изображении с телекамеры объектов на карте, данные от датчиков 3 положения и внешних устройств таких как поворотные платформы, полученные от блока 4 подключения внешних устройств, используют для расчета актуального положения камеры в пространстве, что дает возможность применять видеообработку с учетом пространственного положения и масштабного коэффициента, а для эффективной работы оператора отображать на карте пиктограммы найденных объектов.
Заявленная система видеонаблюдения обладает расширенными функциональными возможностями, за счет интегрирования в одной системе оптической камеры, GPS, блока датчиков (магнитного компаса, гироскопа, акселерометра) и вычислительного блока, а также синхронизации работы вышеперечисленных устройств что позволят реализовать следующие возможности:
- упростить привязку положения телекамеры к карте с помощью установленного GPS и магнитного компаса, что повышает качество анализа обстановки операторами системы;
- улучшить качество получаемого изображения путем устранения эффекта размытия изображения, вызванного собственным движением телекамеры, с помощью учета данных о движении камеры и применением восстановительного алгоритма deblurring вычислительным блоком, таким образом становится возможным эффективно использовать камеру для задач видео обработки в режиме сканирования и в мобильном применении;
- улучшить работу телекамеры в режиме отслеживания объектов за счет выделения области движущихся объектов и вычисления вектора движения объекта путем применения алгоритма выделения фона и последующим применении восстановительного алгоритма deblurring вычислительным блоком;
- ускорить программную стабилизацию изображений, возникающую при тряске и движении телекамеры;
- оценить сдвиг сцены (Global Motion Estimation), необходимый в задачах по отслеживанию перемещения камеры;
- уменьшить нагрузку на вычислительный блок видеообработки, за счет применения более легковесных алгоритмов вычитания фона.
Заявленная система видеонаблюдения обладает следующими преимуществами.
Обеспечивает высокоточную привязку по времени получения данных от сенсоров пространственного положения к изображениям, поступающим от чувствительной матрицы телекамеры.
Высокоточная привязка реализована за счет применения блока синхронизации, обеспечивающего синхронную связь между датчиками и изображениями, поступающими с матрицы телекамеры, что позволяет повысить качество изображения и точность при последующем использовании алгоритмов вычислительного блока. Так как данные пространственного положения телекамеры и изображения синхронизированы, то по времени открытия и закрытия затвора оптической матрицы выбирают те актуальные измерения с пространственных датчиков, которые входят в данный интервал, и используются в последующем для устранения размытия изображения, вызванного собственным движением телекамеры. Частота генерирования данных от датчиков пространственного положения превышает 800 Гц, поэтому на время между открытием и закрытием затвора зачастую приходится существенно более 10 измерений, что позволяет уменьшить влияние шумов сенсоров. Таким образом, расширяется диапазон использования оптической матрицы в системах видеообработки для применения в более сложных условиях освещения.
Уменьшает вычислительные затраты на компенсацию размытия изображения с помощью оценки величины размытия, вызванного угловым движением телекамеры.
Размытие, вызванное угловым движением телекамеры, зависит, помимо чувствительности и размера ячейки матрицы телекамеры, от уровня экспозиции, от условий освещения и от проекции на изображение угловой скорости телекамеры в каждой точке изображения, которая определяется угловой скоростью телекамеры и параметрами объектива и матрицы. Эти данные используют для последующей оценки величины размытия, вызванного угловым перемещением, в каждом пикселе изображения. Таким образом, формируют поле размытия из которого создают маску наличия размытия при движении, содержащую области, в которых необходимо устранить размытие. В маску не входят точки изображения, в которых не обнаружено размытие выше определенного порога. Применение маски при последующей коррекции размытия позволяет существенно уменьшить вычислительные затраты, исключив из алгоритма области изображения, в которых в коррекции размытия нет необходимости.
Улучшает качество изображения при размытии, вызванном собственным угловым движением камеры.
При угловом движении камеры происходит размытие получаемого изображения (motion blur), что ухудшает результаты последующей работы алгоритмов видеообработки. Для устранения размытия используют информацию о поле размытия и маску размытия, получаемую на этапе оценки величины размытия. Изображение разбивают на ячейки размером n х n, с коэффициентом перекрытия, позволяющим уменьшить краевые эффекты, равным двум. В каждой ячейке, где маска показывает наличие размытия производят вычисление средней величины и направления размытия, также вычисляют среднеквадратическое отклонение величины и направления размытия. Значения среднеквадратического отклонения, превышающие определенный порог, свидетельствуют о присутствии искажений, вызванных угловым движением телекамеры по связанной с осью камеры оси Z. Ячейку, в которой определено такое движение разделяют на четыре ячейки размером 2 х 2 так же с коэффициентом перекрытия, равным двум.
На основе информации о совокупном движении каждого пикселя в ячейке вычисляют сглаженное среднее значение приближенно повторяющее путь движения камеры между открытием и закрытием экспозиции. Для каждой ячейки, на основе информации о движение в ячейке и параметрах размытия, генерируют ядро фильтра размытия (Фиг. 2).
Отобранные ячейки, в которых присутствует размытие, сгенерирован фильтр размытия и для которых необходимо применить коррекцию изображения, обрабатывают с помощью алгоритма обратной свёртки Винера. Таким образом, становится возможным применять телекамеру в мобильном и сканирующем режиме, где преобладают искажения, вызванные собственным сложным угловым движением (Фиг. 3).
Улучшает качества изображения движущихся объектов в стационарном применении.
Если блок датчиков не фиксирует собственное движение телекамеры, то в вычислительном блоке осуществляют алгоритм выделение фона (вычитание разницы нормализованных по яркости текущего и предыдущего изображения), который выделяет области движения. Для каждой выделенной области определяют средний вектор движения пикселей этой области. Затем, для выделенной области движения с учетом вектора движения с помощью вычислительного блока применяют восстановительный алгоритм deblurring.
Улучшает качество изображения движущихся объектов в мобильном или сканирующем применении.
Если блок датчики фиксируют наличие собственного движения телекамеры, тогда сначала улучшают качество изображения при размытии, вызванном собственным угловым движением камеры. После восстановления изображения и на основе информации о собственном движении телекамеры вычисляют матрицу перехода между текущим и предыдущим положением телекамеры. При поступлении текущего кадра изображения также сначала улучшают качество изображения при размытии, вызванном собственным угловым движением камеры. После этого осуществляют преобразование, с помощью матрицы перехода, предыдущего восстановленного изображения в пространство текущего восстановленного изображения и последующее более точное совмещение на основе ключевых особенностей изображения. Далее улучшают качество движущихся объектов в стационарном применении.
Отображает обнаруженные или указанные объекты на изображении с камеры на карте в виде пиктограмм.
Для того чтобы иметь возможность отображать на карте пиктограммы объектов, выделенных на изображении с камеры алгоритмами видеообработки или операторами, необходимо знать текущее пространственное и угловое положение камеры в пространстве. Координаты и высоту телекамеры определяют с помощью GPS и/или Глонасс, а угловое положение телекамеры определяют с помощью магнитного компаса и акселерометров. При наличии собственного движения телекамеры эту информацию актуализируют и корректируют информацией с гироскопа. Также используют данные с внешних устройств о положении телекамеры, полученные через блок подключения внешних устройств.
Хотя описанный выше вариант выполнения заявленного изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.
1. Система видеонаблюдения, содержащая соединенные шиной данных телекамеру, датчики пространственного положения, инерциальные датчики, блок подключения внешних устройств, вычислительный блок (DSP) и блок синхронизации, который включает в себя таймер реального времени, причем
- блок подключения внешних устройств выполнен с возможностью получения от внешних устройств данных о положении телекамеры и передачи их в шину данных;
- датчики пространственного положения и инерциальные датчики, выполненные с возможностью формирования данных о пространственном положении и скорости перемещения телекамеры и передачи их в виде пакетов данных с наибольшей частотой в шину данных;
- телекамера выполнена с возможностью формирования изображения и передачи его в виде пакетов данных в шину данных;
- блок синхронизации выполнен с возможностью получения из шины данных и маркировки пакетов данных датчиков, телекамеры и внешних устройств метками собственного времени, при этом приведения времени создания пакетов данных к единому времени между закрытиями экспозиции кадров изображения ПЗС-матрицы телекамеры, а также с возможностью передачи промаркированных пакетов данных обратно в шину данных;
- вычислительный блок выполнен с возможностью получения из шины данных промаркированных пакетов данных; с возможностью вычисления поля сдвига между соседними кадрами изображения, при этом обеспечения стабилизации изображения при движении и тряске, и построения модели подвижного фона изображения при детектировании движения телекамеры; с возможностью определения, в соответствии с данными о ПЗС-матрице и объектива телекамеры, поля сдвига во время получения кадра изображения, при этом определения размытия изображения; с возможностью формирования маски размытия; с возможностью определения значимых элементов изображения в маске размытия и с возможностью устранения размытия значимых элементов изображения;
- вычислительный блок выполнен с возможностью устранения размытия значимых элементов изображения, при этом разделения изображения на ячейки и для каждой ячейки, в которой обнаружено размытие, вычисления ядра размытия и применения алгоритма восстановления изображения по методу обратной свёртки Винера.
2. Система по п. 1, отличающаяся тем, что внешние устройства выбраны из набора внешних устройств, содержащего поворотные платформы, БПЛА, автомобили.
3. Система по п. 1, отличающаяся тем, что вычислительный блок выполнен с возможностью обнаружения объектов на изображении и передачи координат этих объектов через блок подключения внешних устройств на внешние отображающие устройства для отображения на карте пиктограммы обнаруженных объектов.
