Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени
Владельцы патента RU 2762636:
Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" (RU)
Изобретение относится к области обработки и комплексирования разнородной сенсорной информации с целью определения параметров подвижных объектов и может быть использовано в различных областях науки и промышленности при создании автономных роботов, а также систем мониторинга и оценки параметров подвижных объектов. Предложено устройство параллельной обработки разнородной сенсорной информации в режиме реального времени, включающее в себя блок регистрации входных данных, центральный вычислительный узел, блоки формирования набора частиц, блоки предварительного сопоставления идентификационных номеров объектов и данных с сенсора, блоки сопоставления идентификационных номеров объектов и данных с сенсора, блоки прогнозирования положения объектов, блок хранения параметров объектов и блок определения выходных данных. Технический результат – обеспечение определения параметров подвижных объектов в режиме реального времени на базе вычислительных устройств, имеющих частоту не выше 1,2 ГГц. 2 ил.
Изобретение относится к области обработки и комплексирования разнородной сенсорной информации с целью определения параметров подвижных объектов и может быть использовано в различных областях науки и промышленности при создании автономных роботов, а также систем мониторинга и оценки параметров подвижных объектов.
Из существующего уровня техники [Liang Q. et al. Multi-Player Tracking for Multi-View Sports Videos with Improved K-Shortest Path Algorithm / Applied Sciences, 2020, V. 10, N. 3, p. 864; Tang Z. et al. Moana: An online learned adaptive appearance model for robust multiple object tracking in 3d / IEEE Access, 2019, V. 7, pp. 31934-31945] известны методы определения параметров подвижных объектов, использующие заранее определенные методы сегментирования объектов на кадре и требующие наличие детерминированной в пространстве плоскости земли (ground plane).
Недостатком таких методов является отсутствие вариативности в выборе алгоритмов детектирования, а также необходимость наличия детерминированной в пространстве плоскости земли (что затрудняет отслеживание объектов в воздухе и на сложном рельефе).
Из существующего уровня техники [Zhang Т. et al. Correlation particle filter for visual tracking / IEEE Transactions on Image Processing, 2017, V.27, N.6, pp. 2676-2687; Taj M. et al. Simultaneous Detection and Tracking with Multiple Cameras / Machine Learning for Computer Vision. - Springer, Berlin, Heidelberg, 2013. - pp. 197-214; патент US 8223207 B2, опубликован 17.07.2012] известны методы определения параметров подвижных объектов на базе фильтра частиц.
Недостатком таких методов является высокая вычислительная сложность.
Общим недостатком описанных выше методов является необходимость использования для их реализации высокопроизводительных вычислительных устройств, работающих на частотах более 1,2 ГГц.
Предлагаемая группа изобретений направлена на решение технической задачи по устранению указанных недостатков.
Достигаемый при этом технический результат заключается в том, что определение параметров подвижных объектов обеспечивается в режиме реального времени на базе вычислительных устройств, имеющих частоту не выше 1,2 ГГц.
Технический результат достигается устройством параллельной обработки разнородной сенсорной информации в режиме реального времени, включающим в себя блок регистрации входных данных, на вход которого подаются сегментированные данные с сенсоров, при этом выход блока регистрации входных данных подключен к первому входу центрального вычислительного узла, первый выход центрального вычислительного узла подключен ко входам блоков формирования набора частиц, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков формирования набора частиц подключены ко второму входу центрального вычислительного узла, второй выход центрального вычислительного узла подключен ко входам блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора подключены к третьему входу центрального вычислительного узла, третий выход центрального вычислительного узла подключен ко входам блоков сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков сопоставления идентификационных номеров объектов и данных с сенсора подключены к четвертому входу центрального вычислительного узла, четвертый выход центрального вычислительного узла подключен ко входам блоков прогнозирования положения объектов, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков прогнозирования положения объектов подключены к пятому входу центрального вычислительного узла, пятый выход центрального вычислительного узла подключен ко входу блока хранения параметров объектов, выход которого подключен ко входу блока определения выходных данных, выход которого является результатом работы устройства.
Указанные признаки изобретения являются существенными и совокупность этих признаков достаточна для получения требуемого технического результата.
Изобретение поясняется следующими чертежами.
На фиг. 1 показана блок-схема способа определения параметров подвижных объектов. Она содержит операцию формирования частиц по данным с сенсора 1, операцию формирования набора данных со всех сенсоров 2, операцию формирования набора прогнозных данных о положении объектов для всех сенсоров 3, операцию прогнозирования положения объектов 4, операцию трансформации данных в систему координат сенсора 5, операцию предварительного сопоставления идентификационных номеров объектов и данных с сенсора 6, операцию формирования набора частиц 7, операцию нумерации новых объектов 8, операцию кластеризации частиц 9, операцию расчета функции правдоподобия и весов частиц 10, операцию сопоставления идентификационных номеров объектов и данных с сенсора 11, операцию формирования истории изменения параметров объектов 12, операцию формирования выходных данных 13. Совокупность блоков 1-7 является первым этапом работы фильтра частиц 14. Совокупность блоков 8-11 является вторым этапом работы фильтра частиц 15.
Работает способ определения параметров подвижных объектов следующим образом. Сегментированные данные с сенсоров поступают на вход операции формирования набора данных со всех сенсоров 2, результатами которой являются два набора данных для каждого сенсора: снятые конкретным сенсором (второй набор) и снятые всеми остальными сенсорами (первый набор). Первый набор данных и результат операции формирования набора прогнозных данных о положении объектов для всех сенсоров 3, входом которой является набор координат, полученный в результате выполнения операции прогнозирования положения объектов 4, поступают на входы операции трансформации данных в систему координат сенсора 5, результат которой передается на первый вход операции формирования набора частиц 7, а на второй и третий входы подаются результат операции формирования частиц по данным с сенсора 1, входом для которой является второй набор данных из результата операции формирования набора данных со всех сенсоров 2, и набор координат, полученный в результате выполнения операции прогнозирования положения объектов 4, которые также поступают на первый и второй входы соответственно операции предварительного сопоставления идентификационных номеров объектов и данных с сенсора 6, результат которой является первым входом для операции нумерации новых объектов 8, а вторым входом является первый набор параметров, полученный в результате выполнения операции формирования истории изменения параметров объектов 12, на вход которой поступает результат операции сопоставления идентификационных номеров объектов и данных с сенсора 11, которая имеет два входа: первый - результат операции расчета функции правдоподобия и весов частиц 10, который получается по итогу выполнения операции кластеризации частиц 9, входом которой является результат операции формирования набора частиц 7, а второй - результат операции нумерации новых объектов 8, причем итоговый результат осуществления предложенного способа - это результат операции формирования выходных данных 13, на вход которой поступает второй набор параметров, полученный в результате выполнения операции формирования истории изменения параметров объектов 12.
На фиг. 2 показана блок-схема устройства параллельной обработки разнородной сенсорной информации в режиме реального времени. Она содержит блок регистрации входных данных 16, центральный вычислительный узел 17, совокупность блоков формирования набора частиц 18, совокупность блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19, совокупность блоков сопоставления идентификационных номеров объектов и данных с сенсора 20, совокупность блоков прогнозирования положения объектов 21, блок хранения параметров объектов 22, блок определения выходных данных 23.
Работает устройство параллельной обработки разнородной сенсорной информации в режиме реального времени следующим образом. На вход блока регистрации входных данных 16, который выполняет операцию формирования набора данных со всех сенсоров 2, поступают сегментированные данные с сенсоров. Выход блока регистрации входных данных 16 подключен к первому входу центрального вычислительного узла 17, который выполняет операцию формирования истории изменения параметров объектов 12 и операцию формирования выходных данных 13, а также выработку управляющих команд для перехода между блоками и формирования необходимых для них наборов входных данных. Первый выход центрального вычислительного узла 17 подключен ко входам блоков формирования набора частиц 18, которые выполняют операцию формирования частиц по данным с сенсора 1, операцию формирования набора прогнозных данных о положении объектов для всех сенсоров 3, операцию трансформации данных в систему координат сенсора 5, операцию формирования набора частиц 7. Блоки формирования набора частиц 18 работают параллельно, их количество равно количеству сенсоров. Выходы блоков формирования набора частиц 18 подключены ко второму входу центрального вычислительного узла 17. Второй выход центрального вычислительного узла 17 подключен ко входам блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19, которые выполняют операцию предварительного сопоставления идентификационных номеров объектов и данных с сенсора 6. Блоки предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19 работают параллельно, их количество равно количеству сенсоров. Выходы блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора 19 подключены к третьему входу центрального вычислительного узла 17. Третий выход центрального вычислительного узла подключен ко входам блоков сопоставления идентификационных номеров объектов и данных с сенсора 20, которые выполняют операцию нумерации новых объектов 8, операцию кластеризации частиц 9, операцию расчета функции правдоподобия и весов частиц 10, операцию сопоставления идентификационных номеров объектов и данных с сенсора 11. Блоки сопоставления идентификационных номеров объектов и данных с сенсора 20 работают параллельно, их количество равно количеству сенсоров. Выходы блоков сопоставления идентификационных номеров объектов и данных с сенсора 20 подключены к четвертому входу центрального вычислительного узла 17. Четвертый выход центрального вычислительного узла 17 подключен ко входам блоков прогнозирования положения объектов 21, которые выполняют операцию прогнозирования положения объектов 4. Блоки прогнозирования положения объектов 21 работают параллельно, их количество равно количеству сенсоров. Выходы блоков прогнозирования положения объектов 21 подключены к пятому входу центрального вычислительного узла 17. Пятый выход центрального вычислительного узла 17 подключен ко входу блока хранения параметров объектов 22, выход которого подключен ко входу блока определения выходных данных 23, выход которого является результатом работы предложенного устройства.
Работоспособность группы изобретений была проверена на макете, который наглядно продемонстрировал получение требуемого технического результата. Макет включал в себя центральный вычислительный узел на базе промышленного компьютера с процессором Cortex-А53, работающего на частоте 1,2 ГГц, и 1 Гб оперативной памяти. Блоки формирования набора частиц, блоки предварительного сопоставления идентификационных номеров объектов и данных с сенсора, блоки сопоставления идентификационных номеров объектов и данных с сенсора и блоки прогнозирования положения объектов были реализованы на базе программируемой логической интегральной схеме (ПЛИС) Xilinx Artyx-7, работающих на частоте 50 МГц. Связь между блоками на ПЛИС и центральным вычислительным узлом управления осуществлялась по интерфейсу Ethernet POWERLINK.
Для тестирования был использован датасет APIDIS [URL: https://sites.uclouvain.be/ispgroup/index.php/Softwares/APIDIS (дата обращения 06.05.2020)]. Сегментированные данные с первой и седьмой камеры подавались на устройство параллельной обработки разнородной сенсорной информации в режиме реального времени. В качестве способа сегментации данных был использован метод, предложенный на ресурсе, предоставляющем датасет [URL: https://sites.uclouvain.be/ispgroup/index.php/Softwares/APIDIS (дата обращения 06.05.2020)]. В процессе эксперимента оценивались параметры трех заранее определенных объектов.
На каждой камере в отдельности в режиме реального времени успешно определялись параметры выбранных объектов без использования вычислительных устройств, работающих на частоте выше 1,2 ГГц. Полученный результат не зависит от алгоритма детектирования объектов и без использования информации о параметрах плоскости земли. Таким образом, результаты эксперимента показывают достижение заявленного технического результата.
Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени, включающее в себя блок регистрации входных данных, на вход которого подаются сегментированные данные с сенсоров, при этом выход блока регистрации входных данных подключен к первому входу центрального вычислительного узла, первый выход центрального вычислительного узла подключен ко входам блоков формирования набора частиц, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков формирования набора частиц подключены ко второму входу центрального вычислительного узла, второй выход центрального вычислительного узла подключен ко входам блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков предварительного сопоставления идентификационных номеров объектов и данных с сенсора подключены к третьему входу центрального вычислительного узла, третий выход центрального вычислительного узла подключен ко входам блоков сопоставления идентификационных номеров объектов и данных с сенсора, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков сопоставления идентификационных номеров объектов и данных с сенсора подключены к четвертому входу центрального вычислительного узла, четвертый выход центрального вычислительного узла подключен ко входам блоков прогнозирования положения объектов, работающих параллельно и количество которых равно количеству сенсоров, выходы блоков прогнозирования положения объектов подключены к пятому входу центрального вычислительного узла, пятый выход центрального вычислительного узла подключен ко входу блока хранения параметров объектов, выход которого подключен ко входу блока определения выходных данных, выход которого является результатом работы устройства.
