Способ навигации в помещении с использованием мобильного устройства и графических меток
Изобретение относится к области навигации. Техническим результатом является эффективная навигация в помещении. Способ навигации в помещении содержит размещение меток в виде монохромных или цветных двумерных изображений, которые имеют заданный формат, являются графическими кодами их индивидуальных номеров и представляют собой закодированный двухмерный код своего номера, на любых горизонтальных или вертикальных поверхностях внутри помещений, предпочтительно таким образом, чтобы при любом направлении обзора в объектив камеры мобильного устройства попадала как минимум одна метка, составление схемы размещения меток в каждом конкретном помещении, составление списка указателей с присвоением идентификатора каждому указателю, составление таблицы, содержащей в двух столбцах номера меток, образующих в строках первого и второго столбцов уникальные сочетания номеров меток, включая те сочетания номеров меток, в которых номер метки из первого столбца равен номеру метки из второго столбца, в третьем столбце - идентификатор указателя, обозначающего направление кратчайшего пути от исходного места в помещении, обозначенного меткой с номером из первого столбца, до целевого места, обозначенного меткой с номером из второго столбца, при этом при совпадении номеров в первом и втором столбцах используется идентификатор указателя, обозначающего достижение цели, установка программного обеспечения на мобильное устройство пользователя, оборудованное видеокамерой, выбор места назначения из списка всех мест помещения, в которых расположена по крайней мере одна метка, обзор помещения при помощи мобильного устройства при включенном программном обеспечении, получающего изображение с камеры мобильного устройства, производящего вывод полученного изображения на экран, обработку полученного изображения, обнаружение графических меток заданного формата, осуществляющего компенсацию перспективы, производящего декодирование меток, получение номеров распознанных меток, вывод графического указателя на экран мобильного устройства пользователя путем наложения поверх изображения, полученного с камеры мобильного устройства, изображения графического указателя, указывающего направление кратчайшего пути до места в помещении, где находится целевая метка. 10 ил.
Область техники
Настоящее изобретение относится к области навигации, а именно к способу навигации в помещениях и на ограниченных открытых территориях.
Предшествующий уровень техники
Известен способ определения местоположения объекта при использовании глобальных навигационных спутниковых систем, заключающийся в том, что принимают сигналы от первой GPS и второй ГЛОНАСС орбитальных группировок навигационных спутников; производят первичную цифровую обработку навигационных сигналов с выделением эфемерид и псевдодальностей; рассчитывают скорректированные псевдодальности; прогнозируют координаты спутников по актуальным эфемеридам на моменты времени излучения навигационных сигналов; определяют координаты х, y, z, временной параметр a1, соответствующий расхождению часов навигационного приемника от системного времени первой орбитальной группировки, и временной параметр а2, соответствующий расхождению часов навигационного приемника от системного времени второй орбитальной группировки методом наименьших квадратов, используя информацию от всех спутников с одинаковым весом первой и второй орбитальных группировок, путем аналитического решения системы нелинейных уравнений с минимизацией невязок; проверяют выполнимость условия a1<ε, где ε - допустимая величина невязки по времени между шкалой навигационного приемника и системного времени глобальной навигационной спутниковой системы (ГНСС); подводят часы навигационного приемника до системного времени ГНСС; сглаживают результаты определения фильтром Калмана; записывают результаты определения х, y, z, a1, а2 и выводят их для пользователя (патент RU 2 492 499, опубл. 10.09.2013).
Известна спутниковая навигационная система для замкнутого пространства, включающая в себя: а) по меньшей мере одну станцию приема спутниковых сигналов, расположенную за пределами замкнутого пространства, предназначенную для приема спутниковых сигналов, передаваемых совокупностью спутников, и определения соответствующей передаваемым сигналам информации, имеющей отношение к синхронизации времени; b) по меньшей мере одну локальную передающую станцию, расположенную в пределах данного замкнутого пространства, предназначенную для передачи локального сигнала, совместимого с передаваемыми спутниковыми сигналами; и с) канал связи, предназначенный для передачи информации, имеющей отношение к самосогласованию, между каждой из станций и по меньшей мере одной другой станцией; причем каждая локальная передающая станция использует информацию, имеющую отношение к самосогласованию, для формирования упомянутого локального сигнала; и причем по меньшей мере один локальный сигнал предоставляет навигационную информацию, пригодную к использованию приемником спутниковой навигационной системы (заявка на изобретение RU 2013 105 411, опубл. 20.08.2014).
Системы спутниковой навигации позволяют расширить функциональные возможности, однако не применимы в помещениях, в которые спутниковые сигналы не доходят должным образом, и не является экономически обоснованным для решения поставленной задачи.
Известен способ магнитной навигации по геомагнитным разрезам, содержащий эталонную карту магнитного поля Земли исследуемого района, измерения магнитного поля Земли с носителя, координаты начальной точки и штатную систему приближенного координирования носителя, отличающийся тем, что по эталонному и измеренному полям строят геомагнитные разрезы, по выбранным параметрам разреза (координаты объектов, магнитные массы и распределение в разрезе функции подобия теоретических аномалий-объектов на реальные) в заданном интервале наблюдения и заданном интервале глубин исключают ложные и мешающие объекты в заданных интервалах, сопоставляют полученные по измеренному и эталонному магнитным полям Земли разрезы посредством вычисления некоторого функционала типа корреляционной функции и поиска экстремума этой функции и определяют точные координаты носителя (патент RU 2530778, опубл. 10.10.2014). Описанный способ, в рамках поставленной задачи обеспечения навигации в помещении, отличается высокой сложностью реализации и низкой точностью, поскольку в помещении всегда присутствует множество динамически меняющихся магнитных аномалий (например, электропроводка).
Наиболее близким к изобретению по технической сущности и достигаемому результату в области способа является способ, описанный в статье «Использование двумерных штрих-кодов для создания системы позиционирования и навигации в помещении» (Абдрахманова A.M., Намиот Д.Е.. Использование двумерных штрих-кодов для создания системы позиционирования и навигации в помещении. Сборник тезисов XX Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2013». М.: МГУ им. М.В. Ломоносова, 2013). Согласно способу система реализована в виде веб-сайта, хранящего данные о каждой метке. Пользователь добавляет информацию о конкретной метке с помощью системы управления контентом сайта, отмечая ее местоположение на схеме помещения. Информация о каждой метке представлена отдельной веб-страницей, адрес которой кодируется двумерным штрих-кодом. Штрих-код располагается в той точке помещения, которая обозначена на схеме соответствующей меткой. Пользователь при помощи программного обеспечения на своем мобильном устройстве считывает штрих-код и переходит на страницу с информацией о метке, где обозначается ее положение на схеме. Способ отличается простотой и доступностью внедрения и сопровождения, может быть использован на всех моделях современных мобильных телефонов, однако, требует подключения к сети Интернет, не может использоваться для непрерывной навигации, поскольку для распознавания штрих-кода подразумевает остановку пользователя, не подразумевает расчет оптимального маршрута до места назначения.
Раскрытие изобретения
Задачей настоящего изобретения является разработка простого, экономичного способа навигации в помещении, который не использует средства радиосигналов, не требует подключения к Интернет, может быть использован для навигации в процессе движения и решает задачу выбора оптимального маршрута.
Технический результат настоящего изобретения заключается в способе навигации, который не требует обнаружения текущей позиции объекта посредством радиосигналов, но решает задачу выбора дальнейшего направления движения и поиска кратчайшего пути. Внедрение системы требует предварительной разработки таблицы-схемы, основанной на схеме помещения, а также изготовления и размещения меток, положение которых может оставаться неизменным на протяжении всего функционирования помещения.
Технический результат достигается тем, что внутри помещений и на ограниченных обустроенных территориях, на любых горизонтальных или вертикальных поверхностях, размещают специальные метки, составляют схему размещения меток, список указателей с присвоением идентификатора каждому указателю, таблицу, в которой содержатся уникальные сочетания номеров меток - исходных и целевых, а также идентификаторы указателей, обозначающих направление кратчайшего пути от текущего положения в помещении до целевого, устанавливают специальное программное обеспечение на мобильное устройство пользователя, оборудованное видеокамерой, запускают приложение на мобильном устройстве, выбирают место назначения из списка всех мест помещения, в которых расположена по крайней мере одна метка, производят обзор помещения при помощи мобильного устройства при включенном программном обеспечении, которое получает изображение с камеры мобильного устройства, выводит полученное изображение на экран, производит обработку полученного изображения, обнаружение исходных графических меток заданного формата, компенсацию перспективы, декодирование меток, получение номеров распознанных меток, наложение поверх изображения на экране мобильного устройства, полученного с камеры, изображения графического указателя, указывающего направление кратчайшего пути до места в помещении, где находится целевая метка.
Варианты осуществления изобретения
Способ осуществляется следующим образом.
В помещении или на ограниченных обустроенных территориях на любых горизонтальных или вертикальных поверхностях размещают метки. Метка представляет собой монохромное или цветное двухмерное изображение, являющееся графическим кодом ее индивидуального номера (например, двухмерный штрих-код). Метки распечатывают на бумаге или любом другом носителе, или наносят непосредственно на поверхность. Размер и количество размещаемых меток выбирается эмпирически, исходя из площади помещения и расстояния, необходимого для распознавания метки. Оптимальный результат достигается, когда при любом направлении обзора в объектив камеры попадает как минимум одна метка. Составляется схема размещения меток в каждом конкретном помещении.
Далее составляют список указателей направления движения, присваивая каждому указателю свой идентификатор.
Далее составляют таблицу, содержащую три столбца: в двух столбцах (столбец 1 и столбец 2) указывают номера меток, в третьем (столбец 3) - идентификатор указателя. Каждая строка в столбцах 1 и 2 содержит уникальное сочетание номеров меток, в том числе сочетания, где номер в столбце 1 равен номеру в столбце 2. В столбце 3 содержится идентификатор указателя, обозначающего направление кратчайшего пути от места в помещении, где расположена метка с номером из столбца 1, до места в помещении, где расположена метка с номером из столбца 2. В строках, где номер в столбце 1 равен номеру в столбце 2, указывается идентификатор указателя, обозначающего достижение цели. Нумерация столбцов в таблице принципиального значения не имеет.
На мобильное устройство пользователя, оборудованное видеокамерой, устанавливается специальное программное обеспечение (далее ПО). Пользователь запускает приложение на мобильном устройстве, выбирает место назначения из списка, в котором присутствуют все места помещения, в которых расположена по крайней мере одна метка.
Пользователь осуществляет обзор помещения при помощи мобильного устройства при включенном ПО. ПО получает изображение с камеры мобильного устройства и выводит его на экран. ПО выполняет обработку полученного изображения, обнаруживает графические метки заданного формата, компенсирует перспективу, выполняет декодирование меток, получает номера распознанных меток. ПО накладывает изображение графического указателя поверх изображения, полученного с камеры мобильного устройства. Графический указатель выводится на экран мобильного устройства пользователя, указывая кратчайший путь до места в помещении, где находится целевая метка.
В процессе работы ПО пользователь, осматривая помещение при помощи мобильного устройства и следуя по указателям на экране, достигает цели.
Краткое описание чертежей.
Фиг. 1 - план помещения.
Фиг. 2 - план размещения меток в помещении.
Фиг. 3 - таблица идентификаторов указателей.
Фиг. 4 - таблица направлений.
Фиг. 5 - метка с позиционными ячейками.
На приведенном чертеже линии, разделяющие ячейки, нанесены с целью демонстрации способа. При печати метки линии не отображались.
Фиг. 6 - изображение с камеры смартфона.
Фиг. 7 - бинаризированная декодируемая область.
Фиг. 8 - результат распознавания метки.
Фиг. 9 - изображение со смартфона с наложенным указателем.
Фиг. 10 - изображение со смартфона с наложенным указателем при достижении цели.
Далее изобретение описано в приведенных ниже не ограничивающих область данного изобретения примерах.
Пример 1
Для экспериментального помещения площадью 560 м кв. (Фиг. 1) составили схему размещения меток (Фиг. 2), составили список указателей, присвоив каждому указателю идентификатор (Фиг. 3), подготовили таблицу (далее - Таблица направлений), содержащую 3 столбца: в столбцах 1 и 2 разместили номера меток, в столбце 3 разместили идентификатор указателя. Таблицу составили таким образом, что каждая строка в столбцах 1 и 2 содержит уникальное сочетание номеров меток, в том числе сочетания, где номер в столбце 1 равен номеру в столбце 2. В столбце 3 разместили идентификатор указателя, обозначающего направление кратчайшего пути от места в помещении, где расположена метка с номером из столбца 2, до места в помещении, где расположена метка с номером из столбца 1. В строках, где номер в столбце 1 равен номеру в столбце 2, указали идентификатор указателя, обозначающего достижение цели (Фиг. 4).
Далее подготовили графические метки, представляющие собой закодированный двухмерный код своего номера, а именно квадратную матрицу, состоящую из квадратных ячеек, каждая из которых равномерно закрашена черным или имеет цвет поверхности, на которую нанесена метка. Ячейке, закрашенной черным цветом, присвоили значение «1», не закрашенной ячейке присвоили значение «0». Выбрали бинарную размерность номера метки: 15 бит, что позволяет подготовить 215 различных меток. Для помехоустойчивости графического кода метки номер метки закодировали по методу Хемминга.
С учетом избыточности кода Хемминга итоговая длина кода номера метки составила 30 бит. Добавили контрольную сумму, используемую при декодировании для проверки правильности распознанного кода - 6 бит. Контрольную сумму также закодировали по методу Хемминга. С учетом избыточности кода Хемминга итоговая длина кода контрольной суммы составила 12 бит. Получили итоговую длину кода (номер метки + контрольная сумма) - 42 бита.
Выбранный размер графической метки составил 11*11 ячеек, при этом внешние ячейки были закрашены в черный цвет и образовали замкнутый контур. Затем разместили внутренний ряд не закрашенных ячеек. Получили внутреннее поле графической метки размером 7*7 ячеек.
На внутреннем поле зафиксировали цвет семи ячеек (позиционные ячейки), чтобы по ним определять ориентацию метки (обозначены знаком «х», Фиг. 5).
Каждую метку распечатали на отдельном листе формата А4, с сохранением пропорций метки. Метки разместили согласно схеме размещения меток на вертикальных поверхностях экспериментального помещения. Всего разместили 32 метки.
На мобильное устройство (смартфон) Sony Xperia с установленной операционной системой Google Android 4.4 установили программное обеспечение (ПО). Находясь в помещении №7, запустили приложение на мобильном устройстве, выбрали место назначения из списка, в котором присутствуют все места, в которых расположена, как минимум, одна метка, конкретно помещение №9, в котором расположена метка с номером 1105. Запустили процесс навигации к целевой метке. Выполнили обзор при помощи мобильного устройства при включенном ПО. ПО получило изображение с камеры мобильного телефона и вывело его на экран, произвело обработку полученного с камеры кадра: перевело режим изображения в градации серого. После изменения режима на полученном кадре был выполнен поиск замкнутых контуров типа «замкнутый квадрат» (Фиг. 6). Далее устранили перспективу декодируемой области (части кадра, ограниченного найденным замкнутым контуром), произвели бинаризацию декодируемой области, а именно пороговым методом (порог 50%) заменили цвет каждого пикселя декодируемой области на один из двух цветов: белый или черный (Фиг. 7). Декодируемую область разделили на ячейки: 11 по вертикали и 11 по горизонтали. Получили значения бит кода и позиционных ячеек распознаваемой метки: для каждой ячейки вычислили количество черных пикселей. Если это количество превышает половину от общего количества пикселей ячейки, то принимаем значение ячейки равным "1", иначе - равным "0" (Фиг. 8). Определили ориентацию положения декодируемой области по позиционным ячейкам - ориентация основная, поворачивать декодируемую область не нужно. Выстроили код из значений ячеек декодируемой области. Получили следующий код:
"001011101101001011111000000000111000100110".
Декодировали код по методу Хемминга с корректировкой ошибок, получили откорректированный номер метки в двоичном виде: "00001111101111"; откорректированное значение контрольной суммы: "101111". Выполнили проверку контрольной суммы: вычислили контрольную сумму (остаток от деления на 26) и сравнили со значением контрольной суммы откорректированного кода:
00001111101111/01000000=101111
Значение вычисленной контрольной суммы совпало со значением распознанной части кода, соответствующей контрольной сумме, следовательно, приняли, что номер метки распознан правильно.
Преобразовали двоичный код номера в десятичный, получили номер 1007. В Таблице направлений произвели поиск строки, где значение в первом столбце равно номеру целевой метки 1105, значение во втором столбце равно распознанному номеру метки 1007. По значению третьего столбца получили идентификатор указателя: 3.
Графическое изображение указателя, соответствующее найденному идентификатору, наложили на исходное изображении с камеры в том месте, где был получен исходный замкнутый контур (Фиг. 9).
Проследовали по помещению в направлении по указателю.
Продолжили осматривать помещение для получения следующих указателей.
Дальнейший покадровый анализ изображения и вывод указателей на экран происходил аналогичным образом.
Следовали по указателям на экране мобильного устройства по помещению, пока не получили на экране указатель, обозначающий достижение цели (Фиг 10).
Промышленная применимость
Способ навигации внутри помещения с применением графических меток имеет широкое применение при осуществлении навигации в любых зданиях с множеством внутренних помещений, таких как торгово-развлекательные центры, аэропорты, экспоцентры, автопарковки, а также на ограниченных обустроенных территориях, таких как парки развлечений, зоопарки.
Способ навигации в помещении, включающий размещение меток в виде монохромных или цветных двумерных изображений, которые имеют заданный формат, являются графическими кодами их индивидуальных номеров и представляют собой закодированный двухмерный код своего номера, на любых горизонтальных или вертикальных поверхностях внутри помещений, предпочтительно таким образом, чтобы при любом направлении обзора в объектив камеры мобильного устройства попадала как минимум одна метка, составление схемы размещения меток в каждом конкретном помещении, составление списка указателей с присвоением идентификатора каждому указателю, составление таблицы, содержащей в двух столбцах номера меток, образующих в строках первого и второго столбцов уникальные сочетания номеров меток, включая те сочетания номеров меток, в которых номер метки из первого столбца равен номеру метки из второго столбца, в третьем столбце - идентификатор указателя, обозначающего направление кратчайшего пути от исходного места в помещении, обозначенного меткой с номером из первого столбца, до целевого места, обозначенного меткой с номером из второго столбца, при этом при совпадении номеров в первом и втором столбцах используется идентификатор указателя, обозначающего достижение цели, установка программного обеспечения на мобильное устройство пользователя, оборудованное видеокамерой, выбор места назначения из списка всех мест помещения, в которых расположена по крайней мере одна метка, обзор помещения при помощи мобильного устройства при включенном программном обеспечении, получающего изображение с камеры мобильного устройства, производящего вывод полученного изображения на экран, обработку полученного изображения, обнаружение графических меток заданного формата, осуществляющего компенсацию перспективы, производящего декодирование меток, получение номеров распознанных меток, вывод графического указателя на экран мобильного устройства пользователя путем наложения поверх изображения, полученного с камеры мобильного устройства, изображения графического указателя, указывающего направление кратчайшего пути до места в помещении, где находится целевая метка.
