Способ и система точной локализации слабовидящего или слепого человека



Способ и система точной локализации слабовидящего или слепого человека
Способ и система точной локализации слабовидящего или слепого человека
Способ и система точной локализации слабовидящего или слепого человека
G09B21/007 - Обучение или общение со слепыми, глухими или немыми (со звуковой демонстрацией материала, подлежащего изучению G09B 5/04; способы или устройства для замены прямого зрительного или слухового восприятия другим видом восприятия A61F 9/08,A61F 11/04; звуковая индикация показаний измерительных приборов или цвета G01D 7/12; часы для слепых G04B 25/02; способы или устройства для считывания или распознавания печатных или письменных знаков G06K 9/00; способы или устройства для приема или распознавания речи G10L; запись или воспроизведение звука как таковые G11B)
G06F3/167 - Вводные устройства для передачи данных, подлежащих преобразованию в форму, пригодную для обработки в вычислительной машине; выводные устройства для передачи данных из устройств обработки в устройства вывода, например интерфейсы (пишущие машинки B41J; преобразование физических переменных величин F15B 5/00,G01; получение изображений G06T 1/00,G06T 9/00; кодирование, декодирование или преобразование кодов вообще H03M; передача цифровой информации H04L)

Владельцы патента RU 2681346:

Общество с ограниченной ответственностью "ПРОзрение" (RU)

Техническое решение относится к системам помощи слабовидящим и слепым. Технический результат заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов, и оповещении об этом пользователя. Способ характеризуется тем, что получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека. 2 н. и 12 з.п. ф-лы, 2 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Техническое решение относится к области медицинских технических систем помощи слабовидящим и слепым - тифлотехническим устройствам и предназначено для точной локализации слабовидящего или слепого пользователя и информирования о потенциальных препятствиях.

УРОВЕНЬ ТЕХНИКИ

Тифлотехнические средства реабилитации инвалидов по зрению предназначены для облегчения жизни людей с нарушенным зрением.

Современная электронная техника для незрячих позволяет им опосредованно получать информацию о явлениях окружающей среды, предметах и их свойствах. С помощью разнообразных технических средств незрячие могут ориентироваться в пространстве, читать плоскопечатную литературу, распознавать цвета и определять источник света.

Современная тифлотехническая промышленность выпускает разнообразные устройства, способные облегчить незрячим быт и процесс ориентирования в пространстве. К подобным устройствам относят:

разнообразные звуковые брелки, предназначенные для поиска ключей, мобильных телефонов, сумок и других мелких вещей;

зарядные устройства со встроенным речевым выходом;

ультразвуковой фонарь, который предназначен для дополнения тактильной трости с целью обнаружения препятствий на пути пешехода, в том числе предметов, находящиеся на уровне груди или головы человека;

электронная трость, маленькая ультразвуковая система, предназначенная для обнаружения препятствий при передвижении пешехода с тростью.

Известны два основных вида методов комплексирования локальной информации (локальной карты): от телевизионных камер (3D камеры) и приемника сигналов глобальных систем позиционирования.

Из уровня техники известен способ обновления картографических данных «Updating map data from camera images» (US 20120166074 A1, Research In Motion Limited, опубликовано 28.06.2012). Данное изобретение описывает метод обновления карты на предмет появления новых объектов с использованием мобильного устройства, оснащенного GPS приемником. Уточнение локальной карты предлагается посредством использования, лазерного дальномера, компаса, много-ракурсной съемки или стереокамеры. Из уровня техники известна стереокамера с возможностью определения местоположения «Stereoscopic camera with haptic feedback for object and location detection» (US 8526677 B1, Google Inc., опубликовано 03.09.2013), взятая за ближайший аналог.

Архитектура системы включает в себя следующие аппаратные части: телевизионную стереокамеру, GPS приемник, компас, коммуникационный модуль, вибратор, микрофон, процессор. Схема работы данной системы: стереокамера получает 3D данные, строит локальную карту окружающей сцены, GPS приемник выдает координаты глобального местоположения мобильного устройства, коммуникационный модуль скачивает карты местности с удаленного сервера. Процессор определяет локализацию, как минимум одного объекта, обозначенного на карте, посредством сопоставления данных GPS и данных с 3D камеры.

Оба, указанных изобретения могут быть использованы для создания устройства точной локализации (совмещенной как глобальной, так и локальной) слабовидящего и слепого, но обладают следующими недостатками:

1. В архитектуре устройств не используется акселерометр и гироскоп, что не позволяет точно определять скорость и точное направление движения пользователя.

2. Не используется модуль обнаружения свободного пространства для движения слабовидящего с учетом габаритов пользователя.

3. Отсутствует синтезатор речи для детального описания окружающей обстановки.

4. Тактильный отклик реализован на базе единственного вибратора, что не позволит использовать тактильный актуатор для навигации.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.

Технический результат от использования данного технического решения заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя.

Данный технический результат достигается за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.

Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

Точная локализация слабовидящего или слепого человека ведется циклично.

Глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.

Синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.

Возможна реализация функции голосового интерфейса.

Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.

Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.

Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

Точная локализация слабовидящего или слепого человека ведется циклично.

В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - описание диспаратности;

Фиг. 2 - блок-схема выполнения способа точной локализации слабовидящего или слепого человека в цикличном варианте.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

В данном устройстве под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.

Актуатор - представляет собой техническое устройство или спусковой механизм, передающий усилие от управляющего на управляемый объект. Само воздействие может быть разнообразным: от линейного до вращающего. При этом в зависимости от того, как прилагается усилие, определяется разнообразие приборов.

Гироскоп (от др. - греч. - круг + - смотрю) - устройство, способное реагировать на изменение углов ориентации тела, на котором оно установлено, относительно инерциальной системы отсчета.

Акселерометр (лат. accelero - ускоряю и др. - греч. «измеряю») прибор, измеряющий проекцию кажущегося ускорения (разности между истинным ускорением объекта и гравитационным ускорением). Как правило, акселерометр представляет собой чувствительную массу, закрепленную в упругом подвесе. Отклонение массы от ее первоначального положения при наличии кажущегося ускорения несет информацию о величине этого ускорения.

Карта глубины (depth map) - это изображение, на котором для каждого пикселя, вместо цвета, храниться его расстояние до камеры. Карта глубины может быть получена с помощью специальной камеры глубины (например, сенсор Kinect является своего рода такой камерой), а так же может быть построена по стереопаре изображений.

Данное техническое решение обеспечивает повышение точности локализации пользователя, получение информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.

Согласно предлагаемому техническому решению, способ точной локализации слабовидящего или слепого человека включает следующие шаги:

Получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства.

Глобальные координаты текущего местоположения и двумерная карта окружающего пространства могут быть получены при помощи мобильного устройства по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.), при этом, связь с мобильным устройством может осуществляться по технологии Wi-Fi, Bluetooth, Infrared Data Association (инфакрасный порт).

Мобильное устройство (например, смартфон) или непосредственно модуль определения координат может использовать технологии LBS (Location-based service), A-GPS (Assisted GPS) для повышения скорости процесса получения глобальных координат местонахождения слабовидящего или слепого человека и двумерной карты окружающего пространства.

Получают трехмерную карту окружающего пространства, при этом:

создают карту глубины окружающего пространства;

затем производят пространственную и временную фильтрацию;

полученную карту глубины делят на части;

после чего производят сегментацию объектов на базе карты глубины.

3D камера (например, сенсор Kinect) продуцирует 3D облако точек, на базе, которого строится карта глубины, сегментируются объекты 3D пространства, на базе которых на следующем шаге будет произведено распознавание объектов сцены.

После получения карты глубины происходит ее пространственная и временная фильтрация. Пространственная фильтрация реализуется поиском на карте глубины малых областей с одинаковой или близкой диспарантностью. Диспаратность характеризуется разностью горизонтальных и вертикальных угловых координат изображения точки на сетчатках двух глаз. На Фиг. 1 изображена поверхность, заданная точками A1, А2, A3, которые находятся на одинаковом расстоянии от наблюдателя. На точку А2 (точку фиксации) направлен взгляд наблюдателя, поэтому она проецируется в fovea (центральную ямку) сетчаток его глаз (точки Ol, Or). Поверхности левой и правой сетчаток связаны с системами координат OlXL, OrXR таким образом, что центр fovea находится в точке 0. Пусть слева от точек Ol и Or лежит область отрицательных значений координат. Проекции точки А1 имеют на левой и правой сетчатке координаты x1l и x1r соответственно, проекции точки A3 - координаты х31 и x3r. Координаты проекций точек, отстоящих от наблюдателя на то же расстояние, что и точка фиксации, на обеих сетчатках совпадают, то есть x1l=x1r, х3l=x3r. Говорят, что эти точки пространства проецируются на соответственные (корреспондирующие) точки сетчаток. Рассмотрим точку А4, расположенную ближе, чем точка фиксации. Координаты проекций такой точки связаны неравенством х4l<x4r (так как х4l<0, х4r<0). Для точки А5 (не показана на рисунке), расположенной дальше точки фиксации, справедливо неравенство х5l>х5r. Эти точки окружающего мира проецируются на некорреспондирующие или диспаратные точки сетчаток или, что то же самое, обнаруживают диспаратность. Выделяют конвергентную (у точек, расположенных ближе точки фиксации) и дивергентную (у точек, расположенных дальше точки фиксации) диспаратность. Распределение диспаратностей по изображению иногда называют картой диспаратностей.

Такие области считаются шумом и не учитываются в дальнейшем. Временная фильтрация позволяет получить более точную карту глубины, используя данные с соседних кадров.

Для поиска препятствий и определения свободного прохода карта глубины разделяется на крупные зоны, для которых определяется их занятость (зона считается занятой, если расстояние до ближайшего препятствия в ней меньше заданного пользователем порога). Для определения ближайшего препятствия в зоне находится медианное среднее значение всех расстояний в ней, при этом, если в зоне мало точек с данным расстоянием, оно не учитывается. Если зона состоит целиком из шума, то ее занятость определяется по соседним зонам. При наличии занятых зон на пути движения пользователя проверяется занятость зон справа и слева, при отсутствии препятствий с одной или с обеих сторон выдается соответствующее сообщение о наличии свободного прохода, в противном случае - сообщение о наличии препятствия с указанием расстояния до него (им считается расстояние до ближайшей зоны).

Для обнаружения неровностей рельефа (так называемые «низкие» препятствия, о которые можно споткнуться, ямы и ступеньки) производится сегментация карты глубины. Для этого определяется поверхность пола, а оставшиеся точки разделяются на находящиеся выше либо ниже этой поверхности. При наличии существенного количества точек выше поверхности пола считается обнаруженным препятствие, аналогично точки ниже поверхности пола считаются ямой. Ступеньки определяются как наличие одного или нескольких перепадов высоты поверхности.

Выделяют базовые признаки для распознавания объектов окружающего пространства.

Для распознавания объектов на сцене предлагается использовать распознавание значимых объектов типа: угол дома, светофор скамейка, одиноко стоящее дерево. Данный подход реализуется на базе использования метода выделения устойчивых признаков SURF (Speeded Up Robust Features) из базы объектов.

Кроме того, производится пространственное сопоставление распознанных объектов между собой и нанесение их на оперативную карту местности для сопоставления, в дальнейшем, например - с картой навигатора.

SURF решает две задачи - поиск особых точек изображения и создание их дескрипторов, инвариантных к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер и будет повернут (здесь и далее мы будем говорить только о вращении в плоскости изображения). Кроме того, сам поиск ключевых точек тоже должен обладать инвариантностью. Так, что бы повернутый объект сцены имел тот же набор ключевых точек, что и образец.

Метод выделения устойчивых признаков SURF ищет особые точки с помощью матрицы Гессе. Детерминант матрицы Гессе (т.н. гессиан) достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий.

Гессиан инвариантен относительно вращения. Но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов.

Для каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе.

Градиент в точке вычисляется с помощью фильтров Хаара.

После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки (что понимается под флуктуацией - рассмотрим ниже). Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами.

Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек.

Флуктуации градиента окрестностей ключевой точки считаются относительно направления градиента вокруг точки в целом (по всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба.

Распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства.

Реализуется через поиск надписей и других графических символов на изображении (например: надпись на табличке адреса дома, вывеска на магазине и пр.) Распознавание производится на базе методов распознавания печатного текста. Далее объект наносится на текущую карту местности и сопоставляется, например, с картой навигатора.

Оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства.

Оценка расстояния происходит на базе триангуляционных вычислений по следующим данным:

1. Угол (вычисленный на основе вычисления диспарантности) по направлению на одну и ту же точку видную из каждой камеры

2. Расстояние между оптическими осями телевизионных матриц.

3. Данные коррекции оптических искажений оптики.

Выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека.

Выделение объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может производиться с помощью сравнения расстояний до объекта-препятствия с порогом обнаружения препятствия, который мультивариантнен и может быть задан заранее и меняться в процессе самим пользователем. Критерием выделения объектов является сегментация, может быть выделена на базе близости точек по расстоянию, цвету и яркости. После выделения объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может быть проведено обнаружение свободного пути.

Синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

По результатам действия специального программного обеспечения модулем голосового синтеза, генерируется голосовое сообщение о местоположении пользователя (например: город, улица, дом) и локальной обстановке (например: наличие/отсутствие препятствия на пути следования) и путях свободного движения. При этом голосовые сообщения возможно прослушать через внешние динамики, наушники, подключенные к устройству и\или через беспроводную гарнитуру. Также при помощи навигационных систем может быть построен маршрут движения из текущей или заданной точки местоположения в пространстве в требуемую.

Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.

Точная локализация слабовидящего или слепого человека может производиться циклично. Способ точной локализации слабовидящего и слепого человека в данном случае описывается следующей последовательностью, изображен на Фиг. 2:

1. Получение глобальных координат по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.).

2. Получение 3D образа окружающей среды.

3. Распознавание объектов сцены и сопоставление с объектами, представленными на карте.

4. Обнаружение и дополнение карты, выделение объектов препятствий, нанесение их на карту устройства.

5. Привязка по компасу, включение акселерометра-гироскопа для вычисления скорости и направления движения субъекта.

6. Комплексирование данных всех датчиков.

7. Динамическое обнаружение свободного пути.

8. Синтез голосовых сообщений о возможности свободного движения.

9. Переход к п. 1.

Специалисту в данной области, очевидно, что конкретные варианты осуществления способа и системы точной локализации слабовидящего или слепого человека были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема изобретения.

1. Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что:

- получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства;

- получают трехмерную карту окружающего пространства, при этом:

- создают карту глубины окружающего пространства,

- затем производят пространственную и временную фильтрацию,

- полученную карту глубины делят на части,

- после чего производят сегментацию объектов на базе карты глубины;

- выделяют базовые признаки для распознавания объектов окружающего пространства;

- распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства;

- оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства;

- выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека;

- синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

2. Способ по п. 1, характеризующийся тем, что точная локализация слабовидящего или слепого человека ведется циклично.

3. Способ по п. 1, характеризующийся тем, что глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.

4. Способ по п. 1, характеризующийся тем, что синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.

5. Способ по п. 1, характеризующийся тем, что реализована функция голосового интерфейса.

6. Способ по п. 1, характеризующийся тем, что дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.

7. Способ по п. 1, характеризующийся тем, что дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.

8. Система точной локализации слабовидящего или слепого человека, содержащая объединенные общей шиной:

- по крайней мере одно устройство обработки команд;

- по крайней мере одно устройство хранения данных;

- по крайней мере один синтезатор человеческой речи;

- по крайней мере один динамик;

- по крайней мере один приемник сигналов глобальных систем позиционирования;

по крайней мере одну стереокамеру или другую 3D камеру;

- одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-7.

9. Система по п. 8, характеризующаяся тем, что в состав включен электронный компас.

10. Система по п. 8, характеризующаяся тем, что в состав включен акселерометр.

11. Система по п. 8, характеризующаяся тем, что в состав включен гироскоп.

12. Система по п. 8, характеризующаяся тем, что в состав включен по крайней мере один вибромотор для обеспечения тактильного интерфейса с пользователем.

13. Система по п. 8, характеризующаяся тем, что в состав включен микрофон для обеспечения голосового интерфейса с пользователем.

14. Система по п. 8, характеризующаяся тем, что в состав включен коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.



 

Похожие патенты:

Группа изобретений относится к медицинской технике, а именно к вспомогательным средствам навигации людей с нарушениями зрения. Закрепляемое на голове вычислительное устройство для предоставления помощи пользователю в навигации по окружающей среде через вывод аудио содержит один или более датчиков глубины для генерирования данных о глубине изображения окружающей среды, один или более датчиков видимого света для генерирования данных видимого изображения окружающей среды, один или более преобразователей и модуль навигации, исполняемый процессором закрепляемого на голове вычислительного устройства, при этом модуль навигации содержит режим знакомой навигации, в котором помощь в навигации адаптирована с учетом того, что окружение знакомо пользователю, и режим незнакомой навигации, в котором помощь в навигации адаптирована с учетом того, что окружение не знакомо пользователю, причем модуль навигации выполнен с возможностью, используя данные о глубине изображения и данные видимого изображения, генерирования трехмерной сетки, по меньшей мере, участка окружающей среды, используя методики машинного обучения, определения, посещал ли пользователь ранее эту окружающую среду, в ответ на определение того, что пользователь ранее посещал эту окружающую среду по меньшей мере предварительно определенное количество раз, задействования режима знакомой навигации, используя трехмерную сетку, обнаружения по меньшей мере одной характерной особенности в окружающей среде, при работе в режиме знакомой навигации и на основании обнаружения характерной особенности вывода первой аудиоподсказки навигации по окружающей среде пользователю через один или более преобразователей, и при работе в режиме незнакомой навигации и на основании обнаружения характерной особенности вывода второй аудиоподсказки навигации по окружающей среде пользователю через один или более преобразователей, при этом вторая аудиоподсказка навигации отличается от первой аудиоподсказки навигации.

Изобретение относится к области коммуникации людей, в частности людей с ограниченными возможностями здоровья по слуху со слышащими. Техническим результатом является повышение коммуникативности связи между людьми с ограниченными возможностями здоровья по слуху и слышащими в режиме реального времени.

Изобретение относится к акустике, в частности к способам для преобразования зрительной информации в звуковую форму для ее восприятия слепыми. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включает ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы, обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме, последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы.

Изобретение относится к тактильным устройствам вывода. Технический результат заключается в уменьшении массы устройства вывода и повышении максимальной скорости вывода данных.

Изобретение относится к области педагогики, в частности к педагогике профессионально-технического образования и среднего специального образования (инклюзивное образование), социальной педагогике, и может быть использовано для реабилитации и социализации молодых инвалидов с сохранным интеллектом и людей с ограниченными возможностями здоровья (ОВЗ).

Изобретение относится к устройству для ввода данных в шрифте Брайля на сенсорной панели. Достигаемый технический результат - создание устройства, которое интуитивно и удобно воспринимается пользователем как зрячим, так и слепым, отвечает требованиям безопасности и конфиденциальности.

Изобретение относится к средствам информирования и ориентации инвалидов по зрению при их передвижении по городской территории. Способ состоит в размещении на стационарных объектах стационарных радиоинформаторов и размещении на инвалидах носимых абонентских устройств, автоматической передаче носимым абонентским устройством в радиоэфир сигнала запроса, по получении которого каждый стационарный радиоинформатор, находящийся в данный момент в зоне действия абонентского устройства, передает в радиоэфир ответ, содержащий его персональные данные, а абонентское устройство поочередно получает и запоминает полученные ответы от всех стационарных радиоинформаторов, находящихся в данный момент в зоне действия этого абонентского устройства, и автоматически направляет сигнал запроса на передачу информации стационарному радиоинформатору, который по получении этого сигнала запроса передает в радиоэфир сообщение о стационарном объекте, на котором он установлен, а абонентское устройство воспроизводит полученную от этого стационарного радиоинформатора информацию в виде звуковых повторяющихся сообщений.

Изобретение относится к текстильному изделию для использования слепыми или слабовидящими людьми. Текстильное изделие (1) содержит основной слой (2) и носитель информации, который содержит осязательную информацию и выполнен в виде вышивки (3) точек шрифта Брайля, расположенной на основном слое (2), в котором вышивка (3) является многослойной.

Изобретение относится к средствам для ориентации инвалидов по зрению. Способ информирования инвалидов о прибывающих на остановку транспортных средствах общего пользования состоит в размещении на транспортных средствах общего пользования радиомодулей, пультов водителей и звукоизлучателей и размещении на инвалидах носимых абонентских устройств, при этом абонентское устройство инвалида автоматически передает в радиоэфир сигнал запроса, после чего радиомодуль каждого транспортного средства, находящегося в данный момент в зоне действия абонентского устройства, по получении сигнала запроса передает в радиоэфир ответ на полученный сигнал запроса, абонентское устройство поочередно получает и запоминает полученные ответы от всех радиомодулей, находящихся в данный момент в зоне действия этого абонентского устройства, и автоматически направляет сигнал запроса на передачу информации радиомодулю транспортного средства, который по получении этого сигнала запроса на передачу информации передает в радиоэфир сообщение о транспортном средстве, на котором он установлен, а абонентское устройство воспроизводит полученную от этого радиомодуля информацию в виде звуковых повторяющихся сообщений, затем радиомодуль выбранного инвалидом транспортного средства передает на пульт водителя сигнал для водителя и подает команду на установленный на транспортном средстве звукоизлучатель, который воспроизводит звуковой сигнал ориентирования, по которому инвалид определяет необходимое направление движения к открытой двери транспортного средства.

Изобретение относится к средствам для обеспечения жизнедеятельности инвалидов по зрению, а именно предназначено для получения информации и облегчения ориентации незрячих людей в пространстве.

Группа изобретений относится к медицине, а именно к обработке медицинских изображений части тела человека или животного, и может быть использована для определения медицинских данных на входящем изображении.

Настоящее изобретение относится к области компьютерной графики. Технический результат – повышение производительности процесса отрисовки трехмерной сцены.

Изобретение относится к области видеокодирования. Технический результат - повышение эффективности видеокодирования.

Изобретение относится к области обработки изображений. Технический результат – обеспечение защиты данных 3D изображения за счет преобразования данных 3D изображения в частично рандомизированный массив.

Изобретение относится к медицине, а именно к рентгенохирургическим методам диагностики сердечной недостаточности (СН), и может быть использовано для ранней диагностики сердечной недостаточности.

Изобретение относится к области медицинской техники и может использоваться для ориентации людей, имеющих сложности с визуальным восприятием информации - полностью или частично утратившими зрение.

Изобретение относится к медицине, а именно к мониторингу пациентов. Подсистема анализа видеоданных для использования в системе мониторинга пациента для мониторинга пациента в постели содержит: систему оценки или обнаружения движения для приема видеоизображений (V1, V2) пациента, захватываемых видеокамерой; блок локализации для получения сигналов (S1, S2, S3) датчиков от комплекта датчиков, связанных с компонентами оборудования, расположенными вблизи постели, для обнаружения взаимодействия с указанными компонентами оборудования, осуществляемого пациентом.

Изобретение относится к области прикладного телевидения. Технический результат - повышение точности компенсации геометрического шума матричного фотоприемника при изменении времени его экспозиции в процессе информативного облучения.

Изобретение относится к области систем видеонаблюдения. Технический результат – повышение точности отображения объектов на плане местности в системе видеонаблюдения за счет преобразования координат местоположения объекта из системы координат кадра в систему координат плана местности.

Изобретение относится к области обработки изображений. Технический результат – повышение точности обнаружения надрыва банкноты.

Изобретение относится к области распознавания данных. Технический результат − сокращение времени обработки сжатого НГС в формате JPEG за счет уменьшения количества операций и обеспечение правильного распознавания контента.

Техническое решение относится к системам помощи слабовидящим и слепым. Технический результат заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов, и оповещении об этом пользователя. Способ характеризуется тем, что получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека. 2 н. и 12 з.п. ф-лы, 2 ил.

Наверх