Способ ориентации в пространстве людей с нарушением зрительных функций с помощью трости с тактильным экраном-оболочкой

Группа изобретений относится к области систем ориентации и может быть использована в системах ориентации незрячих и слабовидящих людей. Способ ориентации в пространстве людей с нарушением зрительных функций с помощью трости с тактильным экраном-оболочкой заключается в том, что в ручку трости вмонтировано считывающее устройство, которое в постоянном режиме считывает информацию об окружающем пространстве и передает поток изображений одновременно в систему распознавания образов и на микроконтроллер, где изображения трансформируются в монохромный вид, удаляются мелкие объекты, не препятствующие движению человека, и шумы, и изображение преобразовывается в более контрастное, формируются тактильные сигналы и контрастное изображение передается на поверхность кожи человека, с помощью тактильного экрана, выполненного в виде оболочки ручки трости, степень контрастности регулируется незрячим человеком с помощью элементов управления, вмонтированных в ручку, одновременно с этим поток изображения передается в систему распознавания образов, система распознавания образов, содержащая базу данных об объектах окружающего пространства, загружается с помощью GPS через Интернет и/или путем предварительной загрузки и в потоковом изображении распознает, идентифицирует объекты окружающего пространства, совпадающие с объектами базы данных, информация о распознанных объектах передается в виде тактильных сигналов на поверхность кожи человека шифром брайля и/или условными обозначениями. Трость с тактильным экраном-оболочкой, состоящая из трубки и расположенной в верхней части ручки, с тактильным экраном-оболочкой, в которую вмонтированы соединенные между собой видеокамера, установленная на торце ручки трости, с инфракрасным режимом работы и направленная по ходу движения незрячего человека, в боковой поверхности ручки установлены элементы управления в виде переключателей и/или джойстика, система распознавания образов, содержащая базу данных об объектах окружающего пространства, и микроконтроллер, соединенные с источником питания, расположенным в трубке трости. Группа изобретений обеспечивает расширение функциональных возможностей устройства за счет быстрого восприятия формы, размеров объектов и информации об объектах. 2 н.п. ф-лы, 7 ил.

 

Изобретение относится к области систем ориентации и может быть использовано в системах ориентации незрячих и слабовидящих людей.

Известен способ ориентации незрячего человека и устройство для его реализации [Патент на изобретение RU 2451501, опубл.: 27.05.2012, Бюл. №15, Шапиро В.А.], который заключается в том, что на трости незрячего человека устанавливают колесо с вилкой и GPS приемник, в котором задают координаты маршрута движения незрячего человека и по разнице заданных и реальных координат могут корректировать положение человека и задавать направление верного перемещения. Использование предлагаемого способа и устройства позволяет упростить ориентирование незрячего человека, однако незрячий человек не получает информации, описывающей окружающее пространство и встречающиеся предметы, а поэтому не в состоянии самостоятельно принимать решение о безопасности передвижения.

Существуют тактильные экраны Брайля, в которых пространство дисплея организовано в виде подвижных элементов, что позволяет показывать слепым и слабовидящим людям различную текстовую информацию с помощью шрифта Брайля [Электронный ресурс: Доступная среда URL http://dostupsreda.ru/store/dlya_invalidov_po_zreniyu/taktilnye_displei_braylya/ (дата доступа 22.04.2018 г.)].

Существует тактильные экраны Tanvas Touch [Электронный ресурс: Официальный сайт компании Tanvas URL https://tanvas.co/ (дата доступа 22.04.2018 г.)] которые при прикосновении имитируют ощущение конкретной физической поверхности, такой как ткань, волна, песок и т.д.. В рамках выставки CES 2017 компания Tanvas показывала прототип такого экрана на модели планшета Nexus 9. В отличие от экрана Брайля это не технология вибрации или выступающих элементов, а технология излучения электромагнитных импульсов, которая создает более точные ощущения при прикосновении.

Прототипом изобретения является способ, примененный в изобретении [Заявка: 94037985/14, 28.09.1994, Дата публикации заявки: 10.08.1996, Печкин Д.Ю.], работающий следующим образом: с помощью считывающего устройства получают изображение окружающего пространства, преобразуют картину окружающего пространства в систему точек, и формируют тактильные сигналы различной интенсивности, которые передают на поверхность кожи человека. Из этих импульсов человек мысленно формирует картину окружающего пространства. К недостаткам указанного способа относится сложность распознавания объектов окружающего мира и недостаточная информативность.

Прототипом устройства для реализации способа является трость, которая [Патент на полезную модель RU 157314, опубл.: 27.11.2015 Бюл. №33, Пилин В.А., Петленко О.В.] состоит из полой трубки и ручки, внутри трубки размещены источники света с источником питания, а в ручку вмонтирован динамик и кнопки управления звуковыми сигналами динамика. Устройство сигнализирует о наличии препятствия на дороге, однако к недостатку устройства относится то, что оно не дает представления о характере препятствия и окружающей среды.

Целью изобретения является разработка способа и устройства для ориентации в пространстве людей с нарушением зрительных функций, обеспечивающего быстрое и точное распознавание объектов окружающего пространства.

Технической задачей изобретения является расширение функциональных возможностей устройства за счет быстрого восприятия формы, размеров объектов и информации об объектах.

Указанная цель достигается тем, что предложен способ ориентации в пространстве для людей с нарушением зрительных функций с помощью трости с тактильным экраном-оболочкой и заключается в том, что в ручку трости вмонтировано считывающее устройство, которое в постоянном режиме считывает информацию об окружающем пространстве и передает поток изображений одновременно в систему распознавания образов и на микроконтроллер, где изображения трансформируются в монохромный вид, удаляются мелкие объекты, не препятствующие движению человека и шумы, а изображение преобразовывается в более контрастное, формируются тактильные сигналы и контрастное изображение передается на поверхность кожи человека, с помощью тактильного экрана, выполненного в виде оболочки ручки трости, степень контрастности регулируется незрячим человеком с помощью элементов управления, вмонтированных в ручку, одновременно с этим поток изображения передается в систему распознавания образов, система распознавания образов, содержащая базу данных об объектах окружающего пространства, загружается с помощью GPS через интернет и/или путем предварительной загрузки и в потоковом изображении распознает, идентифицируют объекты окружающего пространства, совпадающие с объектами базы данных, информация о распознанных объектах передается в виде тактильных сигналов на поверхность кожи человека шифром брайля и/или условными обозначениями.

Трость с тактильным экраном-оболочкой состоит из трубки в верхней части, которой расположена ручка, с тактильным экраном-оболочкой в которую вмонтированы соединенные между собой считывающее устройство, расположенное на торце ручки трости и направленное по ходу движения незрячего человека, элементы управления, вмонтированные в боковую поверхность ручки в виде переключателей и/или джойстика, соединенные с системой распознавания образов, содержащей базу данных об объектах окружающего пространства, и микроконтроллером, и источником питания, расположенным в трубке трости.

Изобретение поясняется чертежами:

фиг. 1 приведен общий вид трости с тактильным экраном-оболочкой для людей с нарушением зрительных функций, где 1 -ручка трости, 2 -трубка трости, 3-считывающее устройство;

фиг. 2 элементы управления трости с тактильным экраном-оболочкой для людей с нарушением зрительных функций;

фиг. 3 - блок схема соединения элементов управления трости с тактильным экраном-оболочкой для людей с нарушением зрительных функций, где 4-источник питания, 3-считывающее устройство, 5-микроконтроллер, 7- система распознавания образов,6-элементы управления, 8- тактильный экран- оболочка;

фиг. 4 - изображение объектов с считывающего устройства;

фиг. 5 - контрастное изображение объекта,

фиг. 6 - общий вид тактильного экрана-оболочки;

фиг. 7 - развертка тактильного экрана-оболочки с контрастным изображением.

Способ ориентации в пространстве людей с нарушением зрительных функций с помощью трости с тактильным экраном-оболочкой (фиг. 2) заключается в том, что в ручку (1) трости с тактильным экраном-оболочкой (8) вмонтировано считывающее устройство (3), которое в постоянном режиме считывает информацию об окружающем пространстве и передает поток изображений одновременно в систему распознавания образов (7) и на микроконтроллер (5), где изображения трансформируются в монохромный вид, удаляются мелкие объекты, не препятствующие движению человека и шумы, и изображение преобразовывается в более контрастное, формируются тактильные сигналы и контрастное изображение передается на поверхность кожи человека, с помощью тактильного экрана-оболочки (8), выполненного в виде оболочки ручки трости, степень контрастности регулируется незрячим человеком с помощью элементов управления (6), вмонтированных в ручку (1), одновременно с этим поток изображения передается в систему распознавания образов (7), система распознавания образов (7), содержит базу данных об объектах окружающего пространства, загружается с помощью GPS через интернет и/или путем предварительной загрузки и в потоковом изображении распознает, идентифицируют объекты окружающего пространства, совпадающие с объектами базы данных, информация о распознанных объектах передается в виде тактильных сигналов на поверхность кожи человека шифром брайля и/или условными обозначениями через тактильный экран-оболочку.

Трость с тактильным экраном-оболочкой состоит из трубки (2) в верхней части, которой расположена ручка (1), с тактильным экраном-оболочкой (8) в которую вмонтированы соединенные между собой считывающее устройство (3) расположенное на торце ручки трости с тактильным экраном- оболочкой (8) и направленное по ходу движения незрячего человека, элементы управления (6), вмонтированные в боковую поверхность ручки в виде переключателей и/или джойстика, соединенные с системой распознавания образов (7), содержащей базу данных об объектах окружающего пространства загруженной с помощью GPS через интернет и/или путем предварительной загрузки и микроконтроллером (5), и источником питания (4), расположенным в трубке (2) трости с тактильным экраном-оболочкой (8). В качестве считывающего устройства можно использовать видеокамеру либо другое устройство для считывания информации. Считывающее устройство может работать в инфракрасном режиме работы, режиме работы с лазерным излучением и т.д. Связь и передача информации от считывающего устройства в микроконтроллер и систему распознавания может осуществляться в проводном режиме и в беспроводном режиме, например по WiFi, Bluetooth, через инфракрасный порт и т.д.

Трость работает следующим образом: видеокамера (3) в постоянном режиме считывает информацию об окружающем пространстве и передает поток изображений одновременно на микроконтроллер (5) и в систему распознавания образов (7). В микроконтроллере (5) изображение трансформируют в монохромный вид (фиг. 4), удаляют мелкие объекты, не препятствующие движению человека и шумы. Микроконтроллер (5) преобразовывает монохромное изображение в более контрастное (фиг. 5). Степень контрастности регулирует незрячий человек с помощью элементов управления (6). Формируют тактильные сигналы и контрастное изображение с помощью тактильного экрана-оболочки, передаются на поверхность кожи человека. Исполнение экрана в виде оболочки ручки трости (фиг. 6) позволяет незрячему человеку ощущать контакт с экраном по поверхности ладони и пальцев, потому что рука незрячего человека находится в контакте с тактильным экраном, так как кисть охватывает ручку трости в месте расположения тактильного экрана-оболочки.

Одновременно с этим поток изображения передают в систему распознавания образов (7). Система распознавания образов (7) содержит базу данных об объектах окружающего пространства, таких как предметы, растения, животные и люди, реки, озера. База данных может быть связана с картой местности, местоположением человека и загружаться с помощью GPS через интернет или путем предварительной загрузки.

В системе распознавания образов (7) в потоковом изображении распознают и идентифицируют объекты окружающего пространства, совпадающие с объектами из базы данных, после чего информацию о распознанных объектах передают в виде тактильных сигналов на поверхность кожи человека шифром брайля или условными обозначениями через тактильный экран-оболочку. Таким образом человек одновременно получает изображение местности с уточненными данными в виде текста или условных обозначений описывающих окружающее пространство. Например, незрячий человек стоит на остановке и на тактильном экране-оболочке чувствует появление большого объекта, напоминающего автобус. Одновременно на тактильном экране-оболочке формируется информация распознанная с помощью базы данных системы распознавания образов (7) и сообщает ему номер автобуса, название следующей остановки и т.д. или указывает, что это грузовой автомобиль. Таким образом незрячий человек, стоящий на остановке один, в состоянии самостоятельно без посторонней помощи определить номер маршрута и место расположения дверей автобуса. Также незрячий человек получает возможность определять знакомых людей, при их приближении, до того как они с ним заговорят.

Информация из системы распознавания образов (7) может располагаться на тактильном экране-оболочке, сформированного из потока изображения, полученного видеокамерой (3) и/или другим считывающим устройством и переданного на тактильный экран-оболочку через микроконтроллер (5). Таким образом на тактильном экране-оболочке формируются тактильные сигналы, отражающие основную информацию полученную непосредственно от видеокамеры (3) и/или считывающего устройства и дополнительную информацию, которая прошла обработку в системе распознавания образов. Дополнительная информация, передаваемая в виде тактильных сигналов, может носить характер, отличающийся от тактильных сигналов основной информации. Например, информация о расположении светофора передана выпуклыми элементами тактильного экрана, а светящийся сигнал светофора передан вибрацией. Такими же условными сигналами могут передаваться цвета, важные для описания объекта.

Развертка тактильного экрана-оболочки (фиг. 7) представляет собой прямоугольник. Отношение ширины и длины развертки экрана-оболочки совпадает с соотношением ширины и длины, передаваемого с видеокамеры изображения, чтобы исключить искажение изображения.

Тактильный экран-оболочка может быть выполнен с подвижными элементами, которые создают рельефное изображение за счет вибрации или выступающих элементов. Тактильный экран-оболочка может быть выполнен по технологии излучения электромагнитных импульсов, которая создает ощущения при прикосновении. Тактильный экран-оболочка может быть выполнен по любой технологии, позволяющей эффективно ощущать изменение, происходящие на поверхности экрана. В случае необходимости изображение, выведенное на тактильный экран можно покадрово вернуть назад, пролистать вперед, увеличить и т.д. с помощью элементов управления (6), так как микроконтроллер (5) выполняет функции удаления мелких объектов, регулировки контрастности, стоп-кадра, просмотра предыдущих кадров и др. стандартные функции видеокамеры.

Элементы управления (6) в том числе регулируют процесс включения, выключения трости, перехода в спящий или интерактивный режим и т.д. Трость содержит видеокамеру (5) с инфракрасным режимом работы, для лучшей ориентации незрячего человека в темное время суток.

Предлагаемая трость с тактильным экраном-оболочкой позволяет незрячему человеку получать представление о форме окружающих предметов и обеспечивает возможность лучше ориентироваться в окружающем пространстве, так как руки, по Сеченову, способны самостоятельно и вполне адекватно отражать следующие категории признаков: форму, величину, направление, удаление, телесность, покой и движение. Человек с помощью зрения и осязания фиксирует ряд одних и тех же физических, пространственных и временных характеристик объектов. Практика показывает, что при определенной тренировке незрячий человек достаточно быстро осваивает шрифт Брайля, т.е. овладевает навыками тактильного зрения. Известны рельефные рисунки для незрячих пациентов, которые позволяют быстро понимать форму и размеры объектов, однако они стационарны. Поэтому применение трости с тактильным экраном-оболочкой в режиме демонстрации потока изображений с видеокамеры и/или другого считывающего устройства позволяет незрячему человеку иметь представление об окружающем пространстве в динамике.

1. Способ ориентации в пространстве людей с нарушением зрительных функций с помощью трости с тактильным экраном-оболочкой, заключающийся в том, что в ручку трости вмонтировано считывающее устройство, которое в постоянном режиме считывает информацию об окружающем пространстве и передает поток изображений одновременно в систему распознавания образов и на микроконтроллер, где изображения трансформируются в монохромный вид, удаляются мелкие объекты, не препятствующие движению человека, и шумы, и изображение преобразовывается в более контрастное, формируются тактильные сигналы и контрастное изображение передается на поверхность кожи человека, с помощью тактильного экрана, выполненного в виде оболочки ручки трости, степень контрастности регулируется незрячим человеком с помощью элементов управления, вмонтированных в ручку, одновременно с этим поток изображения передается в систему распознавания образов, система распознавания образов, содержащая базу данных об объектах окружающего пространства, загружается с помощью GPS через Интернет и/или путем предварительной загрузки и в потоковом изображении распознает, идентифицирует объекты окружающего пространства, совпадающие с объектами базы данных, информация о распознанных объектах передается в виде тактильных сигналов на поверхность кожи человека шифром брайля и/или условными обозначениями.

2. Трость с тактильным экраном-оболочкой по п. 1, состоящая из трубки, в верхней части которой расположена ручка, с тактильным экраном-оболочкой, в которую вмонтированы соединенные между собой считывающее устройство, расположенное на торце ручки трости и направленное по ходу движения незрячего человека, элементы управления, вмонтированные в боковую поверхность ручки в виде переключателей и/или джойстика, соединенные с системой распознавания образов, содержащей базу данных об объектах окружающего пространства, и микроконтроллером, и источником питания, расположенным в трубке трости.