Способ общения глухих (слабослышащих) со слышащими



Способ общения глухих (слабослышащих) со слышащими
Способ общения глухих (слабослышащих) со слышащими
G09B21/00 - Обучение или общение со слепыми, глухими или немыми (со звуковой демонстрацией материала, подлежащего изучению G09B 5/04; способы или устройства для замены прямого зрительного или слухового восприятия другим видом восприятия A61F 9/08,A61F 11/04; звуковая индикация показаний измерительных приборов или цвета G01D 7/12; часы для слепых G04B 25/02; способы или устройства для считывания или распознавания печатных или письменных знаков G06K 9/00; способы или устройства для приема или распознавания речи G10L; запись или воспроизведение звука как таковые G11B)

Владельцы патента RU 2660600:

Федеральное государственное бюджетное образовательное учреждение высшего образования "Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ" (КНИТУ-КАИ) (RU)

Изобретение относится к области коммуникации людей, в частности людей с ограниченными возможностями здоровья по слуху со слышащими. Техническим результатом является повышение коммуникативности связи между людьми с ограниченными возможностями здоровья по слуху и слышащими в режиме реального времени. В способе обеспечивают получение и передачу информации от слышащего к слабослышащему в виде аудио- и видеосигналов, преобразование их в текст, вывод его на экран, согласно которому получение и передачу информации от слабослышащего к слышащему осуществляют через телекоммуникационное устройство в виде смартфона и/или персонального компьютера, для чего слабослышащий набирает информацию в текстовом формате, которую корректируют в соответствии с правилами языка с помощью специального программного обеспечения телекоммуникационного устройства, и отправляет ее на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, наряду с этим весь диалог отображают на экранах в режиме реального времени. 1 ил.

 

Изобретение относится к области коммуникации людей с ограниченными возможностями по слуху со слышащими, для ведения диалога в различных сферах деятельности человека, а также при общении людей в образовательном процессе с инклюзивным образованием (коррекционные школы, высшие учебные заведения).

Известен способ перевода речи на жестовый язык для глухих, заключающийся в получении информации от слышащего к слабослышащему, обработке аудио- и видеосигналов через микрофон и камеру, видоизменении их с помощью преобразователя в текст, вывода его для считывания на компьютер, взаимодействуя с базой видеоданных, в которой помимо самих видео имеются промежуточные видеофрагменты, которые вставляют между последовательностями видео с жестами во время сурдоперевода, в котором переводят транслируемый текст в соответствующие видеофрагменты на жестовом языке, в подаче на компьютер аудио- и видеосигналов, из которых логическим устройством, динамически изменяющим сами сигналы и скорость воспроизведения видеопоследовательностей жестового языка, выводят временную информацию и которые, преобразовывая в цифровой сигнал, подают через радиопередатчик телевизионного сигнала на приемник, в отображении на экране видеофрагментов жестового языка, при этом имеется второй независимый вариант передачи видеопоследовательностей жестового языка, предусматривающий их воспроизведение из видеопамяти или непосредственно с компьютера для потокового вещания, при этом воспроизводят аудиокнигу и преобразовывают аудио- и видеосигналы в цифровой телевизионный сигнал для отображения на экране приемника (Патент CN №102893313 А, МПК: G06F 17/28, G09B 21/009, опубл. 23.01.2013, http://www.google.com.mx/patents/CN102893313A?hl=ru&cl=en или патент US №20130204605 А1, МПК: G06F 17/28, G09B 21/009, опубл. 8.08.2013, http://www.google. com.mx/patents/US 20130204605?hl=ru&cl=en).

Недостатками вышеприведенного способа является сложность процесса, заключающаяся в потере смыслового содержания предложения при переводе на язык жестов, необходимости наличия большого объема оперативной памяти, отсутствии возможности обратной связи при передаче информации от глухого (слабослышащего) к слышащему, что ведет к снижению эффективности передачи информации в образовательном процессе, а в целом, к отсутствию возможности коммуникации людей.

Наиболее близким по технической сущности к заявляемому техническому решению, выбранному в качестве прототипа, является способ и система обеспечения перевода информации на язык жестов или другие языки, заключающиеся в получении информации от слышащего к слабослышащему, обработке аудио- и видеосигналов, преобразовании их в текст и выводе его на экран телекоммуникационного устройства, извлечении соответствующих обработанным сигналам последовательностей видеоклипов с сурдопереводом, отображении их на экране для считывания. При транслировании видеоклипов жестового языка во время паузы выводят промежуточную фигуру человека - аватара в нейтральном положении для их связки, при этом для выполнения всех перечисленных действий используют один и более процессоров (патент US №9282377 В2, МПК G06F 17/28, G09B 21/009, опубл. 8.03.2016, https://www.google.com.mx/patents/US9282377 dq

=US+9282377+B2&hl=ru&sa=X&ved=0ahUKEwih6bGgtJvPAhUFPRoKHT-NBVQQ6AEIHTAA).

Недостатком данного технического решения является низкая эффективность общения слышащих со слабослышащими, заключающаяся в искажении смыслового содержания предложений при переводе на язык жестов, что не позволяет вести диалог в образовательном процессе и общении людей, что, в конечном итоге, снижает качество понимания, а в целом коммуникативность людей.

Основной задачей изобретения является повышение качества понимания в общении

глухих (слабослышащих) со слышащими людьми в форме диалога как в обычной жизни, так и в процессе обучения, в режиме реального времени, не прибегая к сурдопереводу.

Техническим результатом заявляемого технического решения является повышение эффективности общения людей с ограниченными возможностями по слуху со слышащими, без сурдоперевода, в режиме реального времени путем ведении диалога в текстовом формате без искажения и сокращения смыслового содержания информации.

Указанный технический результат достигается тем, что в способе общения глухих (слабослышащих) со слышащими, заключающемся в получении и передаче информации в виде аудио- и видеосигналов через телекоммуникационное устройство на смартфон и/или персональный компьютер, преобразовании их в текст и выводе его на экран, для чего набирающие информацию в текстовом формате корректируют в соответствии с правилами языка с помощью программного обеспечения телекоммуникационного устройства и отправляют на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, согласно которому при передаче информации от слабослышащего и/или к слышащему считывают информацию с характерных жестикуляций рук и мимических движений лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры и передают ее на его персональный компьютер, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, причем используют на смартфоне и/или персональном компьютере функцию выделения определенной картины, при этом весь диалог отображают на экранах в режиме реального времени, а при поступлении сигналов запроса от нескольких слабослышащих, последние сортируют в порядке очередности их обращения.

Для пояснения технической сущности на приведенной фигуре схематично показано общение глухих (слабослышащих) со слышащими предложенным способом.

В соответствии с заявленным изобретением предложенный способ общения глухих (слабослышащих) со слышащими реализуется следующим образом:

Преподаватель произносит речь, которую фиксируют мини-камера с микрофоном, закрепленные на его теле. При этом микрофоном фиксируют голос, а мини-видеокамерой считывают информацию с характерных жестикуляций рук и мимики лица и передают их на персональный компьютер преподавателя в виде аудио- и видеосигнала. При интеграции голоса, а также жестикуляции и мимики в аудио- и видеосигналы используются программы RealSpeaker, которые с помощью программного обеспечения телекоммуникационного устройства преобразовываются в текстовый формат и выводятся в режиме реального времени на одно из диалоговых окон интерактивной доски. С экрана интерактивной дреки глухие (слабослышащие) получают информацию в текстовой форме.

При передаче информации от глухих (слабослышащих) и/или слышащих студентов считывают информацию с характерных жестикуляций рук и мимических движений лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры их персональных компьютеров, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, а затем передают на персональный компьютер (смартфон) студента в виде текста, который при помощи программного обеспечения корректируют в соответствии с правилами языка.

Далее информацию по сети отправляют на персональный компьютер преподавателя, которую с помощью проектора отображают на интерактивной доске в окне обмена сообщениями (чате). При одновременном поступлении сигналов от нескольких студентов с ограниченными возможностями здоровья по слуху благодаря программному обеспечению телекоммуникационного устройства их сортируют в порядке очередности. Причем используют функции выделения и оповещения смартфонов или персональных компьютеров как студентов, так и преподавателя, с помощью которой уведомляют пользователей о поступлении сообщения в чат, причем слабослышащего студента оповещают о получении информации вибро- и световым сигналами, а слышащего - звуковым сигналом. При этом весь диалог отображают на экранах смартфонов или персональных компьютеров в режиме реального времени. Причем, при необходимости пояснения интересующей области на графическом материале глухой (слабослышащий) студент использует функцию выделения на смартфоне или персональном компьютере, при этом всю картину (весь диалог) также отображают в режиме реального времени на экранах инфокоммуникационной системы.

По своим технико-экономическим преимуществам, по сравнению с известными аналогами, заявляемое изобретение позволяет эффективно общаться слабослышащим (глухим) со слышащими, как в обычной жизни, так и в процессе обучения, в режиме реального времени без сурдоперевода путем ведения диалога в текстовом формате и без искажения и сокращения смыслового содержания информации от слышащего к слабослышащему, что, в целом, повышает коммуникативность людей.

Способ общения глухих, слабослышащих со слышащими, заключающийся в получении и передаче информации в виде аудио- и видеосигналов через телекоммуникационное устройство на смартфон и/или персональный компьютер, преобразовании их в текст и выводе его на экран, для чего набирающие информацию в текстовом формате корректируют в соответствии с правилами языка с помощью программного обеспечения телекоммуникационного устройства и отправляют на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, отличающийся тем, что при передаче информации от слабослышащего и/или к слышащему считывают информацию с характерными жестикуляциями рук и мимическими движениями лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры и передают ее на его персональный компьютер, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, причем используют на смартфоне и/или персональном компьютере функцию выделения определенной картины, при этом весь диалог отображают на экранах в режиме реального времени, а при поступлении сигналов запроса от нескольких слабослышащих, последних сортируют в порядке очередности их обращения.



 

Похожие патенты:

Изобретение относится к устройствам цветомузыки и может быть использовано для перевода двухканальной стереофонии в цветовые образы. .

Изобретение относится к техническим средствам для распознавания направления распространения звука речи и ориентации глухонемых людей в пространстве. .

Изобретение относится к системе связи. Технический результат изобретения заключается в возможности сохранения вызова в условиях плохого качества обслуживания.

Изобретение относится к способам автоматизации формирования текстовых списков в программах для различных устройств путем регистрации коротких голосовых сообщений с помощью дополнительного специального устройства.

Изобретение относится к способам автоматизации формирования текстовых списков в программах для различных устройств путем регистрации коротких голосовых сообщений с помощью дополнительного специального устройства.

Изобретение относится к области распознавания аудиофайлов. Техническим результатом является эффективный поиск дубликатов музыкальных композиций.

Изобретение относится к звуковому микшеру для микширования многодорожечных сигналов согласно указаниям пользователя. Технический результат заключается в обеспечении микширования множественных дорожек аудиозаписей согласно набору установленных пользователем критериев записи для конечной цели прослушивания.

Изобретение относится к аудиозаписи и предназначено для сбора информации из аудиозаписи. Технический результат - обеспечено создание заметок с использованием голосового потока.

Изобретение относится к пользовательскому интерфейсу на основе речевых команд. Техническим результатом является обеспечение более быстрого доступа к информации и решению задач, а также эффективная обработка предпочтений пользователя и контекста.

Изобретение относится к способу ввода текста в устройство. .

Изобретение относится к доступу и воспроизведению информации в компьютерной системе, более конкретно, к последовательному мультимодальному вводу для мобильных или сотовых телефонов.

Изобретение относится к доступу и воспроизведению информации в компьютерной системе, более конкретно к последовательному мультимодальному вводу для мобильных или сотовых телефонов.

Изобретение относится к акустике, в частности к способам для преобразования зрительной информации в звуковую форму для ее восприятия слепыми. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включает ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы, обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме, последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы.

Изобретение относится к тактильным устройствам вывода. Технический результат заключается в уменьшении массы устройства вывода и повышении максимальной скорости вывода данных.

Изобретение относится к области педагогики, в частности к педагогике профессионально-технического образования и среднего специального образования (инклюзивное образование), социальной педагогике, и может быть использовано для реабилитации и социализации молодых инвалидов с сохранным интеллектом и людей с ограниченными возможностями здоровья (ОВЗ).

Изобретение относится к устройству для ввода данных в шрифте Брайля на сенсорной панели. Достигаемый технический результат - создание устройства, которое интуитивно и удобно воспринимается пользователем как зрячим, так и слепым, отвечает требованиям безопасности и конфиденциальности.

Изобретение относится к средствам информирования и ориентации инвалидов по зрению при их передвижении по городской территории. Способ состоит в размещении на стационарных объектах стационарных радиоинформаторов и размещении на инвалидах носимых абонентских устройств, автоматической передаче носимым абонентским устройством в радиоэфир сигнала запроса, по получении которого каждый стационарный радиоинформатор, находящийся в данный момент в зоне действия абонентского устройства, передает в радиоэфир ответ, содержащий его персональные данные, а абонентское устройство поочередно получает и запоминает полученные ответы от всех стационарных радиоинформаторов, находящихся в данный момент в зоне действия этого абонентского устройства, и автоматически направляет сигнал запроса на передачу информации стационарному радиоинформатору, который по получении этого сигнала запроса передает в радиоэфир сообщение о стационарном объекте, на котором он установлен, а абонентское устройство воспроизводит полученную от этого стационарного радиоинформатора информацию в виде звуковых повторяющихся сообщений.

Изобретение относится к текстильному изделию для использования слепыми или слабовидящими людьми. Текстильное изделие (1) содержит основной слой (2) и носитель информации, который содержит осязательную информацию и выполнен в виде вышивки (3) точек шрифта Брайля, расположенной на основном слое (2), в котором вышивка (3) является многослойной.

Изобретение относится к средствам для ориентации инвалидов по зрению. Способ информирования инвалидов о прибывающих на остановку транспортных средствах общего пользования состоит в размещении на транспортных средствах общего пользования радиомодулей, пультов водителей и звукоизлучателей и размещении на инвалидах носимых абонентских устройств, при этом абонентское устройство инвалида автоматически передает в радиоэфир сигнал запроса, после чего радиомодуль каждого транспортного средства, находящегося в данный момент в зоне действия абонентского устройства, по получении сигнала запроса передает в радиоэфир ответ на полученный сигнал запроса, абонентское устройство поочередно получает и запоминает полученные ответы от всех радиомодулей, находящихся в данный момент в зоне действия этого абонентского устройства, и автоматически направляет сигнал запроса на передачу информации радиомодулю транспортного средства, который по получении этого сигнала запроса на передачу информации передает в радиоэфир сообщение о транспортном средстве, на котором он установлен, а абонентское устройство воспроизводит полученную от этого радиомодуля информацию в виде звуковых повторяющихся сообщений, затем радиомодуль выбранного инвалидом транспортного средства передает на пульт водителя сигнал для водителя и подает команду на установленный на транспортном средстве звукоизлучатель, который воспроизводит звуковой сигнал ориентирования, по которому инвалид определяет необходимое направление движения к открытой двери транспортного средства.

Изобретение относится к средствам для обеспечения жизнедеятельности инвалидов по зрению, а именно предназначено для получения информации и облегчения ориентации незрячих людей в пространстве.

Изобретение относится к области коммуникации людей, в частности людей с ограниченными возможностями здоровья по слуху со слышащими. Техническим результатом является повышение коммуникативности связи между людьми с ограниченными возможностями здоровья по слуху и слышащими в режиме реального времени. В способе обеспечивают получение и передачу информации от слышащего к слабослышащему в виде аудио- и видеосигналов, преобразование их в текст, вывод его на экран, согласно которому получение и передачу информации от слабослышащего к слышащему осуществляют через телекоммуникационное устройство в виде смартфона иили персонального компьютера, для чего слабослышащий набирает информацию в текстовом формате, которую корректируют в соответствии с правилами языка с помощью специального программного обеспечения телекоммуникационного устройства, и отправляет ее на экран в окно обмена сообщений через беспроводныепроводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- иили световым сигналом, а слышащего - звуковым сигналом, наряду с этим весь диалог отображают на экранах в режиме реального времени. 1 ил.

Наверх