Способ исследования пациентов с нарушением слуха с использованием технологии виртуальной реальности
Владельцы патента RU 2724859:
Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации (RU)
Изобретение относится к медицине, а именно к оториноларингологии и сурдологии, и может найти применение в процессе исследования пространственного и речевого слуха у пациентов с хронической сенсоневральной тугоухостью, а также для слухового обучения и реабилитации после проведенной процедуры слухопротезирования и выполнения операции кохлеарной имплантации. Способ исследования пациентов с нарушением слуха с использованием технологий виртуальной реальности, включающий оценку речевых, пространственных и качественных характеристик слуха в свободном звуковом поле путем подачи звуковых сигналов и анализа ответных реакций испытуемого, отличающийся тем, что исследование проводят в компьютерном аудиовизуальном сценарии с использованием VR очков и акустической системы с четырьмя динамиками, установленными на расстоянии 1 м от пациента под углами 45°, 135°, 225°, 315° относительно его головы, для исследования используют речевые и неречевые звуковые сигналы, которые подают через динамики, сигналы соответствуют аудиовизуальному сценарию и охватывают высокий, средний и низкий частотные диапазоны, исследование можно проводить в тишине и на фоне шумовых помех, громкость шума регулирует исследователь, последовательность и направленность звуковых сигналов выбирает компьютерная программа в хаотичном порядке, пациент в VR очках определяет направление источника звука путем поворота головы, после чего в VR очках появляется визуальное подкрепление со стороны источника звука, компьютерная программа, сопряженная с VR-очками, автоматически фиксирует угол поворота головы пациента в градусах относительно локализации источника звука, используя метод определения знакового угла по трем векторам: от испытуемого к источнику звука, от испытуемого по направлению взгляда, вектором нормали к поверхности, речевые звуковые сигналы подают в виде слов, которые испытуемый должен повторить, и вопросов, на которые испытуемый должен дать ответ, поведенческие реакции на звук и устные ответы пациента фиксируют с помощью записи на веб-камеру, исследование может проводиться несколько раз для улучшения речевых, пространственных и качественных характеристик слуха, регистрация и хранение результатов исследования в компьютерной программе позволяет провести их оценку в динамике.
Изобретение относится к медицине, а именно к оториноларингологии и сурдологии, и может найти применение в процессе исследования пространственного и речевого слуха у пациентов с хронической сенсоневральной тугоухостью, а так же для слухового обучения и реабилитации после проведенной процедуры слухопротезирования и выполнения операции кохлеарной имплантации.
Известен «Комплекс для развития базовых навыков слухового восприятия у людей с нарушениями слуха», включающий согласованное предъявление аудио и видео сигналов пациенту, регистрацию результатов занятий и сравнение полученных результатов с заданной величиной по проценту правильных слуховых опознаний [1]. Недостатком данного изобретения является отсутствие возможности проведения тренинга пространственного слуха, использование только речевых источников звука, в рамках реабилитационных мероприятий не применяется виртуальная реальность, не используются аудиовизуальные сценарии, в качестве ответной реакции пациент отмечает нужный сигнал (его изображение на экране монитора компьютера) кнопкой мыши или курсором.
Известен «Способ реабилитации функции акустической ориентации, и ее оценки у пациентов с кохлеарным имплантатом», включающий подачу звуковых и речевых сигналов разной локализации и анализ ответных реакций [2]. Недостатком данного способа является то, что он рекомендован только для лиц с выраженными нарушениями слуховой функции, которым была выполнена кохлеарная имплантация. Применяемая методика биологической обратной связи (аудио-визуальное подкрепление) не адаптирована к реальным условиям, т.к. изображение, появляющееся на мониторе, находится перед пациентом, а не со стороны источника звука. При реабилитации регистрация ответа происходит путем нажатия пациентом на кнопку, в то время как в реальных условиях направление источника звука человек определяет путем поворота головы. Использование двух динамиков не позволяет исследовать слух одновременно в латеральном и фронтальном направлении.
Данный способ взят нами за прототип.
Целью изобретения является создание способа исследования пациентов с нарушением слуха с использованием технологий виртуальной реальности.
Данная цель достигается тем, что исследование проводят в компьютерном аудиовизуальном сценарии с использованием VR очков и акустической системы с четырьмя динамиками, установленными на расстоянии 1 м от пациента под углами 45°, 135°, 225°, 315° относительно его головы; для исследования используют речевые и неречевые звуковые сигналы, которые подают через динамики; сигналы соответствуют аудиовизуальному сценарию и охватывают высокий, средний и низкий частотные диапазоны; исследование можно проводить в тишине и на фоне шумовых помех, громкость шума регулирует исследователь; последовательность и направленность звуковых сигналов выбирает компьютерная программа в хаотичном порядке; пациент в VR очках определяет направление источника звука путем поворота головы, после чего в VR очках появляется визуальное подкрепление со стороны источника звука; компьютерная программа, сопряженная с VR-очками, автоматически фиксирует угол поворота головы пациента в градусах относительно локализации источника звука, используя метод определения знакового угла по трем векторам: от испытуемого к источнику звука, от испытуемого по направлению взгляда, вектором нормали к поверхности; речевые звуковые сигналы подают в виде слов, которые испытуемый должен повторить, и вопросов, на которые испытуемый должен дать ответ; поведенческие реакции на звук и устные ответы пациента фиксируют с помощью записи на веб-камеру; исследование может проводиться несколько раз для улучшения речевых, пространственных и качественных характеристик слуха; регистрация и хранение результатов исследования в компьютерной программе позволяет провести их оценку в динамике.
Использование VR-очков повышает уровень присутствия пациента в аудиовизуальном сценарии. Сценарий может имитировать бытовую ситуацию, способствовать повышению адаптированности пациента к реальной жизни и акустической среде.
Использование VR-очков позволяет создавать визуальное подкрепление со стороны источника звука и автоматически фиксировать угол поворота головы в градусах компьютерной программой. Для определения угла между направлением взгляда (головы) пользователя и направлением к источнику звука используется метод определения знакового угла между двумя векторами. Для этого необходимо найти три компонента: вектор направления от которого производится отсчет, вектор направления к которому производится отсчет и вектор направления, вокруг которого производится вращения (или вектор являющийся нормалью к плоскости описывающей плоскость, в которой производится вращение). Для определения векторов направлений применяется стандартная координатная система платформы Unity и модули Transform хранящие позицию и вращение объектов. Модуль XR платформы Unity преобразует позицию и вращение шлема виртуальной реальности в позицию и вращение аватара пользователя в системе координат Unity. Вектор направления "ОТ" определяется как (позиция аватара).forward минус (позиция аватара). Вектор направления "К" определяется как (позиция источника звука) минус (позиция аватара). Вектор оси вращения определяется как Вектор3(0, 1, 0) в системе координат Unity.
Поворот головы на звук является естественной реакцией человека, что несравнимо с использованием для получения ответа от пациента джостика или клавиатуры.
Акустическая система с четырьмя динамиками, расположенными на расстоянии 1 м от пациента под углами 45°, 135°, 225°, 315° относительно его головы, позволяет исследовать слух одновременно в сагитальном и фронтальном направлениях. Хаотичное воспроизведение программой сигналов является обязательным условием для исключения эффекта запоминания и обеспечивает возможность проведения повторной диагностики и тренировок акустической ориентации.
Использование речевых и неречевых звуковых сигналов различной частоты в тишине и на фоне помех обеспечивает универсальность при проведении диагностики и тренировки слуха.
Данный способ может быть использован у пациентов с различной степенью тугоухости, включая лиц с подобранным слуховым аппаратом и после проведения кохлеарной имплантации.
Использование записи исследования на веб-камеру дает возможность врачу оценивать правильность ответа (процент правильных ответов, ошибки направления) при просмотре записи.
Исследование проводится неоднократно, что позволяет проводить тренировку речевых, пространственных и качественных характеристик слуха, отслеживая результат в динамике.
Способ реализуется следующим образом.
Исследование проводят в компьютерном аудиовизуальном сценарии с использованием VR очков и акустической системы с четырьмя динамиками, установленными на расстоянии 1 м от пациента под углами 45°, 135°, 225°, 315° относительно его головы. Для исследования используют речевые и неречевые звуковые сигналы, которые подают через динамики. Сигналы соответствуют аудиовизуальному сценарию и охватывают высокий, средний и низкий частотные диапазоны. Исследование можно проводить в тишине и на фоне шумовых помех, громкость шума регулирует исследователь. Последовательность и направленность звуковых сигналов выбирает компьютерная программа в хаотичном порядке. Пациент в VR очках определяет направление источника звука путем поворота головы, после чего в VR очках появляется визуальное подкрепление со стороны источника звука. Компьютерная программа, сопряженная с VR-очками, автоматически фиксирует угол поворота головы пациента в градусах относительно локализации источника звука, используя метод определения знакового угла по трем векторам: от испытуемого к источнику звука, от испытуемого по направлению взгляда, вектором нормали к поверхности. Речевые звуковые сигналы подают в виде слов, которые испытуемый должен повторить, и вопросов, на которые испытуемый должен дать ответ. Поведенческие реакции на звук и устные ответы пациента фиксируют с помощью записи на веб-камеру. Исследование может проводиться несколько раз для улучшения речевых, пространственных и качественных характеристик слуха. Регистрация и хранение результатов исследования в компьютерной программе позволяет провести их оценку в динамике.
Способ иллюстрирован клиническим примером.
Пациент М., 65 лет. По данным тональной пороговой аудиометрии имеет двустороннюю хроническую сенсоневральную тугоухость III степени. По данным речевой аудиометрии 50-процентная разборчивость речи достигается при уровне звука 75 дБ (норма 25 дБ). Пациенту проведена реабилитация слуха с использованием предложенного способа. Был задан аудиовизуальный сценарий- городская среда, в котором пациент должен локализовать источники звука (лай собаки, звук газонокосилки, сигнал автомобиля и другие), повторить слова диктора и дать ответы на поставленные вопросы (например, «где находится здание лицея?»), перейти через дорогу, по которой движется автомобиль, на зеленый сигнал светофора. По результатам первой тренировки: количество правильных ответов, зафиксированных при повороте головы пациентом в VR очках в сторону неречевого источника звука, составило 28%; количество верных устных ответов, зафиксированных исследователем на веб-камеру, при оценке восприятия речевого источника звука составило 50%. По результатам третьей тренировки отмечалось улучшение показателей: количество правильных ответов, зафиксированных при повороте головы пациентом в VR очках в сторону неречевого источника звука, составило 42%; количество верных устных ответов, зафиксированных врачом на веб-камеру, при оценке восприятия речевого источника звука составило 75%. После проведенных нами пяти тренировок: количество правильных ответов, зафиксированных при повороте головы пациентом в VR очках в сторону неречевого источника звука, составило 57%; количество верных устных ответов, зафиксированных врачом на веб-камеру, при оценке восприятия речевого источника звука составило 100%. Поведенческие реакции, зафиксированные на веб камеру, в ходе пяти исследований были адекватными, пациент чувствовал себя комфортно в VR очках. По окончании реабилитации, повторно выполнена речевая аудиометрия, 50-процентная разборчивость речи достигнута на 60 дБ. Таким образом, за 5 тренировок с применением нового способа улучшена разборчивость речи пациента, пространственные и качественные характеристики его слуха.
Способ может быть применен в процессе исследования пространственного и речевого слуха у пациентов с патологией слуха, а так же для слухового обучения и реабилитации после проведенной процедуры слухопротезирования и выполнения операции кохлеарной имплантации.
Источники информации.
1. Огородникова Е.А., Королева И.В., Люблинская В.В., Рыбаков М.В., Янов Ю.К.. Комплекс для развития базовых навыков слухового восприятия у людей с нарушениями слуха // Патент РФ на изобретение №82419 U1,2007.
2. Огородникова Е.А., Королева И.В., Пак С.П.. Способ реабилитации функции акустической ориентации и ее оценки у пациентов с кохлеарным имплантатом // Патент РФ на изобретение №2265426 С1, 2004.
Способ исследования пациентов с нарушением слуха с использованием технологий виртуальной реальности, включающий оценку речевых, пространственных и качественных характеристик слуха в свободном звуковом поле путем подачи звуковых сигналов и анализа ответных реакций испытуемого, отличающийся тем, что исследование проводят в компьютерном аудиовизуальном сценарии с использованием VR очков и акустической системы с четырьмя динамиками, установленными на расстоянии 1 м от пациента под углами 45°, 135°, 225°, 315° относительно его головы; для исследования используют речевые и неречевые звуковые сигналы, которые подают через динамики; сигналы соответствуют аудиовизуальному сценарию и охватывают высокий, средний и низкий частотные диапазоны; исследование можно проводить в тишине и на фоне шумовых помех, громкость шума регулирует исследователь; последовательность и направленность звуковых сигналов выбирает компьютерная программа в хаотичном порядке; пациент в VR очках определяет направление источника звука путем поворота головы, после чего в VR очках появляется визуальное подкрепление со стороны источника звука; компьютерная программа, сопряженная с VR-очками, автоматически фиксирует угол поворота головы пациента в градусах относительно локализации источника звука, используя метод определения знакового угла по трем векторам: от испытуемого к источнику звука, от испытуемого по направлению взгляда, вектором нормали к поверхности; речевые звуковые сигналы подают в виде слов, которые испытуемый должен повторить, и вопросов, на которые испытуемый должен дать ответ; поведенческие реакции на звук и устные ответы пациента фиксируют с помощью записи на веб-камеру; исследование может проводиться несколько раз для улучшения речевых, пространственных и качественных характеристик слуха; регистрация и хранение результатов исследования в компьютерной программе позволяет провести их оценку в динамике.
