Способ и система бионического управления роботизированными устройствами
Владельцы патента RU 2759310:
Бодин Олег Николаевич (RU)
Безбородова Оксана Евгеньевна (RU)
Спиркин Андрей Николаевич (RU)
Изобретение относится к медицине, а именно к способам бионического управления роботизированными устройствами. Способ осуществляет формирование мысленной команды, формирование канала анализа электроэнцефалографических сигналов, в котором осуществляют формирование сигнала ЭЭГ, соответствующего мысленной команде, регистрацию сигнала ЭЭГ, формирование обучающей выборки сигналов ЭЭГ, обучение нейронной сети, нейросетевой анализ зарегистрированного сигнала ЭЭГ, формирование управляющей команды для контролируемого роботизированного устройства и исполнение команды контролируемым роботизированным устройством. Дополнительно осуществляется комбинированный анализ ЭЭГ в канале анализа электроэнцефалографических сигналов. При комбинированном анализе ЭЭГ осуществляют выявление ЭЭГ признаков мысленной команды в частотно-временной и амплитудно-фазовой областях. Осуществляют выбор результата комбинированного анализа ЭЭГ. При выборе результата комбинированного анализа ЭЭГ принимается окончательное решение на основании частных решений, полученных в результате анализа ЭЭГ разными методами. Осуществляют формирование канала анализа голосового сигнала, в котором осуществляется формирование словаря голосовых команд, генерация акустических колебаний голосовым аппаратом человека, обеспечение доступа пользования контролируемым роботизированным устройством при помощи аутентификации голоса пользователя, формирование слова путем преобразования акустического колебания в электрический сигнал с помощью микрофона, фильтрации на основании преобразования Гильберта-Хуанга и идентификации слова путем сравнения со словами из словаря голосовых команд. Достигается повышение достоверности распознавания управляющей команды. 3 з.п. ф-лы, 25 ил.
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к медицинской технике и может быть использовано для удаленного управления контролируемыми робототизированными устройствами в условиях ограниченных физических возможностей оператора, также предназначено для реабилитации инвалидов, утративших двигательную активность.
УРОВЕНЬ ТЕХНИКИ
Известен способ управления экзрскелетом [1], заключающийся в регистрации двигательных намерений пользователя, основанных на измерении сигналов нейромышечной активности сохранившихся мышечных волокон с помощью поверхностных датчиков электромиографических сигналов, закрепляемых в местах расположения двигательных точек. Биоэлектрическое воздействие, передаваемое от центральной нервной системы к мышцам, отражается повышением амплитуды электромиографического сигнала в двигательных точках. Область двигательной точки является индивидуальной особенностью человека и характеризуется максимально возбудимым участком мышцы. Контроль биопотенциалов в местах расположения двигательных точек позволяет получать исходные сигналы для управления экзоскелетом.
Суть известных способов, основанных на анализе электромиографических сигналов, заключается в исследовании зарегистрированных биоэлектрических потенциалов, возникающих в скелетных мышцах человека, при возбуждении мышечных волокон.
Недостатком данного способа является невысокая точность распознавания двигательных намерений пользователя из-за сложности получения электромиографического сигнала об активности конкретной мышцы. Поэтому для распознавания различных движений по электромиографическим сигналам необходимо увеличивать количество электродных систем, накладываемых на мышцу, что приносит дискомфорт пользователю.
Другим недостатком известного способа является трудность выявления двигательных точек, индивидуальных у каждого человека.
Известен способ бионического управления техническим устройством [2], включающий формирование управляющего воздействия посредством регистрации электрического импеданса с мышц-антагонистов при выполнении движений.
Недостатками данного способа являются недостаточная точность распознавания биоэлектрических сигналов из-за наличия перекрестных помех от соседних групп мышц, что ограничивает возможность оперативного управления исполнительными устройствами роботизированных механизмов.
Наиболее близким к предлагаемому изобретению по своей технической сущности и достигаемому результату является способ классификации электроэнцефалографических (ЭЭГ) сигналов в интерфейсе мозг - компьютер [3], осуществляющий формирование мысленной команды, формирование канала анализа ЭЭГ сигнала, в котором осуществляют формирование ЭЭГ сигнала, соответствующего мысленной команде, регистрацию ЭЭГ сигнала, формирование обучающей выборки ЭЭГ сигналов, обучение нейронной сети, нейросетевой анализ зарегистрированного ЭЭГ сигнала, формирование команды и исполнение команды контролируемым роботизированным устройством.
Система, реализующая известный способ классификации ЭЭГ сигналов в интерфейсе мозг - компьютер, содержит последовательно соединенные энцефалограф, аналого-цифровой преобразователь, процессор компьютера, адаптер контролируемого роботизированного устройства и контролируемое роботизированное устройство, при этом электродная система энцефалографа размещена на голове пользователя.
Как следует из описания, известный способ классификации ЭЭГ сигналов в интерфейсе мозг - компьютер представляет собой реализацию неинвазивного аппаратно-программного комплекса «мозг - компьютер - интерфейс» (Brain-Computer-Interface (BCI)), преобразующего электрическую активность мозга - импульсную и суммарную - в конкретное действие, в котором тело человека не принимает никакого участия. Посредством компьютера полностью парализованный человек может управлять контролируемым роботизтрованным устройством (например, инвалидной каляской [3]), устанавливать контакт, с окружающими, включаться активно в окружающую социальную среду и, возможно, выполнять определенные задания, заниматься полезной и интересной трудовой деятельностью.
Недостатками BCI при неинвазивной регистрации ЭЭГ являются:
- низкое пространственное разрешение. Для неинвазивной электроэнцифалограммы невозможно определить электрическую активность отдельных нейронов мозга, анализируется электрическая активность областей мозга, в которых большое количество нейронов проявляют синхронную активность. Для неинвазивной электроэнцифалограммы это составляет примерно 50 тысяч синхронно работающих нейронов [4, 5];
- наличие шума и артефактов в ЭЭГ сигнале (параметры шума и сигналов артефактов превышают параметры сигналов электрической активности мозга). Шум представляет собой беспорядочные колебания различной физической природы, отличающиеся сложностью временной и спектральной структуры [6]. Под артефактом понимается процесс или образование, не свойственные изучаемому объекту в норме и возникающие обычно в ходе его исследования [7].
На фигуре 1 приведен алгоритм известного способа классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер.
На фигуре 2 приведена таблица кодирования классов мысленных движений пользователя в управляющие команды контролируемого роботизированного устройства.
На фигуре 3 приведена структурная схема системы, реализующей известный способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер.
На фигуре 4 приведена электроэнцифалограмма с артефактами движения глаз [5].
На фигуре 5 приведены возможные физиологические артефакты при регистрации электроэнцифалограммы [4].
Рассмотрим известный способ, алгоритм осуществления которого приведен на фигуре 1. Известно [4], что на поверхности головы пользователя BCI при неинвазивной регистрации электроэнцифалограммы можно увидеть осмысленный сигнал. Именно этот оцифрованный и отфильтрованный ЭЭГ сигнал в известном способе подвергается нейросетевому анализу. Заранее, согласно таблице кодирования классов мысленных движений в управляющие команды (см. фигуру 2), обученная нейронная многослойная сеть (НМС) анализирует локальные положительные максимумы амплитуды ЭЭГ сигналов от всех отведений. При этом формирование входного вектора осуществляется следующим образом: если значения двух соседних положительных максимумов отличаются менее чем на порог психофизиологического восприятия человека, то их считают равными и второй максимум исключают из последующего анализа, одновременно с выделением первого положительного t максимума. Затем от опорного отведения фиксируют значения амплитуд ЭЭГ сигналов по всем остальным отведениям, в результате получают набор амплитуд, представляющих собой первый входной вектор.
Процедуру формирования входных векторов повторяют для каждого последующего положительного максимума опорного отведения и для каждого отдельного отведения, каждый раз принимаемого как опорное отведение, до тех пор, пока каждое из отведений не выполнит функцию опорного, в результате получают многомерный массив входных векторов от конкретного пользователя.
Выходным массивом НМС является массив, сформированный при обучении НМС, указателей классов мысленных движений, выполняемых пользователем.
В известном способе согласно алгоритму (см. фигуру 1) при идентификации мысленного движения массив входных векторов подают на НМС для вычисления выходного вектора, по которому определяют класс мысленного движения пользователя (см. фигуру 2). Структурная схема системы, реализующей известный способ классификации ЭЭГ сигналов в интерфейсе мозг - компьютер, приведена на фигуре 3.
В описании изобретения авторы пишут [3]: «Задачей, решаемой в заявляемом изобретении, является уменьшение времени идентификации мысленной команды пользователя в системе BCI до 2 секунд при повышении точности идентификации мысленной команды пользователя до 90% за счет использования неизвестных ранее специфических информационных компонентов общего пространственно-временного паттерна и обработки по адаптированному для решения данной задачи алгоритму классификации выделенных специфических фрагментов ЭЭГ сигнала НМС.
Указанный технический результат достигается тем, что способ классификации ЭЭГ сигналов в интерфейсе мозг - компьютер заключается в тестировании пользователя, выделении специфических информационных компонентов из общего пространственно-временного паттерна, создании выборки оцифрованных фрагментов ЭЭГ сигнала от множества отведений для обучения классификатора, вычислении весовых коэффициентов и классификации фрагментов ЭЭГ сигнала для идентификации классов мысленной команды пользователя, соответствующих управляющим сигналам».
При этом «значения двух соседних положительных локальных максимумов амплитуд ЭЭГ сигналов отличаются не менее чем на 5%».
Как следует из приведенной цитаты, в известном способе осуществляется ЭЭГ анализ вызванных потенциалов действия только в амплитудно-временной области. Для полностью парализованных пациентов, по мнению авторов предлагаемого изобретения, этого недостаточно и необходимо использовать ЭЭГ анализ в частотно-временной (исследование спектра ЭЭГ) и фазо-временной (исследование аттрактора ЭЭГ) областях.
Действительно, сложная сигнально-помеховая обстановка при реализации известного способа не позволит полностью парализованному пациенту осуществлять управление контролируемым роботизированным устройством, например, инвалидной коляской, как утверждают авторы известного способа. Так как пользователя инвалидной коляской невозможно заставить сидеть неподвижно, что является обязательным условием успешной неинвазивной регистрации ЭЭГ [4, 5], то в условиях сложной сигнально-помеховой обстановки, по мнению авторов предлагаемого изобретения, затруднительно выделение «специфических информационных компонентов из общего пространственно-временного паттерна» (см. фигуры 4 и 5), отличающихся «не менее чем на 5%» только в амплитудно-временной области.
Таким образом, недостатком известного способа классификации ЭЭГ сигналов в интерфейсе мозг - компьютер является низкая достоверность распознавания мысленной команды, а также отсутствие резервирования каналов сбора информации, незащищенного доступа пользования, что не позволяет в полной мере решать поставленные задачи в условиях эксплуатации контролируемого роботизированного устройства (инвалидной коляской).
Действительно, как следует из вышеприведенного описания использования известного способа получения управляющей команды для контролируемого роботизированного устройства, возникает ряд сложных обстоятельств. Классификация мысленных команд в прототипе направлена на определение управляющей команды путем анализа ЭЭГ сигнала, причем, только в амплитудно-временной области представления ЭЭГ сигнала. Для получения не зашумленного информативного ЭЭГ сигнала возникает потребность использования влажных поверхностных электродов или использования инвазивного метода, регистрации ЭЭГ сигнала. Все это, снижая зашумленность ЭЭГ сигнала, не устраняет проблему артефактов и может привести к ухудшению здоровья пользователя, и привести к ряду осложнений, таких, как попадание инфекции. Следует также принимать во внимание эффект поляризации электродов, высокий импеданс кожи, надежность крепления электродов и зарастание инвазивных электродов соединительной тканью. Необходимо отметить отсутствие в известном способе канала резервирования сбора информации, что снижает достоверность получения управляющей команды. Также отсутствие в известной системе средств обеспечения безопасного доступа к контролируемому роботизированному устройству (инвалидной коляске) может привести к несанкционированному доступу и, как следствие, причинению вреда пользователю.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Изобретение направлено на повышение достоверности распознавания и надежности функционирования при формировании управляющей команды для контролируемого роботизированного устройства путем расширения области представления исходной информации за счет анализа характерных особенностей различных по своей природе информационных параметров ЭЭГ сигнала и дублирования канала получения исходной информации при формировании управляющей команды для контролируемого роботизированного устройства.
Для этого в известном способе, осуществляющем формирование мысленной команды, формирование канала анализа электроэнцефалографических сигналов, в котором осуществляют формирование сигнала ЭЭГ, соответствующего мысленной команде, регистрацию сигнала ЭЭГ, формирование обучающей выборки сигналов ЭЭГ, обучение нейронной сети, нейросетевой анализ зарегистрированного сигнала ЭЭГ, формирование команды и исполнение команды контролируемым робототизированным устройством, дополнительно осуществляется:
- комбинированный анализ ЭЭГ в канале анализа ЭЭГ сигналов, выбор результата комбинированного анализа ЭЭГ сигнала, при комбинированном анализе ЭЭГ осуществляют выявление ЭЭГ признаков мысленной команды в частотно-временной и амплитудно-фазовой областях;
- формирование канала анализа голосового сигнала, в котором осуществляется:
- формирование словаря голосовых команд;
- генерация акустических колебаний голосовым аппаратом человека;
- обеспечение доступа пользования контролируемым роботизированным устройством при помощи аутентификации голоса пользователя;
- формирование слова путем:
- преобразования акустического колебания в электрический сигнал с помощью микрофона;
- фильтрации на основании преобразования Гильберта-Хуанга;
- идентификации слова путем сравнения со словами из словаря голосовых команд.
При этом анализ ЭЭГ в частотно-временной области осуществляется путем определения частотно-временных параметров ЭЭГ, определения ЭЭГ признаков мысленной команды в частотно-временной области, сравнения частотно-временных параметров ЭЭГ с признаками мысленной команды в частотно-временной области, выдаче заключения «Наличие признаков мысленной команды» в случае совпадения при сравнении и выдаче заключения «Признаков мысленной команды не обнаружено» в случае несовпадения при сравнении.
При этом анализ ЭЭГ в амплитудно-фазовой области осуществляется путем определения амплитудно-фазовых параметров ЭЭГ, определения ЭЭГ признаков мысленной команды в амплитудно-фазовой области, сравнения амплитудно-фазовых параметров ЭЭГ с ЭЭГ признаками мысленной команды в амплитудно-фазовой области, выдаче заключения «Наличие признаков мысленной команды» в случае совпадения результата сравнения и выдаче заключения «Признаков мысленной команды не обнаружено» в случае несовпадения результата сравнения.
Система, реализующая способ, содержит последовательно соединенные энцефалограф, аналого-цифровой преобразователь, процессор компьютера, адаптер контролируемого роботизированного устройства и контролируемое роботизированное устройство, при этом электродная система энцефалографа размещена на голове пользователя, дополнительно содержит последовательно соединенные микрофон и звуковую карту компьютера, соединенную со вторым входом процессора компьютера.
Суть предлагаемого изобретения заключается в повышении надежности функционирования способа классификации ЭЭГ сигналов в интерфейсе мозг - компьютер путем повышения достоверности распознавания мысленной команды» (МК), дублирования выполнения МК системой голосового управления и оснащения системы бионического управления средствами обеспечения безопасного доступа к использованию контролируемым роботизированным устройством (КРУ), например, инвалидной коляской.
Введенные действия с их связями проявляют новые свойства, которые позволяют повысить достоверность распознавания МК и расширить функциональные возможности способа обработки ЭЭГ сигнала. Действительно, согласно ЭЭГ сигналу распознавание МК характеризуется информационными параметрами (ИП) ЭЭГ, поэтому выбор метода анализа ЭЭГ обусловлен анализируемыми ИП ЭЭГ. Невозможно использовать для анализа какого-либо ИП ЭЭГ метод, не предназначенный для обработки этого ИП. Методы анализа ЭЭГ основаны на методах обработки информации и предназначены для извлечения соответствующих данных из ИП ЭЭГ. Относительно ИП ЭЭГ можно сказать, что они «зашифрованы» в следующих составляющих ЭЭГ: временной, частотной, фазовой. Несомненно, что методы анализа ЭЭГ сигналов должны содержать алгоритмы преобразования информации в этих областях представления сигнала ЭЭГ.
Предлагаемый авторами подход аналогичен использованию медицинского консилиума: конечное решение принимается на основе частных решений независимых экспертов (алгоритмов). При этом формируется коллективное решение на основе «интеграции» частных решений.
Процесс определения МК формально можно представить в виде системы целевых функций:
где Р(Н*|Н) - условная вероятность события Н*, вычисленная в предположении, что событие Н произошло, Н0 - гипотеза об отсутствии МК, Н1 - гипотеза о наличии МК, 
- решение об отсутствии МК, 
- решение о наличии МК.
По мнению авторов, использование разных методов анализа ИП ЭЭГ сигналов дает более полное представление о наличии МК пользователя КРУ, удовлетворяет критерию (1) и повышает вероятность (Р) правильного выявления наличия МК у пользователя КРУ.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На фигуре 6 приведен алгоритм предлагаемого способа бионического управления роботизированными устройствами.
На фигуре 7 приведены типичные вейвлет-спектрограммы электроэнцефалограммы здорового человека.
На фигуре 8 приведены типичные аттракторы электроэнцефалограммы здорового человека.
На фигуре 9 приведен алгоритм комбинированного анализа ЭЭГ сигнала.
На фигуре 10 приведен алгоритм метода «Частотно-временной анализ ЭЭГ сигнала» предлагаемого способа бионического управления роботизированными устройствами.
На фигуре 11 приведена схема выбора результата комбинированного анализа ЭЭГ
На фигуре 12 приведено изображение голосового аппарата человека.
На фигуре 13 приведена схема генерации акустического сигнала.
На фигуре 14 приведена структурная схема системы, реализующей предлагаемый способ бионического управления роботизированными устройствами.
На фигуре 15 приведен алгоритм взаимодействия аппаратного и программного обеспечения канала анализа голосового сигнала при распознавании слова.
На фигуре 16 приведены функциональные возможности современных голосовых помощников.
На фигуре 17 приведен алгоритм обработки голосового сигнала предлагаемого способа бионического управления роботизированными устройствами.
На фигуре 18 приведен алгоритм обработки голосового сигнала предлагаемого способа бионического управления роботизированными устройствами.
На фигуре 19 приведен алгоритм преобразования Гильберта-Хуанга.
На фигуре 20 приведено выделение огибающей голосового сигнала.
На фигуре 21 приведен результат фильтрации голосового сигнала с помощью преобразования Гильберта-Хуанга.
На фигуре 22 приведен алгоритм идентификация речевой команды.
На фигуре 23 приведено представление декомпозиции голосового сигнала.
На фигуре 24 приведена графическая интерпретация формирования набора эмпирических мод.
На фигуре 25 приведен результат определения расположения речевой команды в голосовом сигнале.
Предлагаемый способ основан на совместном использовании комплексного анализа ЭЭГ сигнала и анализе голосового сигнала, как показано на фигуре 6.
По мнению авторов, предлагаемый подход к обработке ИП ЭЭГ на основе использования разных методов анализа ЭЭГ позволяет повысить вероятность (Р) правильного распознавания МК у полностью парализованного пользователя КРУ по сравнению с методом анализа лишь одного из ИП ЭЭГ. Другими словами, повысить чувствительность анализа ЭЭГ за счет извлечения дополнительной информации.
Известно [8, 9], что использование частотно-временного анализа (ЧВА) и амплитудно-фазового анализа (АФА) ЭЭГ сигналов позволяет получить больший объем достоверной информации о биопотенциале мозга, так как основные стохастические функции демонстрируют непрерывные изменения. Генерация биопотенциалов мозга дает явно выраженную закономерность именно в рамках частотных и фазовых характеристик (аттракторов) и позволяет не только регистрировать мысленную активность человека, но и диагностировать различные заболевания (см. фигуры 7 и 8).
Рассмотрим введенные действия.
Комбинированный анализ ЭЭГ. Это действие включает следующие методы анализа (см. фигуру 9):
- частотно-временной анализ ЭЭГ, осуществляющий преобразование дискретных отчетов выделенного пространственно-временного паттерна в частотно-временные параметры ЭЭГ и их сравнение с шаблонными значениями. При этом осуществляется определение частотно-временных параметров ЭЭГ, определение ЭЭГ признаков МК в частотно-временной области, сравнение частотно-временных параметров ЭЭГ с ЭЭГ признаками МК в частотно-временной области, выдача заключения «Наличие мысленной команды» в случае совпадения при сравнении и выдача заключения «Признаков мысленной команды не обнаружено» в случае несовпадения при сравнении;
- амплитудно-фазовый анализ ЭЭГ, осуществляющий преобразование дискретных отчетов выделенного пространственно-временного паттерна в амплитудно-фазовые параметры ЭЭГ и их сравнение с шаблонными значениями. При этом осуществляется определение амплитудно-фазовых параметров ЭЭГ, определение ЭЭГ признаков МК в амплитудно-фазовой области, сравнение амплитудно-фазовых параметров ЭЭГ с ЭЭГ признаками МК в амплитудно-фазовой области, выдача заключения «Наличие мысленной команды» в случае совпадения результата сравнения и выдача заключения «Признаков мысленной команды не обнаружено» в случае несовпадения результата сравнения.
Выбор результата комбинированного анализа ЭЭГ. В результате данного действия принимается окончательное решение на основании частных решений, полученных в результате анализа ЭЭГ разными методами. Известны различные подходы к интеграции частных решений, например, мажоритарный принцип (или принцип голосования) [10]. Согласно мажоритарному принципу окончательное решение будет соответствовать решению, принятому большинством экспертов (алгоритмов): (F=A#D#C). Решения экспертов (алгоритмов) независимы и состоят из двух суждений (см. фигуру 10):
1. Наличие МК;
2. Признаков МК не обнаружено.
Поскольку возможных вариантов всего два, а окончательное решение выбирается из четырех методов анализа ЭЭГ по принципу большинства, то функция выбора результата комбинированного анализа ЭЭГ представляется в виде функции голосования «3 из 4» (см. фигуру 11):
где R}, R2, R3, R4 - результаты работы каждого из методов комбинированного анализа ЭЭГ, принимающие значение «1», если соответствующий метод выявил у пользователя КРУ наличия МК, и значение «0», если соответствующий метод не выявил у пользователя КРУ наличия МК.
Предполагается, что для каждого метода анализа ЭЭГ известна вероятность выдачи безошибочного результата или вероятность (Р) правильного выявления наличия МК у полностью парализованного пользователя КРУ, то есть чувствительность метода распознавания МК. Тогда результат на каждом элементе конъюнкции Qi (i=1, 2, …, 4) (см. выражение 2 и фигуры 9 и 11) будет безошибочен, если безошибочны все данные, подаваемые на элемент конъюнкции.
При этом вероятность выдачи безошибочного результата элементом конъюнкции будет рассчитываться по формуле вероятности одновременного возникновения трех независимых событий:
где P(Q) - вероятность выдачи безошибочного результата элементом конъюнкции, P(RN1) - вероятность выдачи безошибочного результата одним из методов анализа ЭЭГ, подаваемым на первый вход элемента конъюнкции, P(RN2) - вероятность выдачи безошибочного результата одним из методов анализа ЭЭГ, подаваемым на второй вход элемента конъюнкции, P(RN3) - вероятность выдачи безошибочного, результата одним из методов анализа ЭЭГ, подаваемым на третий вход элемента конъюнкции.
Сигналы со всех элементов конъюнкции поступают на элемент дизъюнкции (см. фигуру 11). Вероятность выдачи безошибочного результата элементом дизъюнкции определяется по формуле вероятности появления хотя бы одного из четырех независимых событий:
где P(R) - вероятность выдачи безошибочного результата элементом дизъюнкции (итогового результата), P(Qi) - вероятность выдачи безошибочного результата i-м элементом конъюнкции.
Покажем, что вероятность выдачи безошибочного результата при комбинированном анализе ЭЭГ выше вероятности выдачи безошибочного результата любого, отдельно взятого, метода, участвующего в комбинированном анализе ЭЭГ. По формуле (4) рассчитаем вероятность выдачи системой безошибочного результата при комплексном анализе, когда вероятность безошибочного результата по методу амплитудно-временного анализа (ABA) составляет 0,9, ЧВА и АФА составляет как минимум 0,75:
Р(R)=1-(1-0,9)(1-0,75)(1-0,75)=1-0,00625=0,994.
Полученное значение выдачи безошибочного результата больше значения любого метода, используемого отдельно.
Таким образом, в предлагаемом способе анализа ЭЭГ для распознавания МК использование разных методов анализа ЭЭГ обеспечивает следующее выполнение условий:
где mахпред, minпpeд - значения максимума и минимума целевой функции предлагаемого способа обработки ЭЭГ для выявления наличия МК, mахизв, minизв - значения максимума и минимума целевой функции известного способа обработки ЭЭГ для выявления наличия МК.
Технический результат [27] от реализации комбинированного метода анализа ЭЭГ заключается в повышении достоверности распознавания мысленной команды у полностью парализованного пользователя КРУ за счет преобразования материального объекта - ЭЭГ сигнала - и анализа его особенностей в частотно-временной и амплитудно-фазовой областях.
Анализ голосового сигнала. Как следует из фигуры 6, помимо реализации комбинированного метода анализа ЭЭГ в канале анализа электроэнцефалографических сигналов, алгоритм предлагаемого способа бионического управления роботизированными устройствами содержит канал анализа голосового сигнала. Введение авторами предлагаемого изобретения канала анализа голосового сигнала обусловлено следующими соображениями: согласно статистике заболеваний опорно-двигательного аппарата [11], в основном страдают люди трудоспособного возраста, которые могут вести активный образ жизни. При этом доля заболеваний опорно-двигательного аппарата постоянно увеличивается на 30% каждые 10 лет. Среди пациентов с нарушением опорно-двигательного аппарата можно выделить примерно 6% людей, у которых имеются проблемы с речевым аппаратом, и 94% людей, у которых отсутствуют нарушения речевого аппарата [11].
Эти статистические данные обуславливают целесообразность применения системы голосового управления (СГУ) в КРУ и служат обоснованием расширения области, применения предлагаемого изобретения для пользователей КРУ с нарушением опорно-двигательного аппарата и отсутствием нарушения речевого аппарата. Получается, что оснащение КРУ СГУ увеличивает возможное количество пользователей КРУ в 94/6=15,6 раз.
В настоящее время сегмент распознавания речи составляет 3,5% от доли технологий биометрии на мировом рынке, и это доля имеет тенденцию постоянного роста. Сектор речевых технологий признан одним из самых динамично развивающихся в мире. Согласно отчету MarketsandMarkets, мировой рынок речевых технологий вырастет с 3,7 млрд долларов в 2019 году до 12 млрд к 2022 году [12]. Все ведущие автопроизводители оснащают свои автомобили премиум класса СГУ. Разработаны СГУ с менее чем 4% неточных результатов (например, измерения голосовой биометрии неверно идентифицируют и отвергают голос человека, у которого есть доступ) [13].
В канале анализа голосового сигнала (см. фигуру 6) дополнительно осуществляется:
- генерация акустических колебаний;
- аутентификация пользователя;
- обеспечение доступа;
- формирование слова.
Аналогично расчету повышения достоверности распознавания МК в комбинированном методе анализа рассчитаем вероятность достоверности распознавания управляющей команды для КРУ в результате совместного функционирования канала анализа электроэнцефалографических сигналов и канала анализа голосового сигнала. Из теории вероятности [14] известно, что:
где Р - вероятность идентификации управляющей команды, Q - вероятность ошибки при идентификации управляющей команды. Таким образом, вероятность успешной идентификации управляющей команды будет определена как:
Поэтому общая вероятность ошибки при идентификации управляющей команды при наличии двух каналов получения информативного сигнала составит:
где QЭЭГ - вероятность ошибки при идентификации управляющей команды при обработке ЭЭГ сигнала, QГолос - вероятность ошибки при идентификации управляющей команды при обработке голосового сигнала.
Вероятность идентификации управляющей команды в канале анализа электроэнцефалографических сигналов составляет 99,4% (см. выражение (4)). Вероятность идентификации управляющей команды СГУ 96% [13, 15, 16].
По формулам (6-8) определяются значения вероятностей при функционировании предлагаемых способа и системы бионического управления роботизированными устройствами:
вероятность ошибки при идентификации управляющей команды равна:
Q=(1-0,994)⋅(1-0,96)=0,00024,
а вероятность успешной идентификации управляющей команды равна:
Р=1-0,00024=0,99976.
Из приведенных расчетов следует, что введение канала анализа голосового сигнала для получения дополнительного информативного сигнала совместно с комбинированным методом анализа в канале анализа электроэнцефалографических сигналов позволяет повысить точность определения управляющей команды для КРУ на 9,99% и достигнуть почти 100% распознавания МК.
Работу предлагаемой системы бионического управления роботизированными устройствами (СБУРУ) рассмотрим с учетом введенных действий. СБУРУ работает следующим образом: генерация акустического колебания осуществляется голосовым аппаратом человека (см. фигуру 12А) [17]. Генерация акустического колебания производится путем (см. фигуру 13) механического воздействия мышц грудной клетки на легкие, в результате чего осуществляется выдох, при этом выдыхаемый воздух вызывает вибрацию голосовых связок, вследствие чего появляется звук. Гортань человека во время вдоха расширяется (см. фигуру 12Б) и выдоха сжимается (см. фигуру 12В), где 1 - надгортанник, 2 - голосовые связки. Звук, встречая на своем пути препятствия, которые, создают для него определенные положения языка, губ и зубов, преобразуется в акустическое колебание, содержащее информацию определенного осмысленного слова [17].
Структурная схема системы, реализующей предлагаемый способ бионического управления роботизированными устройствами, приведена на фигуре 14, а алгоритм взаимодействия аппаратного и программного обеспечения канала анализа голосового сигнала при распознавании слова - на фигуре 15. Как правило, конструкция системы голосового управления объединяет в себе аппаратную и программную часть. К аппаратной части относится микрофон (обязательный в любой СГУ), он будет воспринимать голосовые команды и фильтровать шум [18]. Схемотехника СГУ подробно представлена в [19]. Основным модулем аппаратной части СГУ является компьютер, который принимает и обрабатывает команды, а далее передает сигналы на исполнительное устройство.
К программной части СГУ относятся операционная система и оригинальные программные средства, обеспечивающие реализацию алгоритмов обработки голосовых сигналов. Самые известные операционные системы, это iOS, Android или Windows. Иногда производители СГУ разрабатывают собственную операционную систему на основе уже известных, тем самым, обеспечивая больше возможностей для выполнения нового количества функций. Из оригинальных программных средств, обеспечивающие реализацию алгоритмов обработки голосовых сигналов самыми известными являются:
- Alexa от Amazon [20];
- OK Google [21];
- Siri от Apple [22];
- Cortana от Microsoft [23];
- Алиса от Яндекс [24].
Функциональные возможности современных голосовых помощников приведены в таблице 2 (см. фигуру 16).
Системы голосового управления с полным правом относятся к бионическим методам управления объектами. Действительно, технология обработки речевых сигналов в системах голосового управления представляет собой совокупность методов и инструментов реализации языковой модели (см. фигуру 17), в рамках которой осуществляется акустический, лингвистический и семантический анализы, обеспечивая достоверное распознавание МК [16]. Анализ фигуры 16 показывает, что основными элементами парадигмы обработки речевого сигнала являются акустическая и языковая модели:
- акустическая модель - это функция, принимающая на вход небольшой участок акустического сигнала (фрейм) и выдающая распределение вероятностей различных фонем на этом фрейме;
- языковая модель - это вероятностное распределение на множестве словарных последовательностей, которое отражает как семантику, так и морфологию. Такой тип языковых моделей называется N-gram language models [25].
Речевой интерфейс характеризуется, следующими достоинствами:
- речь является естественным интерфейсом для любого, даже неподготовленного человека. Речь снижает психологическое расстояние между человеком и компьютером или робототизированным мехинизмом;
- речь сама по себе никак механически не привязана к компьютеру и может быть связана с ним через системы коммуникаций, например, телефон. Речевой человеко-машинный интерфейс сокращает физическое расстояние между человеком и робототизированным мехинизмом;
- можно обращаться с робототизированным мехинизмом в полной темноте, с закрытыми глазами, в условиях занятости рук рычагами управления, с завязанными руками и в другой экстремальной обстановке, что повышает оперативность и мобильность общения, освобождение рук и разгрузку зрительного канала восприятия при получении информации.
Алгоритм распознавания слова предлагаемого способа бионического управления роботизированными устройствами приведен на фигуре 18 и реализует действия: преобразование акустических сигналов в электрический сигнал; фильтрация шумов; идентификация слова; распознанного слова.
Алгоритм распознавания слова работает следующим образом: акустические колебания с помощью микрофона преобразуются в электрический сигнал. Затем поступивший сигнал фильтруется. В качестве фильтра используется преобразование Гильберта-Хуанга [26]. Алгоритм преобразования Гильберта-Хуанга представлен на фигуре 19.
Работа алгоритма преобразования Гильберта-Хуанга заключается в выполнении следующих этапов. Определение максимумов {xmax,k} и минимумов {xmin,k} исследуемого сигнала:
- значение k-го отсчета является максимумом, если выполняется условие
- значение k-го отсчета является минимумом, если выполняется условие
где k - дискретные отсчеты времени.
Определение верхней h(t) и нижней l(t) огибающих сигнала с помощью кубической сплайн-интерполяции по найденным локальным экстремумам:
где αk, βk, γk, δk - коэффициенты для каждого значения k-го отсчета верхней и нижней огибающих сигнала (могут быть вычислены с условием, что полная функция интерполяции была непрерывной до производных второго порядка).
Пример выделения огибающей сигнала речевой команды представлен на фигуре 20.
Вычисление среднего значения огибающих сигнала в соответствии выражением:
Проверка условия среднее значение двух огибающих должно быть приближенно равно нулю (m(t)=0). Если условие не выполняется, то осуществляется вычисление локального остатка и использование его в качестве сигнала для дальнейшего отсеивания x(t)=c(t):
где c(t) - локальный остаток. Если условие выполняется, то локальный остаток используется в качестве эмпирической моды (ЭМ) i-ого уровня декомпозиции эмпирической модовой функции IMFi(t)=c(t).
Вычисление остатка сигнала по формуле:
где r(t) - остаток сигнала.
Вычисление значения критерия останова. В качестве критерия останова декомпозиции используется значение, нормализованной квадратичной разности, определяемое как:
где Т - общее число точек в последовательности, IMFi(t) и r(t) являются последней ЭМ и остатком соответственно.
Проверка условия останова. На этом этапе осуществляется сравнение значения остатка сигнала с порогом SD≤δ. Экспериментально порог для речевых сигналов установлен δ=0,25. Если условие не выполняется, то остаток используется в качестве сигнала для дальнейшего уровня декомпозиции. Если условие выполняется, то осуществляется вывод набора ЭМ, полученных на всех уровнях декомпозиции.
В результате декомпозиции, из исходного сигнала x(t) извлекается конечное число ЭМ IMFi(t) и результирующий остаток:
Результат фильтрации голосового сигнала с помощью преобразования Гильберта-Хуанга представлен на фигуре 21.
Алгоритм идентификация речевой команды (см. фигуру 22) включает в себя:
- адаптивное разложение речевой команды на ЭМ с помощью метода комплементарной множественной декомпозиции на эмпирические моды (КМДЭМ);
- формирование набора информативных сигналов, представляющих собой разности исходного сигнала речевой команды и неинформативных ЭМ. Другими словами, информативные сигналы, состоят только из мод, содержащих информацию об уникальных свойствах речи.
- определение мел-частотных кепсетральных коэффициентов (МЧКК) набора информативных сигналов, формирование базы шаблонов и осуществление непосредственного распознавания.
В представленном алгоритме ввод речевого сигнала без пауз х(n) (n - дискретный отсчет времени 0<n≤N, N - количество дискретных отсчетов в сигнале) осуществляется со следующими параметрами: длительность записи - не более 30 мс, частота дискретизации 8000 Гц, разрядность квантования 16 бит.
Настройки КМДЭМ: уровень амплитуды белого шума составляет 0,1 мВ, количество циклов декомпозиции J=50 (J=1, 2, …J). Декомпозиция зашумленного речевого сигнала заключается в получении усредненных значений ЭМ и остатка:
Пример представления декомпозиции голосового сигнала показан на фигуре 23.
После завершения декомпозиции зашумленный речевой сигнал представляет собой набор ЭМ 
и остаток rI(n), где i-номер ЭМ, I - количество ЭМ, устанавливается номер моды фрагмента и дальнейшая работа осуществляется с каждой ЭМ в отдельности. Коэффициенты а, b устанавливаются равными единице и в последующем определяют, какие ЭМ будут использоваться в формировании набора информативных сигналов.
Для формирования набора информативных сигналов необходимо провести классификацию информативности всех извлеченных из сигнала ЭМ.
При условии, что речевой сигнал имеет конечную энергию, число ЭМ при разложении всегда является конечным. Для абсолютно произвольного сигнала все ЭМ можно разбить на две категории:
- информативные ЭМ с шумовыми и сигнальными ЭМ;
- неинформативные ЭМ с трендовыми и компенсирующими ЭМ. Информативные ЭМ в разложении всегда отражают внутреннюю структуру и особенности сигнала. К их числу относятся шумовые и сигнальные ЭМ. Появление в разложении первых объясняется наличием в исходном сигнале остаточного шума, а вторые связаны непосредственно с полезным сигналом и входящими в него компонентами.
Неинформативные ЭМ являются медленно меняющимися функциями. Среди них выделяют трендовые ЭМ и описывающие истинную динамику среднего значения сигнала и компенсирующие ЭМ возникающие при разложении. Трендовые ЭМ появляются, например, при разложении суммы гармонического сигнала и полиномиального тренда. Компенсирующие (ложные) ЭМ - результат несовершенства самого алгоритма декомпозиции (критериев остановки процесса отсеивания, неточностей при вычислениях, ошибок округления).
Формирование набора информативных сигналов заключается в вычитании из исходного сигнала речевой команды: информативных шумовых и неинформативных мод. Информативными шумовыми обычно являются первые две или три ЭМ, в зависимости от интенсивности присутствующего в сигнале шума. Неинформативными являются последние три или четыре ЭМ, в зависимости, от общего количества мод (число ЭМ примерно равно двоичному логарифму от числа отсчетов в сигнале). Графическая интерпретация формирования набора полезных сигналов показана на фигуре 23. Формирование набора информативных сигналов осуществляется по формуле:
где xab,i(n) - информативный сигнал, х(n) - исходный сигнал речевой команды, i-номер ЭМ, I - количество ЭМ, а, b - коэффициенты, определяющие участие ЭМ в формировании набора информативных сигналов сигнала (см. фигуру 24).
Целью формирования набора информативных сигналов является возможность выбора одного сигнала, содержащего максимально большее количество информации об уникальных свойствах речи пользователя. Так как каждое слово инвариантно относительно: тональности (изменения частоты), интенсивности звучания, скорости произношения или звучания, тембровой окраски, интонации и различных дефектов речи пользователя (акцент, ударение, неправильное произношение и др.).
На этом этапе работы предлагаемого способа производится процедура аутентификация пользователя. На основании заранее записанного кодового слова пользователя, производится проверка на получение доступа пользования контролируемым роботизированным устройством (инвалидной коляской). Аутентификация пользователя обеспечивает функцию программирования КРУ «под себя» и позволяет последующую обработку зарегистрированного ЭЭГ сигнала и речевого сигнала. Таким образом, можно зашифровать от посторонних ушей, что вы включили или выключили во время управления КРУ.
В последующих действиях работы алгоритма распознавания слова будет выбран наиболее приемлемый информативный сигнал, обеспечивающий наименьшую разницу между поступающей в систему речевой командой и шаблоном, полученным в ходе обучения подсистемы голосового управления.
Сегментация ЭМ на фрагменты осуществляется по следующим формулам:
где IMFi(n) - сигнал ЭМ, S - количество фрагментов в ЭМ, L - количество дискретных отсчетов в одном фрагменте.
где IMFi,s+1(n) - фрагмент i-ой ЭМ, s=(0, 1, 2, …S-1) - номер фрагмента.
МЧКК включает в себя два основных понятия: кепстр и мел-шкала.
Кепстр это дискретно-косинусное преобразование амплитудного спектра сигнала в логарифмическом масштабе. Кепстр сигнала определяется по формуле:
где DCT - дискретно-косинусное преобразование, X - спектральное представление сигнала х(n).
Понятие кепстра позволяет реализовывать преимущества спектрального представления сигнала. При преобразовании сигнала из временной области в частотную происходит сжатие информации, становится более наглядной, подробной и компактной исходная спектральная информация о сигнале представляется еще более компактно - в виде кепстра («спектра спектра»).
Мел шкала - это шкала частотной восприимчивости изменений высоты звука. Мел - психофизическая единица высоты звука. Высота звука связана главным образом с частотой колебаний. По этой причине люди гораздо лучше воспринимают небольшие изменения звука на низких частотах, чем на высоких, то есть мел-шкала моделирует частотную чувствительность человеческого слуха.
Перевод из шкалы герц в шкалу мелов и обратно происходит по следующим формулам:
где m - частота в мелах, ƒ - частота в герцах.
Получение спектра фрагментов ЭМ осуществляется по формуле:
ys+1(n)-фрагмент сигнала ЭМ, Ys+1(k)-спектр фрагмента сигнала ЭМ, 0≤k<N-1 - количество комплексных амплитуд синусоидальных сигналов, слагающих исходный сигнал, l=(1, 2, …L) - номер отсчета фрагмента сигнала ЭМ, L - количество отсчетов во фрагменте, j - мнимая единица.
Значение k, определяет частоты составляющих сигнала:
где Fs - частота дискретизации сигнала.
Получение периодограммы фрагментов ЭМ осуществляется по формуле
Полученные периодограммы фрагментов содержат избыточное количество информации о частотах для задачи распознавания. По этой причине для более компактного представления информации периодограммы делятся на частотные диапазоны. К каждому диапазону применяется треугольная оконная функция - мел-фильтр, позволяющая просуммировать количество энергии каждого частотного диапазона периодограммы и определить мел-коэффициенты.
Формирование набора мел-фильтров осуществляется по следующей методике:
- задается количество мел-фильтров G и нижняя ƒl, верхняя ƒh границы диапазона частот, в котором будет применяться фильтрация;
- в соответствии с формулой (24) выполняется преобразование границ диапазона из герц в мел (ml, mh);
- на мел-шкале отрезок [ml, mh] разбивается на G+1 непересекающихся под отрезков длиной 
- определяются центральные частоты подотрезков по следующее формуле:
где g=1, 2, …G - номер фильтра;
- центральные частоты переводятся в герцы ƒc (g) по формуле (25), они соответствуют центральным частотам треугольных мел-фильтров;
- центральные частоты треугольных фильтров переводятся из герц в номера отсчетов периодограммы Ps+1(k):
- для каждого мел-фильтра отсчеты периодограммы Ps+1(k) умножаются на соответствующий фильтр:
где k=(1, 2, …K) - количество отсчетов в одном фрагменте.
После выбора треугольных фильтров фрагментов, проводится логарифмирование энергии по следующей формуле:
Последним этапом является вычисление дискретно-косинусного преобразования логарифма энергии набора фильтров. Так как все полосы пропускания фильтров перекрываются, энергии в наборе фильтров достаточно коррелируют друг с другом, поэтому необходимо провести декорреляцию по следующей формуле:
где с=1, 2, …С - номер МЧКК, С - желаемое число коэффициентов.
Обычно для распознавания используют 12-15 МЧКК, так как чем выше индекс коэффициента, тем быстрее изменяется энергия в наборе фильтров.
В результате первый МЧКК в основном несет информацию об интенсивности речевых сигналов. Так как в подсистемах голосового управления регистрация речевых сигналов может происходить с разными уровнями, то информация первого МЧКК становится избыточной. В разработанном алгоритме в дальнейшем анализе первый МЧКК не используется.
Операция нормализации используется для придания равнозначности каждому МЧКК во фрагменте. Как известно высокие частоты менее восприимчивы и МЧКК на этих частотах менее важны по сравнению с МЧКК на низких частотах. МЧКК на высоких частотах практически не влияют на результат. Нормализация МЧКК это умножение каждого коэффициента на число, которое увеличивается с номером коэффициента. Таким образом, первые коэффициенты по уровню уменьшаются, а последние коэффициенты увеличиваются по уровню. Для этой операции используется формула:
где Lƒ - величина, подбираемая эмпирически и равна 22.
Нахождение первого и второго, приращения значений МЧКК позволяет получить некоторую динамическую информацию о статических коэффициентах. Вектор коэффициентов описывает фиксированную спектральную огибающую одного фрагмента, но очевидно, что речевые сигналы несут информацию и о динамике в виде незначительного изменения коэффициентов с течением времени.
Для расчета приращений МЧКК используются следующие формулы:
где MFCC_Ds+1(c), MFCC_DDs+1(c) - первое и второе приращение МЧКК, MFCCs+1(c) - статические МЧКК, D - типовое значение приращения равное 2.
Формирование базы данных - шаблонов и набора данных МЧКК представляет собой объединение всех видов информативных параметров (MFCCs+1(c), MFCC_Ns+1(c), MFCC_Ds+l(c), MFCC_DDs+1(c)) в один вектор.
После формирования первого информативного сигнала, вычитая по одной информативной шумовой и неинформативной моды (i=0) выполняется проверка условия i=2. Если условие выполняется, осуществляется проверка условия а=1. В случае если условие не выполняется, то устанавливается значение равным i=i+1 и осуществляется возврат к формированию набора информативных сигналов через установку номера ЭМ.
После формирования всех информативных сигналов при значениях коэффициентов равных а=1, b=1 выполняется проверка условий а=1, b=1 и осуществляется установка новых значений коэффициентов. Установка значений равных а=1, b=0 соответствует формированию информативных сигналов вычитанием только шумовых ЭМ. Установка значений равных а=0, b=1 соответствует формированию информативных сигналов вычитанием только неинформативных ЭМ.
Распознавание представляет процесс сравнения поступившей в систему речевой команды с шаблоном из базы данных, полученным в ходе обучения подсистемы голосового управления. Одна речевая команда может быть произнесена по-разному, так как различные части слова, произносятся с разной скоростью. Для определения расхождения между поступающей в систему речевой командой и шаблоном, представленными как вектора МЧКК, должно быть выполнено выравнивание по времени. С этой целью для распознавания применяется метод динамического трансформирования времени, который является методикой эластичного сравнения фрагментов речевой команды и шаблона в регулярных интервалах.
Процесс сравнения векторов МЧКК поступающей речевой командой и с шаблоном начинается с расчета локальных отклонений между значениями двух векторов:
- определение коэффициента корреляции по формуле:
где r(xs+1, ys+1) - элементы матрицы отклонения, xs+1=MFCCcomp.(c) вектор МЧКК фрагмента поступающей речевой (команды, ys+1=MFCCmod.(c) - МЧКК фрагменты шаблона, s=(0, 1, 2, …S-1) - номер фрагмента.
- вычисление абсолютного отклонения (Евклидово расстояние) по формуле:
где d(xs+1, ys+1) - элементы матрицы отклонений.
Использование двух способов вычисления отклонения, для определения оценки расхождения, повысит качество распознавания.
Результатом сравнения будет, вектор, для которого было найдено минимальное расхождение между поступившей речевой командой и шаблоном. Далее вычисляется минимальная глобальная оценка расхождения для маршрута как сумма локальных расстояний между фрагментами речевой команды и шаблона:
где G(i,j) - глобальная оценка для точки (i,j), d(i,j) - локальной оценка.
На фигуре 25 представлен результат определения расположения речевой команды в голосовом сигнале (выделен более жирно).
После выполнения распознавания всех информативных признаков сигнала, осуществляется формирование командного слова, путем вычитания ЭМ из каждой речевой команды.
Каждому командному слову, поступающему с блока нормализации МЧКК, соответствует выходной вектор β (см. фигуру 2), на основании которого формируется (или определяется) управляющая команда ci для контролируемого устройства.
Приведенное описание работы предлагаемой СБУРУ, по мнению авторов предлагаемого изобретения, показало, что введение дополнительных блоков в канале. анализа электроэнцефалографических сигналов и канале анализа голосовых сигналов обусловило появление новых свойств и повысило:
- надежность функционирования системы при формировании управляющей команды;
- независимость и бесперебойность обеспечения связи между пользователем и контролируемым устройством (инвалидной коляской);
- безопасность доступа к использованию контролируемым устройством (инвалидной коляской);
сохранив при этом достоинства известного способа классификации электроэнцефалографических сигналов в интерфейсе мозг-компьютер.
Технический результат [27] предлагаемого изобретения заключается в:
- разработке доступных для массового использования новых методов и средств бионического управления контролируемыми роботизированными устройствами в условиях ограниченных физических возможностей оператора, а также для реабилитации инвалидов, утративших двигательную активность;
- обработке электроэнцефалографических и голосовых сигналов, обеспечивающей повышенную достоверность распознавания управляющей команды;
- повышение доступности контролируемого роботизированного устройства (инвалидная коляска) для всех групп парализованных пациентов, что соответствует условиям реализации национального проекта «Здравоохранение» в части, касающейся реабилитации инвалидов в рамках Федерального проекта «Развитие сети национальных медицинских исследовательских центров и внедрение инновационных медицинских технологий» [28].
Источники информации
1. Пат. 2364385 Российская Федерация, МПК А61Н 3/00. Носимое вспомогательное устройство, содействующее двигательной активности, и управляющая программа / Санкаи Иосиюки, заявитель и патентообладатель Юниверсити ОФ Цукуба. - №2007132169/14; заявл. 22.11.2005; опубл. 20.08.2009 Бюл. №23. - 60 с.
2. Пат. 2627818 Российская Федерация, МПК А61В 5/0488, A61F 2/54. Способ бионического управления техническими устройствами / Щукин С.И., Кобелев А.В., Сергеев И.К., Нарайкин О.С., заявители и патентообладатели Щукин С.И., Кобелев А.В., Сергеев И.К., Нарайкин О.С. - №2016109214; заявл. 15.03.2016; опубл. 11.08.2017 Бюл. №23. - 12 с.
3. Пат. 2415642 Российская Федерация, МПК А61В 5/0476 A61F2/72. Способ классификации электроэнцефалографических сигналов в интерфейсе мозг-компьютер / Владимирский Б.М. и др., заявитель и патентообладатель Министерство образования и науки Российской Федерации, Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет». - №2009133005/14; заявл. 03.09.2009; опубл. 10.04.2011 Бюл. №10. - 35 с.
4. Звездочкина Н.В. Исследование электрической активности головного мозга / Казань: Изд-во Казан, ун-т, 2014. - 59 с.
5. Чернышева Е.Г., Чернышев Б.В. Практические занятия по прикладной психофизиологии / Москва: Изд-во ГУ-ВШЭ, 2010. - 54 с.
6. GUFO.ME: [Электронный ресурс]. - Режим доступа: https://gufo.me/dict/bse/шум, свободный - (28.07.2020).
7. Толковый переводоведческий словарь: [Электронный ресурс]. - Режим доступа: https://znachenie-slova.ru/артефакт, свободный - (28.07.2020).
8. Вохмина Ю.В., Еськов В.В., Горбунов Д.В., Шадрин Г.А. Хаотическая динамика параметров электроэнцефалограмм // Вестник новых медицинских технологий. - 2015. - Т. 22 - №2 - С.38 – 43.
9. Сушкова, О.С, Королев, М.С., Габова, А.В., Иллариошкин, С.Н., Карабанов, А.В., Обухов К.Ю., Обухов Ю.В. Совместный анализ сигналов электроэнцефалограмм, электромиограмм и механического тремора при болезни Паркинсона в ранней стадии // «Журнал радиоэлектроники». - 2014. - №5. - URL: http://jre.cplire.ru/jre/may14/index.html
10. Геллерт, Манфред. Все о командообразовании. Руководство для тренеров / пер. с нем. - Москва. Вершина. - 2006.
11. Официальный сайт Министерства здравоохранения РФ: [Электронный ресурс]. - Режим доступа: https://www.rosminzdrav.ru/ministry/61/22/stranitsa-979/statisticheskie-i-infomatsionnye-materialy/statisticheskie-materialy, свободный - (28.07.2020).
12. Speech Technology and CRM magazines: [Электронный ресурс]. - Режим доступа: https://www.speechtechmag.com/Articles/Editorial/FYI/Speech-Market-to-Reach-$12-Billion-by-2022-112674.aspx, свободный - (28.07.2020).
13. Группа ЦРТ. Распознавание голоса, синтез речи, запись и анализ, идентификация лица и голоса [Электронный ресурс]. - Режим доступа: https://www.speechpro.ru/, свободный - (06.08.2020).
14. Вентцель, Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. - 2-е изд., стер. - М.: Высшая школа, 2000. - 480 с.
15. Перспективы развития систем распознавания речи (выдержка из исследования): [Электронный ресурс]. - Режим доступа: https://habr.com/ru/post/232613/, свободный - (06.08.2020).
16. Лобанов Б.М., Цирульник Л.И. «Компьютерный синтез и клонирование речи». - Минск: «Белорусская Наука». - 2008. - 316 с.
17. Колесникова, Л.Л. Анатомия, физиология и биомеханика зубочелюстной системы / Под редакцией Л.Л. Колесникова и др. - М.: ГЭОТАР-Медиа, 2009. - 304 с.
18. IT Консалтинг: [Электронный ресурс]. - Режим доступа: http://www.terralab.ru/299680/?rl=rss&r2=remote, свободный - (06.08.2020).
19. Простые интересные радиосхемы сделанные своими руками: [Электронный ресурс]. - Режим доступа: httys://radioskot.ru/publ/unch/skhema_dlja_golosovogo_upravlenija/6-1-0-914, свободный - (06.08.2020).
20. Amazon Echo: [Электронный ресурс]. - Режим доступа: https://voiceapp.ru/articles/amazon-echo-review, свободный - (06.08.2020).
21. Google Ассистент: [Электронный ресурс]. - Режим доступа: https://voiceapp.ru/articles/google-assistant-download, свободный - (06.08.2020).
22. Голосовой помощник Siri: [Электронный ресурс]. - Режим доступа: https://voiceapp.ru/articles/siri, свободный - (06.08.2020).
23. Microsoft Cortana: [Электронный ресурс]. - Режим доступа: https://ai-golos.ru/microsoft/microsoft-cortana-est-li-polza-v-nyneshnih-realiyah/свободный - (06.08.2020).
24. Алиса - голосовой помощник от Яндекс: [Электронный ресурс]. - Режим доступа: https://voiceapp.ru/articles/alisa, свободный - (06.08.2020).
25. Волкова И.А. Введение в компьютерную лингвистику. Практические аспекты создания лингвистических процессоров. Учебное пособие для студентов факультета ВМК МГУ. - Издательский отдел факультета ВМК МГУ им. М.В.Ломоносова Москва, 2006. - 44 с.
26. The Hilbert-Huang transform an4 its applications / editors, Norden E. Huang, Samuel S.P. Shen. - World Scientific Publishing Co. Pte. Ltd. 5 TohTuck.Link, Singapore 596224.
27. Об утверждении Административного регламента предоставления Федеральной службой по интеллектуальной собственности государственной услуги по государственной регистрации изобретения и выдаче патента на изобретение, его дубликата: Приказ Минэкономразвития России от 25.05.2016 №315 (ред. от 07.06.2017) (Зарегистрировано в Минюсте России 14.07.2016 №42843).
28. Национальный проект «Здравоохранение»: [Электронный ресурс]. - Режим доступа: https://strategy24.ru/rf/health/projects/natsionalnyy-proekt-zdravookhranenie, свободный - (06.08.2020).
1. Способ бионического управления роботизированными устройствами, осуществляющий формирование мысленной команды, формирование канала анализа электроэнцефалографических сигналов, в котором осуществляют формирование сигнала ЭЭГ, соответствующего мысленной команде, регистрацию сигнала ЭЭГ, формирование обучающей выборки сигналов ЭЭГ, обучение нейронной сети, нейросетевой анализ зарегистрированного сигнала ЭЭГ, формирование управляющей команды для контролируемого роботизированного устройства и исполнение команды контролируемым роботизированным устройством, отличающийся тем, что дополнительно осуществляется: комбинированный анализ ЭЭГ в канале анализа электроэнцефалографических сигналов, причем при комбинированном анализе ЭЭГ осуществляют выявление ЭЭГ признаков мысленной команды в частотно-временной и амплитудно-фазовой областях; выбор результата комбинированного анализа ЭЭГ, причем при выборе результата комбинированного анализа ЭЭГ принимается окончательное решение на основании частных решений, полученных в результате анализа ЭЭГ разными методами; формирование канала анализа голосового сигнала, в котором осуществляется формирование словаря голосовых команд, генерация акустических колебаний голосовым аппаратом человека, обеспечение доступа пользования контролируемым роботизированным устройством при помощи аутентификации голоса пользователя, формирование слова путем преобразования акустического колебания в электрический сигнал с помощью микрофона, фильтрации на основании преобразования Гильберта-Хуанга и идентификации слова путем сравнения со словами из словаря голосовых команд.
2. Способ по п.1, отличающийся тем, что анализ ЭЭГ в частотно-временной области осуществляется путем определения частотно-временных параметров ЭЭГ, определения ЭЭГ признаков мысленной команды в частотно-временной области, сравнения частотно-временных параметров ЭЭГ с признаками мысленной команды в частотно-временной области, выдачи заключения «Наличие признаков мысленной команды» в случае совпадения при сравнении и выдачи заключения «Признаков мысленной команды не обнаружено» в случае несовпадения при сравнении.
3. Способ по п.1, отличающийся тем, что анализ ЭЭГ в амплитудно-фазовой области осуществляется путем определения амплитудно-фазовых параметров ЭЭГ, определения ЭЭГ признаков мысленной команды в амплитудно-фазовой области, сравнения амплитудно-фазовых параметров ЭЭГ с ЭЭГ признаками мысленной команды амплитудно-фазовой области, выдачи заключения «Наличие признаков мысленной команды» в случае совпадения результата сравнения и выдачи заключения «Признаков мысленной команды не обнаружено» в случае несовпадения результата сравнения.
4. Способ по п.1, отличающийся тем, что реализуется посредством системы, которая содержит последовательно соединенные энцефалограф, аналого-цифровой преобразователь, процессор компьютера, адаптер контролируемого роботизированного устройства и контролируемое роботизированное устройство, при этом электродная система энцефалографа размещается на голове пользователя, причем система дополнительно содержит последовательно соединенные микрофон и звуковую карту компьютера, соединенную со вторым входом процессора компьютера.
