Способ классификации двигательной активности человека
Владельцы патента RU 2751816:
Автономная некоммерческая организация высшего образования «Университет Иннополис» (RU)
Изобретение относится к области цифровой обработки и анализа данных и предназначено для расшифровки сигналов электрической активности головного мозга, связанных с движениями человека. Способ классификации двигательной активности человека заключается в регистрации сигналов коры головного мозга с помощью ЭЭГ с закрепленных на голове датчиков. При этом отфильтрованные в диапазоне мю-ритма 8-14 Гц сигналы записывают и разделяют на два массива данных, соответствующих левому и правому полушариям. Данные каждого массива рассматривают как траекторию в трехмерном фазовом пространстве. Вычисляют меры сложности сигналов ЭЭГ. Вычитают меры сложности, характеризующие сигналы ЭЭГ правого полушария головного мозга, из мер сложности, характеризующих сигналы ЭЭГ левого полушария. На основании разности характеристик сложности сигналов между полушариями делают вывод о соответствующем движении. При возрастании детерминизма и снижении энтропии рекуррентного времени в правом полушарии определяют движение левой руки. При возрастании энтропии и снижении детерминизма в левом полушарии определяют движение правой руки. Достигается определение момента начала движения и идентификация двух типов движений (левая и правая рука) на основе численного анализа рекуррентных диаграмм сигналов ЭЭГ, полученных с 6 отведений с левого и правого полушарий головного мозга, с низкими требованиями к вычислительной мощности компьютера, уменьшением этапов предобработки и более простыми для интерпретации с физиологической точки зрения результатами классификации. 4 ил.
Изобретение относится к области цифровой обработки и анализа данных и предназначено для расшифровки сигналов электрической активности головного мозга, связанных с движениями человека. Данное техническое решение может найти применение в программно-аппаратных комплексах для постинсультной реабилитации, а также в интерфейсах мозг-компьютер для контроля внешних устройств (экзоскелеты, роботизированные протезы).
Известен патент RU 2415642, дата подачи 03.09.2009, Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер, заключающийся в тестировании пользователя, выделении специфических информационных компонентов из общего пространственно-временного паттерна, создании выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычислении весовых коэффициентов и классификации фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам, отличающийся тем, что в качестве специфических информационных компонентов используют локальные положительные максимумы амплитуды ЭЭГ сигналов от всех отведений, при этом, если значения двух соседних положительных максимумов отличаются менее чем на порог психофизиологического восприятия человека, то их считают равными и второй максимум исключают из последующего анализа, одновременно с выделением первого положительного максимума от опорного отведения фиксируют значения амплитуд ЭЭГ сигналов по всем остальным отведениям, в результате получают набор амплитуд, представляющих собой первый входной вектор для нейронной многослойной сети (НМС), и процедуру формирования входных векторов повторяют для каждого последующего положительного максимума опорного отведения и для каждого отдельного отведения, каждый раз принимаемого как опорное отведение, до тех пор, пока каждое из отведений не выполнит функцию опорного, в результате получают многомерный массив входных векторов от конкретного пользователя, причем при обучении (НМС) дополнительно формируют массив указателей классов мысленных движений, выполняемых пользователем, который является выходным массивом для обучения НМС, и вычисляют весовые коэффициенты классификации по алгоритму обратного распространения ошибки, и при идентификации мысленного движения массив входных векторов подают на НМС для вычисления выходного вектора, по которому определяют класс мысленного движения пользователя.
Предлагаемое решение отличается от данного низкими требованиями к вычислительной мощности компьютера, что упрощает его применения в системах классификации двигательной активности. Также в предлагаемом решении исходный сигнал проходит меньше этапов пред-обработки. Помимо этого результаты классификации, полученные с помощью предлагаемого решения, более просты для интерпретации с физиологической точки зрения.
Наиболее близким техническим решением является патент RU 2682492, дата подачи заявки 26.02.2018: способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора, заключающийся в том, что с помощью датчиков регистрируют сигналы ЭЭГ с затылочной, центральной и лобной областей, для которых в блоке частотно-временного анализа вычисляют значение непрерывного вейвлет-преобразования с базовым Морле-вейвлетом, рассчитывают усредненное значение энергии вейвлетного спектра в альфа 8-12 Гц диапазоне для лобной, центральной и затылочной областей и усредненное значение энергии вейвлетного спектра в дельта 1-5 Гц диапазоне для лобной области, далее в блоке адаптивной фильтрации проводят разложения полученных усредненных значений по эмпирическим модам и выделяют низкочастотную составляющую данных зависимостей, выделяя эмпирические моды четвертого порядка, затем в блоке классификации проводят анализ поведения во времени полученных эмпирических мод, при этом моменты времени, для которых амплитуда эмпирической моды, рассчитанной на основе альфа-ритма ЭЭГ сигналов для лобной, центральной и затылочной областей, возрастает, а амплитуда эмпирической моды, рассчитанной на основе дельта-ритма лобных ЭЭГ, уменьшается, классифицируют как эпизоды воображения двигательной активности. В данном техническом решении применяется метод частотно-временного анализа сигналов ЭЭГ, записанных с достаточно большой площади коры головного мозга, охватывающей зоны, ответственные за обработку различных типов когнитивной активности человека, в том числе в указанном диапазоне альфа-ритма.
Данные решения применимы для мысленных команд пользователя (воображаемого движения).
Электрическая активность головного мозга является сигналом сложной нестационарной природы. Основная техническая проблема, возникающая при разработке классификаторов, является сложность получения устойчивых характеристик, однозначно определяющих тот или иной вид паттерна. Эта нестабильность характерна как для межсубъектных измерений, так и для одного испытуемого в зависимости от условий.
Техническим результатом заявляемого способа классификации сигналов ЭЭГ при двигательной активности человека является возможность определения момента начала движения и идентификация двух типов движений (левая и правая рука) на основе численного анализа рекуррентных диаграмм сигналов ЭЭГ, полученных с 6 отведений с левого и правого полушария головного мозга. Данный способ обеспечивает возможность детального анализа нейронной активности головного мозга, соответствующей движениям человека, по записям ЭЭГ.
Технический результат обеспечивает способ классификации двигательной активности человека, заключающийся в том, что сигналы коры головного мозга регистрируют с помощью ЭЭГ с датчиков, закрепленных на голове человека, в соответствии с предложенным решением сигналы, отфильтрованные в диапазоне мю-ритма (8-14 Гц), записывают, разделяя на два массива данных, соответствующих левому и правому полушарию, при этом данные каждого массива рассматривают как траекторию в трехмерном фазовом пространстве, затем вычисляют меры сложности сигналов ЭЭГ и вычитают меры сложности, характеризующие сигналы ЭЭГ правого полушария головного мозга, из мер сложности, характеризующих сигналы ЭЭГ левого полушария, получают разность характеристик сложности сигналов между полушариями, после чего делают вывод о соответствующем движении: при возрастании детерминизма и снижении энтропии рекуррентного времени в правом полушарии - движение левой руки, а при возрастании энтропии и снижении детерминизма в левом полушарии делают вывод о движении правой руки.
Предложенное изобретение поясняется чертежами:
фиг. 1 - расположение ЭЭГ-электродов,
фиг. 2а - пример записей с каналов, расположенных на правом полушарии коры головного мозга.
фиг. 2б - траектория в трехмерном фазовом пространстве, соответствующая записям с каналов на фиг. 2а
фиг. 3 - пример вычисления мер для одного движения
фиг. 4 - а) пример результата вычитания мер сложности ЭЭГ-сигнала, б) пример разницы между мерами, посчитанных для отдельных триалов на примере одного эксперимента (по 30 движений каждой рукой).
Предложенное техническое решение осуществляется следующим образом.
Датчики электроэнцефалографа-регистратора закрепляют на голове человека в области сенсомоторной коры головного мозга (C3, C4, Cp3, Cp4, Fc3, Fc4) (см. фиг. 1).
Сигналы с коры головного мозга, связанные с двигательной активностью человека, регистрируются по 6 каналам с датчиков C3, C4, Cp3, Cp4, Fc3, Fc4 и фильтруются в диапазоне мю-ритма (8-14 Гц), который наиболее точно отражает обработку двигательной активности человека нейронной сетью головного мозга. Записи с этих шести каналов делятся на два массива данных, которые соответствуют левому (C3, Cp3, Fc3) и правому (C4, Cp4, Fc4) полушарию, при этом запись с каждого канала представляет собой соответствующий временной ряд, а в совокупности данные каждого массива рассматривают как траекторию в трехмерном фазовом пространстве.
На фиг. 2 показан пример записей каналов с датчиков, расположенных на правом полушарии коры головного мозга, и соответствующая траектория в фазовом пространстве. Пунктирными линиями обозначены моменты времени, в которые подавалась команда о начале и конце выполнения движения, что соответствует сжатию руки в кулак по первой команде и разжатию руки по второй команде, как показано на фиг. 3, а ниже на фиг. 3 представлен пример вычисления мер для одного движения.
Для полученных траекторий (фиг. 2) производят численный анализ рекуррентных диаграмм, на основе которого вычисляют меры сложности сигнала ЭЭГ: детерминизм, являющийся оценкой регулярности и предсказуемости временного ряда, и энтропию рекуррентного времени, определяющую переход временного ряда из хаотического в упорядоченное состояние и обратно. Меры сложности (детерминизм и энтропию), характеризующие сигналы ЭЭГ правого полушария головного мозга вычитают из мер сложности, характеризующих сигналы ЭЭГ левого полушария, и получают разность характеристик сложности сигналов между полушариями. Как следствие свойства контралатеральности, для меры детерминизма данная разность показывает значительный рост относительно нулевого уровня в момент начала движения левой рукой и снижение - в момент начала движения правой рукой (фиг. 4а)); DET соответствует мере детерминизма, RTE - энтропии рекуррентного времени. Идентификация паттерна на рекуррентной диаграмме позволяет классифицировать движения по сигналу ЭЭГ (фиг. 4б)).
Меры усреднены по 10 испытуемым и представлены со стандартной ошибкой. Красная пунктирная линия соответствует моменту времени, когда была подана звуковая команда о прекращении движения. Серым выделена область, соответствующая статистически значимым различиям между двумя разницами. Способ осуществляют посредством программно-языковых средств, например, языка Python с использованием пакетов Scikit-Learn, MNE и др.
Таким образом, предлагаемое техническое решение позволяет классифицировать двигательную активность человека и расшифровывать мысленные команды пользователя в виде воображаемых движений верхними конечностями и, как следствие, может найти применение при разработке интерфейсов мозг-компьютер для управления внешними устройствами (например, экзоскелетами и роботизированными протезами), а также в программно-аппаратных комплексах для постинсультной реабилитации, когда мысленная команда пациента будет расшифровываться с помощью предложенного решения и активировать некоторую реабилитационную систему (например, экзоскелет на соответствующей руке и т.п.).
Способ классификации двигательной активности человека, заключающийся в том, что сигналы коры головного мозга регистрируют с помощью ЭЭГ с датчиков, закрепленных на голове человека, отличающийся тем, что сигналы, отфильтрованные в диапазоне мю-ритма (8-14 Гц), записывают, разделяя на два массива данных, соответствующих левому и правому полушариям, при этом данные каждого массива рассматривают как траекторию в трехмерном фазовом пространстве, затем вычисляют меры сложности сигналов ЭЭГ и вычитают меры сложности, характеризующие сигналы ЭЭГ правого полушария головного мозга, из мер сложности, характеризующих сигналы ЭЭГ левого полушария, получают разность характеристик сложности сигналов между полушариями, после чего делают вывод о соответствующем движении: при возрастании детерминизма и снижении энтропии рекуррентного времени в правом полушарии - движение левой руки, а при возрастании энтропии и снижении детерминизма в левом полушарии делают вывод о движении правой руки.
