Жестовое управление для отслеживания показателей жизнедеятельности
Изобретение относится к устройствам отслеживания показателей жизнедеятельности. Технический результат заключатся в повышении надежности различения между пользовательскими управляющими командами и другими движениями в инерционных датчиках. Такой результат достигается посредством обнаружения заданных структур в сигналах ускорения, которые не имеют отношения к другим движениям пациента, включающим в себя касание датчика, встряхивание и поворот датчика без введения большого количества ложных положительных срабатываний. 4 н. и 5 з.п. ф-лы, 4 ил.
Область техники, к которой относится изобретение
Изобретение имеет отношение к устройству и способу для управления работой датчиков на теле, используемых для отслеживания показателей жизнедеятельности.
Уровень техники
С усовершенствованиями встроенных микроконтроллеров, недорогих миниатюрных датчиков и технологий беспроводной связи возник растущий интерес к использованию беспроводных сетей датчиков в медицинских применениях. Например, беспроводные сети датчиков могут заменить дорогие и громоздкие проводные устройства для добольничной и передвижной неотложной помощи, когда необходим непрерывный контроль в реальном времени основных показателей жизнедеятельности. Кроме того, сети датчиков на теле могут быть сформированы посредством размещения беспроводных устройств малой мощности на теле или вокруг тела, что дает возможность долгосрочного отслеживания физиологических данных.
Предусмотрены персональные системы аварийного реагирования (PERS), в которых пользователь может использовать кнопку (PHB - персональная кнопка помощи) для вызова помощи. После того, как кнопка была нажата, соединение по беспроводному телефону следит за тем, чтобы центр помощи оператора службы PERS мог помочь пользователю. Недавно к кнопке PHB был добавлен детектор падения, то есть беспроводной датчик, который может включать в себя акселерометр, с тем чтобы вызовы помощи могли быть сделаны без необходимости явного нажатия кнопки.
Кроме того, домашняя беспроводная сеть датчиков дает возможность удобного сбора медицинских данных для пожилых пациентов и людей с хроническими болезнями, пока они остаются дома, тем самым уменьшая необходимость пребывания в больнице. Собранные данные можно передать в Интернет через КПК, сотовый телефон или домашний компьютер. Таким образом, лица, осуществляющие уход, имеют удаленный доступ к состоянию здоровья пациента, что обеспечивает возможность долгосрочной реабилитации и ранней диагностики некоторых заболеваний. Если имеются ненормальные изменения статуса пациента, лица, осуществляющие уход, могут быть своевременно уведомлены, и может быть обеспечена незамедлительная терапия.
Показатели жизнедеятельности, такие как частота дыхательных движений и частота сердечных сокращений, могут отслеживаться датчиками нового поколения, которые используют беспроводную связь и новые принципы обнаружения. Пример нового принципа обнаружения представляет собой использование инерционных датчиков (таких как, например, акселерометры) для обнаружения частоты дыхательных движений, частоты сердечных сокращений или других показателей жизнедеятельности. В общем случае инерционные измерительные компоненты обнаруживают либо поступательное ускорение, либо угловую скорость. Усовершенствования микроэлектромеханических систем (MEMS) и других методик микрообработки значительно уменьшили стоимость и размер этих устройств, и они могут быть легко встроены в беспроводные и мобильные платформы. Гироскопы и акселерометры представляют собой два общих инерционных датчика, которые могут использоваться для непрерывного отслеживания движений человека. Беспроводная связь обеспечивает пациенту больше комфорта и упрощает функциональное использование. Для удобства пациента датчик может быть присоединен под его одеждой. Однако для врача это делает затруднительным управление датчиком: как физически, чтобы найти датчик и его средство управления, так и в социальном аспекте для проникновения под одежду. К тому же, по гигиеническим причинам датчики предпочтительно полностью герметизированы и свободны от средств управления. Это создает проблему пользовательского управления. Использование беспроводного соединения может ее решить, но оставляет проблему инициирования соединения. Ограничения по потреблению энергии запрещают, чтобы радиосвязь была включена непрерывно для сканирования потенциальных команд.
Использование инерционных датчиков, таких как акселерометры, для обнаружения и классификации человеческих жестов вносит проблему надежного различения между пользовательскими командами управления (жестами) и другими движениями (движениями пациента, которые происходят в повседневной жизни). Например, в Application Note AN2768: "LIS331 DL 3-axis digital MEMS accelerometer: translates finger taps into actions" by ST, June 2008 описана процедура обнаружения касания (легкого удара пальцами). Процедура основана на обнаружении ускорения и идентификации касания, когда сигнал превосходит определенное пороговое значение, возвращаясь на уровень ниже порогового значения в пределах предписанного временного окна. Аналогичным образом обнаруживаются двойные касания посредством наблюдения пары пересечений порогового значения в пределах предписанного периода, причем каждое пересечение имеет предписанную продолжительность. Хотя пересечение порогового значения и согласование во времени являются существенными признаками для обнаружения касания, они не достаточны для получения надежного обнаружения в смысле низкого процента ложных положительных срабатываний (при движениях, не являющихся касаниями, которые вызывают похожий сигнал, который передаст процедуру обнаружения), приемлемого для практического применения. Например, при ударах пятками во время ходьбы сигналы ускорения могут проявлять кратковременные пики и, следовательно, могут инициировать обнаружение «касания».
Раскрытие изобретения
Задача настоящего изобретения состоит в обеспечении более надежного различения между пользовательскими управляющими командами (жестами) и другими движениями в инерционных датчиках и обеспечении возможности упрощенного пользовательского управления без или с меньшим количеством рукояток, кнопок и т.п.
Эта задача решается устройством, заявленным в пункте 1 формулы изобретения, сенсорным устройством на теле, заявленным в пункте 6 формулы изобретения, способом, заявленным в пункте 7 формулы изобретения, и компьютерным программным продуктом, заявленным в пункте 9 формулы изобретения.
В соответствии с этим обнаруженные ускорения датчика на теле используются для пользовательского управления датчиком на теле, что реализуется посредством обнаружения заданных образцов жестов в выходном сигнале ускорения или сигналах, которые не имеют отношения к другим движениям пациента. Они могут включать в себя касание датчика, встряхивание и поворот датчика. Особенно интересны те типы движений, которые могут быть выполнены, пока датчик остается присоединенным к пациенту, возможно, под одеждой. Теперь вместо того, чтобы нажимать кнопку PHB, пользователь также может применить заданный жест, например встряхнуть устройство, чтобы получить соединение для вызова помощи. В качестве другого варианта упомянутый выше детектор падения системы PERS может быть расширен для отслеживания показателей жизнедеятельности, как описано выше, или других показателей, например устойчивости походки.
Другое преимущество предложенного управления жестами состоит в «простоте использования». В качестве примера, медсестра не должна искать неудобным образом кнопку на устройстве, особенно если сенсорное устройство находится под пижамой пациента. Кроме того, пожилой человек при необходимости неотложной помощи не должен искать кнопку, а лишь должен встряхнуть сенсорное устройство. Кроме того, сенсорное устройство более не нуждается в кнопке и может быть более легко очищено. В соответствии с первым аспектом заданным жестом может являться жест касания, причем детектор жестов выполнен с возможностью получать по меньшей мере один одномерный компонент сигнала из выходного сигнала ускорения, оценивать уровень фона и обнаруживать потенциальное касание, если одномерный компонент сигнала превосходит первое пороговое значение, и уровень фона находится ниже второго порогового значения.
В качестве варианта первого аспекта детектор жестов может быть выполнен с возможностью предварительно фильтровать выходной сигнал ускорения для получения упомянутого одномерного компонента сигнала и определять событие обнаружения касания, если потенциальное касание появляется в заданной последовательности. Предварительная фильтрация может быть выполнена с возможностью выбирать один компонент трехмерного выходного сигнала ускорения, например перпендикулярный по отношению к телу пациента. В качестве другого варианта выходной сигнал ускорения уже может являться одномерным (то есть в сенсорном устройстве используется только одномерный датчик ускорения).
Таким образом, описан новый алгоритм, который позволяет повторно использовать обнаружение ускорения для надежного обнаружения касания без введения большого количества ложных положительных срабатываний вследствие не являющихся касаниями движений, таких как дыхание, сердцебиение, ходьба и т.п., или случайных перемещений датчика, например столкновения с препятствием и падения датчика.
В описанном выше первом аспекте детектор жестов может дополнительно быть выполнен с возможностью предварительно фильтровать выходной сигнал ускорения посредством использования комплементарного медианного фильтра. Таким образом, маленькие пики в сигнале ускорения могут быть хорошо обнаружены. Кроме того, в соответствии с другим вариантом детектор жестов может быть выполнен с возможностью оценивать уровень фона посредством использования адаптивного медианного фильтра. Это гарантирует, что ложные аварийные сигналы подавляются на краях сигналов более длительной продолжительности. Кроме того, в соответствии с другим вариантом детектор жестов может быть выполнен с возможностью обнаруживать потенциальное касание посредством проверки, находится ли максимум уровня фона выше третьего порогового значения. Таким образом, случайные удары не приводят к ложным аварийным сигналам.
В соответствии со вторым аспектом, который может быть объединен с первым аспектом, заданным жестом может являться жест поворота, причем детектор жестов выполнен с возможностью анализировать выборки ускорения выходного сигнала ускорения кадр за кадром для определения опорного вектора в пределах кадра и обнаружения жеста поворота, если угол между опорным вектором и последовательностью выборок ускорения находится в пределах диапазона от первого порогового значения по меньшей мере для первого заданного количества выборок, и после этого находится ниже второго порогового значения по меньшей мере для второго заданного количества выборок, и после этого находится в третьем пороговом значении для третьего заданного количества выборок, что происходит перед полной продолжительностью четвертого заданного количества выборок. Таким образом, жесты поворота могут быть надежно обнаружены и отличены от других жестов.
В соответствии с третьим аспектом, который может быть объединен по меньшей мере с одним из первого и второго аспектов, заданным жестом может являться жест встряхивания, причем детектор жестов выполнен с возможностью наблюдать каждый из трех компонентов ускорения трехмерного выходного сигнала ускорения инерционного датчика, сравнивать компоненты ускорения с заданными положительными и отрицательными пороговыми значениями и определить событие обнаружения встряхивания, если по меньшей мере для одного из компонентов ускорения ускорение пересекает положительное пороговое значение и отрицательное пороговое значение минимальное количество раз в чередующемся порядке и в пределах максимальной продолжительности. Таким образом, жесты встряхивания могут быть надежно обнаружены и отличены от других жестов.
В дополнительном аспекте настоящего изобретения обеспечена компьютерная программа для выполнения шумоподавления, причем компьютерная программа содержит кодовое средство для того, чтобы заставить устройство отслеживания загрузки выполнять этапы описанного выше способа, когда компьютерная программа выполняется на компьютере, управляющем устройством отслеживания загрузки.
Описанное выше устройство может быть реализовано как аппаратная схема, отдельная микросхема или набор микросхем, которые могут быть смонтированы на печатной плате датчика на теле. Микросхема или набор микросхем могут содержать процессор, которым управляет программа или программная процедура.
Следует понимать, что предпочтительный вариант осуществления изобретения также может являться любой комбинацией зависимых пунктов формулы изобретения с соответствующим независимым пунктом формулы изобретения. Эти и другие аспекты изобретения будут понятны и освещены со ссылкой на описанные далее варианты осуществления.
Краткое описание чертежей
На чертежах показано следующее:
На фиг.1 показана блок-схема датчика на теле, в котором могут быть реализованы процедуры обнаружения в соответствии с вариантом осуществления;
на фиг.2 показана блок-схема последовательности операций процедуры обнаружения касания в соответствии с первым вариантом осуществления;
на фиг.3 показана блок-схема последовательности операций процедуры обнаружения поворота в соответствии со вторым вариантом осуществления; и
на фиг.4 показана блок-схема последовательности операций процедуры обнаружения встряхивания в соответствии с третьим вариантом осуществления.
Осуществление изобретения
В последующих вариантах осуществления описаны процедуры обнаружения для датчиков на теле, которые позволяют повторно использовать распознавание ускорения для надежного обнаружения жестов без введения большого количества ложных положительных срабатываний вследствие движений, не являющихся жестами. Подход состоит в том, что в ситуациях, когда событие, которое должно быть обнаружено, является редким, и когда происходит много сопоставимых сигналов, процедуры обнаружения и детекторы разрабатываются с приоритетом избирательности, то есть приемлемой частоты ложных срабатываний (FA), и насколько возможно максимизируют чувствительность, то есть максимальную вероятность обнаружения (PD).
Основная проблема состоит в неопределенности. Произвольное движение может возбудить такой же сигнал, как и жест, который должен быть обнаружен. Таким образом, подход состоит в проектировании детекторов и процедур обнаружения для практического отсутствия ложных срабатываний и предписании (ограничении) движений жестов, которые будут приняты. Эти движения оптимизируются для намеченных сценариев использования и пользователей. Как следствие, пользователю возможно потребуется сделать жест снова. Это выглядит приемлемым, пока необходимость повторения жеста является редкой и не становится раздражающей. Другое последствие заключается в необходимости некоторой формы обратной связи, подтверждающей, что жест распознан, например, с помощью светодиода (LED), светящегося через корпус, или маленького динамика, который может издавать звуковые сигналы или подобные звуки. Возможно, в первый раз будет полезным небольшое обучение, когда может являться эффективной более подробная обратная связь, указывающая на (не)соответствие предписанному жесту.
В дальнейшем обнаружение различных заданных жестов описано в связи с тремя иллюстративными и не ограничивающими вариантами осуществления. Каждая процедура обнаружения основана на типичных характеристиках, которые отличают жест от любого другого движения или прикосновения датчика. Типичной характеристикой касания (легкого удара) является кратковременный пик. Типичной характеристикой поворота является направление силы тяжести, перемещающееся в противоположном направлении и снова обратно. Типичной характеристикой встряхивания является множество переменных резких ускорений.
На фиг.1 показана блок-схема датчика для тела, в котором могут быть реализованы процедуры обнаружения в соответствии с вариантами осуществления с первого по третий. Датчик для тела содержит по меньшей мере один датчик 10 ускорения или инерциальный датчик другого типа для обнаружения ускорения, вызванного движением датчика для тела и для выдачи аналогового или цифрового трехмерного (3D) сигнала ускорения. Выходной сигнал датчика 10 ускорения (ACC-S) подается на схему 20 обработки сигналов (SP), которая выполнена с возможностью обнаруживать или фильтровать требуемые показатели жизнедеятельности, которые должны отслеживаться. Отфильтрованные показатели жизнедеятельности подаются на радиочастотное (RF) средство 30 связи для их беспроводной передачи на удаленный блок приемника (не показан) через блок антенны. Безусловно, отфильтрованные показатели жизнедеятельности также могут быть переданы на удаленный блок приемника через проводную передачу.
Кроме того, в соответствии с вариантами осуществления обеспечен детектор жестов или блок 40 обнаружения (GD), который принимает выходной сигнал датчика 10 ускорения (или его отфильтрованную версию) и обрабатывает принятый сигнал для обнаружения по меньшей мере одного заданного жеста, который может использоваться для управления работой датчика для тела. Чтобы достигнуть этого, блок 40 обнаружения жестов, который может представлять собой процессор сигналов, которым управляет программа или программная процедура для реализации требуемой процедуры или алгоритма обнаружения, обеспечивает управляющий ввод для схемы управления датчиком или процессора 50 (DC). В качестве примера, обнаружение заданного жеста, например двойного касания, может включить радиосвязь для поиска базовой станции для последующей связи (передачи данных) или управления (посредством пользовательского интерфейса (UI) на базовой станции). Процессор 20 сигнала, блок 40 обнаружения жестов и процессор 50 управления датчиком могут быть реализованы с помощью одного процессора или компьютера на основе соответствующих программ или программных процедур. В принципе, вычисление также может быть выполнено вне устройства, то есть (беспроводное) соединение передает необработанные или частично обработанные данные датчика.
Далее в первом варианте осуществления блок 40 обнаружения жестов датчика для тела на фиг.1 снабжен функциональностью обнаружения касания. Типичной характеристикой касания является короткий изолированный пик в сигнале ускорения. Жест касания определен как двойное касание пальцем или рукой датчика для тела. Предполагается, что датчик для тела присоединен к человеческому телу, обычно на талии. Предполагается, что человеческое тело находится в покое, то есть не в движении.
Детектор 40 жестов может быть выполнен с возможностью фильтровать данные акселерометра от датчика 10 ускорения для создания сигнала, который подчеркивает короткие пики. Такие жесты, как касание, являются не единственными движениями, которые вызывают короткие пики. Например, удары пяток во время ходьбы также вызывают такие пики. Поэтому второй характеристикой может являться то, что жест происходит в отсутствие другого действия, и что требуемый жест составлен из заданной последовательности событий (например, двойное касание). Эти характеристики ограничивают свободу использования, но значительно улучшают подавление ложных срабатываний.
На фиг.2 показана блок-схема последовательности операций процедуры обнаружения касания в соответствии с первым вариантом осуществления, который содержит этапы или блоки предварительной фильтрации, оценки уровня фона, обнаружения касания и выбора касания. Процедура обнаружения касания содержит этап S101 предварительной фильтрации, на котором трехмерные (3D) сигналы ускорения датчика (датчиков) 10 ускорения преобразуются в одномерный (1D) сигнал таким образом, что пики короткой продолжительности усиливаются. Затем на последующем этапе S102 оценивается уровень фона одномерного сигнала. На следующем этапе S103 обнаружения касания обнаруживаются потенциальные касания, если одномерный сигнал превышает пороговое значение, при условии, что уровень фона ниже другого порогового значения. Затем на заключительном этапе S104 выбора касания из оставшихся касаний те, которые появляются в парах, выбираются и идентифицируются как событие обнаружения касания.
Тогда как обычные процедуры обнаружения касания сосредотачиваются на пике, превышающем пороговое значение, то есть на чувствительности, предложенная процедура обнаружения касания в соответствии с первым вариантом осуществления обеспечивает избирательность посредством проверки сначала на низкий уровень фона. Требуется двойное касание, так как события, похожие на единичное касание, могут произойти в отсутствие другого действия. Произвольным проектным решением является принятие или отклонение тройных касаний. В иллюстративном первом варианте осуществления было выбрано отклонение тройных касаний.
Этап S101 предварительной фильтрации использует нелинейные фильтры для усиления короткого, изолированного, характера касаний с пикообразным профилем. Медианный фильтр, как известно, подавляет пики, другими словами, обеспечивает оценку фона. Сам пик не будет повышать оценку. И наоборот, посредством применения медианного фильтра комплементарным образом обнаруживаются пики при подавлении фона.
Кроме того, в зависимости от размера окна, который фильтр использует, фон, получающийся в результате события касания, которое не встроено в последующую активность, может исчезнуть в таком фильтре, в то время как фон движения более длительной продолжительности останется. Таким образом, уровень фона первоначально останется низким, но перейдет к более высоким значениям, когда движение займет больше времени. Оценка уровня фона, полученная на этапе S102, повысится более чем пропорционально продолжительности действия, тем самым улучшая избирательность. Только кратковременные движения с пикообразным профилем могут пройти детектор, и такие движения в общем случае являются (двойными) касаниями.
Более определенно, этап S101 предварительной фильтрации может состоять из так называемого комплементарного медианного фильтра, который является традиционным медианным фильтром, как описано, например, в J. Astola and P. Kuosmanen, "Fundamentals of nonlinear digital filtering", CRC Press, 1997, однако возвращающим дополнение отфильтрованного сигнала. Дополнение представляет собой первоначальное значение, из которого вычтено (традиционно) отфильтрованное значение. В качестве примера, может использоваться длина полуокна 0,5 с. Фильтр применяется к каждому из трех компонентов трехмерного сигнала ускорения. Затем после фильтрации, берется норма L1 отфильтрованных сигналов. Было найдено, что этот порядок (сначала фильтр, затем норма L1) приводил к наибольшему усилению маленьких пиков в сигнале ускорения. Кроме того, было найдено, что норма L1 является более чувствительной, чем норма L2, то есть норма L1 улучшает пики лучше, чем норма L2. Норма L1, также известная как манхэттенское расстояние, представляет собой сумму абсолютных значений компонентов вектора. Норма L2, также известная как евклидово расстояние, представляет собой квадратный корень из суммы значений компонентов вектора в квадрате.
Если стоимость реализации или другие причины не оставляют возможностей, то ожидается, что порядок может быть инвертирован (сначала норма, затем комплементарный медианный фильтр). В частности, при низких частотах взятия выборок и касании твердой поверхности (например, стола) описанный порядок является более чувствительным. Другая экономия стоимости может заключаться в использовании только одного компонента (размерности) (дифференцируемого) сигнала ускорения, например использование только одного направления, перпендикулярного по отношению к телу пользователя.
Способ улучшения пика сигнала состоит в том, чтобы применить фильтр к производным сигнала ускорения. Первая производная известна как «рывок» ("jerk"), вторая как «толчок» ("snap") («щелчок» ("crackle") и «скачок» ("pop") для третьей и четвертой производных).
Однако, что касается оценки уровня фона на описанном далее этапе S102, эксперименты раскрыли, что дифференцирование уменьшит избирательность. Цель состоит в том, что при двойном касании получается низкая оценка уровня фона, в то время как во время любого другого перемещения получается высокая оценка. Отношение между предполагаемым уровнем фона при использовании дифференцирования и уровнем фона при использовании (недифференцированных) данных ускорения данных указывает, что дифференцирование имеет противоположный эффект по отношению к целевому. При двойном касании отношение является большим, в то время как при ходьбе оно является низким. Следовательно, когда речь идет об оценке уровня фона, на этапе S102 должны использоваться (недифференцированные) данные акселерометра.
Принцип этапа S102 уровня фона состоит в подавлении обнаружения касания в случае фонового действия. Как уже сказано, уровень фона оценивается с использованием второго нелинейного фильтра. Это, в основном, медианный фильтр, с тем чтобы сами пики были удалены. Таким образом, получается справедливая оценка сигнального фона, который быстро следует за увеличениями и уменьшениями, в то время как пики, в частности, касания не вносят вклад в оцененный уровень. Если уровень фона, оцененный таким образом, превосходит пороговое значение, дальнейшее обнаружение касания отключается. В качестве примера может использоваться пороговое значение 1,2 м/с2.
Традиционный медианный фильтр обеспечивает оценку уровня фона сигнала с пикообразным профилем. Вследствие его нелинейного характера в случае, если сигнал является кратковременным, получается низкая оценка фона. Это благоприятный эффект, поскольку такие короткие сигналы, если они к тому же имеют пикообразный профиль, наиболее вероятны вследствие касания датчика. Однако на краях сигнала более длительной продолжительности оценка фона не повысится сразу до более высокого уровня, поскольку окно в значительной степени покрывает неактивную часть сигнала. Это может отсрочить подавление дальнейшей процедуры обнаружения касания и, следовательно, может привести к ложным срабатываниям.
Эта проблема может быть решена посредством использования адаптивного медианного фильтра. В таком фильтре длина окна может быть выбрана адаптивно, как описано, например, в H. Hwang and R.A. Haddad, "Adaptive median filters - new procedures and results", IEEE Trans. Image Proc. 4 (4), 499-502, 1995. В основном размер окна может быть приспособлен в зависимости от порядка ранга медианы из последующих подокон. Это аналогично так называемому фильтру перестановки, описанному, например, в J. Astola and P. Kuosmanen, "Fundamentals of nonlinear digital filtering", CRC Press, 1997, который также выбирает результат на основе порядка ранга в течение времени. Различие состоит в том, что фильтр перестановки выбирает из подокон фиксированного размера, тогда как в настоящем первом варианте осуществления размер окна адаптируется.
Фильтр работает следующим образом. Сначала окно вокруг текущей выборки в сигнале разделяется на три подокна, и в каждом из этих подокон вычисляется медиана. Затем на основе структуры ранга трех последующих медиан применяется следующая база правил:
Если медиана, вычисленная по центральному подокну, является максимальной из этих трех медиан, вычислить медиану по подокну двойного размера по отношению к размеру центрального подокна.
Если медиана, вычисленная по центральному подокну, находится посредине между другими двумя, вычислить медиану по центральному подокну и подокну, содержащему максимальную медиану.
Если медиана, вычисленная по центральному подокну, является минимальной из этих трех медиан, использовать медиану центрального подокна.
В качестве примера для подокон может использоваться половина длины окна 0,2 с. Длина окна адаптирована для улучшения повышения вместе с началом, в то время как остается низкая оценка в случае (изолированного) касания. В случае изолированного касания центральное подокно возвратит самую большую медиану, и, таким образом, двойная длина окна, выведенная на основе базы правил, вызовет более низкое значение медианы, и, следовательно, дальнейшее сокращение оценки уровня фона. В начале более длительного действия три значения медианы будут оцениваться в направлении начала, и медиана будет взята по сегменту более сильного сигнала, что, таким образом, приведет к большей оценке уровня фона. Однако следует отметить, что приведенная выше база правил лишь обеспечивает пример того, каким образом может быть адаптирован размер окна. Например, удвоение в первом правиле, безусловно, также может представлять собой любую другую форму увеличения размера окна.
Уточнение должно выполнить некоторую форму усреднения по вычисленным уровням фона. Например, уровень мощности p может быть вычислен из полученных значений b уровня фона следующим образом:
p = (1/N∑b2[k])1/2,
где N - длина окна усреднения.
В случае усреднения может использоваться более простая оценка уровня фона, например, традиционный медианный фильтр. В первом варианте осуществления адаптивный медианный фильтр может использоваться без дополнительного вычисления уровня мощности.
Оценка мощности фона также может использоваться для управления потреблением энергии датчиком. На уровнях с высокой мощностью фоновые действия ведут себя как шум для измерений обнаружения, и точные оценки являются более трудными. Питание от батареи может быть сэкономлено посредством отключения этих измерений (пока фон не является достаточно низким).
На этапе S103 обнаружения касания те части сигнала, для которых уровень фона был ниже соответствующего порогового значения, проверяются на предмет пиков, превышающих второе пороговое значение. В качестве примера может использоваться пороговое значение 7,2 м/с2.
Пик представляет собой выборку с максимальным значением по непрерывному диапазону выборок, которое выше этого второго порогового значения. Диапазон не является строго непрерывным в том смысле, что допускаются короткие падения ниже второго порогового значения. В качестве примера может использоваться максимальная продолжительность падения 0,09 с. Для того чтобы представлять собой касание, диапазон должен быть кратковременным. Однако это не проверяется, поскольку в этом случае уровень фона превзойдет свое пороговое значение.
Перед тем, как принять найденный пик в качестве касания, выполняется дополнительная третья пороговая проверка. При этом проверяется, является ли максимум уровня фона по найденному диапазону выше третьего порогового значения. В качестве примера здесь может использоваться пороговое значение 0,1 м/с2. Если этот максимум в уровне фона ниже третьего порогового значения, касание отвергается. Эта проверка добавлена для улучшения избирательности (уменьшения частоты ложных срабатываний). Было обнаружено, что когда датчик лежит на столе (или на другом твердом теле, например, на своем зарядном устройстве), случайные удары могут вызвать (дублировать) события касания. Такие случайные удары могут произойти посредством небольшого поднятия датчика и отпускания его на стол (что может случиться, когда датчик вынимают из его зарядного устройства, но позволяют ему соскользнуть обратно). В таких ситуациях соответствующий уровень фона является довольно низким и меньше, чем в ситуациях, в которых датчик спокойно несут в руке или он присоединен к неподвижному человеческому телу. Компромисс заключается в потере чувствительности для касания датчика, когда он лежит на столе (или на другом твердом теле). От сценария использования зависит, является ли это приемлемым компромиссом или нет.
На заключительном этапе S104 выбора касания выполняется проверка, появляются ли найденные касания в группах. В первом варианте осуществления только пары касаний принимаются и вызывают событие обнаружения. Все другие размеры групп отклоняются. «Период касания» определяется как продолжительность между двумя касаниями события двойного касания. Неофициальные тесты с 16 пользователями показали, что типичное расстояние между пиками из двойного касания составляет 9-17 выборок при частоте выборки 50 Гц, то есть 0,18-0,34 с. Таким образом, для примера в качестве периода касания может использоваться период 0,3 с. Факультативно это значение может быть сделано конфигурируемым или адаптивным.
Касание считается принадлежащим группе, если оно находится в пределах некоторой продолжительности от предыдущего касания. В качестве примера может использоваться продолжительность в 1,3 раза больше упомянутого выше периода касания. Перед тем, как проверять, формирует ли касание группу с предыдущим касанием, выполняется другая проверка, которая называется отвержением вследствие близости. В этой проверке, если два касания оказываются слишком близкими друг к другу, одно из них отвергается. Эта проверка дополнительно улучшает избирательность, поскольку маловероятно, что человек выполняет касания так быстро. В качестве примера продолжительность, составляющая 0,3 от упомянутого выше периода касания, может использоваться в качестве граничной продолжительности. В случае если два касания считаются слишком близкими, касание с наименьшей величиной может быть отвергнуто. Уточнение этого правила может заключаться в рассмотрении также расстояния со следующим касанием. Отвержение вследствие близости имеет отношение к продолжительностям падения, которые разрешены в «непрерывном» диапазоне в фазе обнаружения касания. Однако они не могут быть объединены в одной проверке.
Касание обнаружено, если найдена группа касаний из двух касаний. В иллюстративном варианте осуществления одиночные касания и группы из более чем двух касаний отбрасываются и не инициируют обнаружение касания. Безусловно, могут быть также обеспечены варианты осуществления с несколькими блоками 40 обнаружения жеста для обнаружения разных жестов (групп касаний или других типов жестов). В реализации они могут быть интегрированы для оптимальной загрузки вычислительных ресурсов и потребления питания от батареи.
В следующем втором варианте осуществления блок 40 обнаружения жестов датчика на теле на фиг.1 снабжен функциональностью обнаружения поворота. Жест поворота определяется как удерживание датчика в руке, удерживание руки в спокойном состоянии в течение короткого периода, быстрый полный поворот руки в противоположное положение («на 180 градусов»), факультативная очень короткая пауза, быстрый поворот обратно и снова удерживание в спокойном состоянии в течение короткого периода. Датчик может иметь произвольную ориентацию в руке. Рука поворачивается вокруг виртуальной оси в (почти) горизонтальной плоскости. Как правило, поворот выполняется посредством вращения запястья или вращения руки (чтобы датчик переместился в перевернутое положение и обратно). Полный поворот предполагает вращение датчика на 180 градусов. Однако физически чаще происходит вращение на 90 градусов.
На фиг.3 показана блок-схема последовательности операций процедуры обнаружения поворота в соответствии со вторым вариантом осуществления. На этапе S201 трехмерный сигнал акселерометра анализируется кадр за кадром. В прототипе используется размер кадра 1,8 с. Количество выборок для перехода к следующему кадру зависит от того, обнаружен ли в текущем кадре поворот, частичный поворот или отсутствие поворота. Частичный поворот может завершиться в следующем кадре. Отсутствие поворота может фактически включать в себя первый период удержания. Таким образом, при переходе к следующему кадру в этом следующем кадре должно оставаться, по меньшей мере, количество выборок потенциального поворота.
Затем на этапе S202 процедура определяет опорный вектор. Это может быть фиксированный, заданный вектор, например, соответствующий ориентации датчика, когда он находится в своем обычном положении (например, «верхней стороной вверх»). В качестве другого примера, это также может быть главный вектор ускорения в пределах кадра, который впоследствии нормализуется до единичного размера. Главный вектор ускорения - это вектор (выборка ускорения), к которому все другие являются наиболее близкими. Другими словами, главный вектор ускорения представляет собой моду в распределении выборок ускорения. Такая мода может быть оценена через гамма-фильтр, как описано, например, в J. Astola and P. Kuosmanen, "Fundamentals of nonlinear digital filtering", CRC Press, 1997, где γ→0. Для каждой выборки k в кадре фильтр вычисляет произведение расстояний всех других выборок j и текущей выборки:
Πj≠k |acc[j]-acc[k]|.
Выборка k, для которой это произведение минимально, выбирается в качестве главного вектора ускорения. Для вычисления расстояния |acc[j]-acc[k]| вместо традиционной L2-нормы во втором варианте осуществления используется L1-норма.
После получения опорного вектора на этапе S203 вычисляется скалярное произведение z между этим вектором и каждой из других выборок ускорения.
Наконец, на этапе S204 на основе заданных верхнего и нижнего пороговых значений thresUp и thresDn принимается решение о жесте поворота. Поворот обнаруживается на этапе S204, если последовательность z удовлетворяет следующей модели:
z > thresUp по меньшей мере для upSzO выборок, после чего
z < thresDn по меньшей мере для dnSz выборок, после чего
z > thresUp по меньшей для мере upSz1 выборок, которые происходят перед полной продолжительностью из turnSz выборок.
В прототипе мы используем следующие значения (опорный вектор имеет единичный размер): upSz0 = 0,36 с, dnSz = 0,24 с, upSz1 = 0,36 с, turnSz = 1,8 с, thresUp = 8,4 м/с2 (наклон больше 60 градусов «вверх», то есть в направлении главного вектора ускорения), thresDn = -5,6 м/с2 (наклон больше 30 градусов «вниз»). В качестве примера кадры могут иметь такой же размер, как turnSz. Кадр представляет собой размер окна обработки, по которому определяется главный вектор ускорения.
Эксперименты показали, что полная обработка является самой быстрой, то есть вычислительная загрузка является наименьшей, если размер кадра равен turnSz.
Упомянутая выше иллюстративная процедура может быть обобщена следующим образом. Угол между опорным вектором и последовательностью выборок находится в пределах первого порогового значения для первого заданного количества выборок ускорения и после этого вне второго порогового значения по меньшей мере для второго заданного количества выборок ускорения и после этого в пределах третьего порогового значения для третьего заданного количества выборок ускорения, все находятся в пределах четвертого заданного количества выборок ускорения. При этом «пороговое значение» следует понимать как диапазон. Например, угол в первой последовательности близок к нулю градусов, то есть находится в пределах, например, диапазона/порогового значения ±5 градусов. Во второй последовательности угол находится за пределами, например, 90 градусов, то есть в диапазоне 90-180 градусов. В третьей последовательности угол, например, снова находится в диапазоне от -5 до 5 градусов.
Известны два жеста, отличающиеся от вращения, которые вызывают обнаружение поворота, то есть ложное срабатывание. Это полный поворот датчика, например переворачивание датчика в руке, и встряхивание датчика. Таким образом, процедура факультативно расширена с помощью дополнительных проверок для предотвращения этих ложных срабатываний.
Чтобы подавить полные повороты, в дополнение требуется, чтобы вектор ускорения находился в одном и том же полупространстве после его двух пересечений (сначала вниз, затем вверх) плоскости, перпендикулярной по отношению к главному вектору ускорения. Дело обстоит так для поворота туда и обратно, но не для полного поворота. Проверка реализуется посредством вычисления скалярного произведения двух векторов ускорения в момент, когда z изменяет знак. Оно является положительным (одно и то же полупространство) для поворота и отрицательным (противоположные полупространства) для полного поворота. Проверка выполняется только в случае «плавного поворота», когда |acc|, L2-норма обнаруженного ускорения, близка к 1g, без воздействия поворота датчика вдоль траектории свободного падения (вызывающего слабые векторы ускорения и, следовательно, непредсказуемые знаки), а также без воздействия резкого вращения (вызывающего подавление ускорения вследствие силы тяжести центробежным ускорением и, следовательно, вынужденной установки идентичного знака и для поворота, и для вращения). Траектория свободного падения может возникнуть при повороте датчика посредством поворота руки. В качестве примера для пологого поворота может потребоваться 4<|acc|<19.
Трудно и поэтому маловероятно выполнить естественное движение, которое полностью поворачивает датчик вдоль траектории свободного падения в пределах ограничения по времени обнаружения. Быстрое полное вращение возможно выполнить резко, но, как представляется, это происходит только преднамеренно - точно так же, как поворот. Требование ограничения по времени обнаружения, turnSz, налагает ограничение на диапазон принятых жестов, но находится в соответствии с разъясненным выше подходом проектирования детекторов и процедур обнаружения для фактического отсутствия ложных срабатываний и предписания (ограничения) движений жестов, которые будут приняты.
Посредством применения низкочастотного фильтра (LPF) к первоначальному трехмерному сигналу ускорения сигнал z становится более «плавным». Действительно, таким образом могут быть обнаружены (и подавлены) резкие вращения. Однако нисходящие значения z также сглаживаются посредством фильтра LPF, и ситуация, когда z<thresDn, может больше не возникать, что уменьшает частоту обнаружений. Комбинированное решение состоит в том, чтобы обнаруживать повороты с использованием неотфильтрованного сигнала ускорения, в то время как отфильтрованная версия используется для идентификации вращения. Поскольку фильтр LPF увеличивает вычислительную нагрузку, в настоящем варианте осуществления фильтр LPF не применяется. Встряхивание подавляется посредством требования, чтобы во время фазы движения вниз условие z<thresDn соблюдалось для всех смежных выборок dnSz. Более сильный критерий состоит в дополнительном требовании, чтобы оба верхних промежутка, для которых z>thresUp, были непрерывными. Другой подход состоит в обнаружении (одновременного) встряхивания в предположении, что обнаруженный поворот является ложным срабатыванием. Во втором варианте осуществления может быть применена только фаза непрерывного движения вниз.
В экспериментах было замечено, что некоторые пользователи начинают движение назад при повороте сразу после поворота вперед, то есть пропуская предписанную паузу. Установка dnSz в значение 0,12 с сделала процедуру чувствительной также и к таким жестам. Однако это также привело к тому, что некоторые встряхивания обнаруживаются как поворот. Упомянутые выше меры могут противостоять этому уменьшению избирательности. Как уже упомянуто, может использоваться dnSz = 0,24 с.
Вычислительная нагрузка может быть уменьшена посредством опускания определения главного ускорения и требования, чтобы датчик удерживался с предписанной ориентацией. Это также уменьшит частоту ложных срабатываний, поскольку все другие ориентации исключены для обнаружения.
В следующем третьем варианте осуществления блок 40 обнаружения жестов датчика на теле на фиг.1 снабжен функциональностью обнаружения встряхивания. Типичной характеристикой встряхивания является последовательность переменных резких ускорений. Процедура обнаружения встряхивания является простой, но все же надежной процедурой.
На фиг.4 показана блок-схема последовательности операций процедуры обнаружения встряхивания в соответствии с третьим вариантом осуществления. На этапе S301 процедура наблюдает каждый из трех компонентов сигнала ускорения отдельно. Затем на этапе S302 компоненты ускорения сравниваются с заданными положительными и отрицательными пороговыми значениями. На заключительном этапе S303 решения встряхивания обнаруживается встряхивание, если по меньшей мере для одного из компонентов ускорения ускорение пересекает положительное пороговое значение и отрицательное пороговое значение минимальное количество раз в чередующемся порядке и в пределах максимальной продолжительности. Было обнаружено, что после встряхивания датчика такая структура появлялась в одном или двух из компонентов в зависимости от направления, в котором датчик встряхивался.
В качестве примера пороговые значения могут быть установлены равными плюс и минус 16 м/с2, минимальное количество необходимых пересечений может быть установлено равным 6, и максимальная продолжительность 0,9 с. При подсчете количества пересечений сначала отслеживается, чтобы сигнал находился между этими двумя пороговыми значениями. Затем каждое пересечение подсчитывается, если пересекаемое пороговое значение отличается от предыдущего пересечения.
В принципе процедура обнаружения встряхивания третьего варианта осуществления может быть адаптирована для выдачи своего выходного сигнала ускорения только в положительных числах, чтобы нулевое значение м/с2 соответствовало числу где-нибудь в середине выходного диапазона. Таким образом, «положительные» и «отрицательные» пороговые значения могут являться значениями, когда выходной сигнал датчика откалиброван таким образом, что числа соответствуют физическому ускорению в м/с2.
Настоящее изобретение может использоваться при контроле за пациентом, в частности, имеющем отношение к беспроводному отслеживанию дыхания и датчикам пульса. Настоящее изобретение может быть применено также в других областях, в частности, в контекстах подписчиков системы PERS, которые носят кулон или браслет с кнопкой PHB. Нажатие кнопки PHB гарантирует помощь контактного центра. Известно, что поиск рукоятки на кнопке PHB может быть затруднительным нуждающемуся в помощи подписчику, в особенности ослабленному пожилому. Управление жестом может заменить потребность в нажатии кнопки. Однако не позволительна высокая вероятность ложных срабатываний, и необходим чувствительный механизм обнаружения, такой как описан. Новое поколение кнопок PHB (с обнаружением падения) вмещает акселерометр и возможности обработки.
Кроме того, может быть оценен расход энергии через датчик (акселерометр), который носит пользователь. Оценка использует некоторые «подсчеты ускорения», которые преобразуются в использованные калории. Поскольку преобразование отличается для различных типов действий, используется среднее или наиболее вероятное преобразование. В качестве улучшения пользователь может управлять преобразованием посредством управления жестом. Например, начиная езду на велосипеде, двойное касание соответствующим образом устанавливает преобразование. Датчик может оставаться в кармане, что обеспечивает легкое управление. Снова необходима высокая чувствительность, чтобы отличать команду пользователя от других движений.
Другие изменения раскрытых вариантов осуществления могут быть понятны и произведены специалистами в области техники при осуществлении требуемого изобретения на основе изучения чертежей, описания и приложенной формулы изобретения. В частности, по меньшей мере две из вышеупомянутых процедур обнаружения жестов с первого по третий варианты осуществления могут быть объединены в одном варианте осуществления для обеспечения различных функций управления, инициируемых различными жестами.
В итоге, настоящее изобретение повторно использует акселерометр, или более точно обнаруженные ускорения датчика на теле для пользовательского управления датчиком на теле. Это достигается посредством обнаружения заданных структур в сигналах ускорения, которые не имеют отношения к другим движениям пациента. Они включают в себя касание датчика, встряхивание и поворот датчика. Были описаны новые процедуры, которые позволяют повторно использовать обнаружение ускорения для надежного обнаружения жеста без введения большого количества ложных положительных срабатываний вследствие не являющихся жестами движений, таких как дыхание, сердцебиение, ходьба, толчок, падение устройства и т.д.
В формуле изобретения слово «содержит» не исключает другие элементы или этапы, и употребление единственного числа не исключает множество.
Один блок или устройство могут выполнять функции нескольких элементов, описанных в пунктах формулы изобретения. Тот лишь факт, что некоторые меры описаны во взаимно различных зависимых пунктах формулы изобретения, не указывает, что комбинация этих мер не может использоваться для получения преимуществ.
Описанные выше этапы с S101 по S104 на фиг.2, с S201 по S204 на фиг.3 и с S301 по S303 на фиг.4 могут быть выполнены одним блоком или любым другим количеством разных блоков, которые не обязательно должны быть размещены или смонтированы в сенсорном устройстве. Вычисления, обработка и/или управление блоком 40 обнаружения жестов на фиг.1 могут быть реализованы как программное кодовое средство компьютерной программы и/или как специализированные аппаратные средства.
Компьютерная программа может храниться/распространяться на подходящем носителе, таком как оптический носитель или твердотельный носитель, обеспеченный вместе с другими аппаратными средствами или как их часть, но также может распространяться в других формах, например, через Интернет или другие проводные или беспроводные системы связи.
Любые ссылочные позиции в формуле изобретения не должны рассматриваться как ограничение объема изобретения.
Настоящее изобретение повторно использует акселерометр, или более точно обнаруженные ускорения датчика на теле для пользовательского управления датчиком на теле. Это достигается посредством обнаружения заданных структур в сигналах ускорения, которые не имеют отношения к другим движениям пациента. Они включают в себя касание датчика, встряхивание и поворот датчика. Были описаны новые процедуры, которые позволяют повторно использовать обнаружение ускорения для надежного обнаружения жеста без введения большого количества ложных положительных срабатываний вследствие не являющихся жестами движений, таких как дыхание, сердцебиение, ходьба и т.д.
1. Устройство для управления сенсорным устройством, которое использует датчик (10) движения, причем упомянутое устройство содержит:
детектор (40) жестов для оценки выходного сигнала ускорения упомянутого датчика (10) движения для обнаружения по меньшей мере одного заданного жеста; и
контроллер (50) устройства для управления функциональной работой упомянутого сенсорного устройства в ответ на выходной сигнал обнаружения упомянутого детектора (40) жестов, причем упомянутый детектор (40) жестов выполнен с возможностью выполнять по меньшей мере одно из следующих действий:
наблюдение каждого из трех компонентов ускорения трехмерного выходного сигнала ускорения упомянутого датчика (10) движения, сравнение упомянутых компонентов ускорения с заданными положительными и отрицательными пороговыми значениями и определение события обнаружения встряхивания, если по меньшей мере для одного из упомянутых компонентов ускорения ускорение пересекает упомянутое положительное пороговое значение и упомянутое отрицательное пороговое значение минимальное количество раз в чередующемся порядке и в пределах максимальной продолжительности,
получение по меньшей мере одного одномерного компонента сигнала из упомянутого выходного сигнала ускорения, оценка уровня фона и обнаружение потенциального касания, если упомянутый одномерный компонент сигнала превосходит первое пороговое значение, и упомянутый уровень фона находится ниже второго порогового значения, и
анализ выборок ускорения упомянутого выходного сигнала ускорения кадр за кадром, определение опорного вектора в пределах кадра и обнаружение жеста поворота, если угол между упомянутым опорным вектором и последовательностью выборок ускорения находится в пределах диапазона из первого порогового значения по меньшей мере для первого заданного количества выборок, и после этого находится ниже второго порогового значения по меньшей мере для второго заданного количества выборок, и после этого находится в третьем пороговом значении для третьего заданного количества выборок, что происходит перед полной продолжительностью четвертого заданного количества выборок.
2. Устройство по п. 1, в котором упомянутый детектор (40) жестов выполнен с возможностью обнаруживать жест касания и предварительно фильтровать упомянутый выходной сигнал ускорения для получения упомянутого одномерного компонента сигнала и определять событие обнаружения касания, если упомянутое потенциальное касание появляется в заданной последовательности.
3. Устройство по п. 2, в котором упомянутый детектор (40) жестов выполнен с возможностью предварительно фильтровать упомянутый выходной сигнал ускорения посредством использовании комплементарного медианного фильтра.
4. Устройство по п. 1, в котором упомянутый детектор (40) жестов выполнен с возможностью обнаруживать жест касания и оценивать упомянутый уровень фона посредством использования адаптивного медианного фильтра.
5. Устройство по п. 1, в котором упомянутый детектор (40) жестов выполнен с возможностью обнаруживать жест касания и обнаруживать упомянутое потенциальное касание посредством проверки, находится ли максимум упомянутого уровня фона выше третьего порогового значения.
6. Сенсорное устройство на теле, содержащее:
инерционный датчик (10) для обнаружения ускорения упомянутого сенсорного устройства на теле; и
устройство по п. 1.
7. Способ управления сенсорным устройством, которое использует датчик (10) движения, причем упомянутый способ содержит этапы, на которых:
оценивают выходной сигнал ускорения упомянутого датчика (10) движения для обнаружения по меньшей мере одного заданного жеста; и
управляют функциональной работой упомянутого сенсорного устройства в ответ на обнаружение упомянутого по меньшей мере одного заданного жеста;
причем упомянутый этап оценки содержит по меньшей мере один из следующих этапов, на которых:
наблюдают каждый из трех компонентов ускорения трехмерного выходного сигнала ускорения упомянутого датчика (10) движения, сравнивают упомянутые компоненты ускорения с заданными положительными и отрицательными пороговыми значениями и определяют событие обнаружения встряхивания, если по меньшей мере для одного из упомянутых компонентов ускорения ускорение пересекает упомянутое положительное пороговое значение и упомянутое отрицательное пороговое значение минимальное количество раз в чередующемся порядке и в пределах максимальной продолжительности,
получают по меньшей мере один одномерный компонент сигнала из упомянутого выходного сигнала ускорения, оценивают уровень фона и обнаруживают потенциальное касание, если упомянутый одномерный компонент сигнала превосходит первое пороговое значение, и упомянутый уровень фона находится ниже второго порогового значения, и
анализируют выборки ускорения упомянутого выходного сигнала ускорения кадр за кадром, определяют опорный вектор в пределах кадра и обнаруживают жест поворота, если угол между упомянутым опорным вектором и последовательностью выборок ускорения находится в пределах диапазона из первого порогового значения по меньшей мере для первого заданного количества выборок, и после этого находится ниже второго порогового значения по меньшей мере для второго заданного количества выборок, и после этого находится на третьем пороговом значении для третьего заданного количества выборок, что происходит перед полной продолжительностью четвертого заданного количества выборок.
8. Способ по п. 7, в котором упомянутый этап оценки содержит этап, на котором обнаруживают потенциальное касание и дополнительно содержит этап, на котором предварительно фильтруют упомянутый выходной сигнал ускорения для получения упомянутого одномерного компонента сигнала и определяют событие обнаружения касания, если упомянутое потенциальное касание появляется в заданной последовательности.
9. Машиночитаемый носитель данных, имеющий сохраненный на нем компьютерный программный продукт, содержащий кодовое средство для выполнения этапов способа по п. 7 при его выполнении на вычислительном устройстве.
