Улучшенное беспроводное устройство управления

Изобретение относится к портативным устройствам избирательного сбора данных и избирательного управления, обеспечивающим интерфейс между пользователем и управляемым устройством. Технический результат заключается в обеспечении удобства и точности управления устройством. Указанный результат достигается за счет того, что устройство (10) управления включает в себя небольшой легкий корпус (22), который надевается оператором (20) на запястье, и персональный компьютер (24). Устройство содержит несколько оптических излучателей (32), предпочтительно светодиоды, работающие в инфракрасном диапазоне, и несколько фотоприемников (36). Пары излучатель-приемник детектируют х-, и у-направления движения или жест. Движение может использоваться для получения отклика в управляемом устройстве (24). Например, углы руки оператора по отношению к запястью могут быть интерпретированы для индуцирования движения курсора на дисплее компьютера. Устройство также может включать в себя датчик (40) движения, датчик (42) состояния окружающей среды или датчик (43) распознавания голоса и также может быть выполнено с возможностью распознавания жестов и сканирования изображения. 25 з.п. ф-лы, 5 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение в основном относится к портативным устройствам избирательного сбора данных и избирательного управления, обеспечивающим интерфейс (соединение) между пользователем и управляемым устройством, и более конкретно к устройствам для обеспечения данных или управляемого ввода данных для такой аппаратуры, как процессор данных, музыкальный инструмент, устройство связи или тому подобные устройства, которые в то же время дают свободу перемещения и минимальную помеху, связанную с другими действиями, для пользователя.

Уровень техники

Большинство механических и электрических устройств, выполненных с возможностью реализации многих функций, требуют и предусматривают для пользователя управление выбором этих функций, включением и отображением выбранной функции. В общем, множество клавиш на клавиатуре или пульте управления произвольного размера стало устройством выбора для соединения пользователя с устройством при выборе и/или управлении. В последние годы относительно широкое использование получили другие устройства, такие как устройства наведения и системы с речевым ответом. Кроме того, в некоторых системах предусмотрено управление и/или выбор, обеспечиваемый собранными данными, такими как физиологическая информация, касающаяся пользователя. Например, движение глаз и активность нервной системы (например, электроэнцефалограмма, электрокардиограмма, кровяное давление, электронейронная мышечная активность и тому подобное) могут контролироваться для выработки сигналов, которые могут использоваться таким же образом, как нажатие клавиши, для выбора или управления. Однако вообще были реализованы альтернативные устройства ввода в качестве автономных систем, которые могут использоваться отдельно или как дополнение к клавиатуре во взаимно исключающем варианте.

Однако клавиатуры в общем не являются хорошо приспособленными для длительной работы пользователя и альтернативные устройства, такие как упомянутые выше, в основном, имеют некоторую степень неудобства, медленный отклик, требуют достаточной квалификации и приспособленности пользователя и/или значительных ресурсов обработки данных. Так называемые эргономические особенности конструкции обеспечивают только минимальные улучшения при привыкании в ходе использования человеком. Кроме того, в то время, как некоторые портативные или переносные устройства известны, они в основном посвящены одному виду ввода данных в отдельное устройство, такому как отдельная клавиатура и мышь или другое устройство наведения персонального компьютера. Например, известно устройство, в котором вращающийся элемент, такой как используемый в мыши, закрепляется на нижней стороне клавиатуры и наведение контролируется передвижением всей клавиатуры вдоль поверхности, дискредитируя удобство как функции наведения, так и функции ввода данных.

Примечательное исключение описывается в упомянутом выше патенте США №6097374, выданном изобретателю настоящего изобретения. Как в нем описывается, небольшой и легкий корпус предпочтительно надевается на запястье и включает в себя множество устройств, излучающих направленный свет. Корпус поддерживает, по существу, линейное расположение приемников направленного света, в целом параллельное направлению излучения света, и принимает световое излучение, по существу, ортогональное к нему, таким образом создавая матрицу положений, которые могут контролироваться и отличаться друг от друга, когда палец или другое дополнительное приспособление перемещается к любому положению в матрице, определяемому источниками и приемниками направленного света.

Это устройство также включает в себя датчики движения, по меньшей мере, в двух направлениях для управления устройством наведения в ответ на перемещение руки (например, ориентацию, скорость и тому подобное) для управления устройством наведения или обеспечением других входных параметров, таких как громкость или темп по отношению к цифровому интерфейсу музыкального инструмента (ЦИМИ, MIDI), и, если требуется, микрофону и связанной схеме для приема голосового сигнала или другого слышимого входного сигнала. Вся информация, полученная этими устройствами, передается на другое устройство или базовое устройство (базовую станцию), такое как персональный компьютер или музыкальный инструмент, с помощью линии связи на основе модулированных световых волн или радиоволн, в основном в устройстве дистанционного управления, для телевизионной или другой аппаратуры.

Однако даже данное устройство подобно другим существующим устройствам, по существу, ограничено по своим возможностям. Например, использование датчиков движения, таких как акселерометры или гироскопы, для отслеживания перемещения руки при использовании наведения требует широких значительных перемещений кисти руки для управления курсором. Следовательно, кисть руки должна поддерживаться с помощью другой части руки для расширения диапазона движения, который требуется при наведении. Это может стать весьма некомфортным и утомительным для пользователя. Помимо этого, не обеспечивается точное управление курсором, которое осуществлялось бы при использовании обычной компьютерной мыши. Кроме того, существующие устройства в основном ограничиваются вводом данных в виде символов, и этот ввод данных очень чувствителен к ориентации кисти руки. Это дополнительно ограничивает пригодность существующих устройств.

Сущность изобретения

Следовательно, задачей настоящего изобретения является усовершенствование структуры, ввода информации, функционирования и адаптируемости к значительно возрастающему разнообразию применения устройства, относящегося к описанному выше и раскрытому в патенте США №6097379.

Другой задачей изобретения является обеспечение функционирования изобретения в соответствии с патентом США №6097379 и дополнительных функций при возрастающей приспособленности другой деятельности пользователя.

Еще одной задачей настоящего изобретения является создание беспроводного устройства управления, которое позволит пользователю удобно и точно управлять устройством при осуществлении наведения.

Кроме того, задачей настоящего изобретения является создание беспроводного устройства управления, выполненного с возможностью детектирования и интерпретирования жестов пользователя.

Также задачей настоящего изобретения является создание беспроводного устройства управления, выполненного с возможностью осуществления приема на входе, независимо от положения пользователя или части тела пользователя.

Еще одной задачей настоящего изобретения является создание устройства ввода, выполненного с возможностью работы, по существу, стерильно и безопасно.

Кроме того, задачей настоящего изобретения является создание устройства ввода, выполненного с возможностью детектирования дополнительных степеней свободы и соответствующих дополнительных видов входной информации.

Для решения этих и других задач изобретения созданы небольшой легкий корпус, который надевается оператором, и управляемое устройство, например персональный компьютер. На корпусе располагается несколько оптических излучателей, предпочтительно светодиодов, действующих в инфракрасном диапазоне, и несколько фотоприемников. Излучатели и приемники могут располагаться в одной плоскости для включения и выключения устройства. С другой стороны, излучатели и приемники могут располагаться в двух плоскостях на корпусе так, чтобы устройство могло воспринимать расположение кисти руки и ориентацию вместо только нажатия клавиш и движения и ориентации устройства. По меньшей мере, одна пара излучатель-приемник по оси Х действует для детектирования x-направления движения при наведении или жеста и, по меньшей мере, одна пара излучатель-приемник по оси Y действует для детектирования y-направления движения при наведении или жеста. В предпочтительном варианте реализации изобретения корпус надевается на запястье оператора, и пары излучатель-приемник детектируют угол кисти руки оператора по отношению к запястью. Это движение затем может быть использовано для получения отклика в управляемом устройстве. Например, движение при наведении или жест могут соответствовать перемещению курсора на дисплее компьютера, если оператор использует традиционную компьютерную мышь. Этот вариант реализации с оптическим наведением может осуществляться либо в варианте работы, подобной работе с джойстиком, либо в варианте работы, подобной работе с мышью, при точечном перемещении. Корпус также не обязательно может включать детектор движения, такой как акселерометр или гироскоп, датчик состояния окружающей среды или датчик распознавания голоса.

Настоящее изобретение также может использоваться для распознавания жеста, например, за счет сочетания анализа временных интервалов расположения кисти руки и ориентаций с возможностями распознавания изображения. Движения кисти руки можно распознать в ряде изображений кисти руки на протяжении времени, которые затем могут быть скоррелированы с предварительно запрограммированной библиотекой жестов, таких как жесты, сохраняемые в качестве изображений в ассоциативной памяти, функционирующей как справочная таблица. Распознание жестов позволяет использовать данное изобретение не только для ввода данных в виде символов, но также для ввода данных в виде слов и фраз. Кроме того, распознавание жестов может быть сделано чувствительным к контексту так, что один и тот же жест, реализуемый в разных контекстах, приводит к различному отклику одного и того же управляемого устройства или даже к отклику в совершенно отличающемся управляемом устройстве. Возможности распознавания жестов также могут использоваться для реализации режима по требованию, посредством чего устройство может переключаться между положениями «Включено» и «Выключено», как требуется пользователю.

Также предлагается использовать настоящее изобретение для сканирования изображений в двух или трех измерениях. Данная особенность сканирования может быть использована для того, чтобы заставить устройство изучать и адаптироваться к конкретной физиологической геометрии пользователя и чтобы пользователю не пришлось приспосабливаться к физическим характеристикам устройства. Оно также может быть использовано для сканирования объектов, представляющих интерес, а не частей тела пользователя в реальном времени или для архивного использования.

Так как устройство дает возможность вводить данные и управлять курсором без какого-либо контакта с физическим устройством, настоящее изобретение хорошо подходит для использования в стерильной окружающей среде. Кроме того, отсутствие механического взаимодействия исключает возможность искрообразования и делает настоящее изобретение подходящим для использования при наличии легковоспламеняемой среды. Кроме того, устройство помогает избежать развития определенных медицинских состояний, таких как кистевой туннельный синдром, или повторяющихся повреждений от надавливания, и он может быть адаптирован для использования людьми с различными физическими недостатками.

Краткое описание чертежей

Перечисленные выше и другие задачи, аспекты и преимущества изобретения станут более понятными из следующего подробного описания предпочтительных вариантов реализации изобретения со ссылкой на чертежи, на которых:

фиг.1 представляет собой иллюстрацию применения изобретения;

фиг.2 иллюстрирует некоторые принципиальные элементы изобретения;

фиг.3 иллюстрирует вариант реализации изобретения, используемый для оптического наведения;

фиг.4 иллюстрирует использование изобретения для распознавания жеста;

фиг.5 иллюстрирует вариант реализации изобретения с отслеживающим оптическим элементом.

Подробное описание предпочтительных вариантов реализации изобретения

Теперь со ссылкой на чертежи и более конкретно на фиг.1 и 2 показано примерное и общее применение усовершенствованного беспроводного устройства 10 управления. Оператор 20 надевает небольшой легкий корпус 22, по меньшей мере, на одно запястье или располагает его в другом удобном месте на теле. Запястье является предпочтительным, потому что оно расположено по соседству с пальцами, которые обычно должны использоваться для работы клавиатуры. Однако изобретение может быть свободно адаптировано в соответствии с его основными принципами работы, если требуется, для приспосабливания к нему оператора, в качестве варианта удобства при физических недостатках или тому подобном. Предусматривается управляемое устройство 24, которое включает в себя датчик 26 для светового излучения или любой другой формы энергии, подходящей для передачи кодированного сигнала. Управляемое устройство 24, которое здесь далее будем называть как базовое устройство, для общности, предпочтительно также включает в себя преобразователь 28, такой как дисплей, или звуковой сигнализатор, такой как таймер или синтезатор речи, для подтверждения приема кодированного сигнала 30 и распознавания его содержания. С другой стороны, оповещение может содержаться в корпусе 22 и может служить откликом на световой сигнал от базового устройства 24 (например, корпус 22 может излучать звуковой сигнал, когда световой сигнал принимается).

Как показано в общем виде на фиг.2, световые излучатели 32 на корпусе 22, которые предпочтительно являются светодиодами, действующими в инфракрасном диапазоне, проецируют лучи с резкими границами энергии 34 в ограниченном пространственном угле, в общем параллельно ладони оператора. Пространственный угол лучей предпочтительно ограничен таким образом, что облучаемые области не будут перекрываться на расстоянии от корпуса 22, которое ближе, чем кончики пальцев оператора. Таким образом, перемещение руки оператора, такое как перемещение пальца при движении, аналогичном нажатию клавиши на клавиатуре, будет приводить к тому, что кончик пальца оператора будет освещаться лучом 34. Это излучение отражается в виде 34а от кончика пальца оператора и детектируется детектором 36 также на корпусе 22. Таким образом, за счет корреляции отраженных лучей света 34а с излучаемыми лучами света 34 местоположение любого пальца или другого объекта может быть не только детектировано, но также распознано его отличие от других местоположений, и подходящий кодированный сигнал 30 может быть послан от корпуса 22 в базовое устройство 24. Кодированный сигнал 30 может быть послан одним из световых излучателей 32 или отдельным излучателем 38 сигнала.

В то же время предпочтительно, для простоты, включать световые излучатели 32 последовательно, в режиме с временным мультиплексированием, специалист в данной области техники поймет, что отраженные лучи 34а могут быть распознаны другими методами, такими как частотная модуляция или кодирование по длительности импульса. В зависимости от использования устройства 10 корпус 22 не обязательно может включать в себя датчик 40 движения, такой как акселерометр или гироскоп, для детектирования движения части тела оператора 20 в пространстве и датчик 42 состояния окружающей среды. Датчик 42 состояния окружающей среды может быть адаптирован для измерения любого количества состояний окружающей среды или физиологических состояний, включая, но не ограничиваясь этим, кровяное давление, влажность, температуру, давление воздуха, что требуется при конкретных применениях устройства 10. Также можно использовать датчик 43 распознавания голоса.

Фиг.3 иллюстрирует вариант реализации устройства 10, адаптированного для оптического наведения, такого как перемещение курсора на экране компьютера, подобного способу, применяемому при работе с мышью, привычного для пользователей персональных компьютеров (т.е. на основании угла кисти руки по отношению к запястью). Однако специалист в данной области техники поймет, что применение оптического наведения в настоящем изобретении не ограничивается наведением курсора. По меньшей мере одна пара излучатель-приемник по оси x 44 и по меньшей мере одна пара излучатель-приемник по оси y 46 предусмотрены на корпусе 22. Излучатель в паре излучатель-приемник 44 по оси X ориентирован так, чтобы облучать острое ребро кисти руки (т.е. ребро кисти руки, противоположное большому пальцу), создавая луч 48 веерной формы по оси Х. Аналогично, излучатель в паре излучатель-приемник 46 ориентирован так, чтобы освещать тыльную часть кисти руки, создавая луч 50 веерной формы по оси Y. Использование лучей 48 и 50 веерной формы уменьшает воздействие перпендикулярного движения поверхности руки на измерение углов кисти руки по отношению к запястью, как описано выше. Это излучение отражается от руки и попадает назад на фотоприемники пар излучатель-приемник 44 и 46: свет, отраженный от острого ребра кисти руки, детектируется приемником пары 44 по оси X, в то время, как свет, отраженный от тыльной части кисти руки, детектируется приемником пары 46 по оси Y. Устройство 10 затем преобразует величину интенсивности отраженных лучей 48 и 50 как конкретное положение руки в описанном выше режиме и может соответственно инициировать соответствующее перемещение курсора.

Угол кисти руки по отношению к запястью определяет величину интенсивности отраженных лучей 48 и 50, детектированную парами фотоприемников 44 и 46 соответственно, и детектированная величина, в свою очередь, определяет направление и длительность возникающего как отклик движения курсора. Например, когда оператор 20 располагает свою кисть наружу по отношению к запястью (т.е. в направлении стрелки а, уменьшая угол между пальцами руки и предплечьем), величина интенсивности отраженного излучения, детектированного парой 44 по оси X, возрастает, и происходит соответствующее движение курсора в направлении x. Аналогично, когда оператор 20 располагает свою кисть внутрь по отношению к запястью (т.е. в плоскости бумаги в направлении стрелки b, уменьшая угол между тыльной частью кисти руки и предплечьем), величина интенсивности отраженного излучения, детектированного парой 46 по оси Y, уменьшается, вызывая соответствующее перемещение курсора в направлении y.

Множество способов может быть использовано для исключения случайного перемещения курсора при использовании устройства 10. Например, величина интенсивности отраженных лучей 48 и 50 усредняется по времени для того, чтобы уменьшить фоновый шум, такой как случайные, малые перемещения кисти руки. Кроме того, может быть установлен порог в x, y и z- направлениях, ниже которого движение не передается курсору, кроме того, снижается вероятность того, что курсор будет откликаться на малые перемещения кисти руки. Приведение в действие с помощью аудиосигнала или речевого управления, или особого перемещения руки (например, как это осуществляется для мыши), с другой стороны, может использоваться в сочетании с другими возможностями для применения режима по требованию, обсуждавшегося ниже. Соответствующие отклики на конкретные перемещения или жесты могут быть получены за счет использования любого адаптивного устройства, которое известно специалисту в данной области техники.

Методика корреляции используется для получения согласующихся результатов при измерении амплитуды и в то же время фильтрации помех окружающей среды и шума системы. Например, восприимчивость к гармоническим помехам, таким как у флуоресцентных ламп, может быть уменьшена, например, за счет использования псевдослучайной последовательности для управления активным светодиодом, который сканируется и для декодирования величины интенсивности отраженного света, определяющей среднюю амплитуду положения «Включено» в зависимости от средней амплитуды положения «Выключено».

За счет использования оптических пар излучатель-приемник 44 и 46 для детектирования перемещения руки вместо акселерометров или гироскопов для детектирования движения руки настоящее изобретение демонстрирует много преимуществ по сравнению с существующими устройствами. Например, больше не требуются широкие значительные перемещения кисти руки для приведения в движение курсора на экране компьютера, поскольку оптическое наведение дает пользователю возможность более точного управления за счет такой реализации устройства, когда движение курсора является чувствительным к углу кисти руки по отношению к запястью. Соответственно, настоящее изобретение может быть использовано, когда предплечье находится в положении покоя, а не когда оно должно удерживать кисть руки в пространстве. Это не только менее утомительно и более удобно для пользователя, но также дает пользователю возможность намного более точного управления курсором по сравнению с вариантом традиционной компьютерной мыши, в то же время позволяя датчикам движения, если они есть, обеспечивать дополнительный ввод данных для любой требуемой цели. Точность, кроме того, улучшается за счет того факта, что оптические пары излучатель-приемник 44 и 46 не являются чувствительными к земной гравитации, и, следовательно, высоте, как акселерометры и гироскопы. Кроме того, вариант реализации настоящего изобретения с оптическим наведением является значительно менее дорогостоящим, чем существующие устройства, использующие акселерометры или гироскопы. Однако специалист в данной области техники признает, что в тех применениях, где требуется отслеживать движение всей руки, а не только угол кисти руки по отношению к запястью, акселерометры или гироскопы могут использоваться в сочетании с вариантом реализации настоящего изобретения с оптическим наведением для достижения даже большей универсальности, чем упоминалось выше.

Как описывалось выше, вариант реализации настоящего изобретения с оптическим наведением действует в режиме работы, подобном режиму работы с джойстиком. Т.е. кисть руки имеет исходное положение, и отклонение от исходного положения в x и y-направлениях приводит к соответствующему движению курсора, которое не будет прекращаться до тех пор, пока кисть руки не вернется в исходное положение. В то время, как кисть руки действительно имеет естественное комфортное исходное положение, этот способ оптического наведения в режиме работы, подобном режиму работы с джойстиком, по существу предъявляет требования к пользователю, поскольку для него необходимы точное согласование во времени и точные действия для обеспечения того, чтобы курсор мыши перемещался в положение покоя в требуемой точке на экране компьютера.

Соответственно, настоящее изобретение также может быть адаптировано для работы в режиме, подобном режиму работы с мышью, за счет генерации точечных перемещений. Работа при точечных перемещениях преобразует векторы движения, генерируемые при отклонении из любого случайного положения покоя кисти руки к любому требуемому конечному положению кисти руки в единичное движение курсора на экране компьютера. Например, предположим, что кисть руки пользователя находится в положении, показанном на фиг.2, которое может соответствовать или не соответствовать исходному положению, описанному выше, в момент времени t₁. Кроме того, предположим, что пользователь затем отклоняет свою руку в направлении стрелки в другое положение, в момент времени t₂. Устройство 10 преобразует соответствующие величины интенсивности отраженного луча 48 в моменты времени t₁ и t₂ в положения кисти руки в моменты t₁ и t₂, как описано выше, и затем - в вектор движения для кисти руки от момента времени t₁ до момента времени t₂. Вектор движения затем преобразуется в соответствующее единичное движение, которое уменьшается до нуля в конечном положении, а не продолжается до того времени, пока кисть руки не вернется в исходное положение, и заставляет курсор так двигаться по экрану компьютера, что он воспроизводит движение кисти руки от момента времени t₁ до момента времени t₂, как если бы палец или перо в руке направляли движение курсора на экране. Т.е. курсор будет сдвигаться в направлении, соответствующем направлению отклонения кисти руки на величину, соответствующую величине отклонения кисти руки, и затем будет останавливаться. Будучи откалиброванным для индивидуального пользователя, режим работы с точечным перемещением предлагает даже более направленное и комфортное ощущение управления по сравнению с движением курсора.

Работа при точечном перемещении может быть сделана даже более практичной при использовании «режима по требованию», описанного ниже. Например, если режим работы при точечном перемещении, подобный режиму работы с джойстиком, описанный выше, позволяет осуществлять неограниченное перемещение курсора в любом направлении просто за счет удерживания кисти руки пользователя в отклоненном положении, специалист в данной области техники признает, что работа при точечном перемещении ограничивается диапазоном движения кисти руки пользователя. Режим по требованию позволит пользователю вызывать точечное перемещение в конкретном направлении, отключать оптическое перемещение, возвращать его руку к более комфортной или нейтральной позиции, снова включать оптическое точечное перемещение и генерировать второе точечное перемещение в том же самом направлении. Это аналогично подъему компьютерной мыши от поверхности, по которой она скользит, для повторного размещения ее в центре для более комфортного или удобного положения с целью эффективного увеличения размера поверхности, по которой она скользит.

Настоящее изобретение также может быть использовано для распознавания жестов за счет сочетания анализа во временной области кисти руки и положений пальцев и ориентаций с возможностями распознавания изображения. Способ, с помощью которого устройство 10 распознает жесты, по существу аналогичен способу, описанному выше, для работы при точечном перемещении в режиме, подобном режиму работы с мышью. Например, предположим, что пальцы пользователя находятся в положении, изображенном на фиг.4 в момент времени t₁. Излучатель 32 излучает луч 34, который отражается кончиком пальца 52. Детектор 36 затем детектирует отраженный луч 34а и способом, описанным выше, устройство 10 определяет положение и ориентацию пальца в момент времени t₁. Предположим, что пользователь затем отклоняет свой палец вниз в направлении стрелки таким образом, что кончик пальца 52 находится в новом положении в момент времени t₂. Еще раз используя описанный выше метод, устройство 10 преобразует положение и ориентацию пальца в момент времени t_2. Затем пользователь может вернуть свой палец в первоначальное положение и к первоначальной ориентации или передвинуть его в совершенно новое положение с новой ориентацией в момент времени t₃ для преобразования устройством 10, и так далее.

Эти преобразования положения пальцев и ориентации на протяжении времени затем собираются и коррелируются (соотносятся) с предварительно запрограммированной библиотекой изображений жестов, таких как жесты, которые хранятся в ассоциативной памяти, функционирующей как справочная таблица, и устройство 10 способно распознавать сделанный жест - в предыдущем примере жест «виляния пальцем». Предварительно запрограммированная библиотека жестов может включать стандартизированные жесты (например, жесты американского языка знаков) так же, как конкретные жесты пользователя, зафиксированные и записанные на стадии тренировки машины (например, «виляние пальца», описанное выше). Жесты, зафиксированные и записанные в ходе тренировки машины, по существу будут запрограммированы как установки конкретного размера кисти руки пользователя, ее формы и движения.

Способности распознавать жесты можно придать большие возможности за счет объединения анализа положения кисти руки и ее ориентации, как описано выше, с анализом движения кисти руки. Движение кисти руки может быть проанализировано за счет использования варианта реализации с оптическим точечным перемещением, описанного выше, или, когда требуется отслеживание движения всей руки, за счет использования гироскопов, акселерометров или других датчиков движения 40 или датчиков окружающей среды 42 в устройстве 10. За счет совмещения анализа временных интервалов положений кисти руки и ориентаций с анализом временных интервалов движения кисти руки, многочисленные процессы распознавания изображения являются доступными для применения при декодировании жестов.

Способ распознавания жестов, описанный выше, позволяет использовать настоящее изобретение для ввода данных не только в виде символов (как при печати на клавиатуре или звонке по телефону), но также для ввода данных в виде слов или фраз (как это используется в американском языке знаков). Например, вариант реализации настоящего изобретения, связанный с распознаванием жестов, может быть использован для воспроизведения или объявления в реальном времени информации американского языка жестов. Кроме того, к воспроизведению или объявлению может быть добавлена интонация на основе высоты над землей, на которой реализуется жест: более низкое положение может означать более низкий тон интонации, в то время, как более высокое положение показывает большее ударение или более высокую интонацию.

Способы распознавания жестов также могут быть сделаны чувствительными к контексту, поэтому один и тот же жест может иметь много различных действий в зависимости от контекста, в котором он осуществляется. Например, жест «виляния пальца», описанный выше, может использоваться для ответа на телефонный звонок в одном контексте и переключения светового переключателя в другом контексте. Как другой пример, поднимание или опускание руки пользователя может регулировать громкость радио в одном контексте и яркость окружающего освещения в другом контексте. Пользователь может выбирать между контекстами, любой их вариант. Например, когда корпус 22 включает датчик 43 распознавания голоса, пользователь может называть требуемый контекст (например, «радио», когда жесты используются для управления радио, и «свет», когда жесты используются для управления светом). Однако другие способы выбора контекста тоже находятся в рамках объема настоящего изобретения.

Распознавание жестов также может быть использовано для реализации режима по требованию, упомянутого выше, для работы в режиме при оптическом точечном перемещении, подобном режиму работы с мышью. За счет программирования конкретного жеста или жестов для включения и выключения устройства 10 пользователь может включить и выключить данный рабочий режим или все устройство, как требуется или необходимо. Режим по требованию также может использоваться для включения и выключения комбинации режимов или контекстов.

Другой особенностью, которая может быть добавлена в настоящее изобретение, является оптический трекинг или «сканирование над поверхностью», эта особенность проиллюстрирована на фиг.5. Эта особенность гарантирует, что конкретный знак всегда правильно идентифицируется с помощью устройства 10. Например, оптический трекинг будет гарантировать, что указательный палец 54 всегда распознается как указательный палец 54, независимо от ориентации кисти руки или ее положения.

Сканирование над поверхностью начинается при одном предельном значении 56 отклонения кисти руки в одном направлении и заканчивается в противоположном предельном положении 58. Сканирование над поверхностью может осуществляться со многими дискретными излучателями 32 и приемниками 36 или за счет растрового сканирования. Когда используется много дискретных излучателей 32 и приемников 36, сканирование над поверхностью осуществляется за счет использования большего числа излучателей 32 и приемников 36, чем необходимо для разрешения отдельных пальцев, или за счет возникновения и окончания непрерывно сканируемого источника вне крайних положений покоя 56 и 58 внешней границы кисти руки. Сканирование над поверхностью также может быть реализовано за счет включения физически подвижного оптического элемента, такого как вращающееся или поворотное зеркало или электрически управляемого оптического элемента, в корпус 22. В последнем варианте реализации излучатель 22 и приемник 36 движутся в тандеме для сканирования области, давая возможность отдельной электронной схеме приема сканировать требуемую область. Для специалиста в данной области техники будет очевидно, что упомянутые выше способы могут быть легко перенесены в третье измерение для полностью активного изображения.

Как только сканирование над поверхностью завершится, вектор оптического точечного перемещения, полученный с помощью отслеживания угла кисти руки по отношению к запястью, как описано выше, и проиллюстрировано на фиг.3, используется для вычисления сдвига кисти руки внутри сканируемой области. Следовательно, устройство 10 может определять, какой палец был сдвинут на путь излучаемого луча света. Так как эта особенность позволяет устройству настоящего изобретения изучать геометрию кисти руки пользователя, а не требовать приспособленности пользователя к особенностям изобретения, взаимодействие пользователя с устройством 10 значительно упрощается. Например, особенность оптического трекинга позволяет использовать устройство 10 одновременно для управления мышью и печати на клавиатуре, в то время, как особенности изобретения, связанные с печатью на клавиатуре, без особенности оптического трекинга будут легко приводить к «перемешиванию», когда кисть руки отклоняется для передвижения курсора мыши.

Трехмерное сканирование руки пользователя также может создавать входные изображения для распознавания жеста, как описано выше. С другой стороны, направление излучателей 32 и приемников 36 к произвольной соседней поверхности вместо кисти руки пользователя можно использовать для создания изображения представляющего интерес объекта, отличающегося от кисти руки пользователя, в реальном времени. Например, устройство 10 можно использовать для активной записи изображений объектов для интерпретации с помощью системных компьютерных программ или за счет использования оптического распознавания символов, для считывания и объявления текста для того, чтобы содействовать пользователям со слабым зрением. Как другой пример, доктор должен направлять излучатели 32 для захвата изображения пациента в ходе операции в реальном времени или для архивного использования, вводить записи в компьютеризованный журнал записей, используя устройство 10, и продолжать работу без повторного промывания, как требовалось бы, если бы использовалась камера или нажимались бы физические клавиши.

Корпус 22 также может включать вторую плоскость излучателей 32 и приемников 36 для анализа положения кисти руки в двух измерениях. Первый размер получается, когда палец проходит через первую плоскость излучателей 32 и приемников 36, в то время, как второй размер получается, когда палец полностью проходит через первую плоскость во вторую. Это улучшает свойство включения/выключения существующих переносных компьютерных устройств для того, чтобы учесть анализ положения кисти руки и ориентацию вместо простого детектирования нажатия клавиш. С другой стороны, устройство 10 могло бы освещать каждый палец под разными углами и использовать параллакс для анализа положения кисти руки в двух измерениях, хотя первый способ предпочтительнее последнего.

Настоящее изобретение способно работать, по существу, в безопасных и стерильных условиях. Как описано выше, настоящее изобретение позволяет вводить данные и управлять курсором без какого-либо контакта с физическим устройством. Соответственно, устройство 10 хорошо подходит для использования в стерильных условиях, например в операционных. Устройство 10 также может использоваться в легковоспламеняющихся средах, так как отсутствие механического взаимодействия исключает возможность искрообразования, которое могло бы воспламенить окружающую среду.

Как можно видеть из перечисленного выше, настоящее изобретение позволяет собирать входную информацию, имеющую много степеней свободы в каждый момент, которая может служить образцом на протяжении времени. В настоящем изобретении тем самым создается ощущение управления, которое в настоящее время недоступно. Например, устройство способно детектировать положение пальца и ориентацию индивидуально, в сочетании, по отношению друг к другу, как при повороте кнопки, расстояние между кончиком пальца оператора и запястьем, угол кисти руки по отношению к запястью в x и y- положениях, положение руки в x, y и z-положениях, угол наклона, угол крена и поворот, состояние окружающей среды и физиологическое состояние, ввод голоса, ввод двумерного изображения, такой как считывание штрихкода, ввод трехмерного изображения и многочисленные другие типы ввода. При таких многочисленных типах входных данных только совсем немного установок данных, относящихся ко времени, являются необходимыми для эффективной реализации описанных выше применений, поскольку дополнительные данные делают более простым распознавание «сигнатур», связанных, например, с конкретным жестом. Кроме того, с помощью тщательного выбора данных, собранных для получения результата, устройство может быть использовано для такого ввода символов, как на компьютерной клавиатуре комбинаторного ввода, такого как на стенографической клавиатуре, ввода слова или фразы, такого как для американского языка знаков, управления с помощью джойстика, управления с помощью мыши, управления высотой или тоном, управления через окружающие установки (например, термостаты, диммерные переключатели, регулировка звука телевизора или стереозвука) и многого другого.

В то время, как изобретение было описано в виде нескольких предпочтительных вариантов реализации, специалисты в данной области техники признают, что изобретение может быть реализовано на практике с изменениями в рамках сущности и объема прилагаемой формулы изобретения.

1. Беспроводное устройство для распознавания жестов, включающих в себя ввод данных и управление курсором, содержащее

корпус, который надевается на тело оператора, причем корпус включает в себя множество оптических излучателей и множество фотоприемников,

причем, по меньшей мере, один оптический излучатель и, по меньшей мере, один фотоприемник формируют, по меньшей мере, одну пару излучатель-приемник по оси х для детектирования х-направления движения или жеста,

причем, по меньшей мере, один оптический излучатель и, по меньшей мере, один фотоприемник формируют, по меньшей мере, одну пару излучатель-приемник для детектирования у-направления движения или жеста и

средство для установления различия между оптическими лучами, отраженными от части тела оператора или другого объекта, излучаемыми указанным множеством оптических излучателей и детектированными указанным множеством фотоприемников.

2. Беспроводное устройство по п.1, отличающееся тем, что указанные оптические излучатели являются светодиодами и указанные оптические лучи являются лучами инфракрасного света.

3. Беспроводное устройство по п.1, отличающееся тем, что указанные пары излучатель-приемник по оси х и у детектируют движение части тела, соседней с частью тела, на которую надет указанный корпус.

4. Беспроводное устройство по п.3, отличающееся тем, что корпус надевается на запястье оператора, и пары излучатель-приемник по оси х и оси у детектируют движение кисти руки оператора.

5. Беспроводное устройство по п.4, отличающееся тем, что указанные излучатели в, по меньшей мере, одной паре излучатель-приемник по оси х освещают острое ребро кисти руки оператора, указанные приемники в, по меньшей мере, одной паре излучатель-приемник по оси х детектируют лучи, отраженные от острого ребра кисти руки оператора, указанные излучатели в, по меньшей мере, одной паре излучатель-приемник по оси у освещают тыльную часть кисти руки оператора, и указанные приемники в, по меньшей мере, одной паре излучатель-приемник по оси у детектируют лучи, отраженные от тыльной части кисти руки оператора.

6. Беспроводное устройство по п.5, отличающееся тем, что указанные излучатели освещают острое ребро и тыльную часть кисти руки оператора при веерной форме лучей.

7. Беспроводное устройство по п.1, отличающееся тем, что корпус дополнительно содержит датчик состояния окружающей среды.

8. Беспроводное устройство по п.1, отличающееся тем, что корпус дополнительно содержит датчик распознавания голоса.

9. Беспроводное устройство по п.1, отличающееся тем, что х- и у-направления движений или жестов соответствуют перемещению по осям х и у курсора на дисплее.

10. Беспроводное устройство по п.1, отличающееся тем, что пары излучатель-приемник по осям х и у детектируют х- и у- направления движения или жеста при работе в режиме, подобном режиму работы с джойстиком.

11. Беспроводное устройство по п.1, отличающееся тем, что дополнительно содержит средство для анализа, по меньшей мере, одного из положений, ориентации и движения части тела оператора на протяжении времени.

12. Беспроводное устройство по п.11, отличающееся тем, что пары излучатель-приемник по осям х и у детектируют х- и у- направления движения или жеста при работе в режиме, подобном режиму работы с мышью.

13. Беспроводное устройство по п.11, отличающееся тем, что средство для анализа движения части тела оператора на протяжении времени представляет собой акселерометр или гироскоп.

14. Беспроводное устройство по п.11, отличающееся тем, что дополнительно содержит средство для распознавания множества жестов, выполненных оператором.

15. Беспроводное устройство по п.14, отличающееся тем, что указанные жесты включают в себя жесты американского языка жестов или жесты, содержащие другой способ связи, основанный на жестах.

16. Беспроводное устройство по п.14, отличающееся тем, что средство для распознавания множества жестов является чувствительным к контексту.

17. Беспроводное устройство по п.1, отличающееся тем, что дополнительно содержит средство для переключения по требованию указанного устройства между состоянием «включено» и состоянием «выключено».

18. Беспроводное устройство по п.1, отличающееся тем, что дополнительно содержит сканирующее средство для идентификации объекта.

19. Беспроводное устройство по п.18, отличающееся тем, что объект является частью тела оператора.

20. Беспроводное устройство по п.19, отличающееся тем, что сканирующее средство начинает сканирование в одном предельном положении, соответствующем движению части тела оператора, и заканчивает сканирование в противоположном предельном положении, соответствующем движению части тела оператора.

21. Беспроводное устройство по п.18, отличающееся тем, что сканирующее средство дополнительно содержит физически подвижный оптический элемент.

22. Беспроводное устройство по п.21, отличающееся тем, что физически подвижный оптический элемент дополнительно содержит вращающийся или поворотный элемент.

23. Беспроводное устройство по п.21, отличающееся тем, что физически подвижный оптический элемент дополнительно содержит, по меньшей мере, одну электрически управляемую пару излучатель-приемник.

24. Беспроводное устройство по п.18, отличающееся тем, что сканирующее средство сканирует объект в трех измерениях.

25. Беспроводное устройство по п.1, отличающееся тем, что указанные оптические излучатели и указанные фотоприемники располагаются на указанном корпусе в двух плоскостях.

26. Беспроводное устройство по п.1, отличающееся тем, что содержит базовый блок, включающий в себя датчик, причем базовый блок связан с возможностью осуществления связи с корпусом, который надевается на тело оператора.