Мобильное устройство для организации сенсорной плоскости

Устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов. Технический результат заключается в обеспечении возможности взаимодействия с персональными вычислительными устройствами дистанционно, не используя встроенные в них сенсорные поверхности. Устройство содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя и подключенные к первому и второму входам специализированного вычислителя. Кроме того, предлагаемое устройство содержит браслет и фиксатор, механически связанный с браслетом, причем браслет размещается на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе. Входящие в состав устройства телевизионные камеры формируют плоскости обзора, проходящие через заданную заранее строку изображения на фотоприемной матрице и оптический центр объектива, каждой телевизионной камеры, создавая сенсорную плоскость. При этом вычислителем фиксируется пересечение пальцем этой плоскости и определяется пространственное положение этого пересечения. 1 з.п. ф-лы, 5 ил.

 

Предлагаемое устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов, применение которых постоянно растет.

Известен ряд устройств подобного назначения. Так, в [1] описывается система, осуществляющая проекцию изображения виртуальной клавиатуры на ладонь пользователя. Она включает в себя оптический проектор и телевизионную камеру, расположенные на дужках очков, и связанное с ними вычислительное устройство. Касание пальцем свободной руки изображения виртуальной клавиатуры в определенных точках фиксируется телевизионной камерой и передается в вычислительное устройство, которое определяет, с каким элементом виртуальной клавиатуры произошло касание пальца пользователя.

В [2] рассматривается мобильная носимая система, закрепляемая на предплечье, воспринимающая биопотенциалы соответствующих мышц, участвующих в выработке жестов, совершаемых пальцами кисти. Недостатком данной системы является сложная техническая реализация и низкая помехоустойчивость, необходимость ее индивидуальной калибровки.

В [3] предлагается устройство оцифровки движений конечностей на основе источника структурированной подсветки аналогично используемой в системе Kinect [4]. Однако устройства данного класса не предназначены для работы с малоразмерными объектами типа пальцев руки.

В [5] предложена интерактивная измерительная система, определяющая положения пальцев пользователя в области, ограниченной зонами обзора от двух до четырех и более телевизионных камер, отличающаяся возможностью 3D измерений, однако весьма громоздкая для мобильных приложений.

Известно устройство фирмы Canesta, Inc. [6], функциональная схема которого наиболее близка к предлагаемому изобретению и которое является его прототипом. Это устройство содержит инфракрасный (ИК) излучатель, создающий плоское поле излучения над контролируемой поверхностью, и матричный фотоприемник с объективом, расположенный консольно над поверхностью «виртуальной клавиатуры», поле зрения которого охватывает контролируемую поверхность. Приемная оптическая система связана с вычислительным устройством, в которое вводится оцифрованное изображение контролируемой поверхности. Касание пальцем либо каким-то указателем (стилусом), поверхности «виртуальной клавиатуры» вызывает отражение от пальца (стилуса) части ИК-излучения, формируемого излучателем, и его регистрацию приемной оптической системой. Определение координаты касания основано на решении системы уравнений, описывающей пространственное положение изображения подсвечиваемой части пальца на поверхности фотоприемника, входящего в состав приемной оптической системы, и поверхности, образуемой излучением, формируемым излучателем (триангуляционное уравнение). В результате определяются плоские координаты пальца (стилуса) на поверхности «виртуальной клавиатуры», и принимается решение о том, какая клавиша была «нажата».

Мобильное устройство для организации сенсорной плоскости, предлагаемое в данной заявке, отличается от известных расширенными функциональными возможностями, а именно тем, что оно позволяет организовать взаимодействие с персональным или планшетным компьютером, смартфоном и т.п. дистанционно, не пользуясь встроенными в них сенсорными поверхностями. Для этого оно выполнено в виде браслета, располагаемого на запястье, и позволяет пользователю в любой момент начать набор текста, рисование, редактирование, телефонные вызовы и пр. Кроме того, найдя в окружающей обстановке участок плоской поверхности (стол, окно, подоконник и т.п.), можно «превратить» эту поверхность в сенсорную. Оно содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя, подключенные к первому и второму входам специализированного вычислителя и размещаемые в фиксаторе. При этом телевизионные камеры формируют плоскости обзора, проходящие через определенную заранее строку изображения на фотоприемной матрице и оптический центр объектива каждой телевизионной камеры. Сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер и пересекает возможные положения пальцев кисти пользователя. Далее специализированным вычислителем фиксируется пересечение пальцем пользователя сенсорной плоскости и определяется пространственное положение этого пересечения. Кроме того, сторона фиксатора, противоположная той, которой он крепится к браслету, может иметь плоскую поверхность, параллельную сенсорной плоскости. Это позволяет, зафиксировав плоскую поверхность фиксатора с какой-либо плоскостью, получить тактильную обратную связь, возникающую при касании пальцем твердой поверхности, как и при работе с обычным сенсорным экраном или тачпэдом.

На фиг. 1 приведена функциональная схема предлагаемого устройства, где:

1, 2 - первая и вторая телевизионные камеры,

3 - инфракрасный излучатель,

4 - кисть пользователя,

5 - палец,

6 - браслет,

7 - фиксатор,

8 - специализированный вычислитель,

Ψ1, Ψ2 - телесные углы обзора первой (1) и второй (2) телевизионных камер,

Ω - поток, формируемый инфракрасным излучателем 3,

Φ1 - плоскость обзора первой телевизионной камеры 1,

Φ2 - плоскость обзора второй телевизионной камеры 2,

Θ - сенсорная плоскость.

На фиг. 2 иллюстрируется формирование сенсорной плоскости Θ, где:

M1 - фотоприемная матрица первой телевизионной камеры 1,

М2 - фотоприемная матрица второй телевизионной камеры 2,

O1 - оптический центр объектива первой телевизионной камеры 1,

O2 - оптический центр объектива второй телевизионной камеры 2,

C1 - центр фотоприемной матрицы M1,

C2 - центр фотоприемной матрицы М2,

П - точка, принадлежащая пальцу оператора,

O1 C1 - центральная оптическая ось первой телевизионной камеры 1,

O2 C2 - центральная оптическая ось второй телевизионной камеры 2,

f - фокусное расстояние объективов первой и второй телевизионных камер 1 и 2,

l - расстояние между оптическими центрами объективов O1 и O2,

SM1(1) - 1-я строка фотоприемной матрицы M1,

SM2(1) - 1-я строка фотоприемной матрицы М2.

SM1(n) - n-я строка фотоприемной матрицы М1,

SM2(n) - n-я строка фотоприемной матрицы М2,

SM1(i) - i-я строка фотоприемной матрицы M1,

SM2(i) - i-я строка фотоприемной матрицы М2,

x 1 П - координата изображения точки П на матрице M1,

x 2 П - координата изображения точки П на матрице М2.

На фиг. 3 приведен пример формирования изображений пальца 5, где:

5(t1) - положение пальца 5 в момент времени t1,

5(t2) - положение пальца 5 в момент времени t2,

IM1(t1) - изображение пальца 5 на фотоприемной матрице M1 в момент времени t1,

IM1(t2) - изображение пальца 5 на фотоприемной матрице M1 в момент времени t2,

IM2(t1) - изображение пальца 5 на фотоприемной матрице М2 в момент времени t1,

IM2(t2) - изображение пальца 5 на фотоприемной матрице М2 в момент времени t2.

На фиг. 4 приведена функциональная схема устройства, выполненного по второму пункту формулы изобретения, где:

9 - плоская поверхность фиксатора 7,

10 - рабочая поверхность.

На фиг. 5 приведен пример конструктивного исполнения устройства, где:

РСВ - печатная плата.

ξ - расстояние между сенсорной плоскостью и рабочей поверхностью.

Функционирование данного устройства иллюстрируется фиг. 1 и происходит следующим образом. Устройство охватывает запястье вблизи кисти пользователя 4 с помощью браслета 6. В фиксаторе 7, жестко связанном с браслетом 6, размещаются инфракрасный излучатель 3 и оптически сопряженные с ним две телевизионные камеры 1 и 2. Инфракрасный излучатель 3 создает подсветку, поток которой Ω, пересекает пальцы кисти 4, в том числе и палец 5.

На фиг. 2 показано, как на строке SM1(n) формируется изображение окружающей сцены, находящейся в плоскости Φ1, называемой далее плоскостью обзора первой телевизионной камеры 1.

Аналогично, на строке SM2(n), формируется изображение окружающей сцены, находящейся в плоскости Φ2, называемой далее плоскостью обзора второй телевизионной камеры 2.

Определим сенсорную плоскость

как пересечение плоскостей Φ1 и Φ2. Эта плоскость фактически является зоной стереообзора [7] телевизионных камер 1 и 2. При пересечении пальцем 5 сенсорной плоскости Θ в момент времени t2 изображения IM1(t2) и IM2(t2) будут пересекать строки SM1(n) и SM2(n) соответственно. В случае если оптические оси O1C1 и O2C2 параллельны, изменение номера n в направлении, указанном стрелкой α, вызывает перемещение плоскости Θ в направлении, указанном стрелкой β. Это позволяет пользователю при необходимости отрегулировать положение сенсорной плоскости Θ относительно кисти 4.

Выражение для вычисления координат точки П, соответствующей положению пальца 9, находящегося на пересечении с сенсорной плоскостью Θ, получено из фиг. 2 и имеет вид:

Мощность инфракрасного потока Ω, формируемая излучателем 3, должна быть достаточной, чтобы превысить уровень паразитных составляющих в изображениях окружающей сцены в видеосигналах первой и второй телевизионных камер 1 и 2. Таким образом, специализированный вычислитель 8, обнаружив в видеосигналах i-й строки обеих телевизионных камер 1 и 2 уровни, превышающие пороговые значения (например Uref1 и Uref2), принимает решение о наличии IM1(t2) и IM2(t2). Далее, фиксируя координаты x 1 П и x 2 П пересечения IM1(t2) и IM2(t2) с SM1(n) и SM2(n) соответственно, специализированный вычислитель 8 рассчитывает координаты точки пересечения пальцем 5 сенсорной плоскости Θ по формуле 1. Координаты XП и YП поступают далее в персональный компьютер, смартфон и т.п. для организации интерактивного взаимодействия с его программным обеспечением.

На фиг. 4 представлена модификация предлагаемого устройства, а именно фиксатор 7 на стороне, противоположной той, которой он скреплен с браслетом 6, дополнен плоскостью 9, оптически сопряженной с первой и второй телевизионными камерами, параллельной сенсорной плоскости Θ. Если в распоряжении пользователя есть участок плоской поверхности, например стола, работа с устройством может быть организованна следующим образом. Пользователь прижимает фиксатор 7 плоскостью 9 к рабочей поверхности 10. Далее он может прикоснуться к рабочей поверхности 10 и перемещать по ней палец 5, производя интерактивное взаимодействие с программным обеспечением. Для того чтобы это прикосновение происходило практически одновременно с пересечением сенсорной плоскости Θ, расстояние ξ между сенсорной плоскостью 0 и рабочей поверхностью 10 должно быть не больше нескольких миллиметров, благодаря чему кончик пальца проходит это расстояние практически мгновенно для пользователя.

На фиг. 5 иллюстрируется использование телевизионных камер типа OVM7675 фирмы Omni Vision [8], имеющих габариты 2.9×2.9×2.3 мм, что позволяет получить сенсорную плоскость Θ, находящуюся на расстоянии ξ от поверхности 10 не больше 1.5 мм. Конструктивно, телевизионные камеры и излучатель могут быть расположены на единой многослойной печатной плате 11, с обратной стороны которой размещается специализированный вычислитель 8.

Для передачи вычисленных значений координат в персональный компьютер, смартфон и т.п. устройство может быть снабжено средством беспроводной передачи данных, например Wi-Fi или Bluetooth.

Источники информации

1. Патент США №8228315 В1 от 24.01.2012 г.

2. Патент США №7333090 В2 от 19.02.2008 г.

3. Патент США №7259747 от 21.08.2007 г.

4. Патент США №7170492 В2 от 30.01.2007 г.

5. Публикация № US 2010/0199228 А1 от 05.08.2010 г.

6. Патент США №7006236 В2 от 28.02.2006 г.

7. В.В. Коротаев, А.В. Краснящих. Телевизионные измерительные системы. СПб.: СПбГУ ИТМО, 2008 г., стр. 43.

8. Материал фирмы Omni Vision. OV7695. VGA product brief. Verison 1.0, August 2012.

http://www.ovt.com/download_document.php?type=sensor&sensorid=124.

1. Мобильное устройство для организации сенсорной плоскости, содержащее источник подсветки и оптически сопряженную с ним телевизионную камеру, направленные в сторону пальцев пользователя, причем телевизионная камера подключена к входу вычислителя, отличающееся тем, что дополнительно содержит вторую телевизионную камеру, оптически сопряженную с первой и подключенную ко второму входу вычислителя, браслет и фиксатор, механически связанный с браслетом, причем браслет размещен на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе, причем сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер, в свою очередь, эти плоскости проходят через заданную строку изображения каждой телевизионной камеры и оптический центр ее объектива, в результате сенсорная плоскость пересекает возможное положение пальцев пользователя, а вычислитель фиксирует пересечение пальцами пользователя сенсорной плоскости и определяет пространственное положение этого пересечения.

2. Мобильное устройство для организации сенсорной плоскости по п. 1, отличающееся тем, что сторона фиксатора, противоположная той, которой он крепится к браслету, имеет плоскую поверхность, параллельную сенсорной плоскости.



 

Похожие патенты:

Изобретение относится к низкопрофильной системе обнаружения позиции. Технический результат - более точное определение позиции вводимого объекта.

Изобретение относится к автостереоскопическому устройству отображения, которое содержит отображающую панель, имеющую решетку пикселей дисплея для создания отображения и компоновку формирования изображений для направления различных ракурсов в разные пространственные положения.

Изобретение относится к устройствам отображения, а также к способам управлениями ими. Техническим результатом является обеспечение улучшенного доступа пользователей клиентских терминалов к требуемой информации на основе использования предыстории просмотра.

Изобретение относится к области отображения изображения. Техническим результатом является обеспечение возможности уменьшения уровня воспринимаемых пользователем остаточных изображений.

Изобретение относится к способам обработки изображений, отображаемых на электронных устройствах. Техническим результатом является обеспечение поддержания заданных цветовых свойств отображаемых изображений вне зависимости от значений их текстурных свойств.

Изобретение относится к преобразованию контента, а более конкретно, к новому пользовательскому интерфейсу взаимодействия между браузером в устройстве компьютерной техники (CE) и смартфоном, подключенным к нему с помощью беспроводного сетевого соединения.

Изобретение относится к твердотельному устройству считывания изображений, включающему блоки аналого-цифрового преобразования. Техническим результатом является обеспечение возможности сравнивать пиксельный сигнал с различными опорными сигналами для преобразования пиксельного сигнала в цифровой сигнал с высокой точностью, наряду с уменьшением масштаба схемы.

Изобретение относится к технологиям управления устройствами отображения. Техническим результатом является обеспечение управления контентом, просматриваемым множеством пользователей с использованием одного устройства дистанционного управления.

Изобретение относится к совместному использованию множества дисплеев и/или пользовательских интерфейсов для улучшения взаимодействия мобильных устройств. Технический результат - улучшение пользовательского интерфейса в мобильном устройстве за счет объединения дисплеев множества устройств для их совместного функционирования.

Изобретение относится к устройствам обработки информации. Технический результат заключается в обеспечении возможности одновременного просмотра данных, выходящих за дисплейную секцию.

Изобретение относится к устройству для отображения контента, а также к способу управления дисплеем электронного устройства и соответствующему носителю. Техническим результатом является обеспечение отображения дополнительной информации на искривленной части дисплея, а именно части следующей страницы контента в последовательном порядке.

Изобретение относится к управлению оповещением пользователя. Технический результат заключается в обеспечении возможности управления оповещением пользователя с использованием обнаруженных биосигналов.

Изобретение относится к средствам создания комплексного Интерфейса Пользователя (UI) посредством объединения отдельных UI-интерфейсов приложений. Технический результат заключается в обеспечении возможности эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах.

Изобретение относится к графическому пользовательскому интерфейсу. Технический результат заключается в обеспечении выполнения операций прокрутки в режиме, соответствующем отображаемым на экране изображениям или информации.

Группа изобретений относится к области устройств для ручного управления сенсорным экраном электронного устройства и может применяться для работы пользователя с игровыми приложениями.

Изобретение относится к области управления мобильными устройствами путем ввод команд посредством отслеживаемых жестов, а именно к способу захвата контента, выполняемому мобильным терминалом.

Изобретение относится к системам управления документами. Технический результат заключается в обеспечении возможности выгрузки файлов, управляемых файловой системой операционной системы посредством исполнения операции "перетащить и отпустить".

Изобретение относится к отображению меню установки устройства отображения изображения и, в частности, к устройству отображения изображения, которое выводит изображение в по меньшей мере одном из двумерного (2D) и трехмерного (3D) режимов.

Изобретение относится к устройствам ввода информации и может быть использовано для измерения емкости в емкостных датчиках касания. Предложены способы, системы и устройство, связанные с датчиками касания, которые выполнены с возможностью измерять емкостное касание и силу, приложенную к датчику пользователем.

Изобретение относится к технике оптических Touch-панелей, широко применяемых в торговле, электронных платежных системах, в игровых приложениях. Технический результат - упрощение подгонки сенсорной панели под требуемый размер, в том числе, с возможностью увеличения размера, возможность измерения скорости касания с сенсорной поверхностью.

Изобретение относится к области обработки электронных документов. Технический результат - обеспечение сокращения времени, необходимого для сборки файла документа, посредством параллельной организации рабочих процессов. Способ для использования параллельной обработки при формировании документа включает: назначение основным процессом множества задач обработки изображений множеству рабочих процессов, причем основной процесс создает рабочие процессы и продолжает обработку документа в то время, когда рабочие процессы выполняют свою соответствующую обработку; определение входных параметров для каждой задачи из множества задач, причем входные параметры содержат часть исходного документа и описание структуры этой части со ссылкой на элемент документа, требующий длительной обработки; и сборка основным процессом множества изображений, создаваемых рабочими процессами на основе элементов, требующих длительной обработки и определяющихся входными параметрами, в результирующий файл, соответствующий исходному документу. 3 н. и 20 з.п. ф-лы, 6 ил.

Устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов. Технический результат заключается в обеспечении возможности взаимодействия с персональными вычислительными устройствами дистанционно, не используя встроенные в них сенсорные поверхности. Устройство содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя и подключенные к первому и второму входам специализированного вычислителя. Кроме того, предлагаемое устройство содержит браслет и фиксатор, механически связанный с браслетом, причем браслет размещается на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе. Входящие в состав устройства телевизионные камеры формируют плоскости обзора, проходящие через заданную заранее строку изображения на фотоприемной матрице и оптический центр объектива, каждой телевизионной камеры, создавая сенсорную плоскость. При этом вычислителем фиксируется пересечение пальцем этой плоскости и определяется пространственное положение этого пересечения. 1 з.п. ф-лы, 5 ил.

Наверх