Мобильное устройство для организации сенсорной плоскости



Мобильное устройство для организации сенсорной плоскости
Мобильное устройство для организации сенсорной плоскости
Мобильное устройство для организации сенсорной плоскости
Мобильное устройство для организации сенсорной плоскости
Мобильное устройство для организации сенсорной плоскости
Мобильное устройство для организации сенсорной плоскости

 

G06F3/01 - Вводные устройства для передачи данных, подлежащих преобразованию в форму, пригодную для обработки в вычислительной машине; выводные устройства для передачи данных из устройств обработки в устройства вывода, например интерфейсы (пишущие машинки B41J; преобразование физических переменных величин F15B 5/00,G01; получение изображений G06T 1/00,G06T 9/00; кодирование, декодирование или преобразование кодов вообще H03M; передача цифровой информации H04L)

Владельцы патента RU 2577467:

Литманович Дмитрий Михайлович (RU)

Устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов. Технический результат заключается в обеспечении возможности взаимодействия с персональными вычислительными устройствами дистанционно, не используя встроенные в них сенсорные поверхности. Устройство содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя и подключенные к первому и второму входам специализированного вычислителя. Кроме того, предлагаемое устройство содержит браслет и фиксатор, механически связанный с браслетом, причем браслет размещается на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе. Входящие в состав устройства телевизионные камеры формируют плоскости обзора, проходящие через заданную заранее строку изображения на фотоприемной матрице и оптический центр объектива, каждой телевизионной камеры, создавая сенсорную плоскость. При этом вычислителем фиксируется пересечение пальцем этой плоскости и определяется пространственное положение этого пересечения. 1 з.п. ф-лы, 5 ил.

 

Предлагаемое устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов, применение которых постоянно растет.

Известен ряд устройств подобного назначения. Так, в [1] описывается система, осуществляющая проекцию изображения виртуальной клавиатуры на ладонь пользователя. Она включает в себя оптический проектор и телевизионную камеру, расположенные на дужках очков, и связанное с ними вычислительное устройство. Касание пальцем свободной руки изображения виртуальной клавиатуры в определенных точках фиксируется телевизионной камерой и передается в вычислительное устройство, которое определяет, с каким элементом виртуальной клавиатуры произошло касание пальца пользователя.

В [2] рассматривается мобильная носимая система, закрепляемая на предплечье, воспринимающая биопотенциалы соответствующих мышц, участвующих в выработке жестов, совершаемых пальцами кисти. Недостатком данной системы является сложная техническая реализация и низкая помехоустойчивость, необходимость ее индивидуальной калибровки.

В [3] предлагается устройство оцифровки движений конечностей на основе источника структурированной подсветки аналогично используемой в системе Kinect [4]. Однако устройства данного класса не предназначены для работы с малоразмерными объектами типа пальцев руки.

В [5] предложена интерактивная измерительная система, определяющая положения пальцев пользователя в области, ограниченной зонами обзора от двух до четырех и более телевизионных камер, отличающаяся возможностью 3D измерений, однако весьма громоздкая для мобильных приложений.

Известно устройство фирмы Canesta, Inc. [6], функциональная схема которого наиболее близка к предлагаемому изобретению и которое является его прототипом. Это устройство содержит инфракрасный (ИК) излучатель, создающий плоское поле излучения над контролируемой поверхностью, и матричный фотоприемник с объективом, расположенный консольно над поверхностью «виртуальной клавиатуры», поле зрения которого охватывает контролируемую поверхность. Приемная оптическая система связана с вычислительным устройством, в которое вводится оцифрованное изображение контролируемой поверхности. Касание пальцем либо каким-то указателем (стилусом), поверхности «виртуальной клавиатуры» вызывает отражение от пальца (стилуса) части ИК-излучения, формируемого излучателем, и его регистрацию приемной оптической системой. Определение координаты касания основано на решении системы уравнений, описывающей пространственное положение изображения подсвечиваемой части пальца на поверхности фотоприемника, входящего в состав приемной оптической системы, и поверхности, образуемой излучением, формируемым излучателем (триангуляционное уравнение). В результате определяются плоские координаты пальца (стилуса) на поверхности «виртуальной клавиатуры», и принимается решение о том, какая клавиша была «нажата».

Мобильное устройство для организации сенсорной плоскости, предлагаемое в данной заявке, отличается от известных расширенными функциональными возможностями, а именно тем, что оно позволяет организовать взаимодействие с персональным или планшетным компьютером, смартфоном и т.п. дистанционно, не пользуясь встроенными в них сенсорными поверхностями. Для этого оно выполнено в виде браслета, располагаемого на запястье, и позволяет пользователю в любой момент начать набор текста, рисование, редактирование, телефонные вызовы и пр. Кроме того, найдя в окружающей обстановке участок плоской поверхности (стол, окно, подоконник и т.п.), можно «превратить» эту поверхность в сенсорную. Оно содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя, подключенные к первому и второму входам специализированного вычислителя и размещаемые в фиксаторе. При этом телевизионные камеры формируют плоскости обзора, проходящие через определенную заранее строку изображения на фотоприемной матрице и оптический центр объектива каждой телевизионной камеры. Сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер и пересекает возможные положения пальцев кисти пользователя. Далее специализированным вычислителем фиксируется пересечение пальцем пользователя сенсорной плоскости и определяется пространственное положение этого пересечения. Кроме того, сторона фиксатора, противоположная той, которой он крепится к браслету, может иметь плоскую поверхность, параллельную сенсорной плоскости. Это позволяет, зафиксировав плоскую поверхность фиксатора с какой-либо плоскостью, получить тактильную обратную связь, возникающую при касании пальцем твердой поверхности, как и при работе с обычным сенсорным экраном или тачпэдом.

На фиг. 1 приведена функциональная схема предлагаемого устройства, где:

1, 2 - первая и вторая телевизионные камеры,

3 - инфракрасный излучатель,

4 - кисть пользователя,

5 - палец,

6 - браслет,

7 - фиксатор,

8 - специализированный вычислитель,

Ψ1, Ψ2 - телесные углы обзора первой (1) и второй (2) телевизионных камер,

Ω - поток, формируемый инфракрасным излучателем 3,

Φ1 - плоскость обзора первой телевизионной камеры 1,

Φ2 - плоскость обзора второй телевизионной камеры 2,

Θ - сенсорная плоскость.

На фиг. 2 иллюстрируется формирование сенсорной плоскости Θ, где:

M1 - фотоприемная матрица первой телевизионной камеры 1,

М2 - фотоприемная матрица второй телевизионной камеры 2,

O1 - оптический центр объектива первой телевизионной камеры 1,

O2 - оптический центр объектива второй телевизионной камеры 2,

C1 - центр фотоприемной матрицы M1,

C2 - центр фотоприемной матрицы М2,

П - точка, принадлежащая пальцу оператора,

O1 C1 - центральная оптическая ось первой телевизионной камеры 1,

O2 C2 - центральная оптическая ось второй телевизионной камеры 2,

f - фокусное расстояние объективов первой и второй телевизионных камер 1 и 2,

l - расстояние между оптическими центрами объективов O1 и O2,

SM1(1) - 1-я строка фотоприемной матрицы M1,

SM2(1) - 1-я строка фотоприемной матрицы М2.

SM1(n) - n-я строка фотоприемной матрицы М1,

SM2(n) - n-я строка фотоприемной матрицы М2,

SM1(i) - i-я строка фотоприемной матрицы M1,

SM2(i) - i-я строка фотоприемной матрицы М2,

x 1 П - координата изображения точки П на матрице M1,

x 2 П - координата изображения точки П на матрице М2.

На фиг. 3 приведен пример формирования изображений пальца 5, где:

5(t1) - положение пальца 5 в момент времени t1,

5(t2) - положение пальца 5 в момент времени t2,

IM1(t1) - изображение пальца 5 на фотоприемной матрице M1 в момент времени t1,

IM1(t2) - изображение пальца 5 на фотоприемной матрице M1 в момент времени t2,

IM2(t1) - изображение пальца 5 на фотоприемной матрице М2 в момент времени t1,

IM2(t2) - изображение пальца 5 на фотоприемной матрице М2 в момент времени t2.

На фиг. 4 приведена функциональная схема устройства, выполненного по второму пункту формулы изобретения, где:

9 - плоская поверхность фиксатора 7,

10 - рабочая поверхность.

На фиг. 5 приведен пример конструктивного исполнения устройства, где:

РСВ - печатная плата.

ξ - расстояние между сенсорной плоскостью и рабочей поверхностью.

Функционирование данного устройства иллюстрируется фиг. 1 и происходит следующим образом. Устройство охватывает запястье вблизи кисти пользователя 4 с помощью браслета 6. В фиксаторе 7, жестко связанном с браслетом 6, размещаются инфракрасный излучатель 3 и оптически сопряженные с ним две телевизионные камеры 1 и 2. Инфракрасный излучатель 3 создает подсветку, поток которой Ω, пересекает пальцы кисти 4, в том числе и палец 5.

На фиг. 2 показано, как на строке SM1(n) формируется изображение окружающей сцены, находящейся в плоскости Φ1, называемой далее плоскостью обзора первой телевизионной камеры 1.

Аналогично, на строке SM2(n), формируется изображение окружающей сцены, находящейся в плоскости Φ2, называемой далее плоскостью обзора второй телевизионной камеры 2.

Определим сенсорную плоскость

как пересечение плоскостей Φ1 и Φ2. Эта плоскость фактически является зоной стереообзора [7] телевизионных камер 1 и 2. При пересечении пальцем 5 сенсорной плоскости Θ в момент времени t2 изображения IM1(t2) и IM2(t2) будут пересекать строки SM1(n) и SM2(n) соответственно. В случае если оптические оси O1C1 и O2C2 параллельны, изменение номера n в направлении, указанном стрелкой α, вызывает перемещение плоскости Θ в направлении, указанном стрелкой β. Это позволяет пользователю при необходимости отрегулировать положение сенсорной плоскости Θ относительно кисти 4.

Выражение для вычисления координат точки П, соответствующей положению пальца 9, находящегося на пересечении с сенсорной плоскостью Θ, получено из фиг. 2 и имеет вид:

Мощность инфракрасного потока Ω, формируемая излучателем 3, должна быть достаточной, чтобы превысить уровень паразитных составляющих в изображениях окружающей сцены в видеосигналах первой и второй телевизионных камер 1 и 2. Таким образом, специализированный вычислитель 8, обнаружив в видеосигналах i-й строки обеих телевизионных камер 1 и 2 уровни, превышающие пороговые значения (например Uref1 и Uref2), принимает решение о наличии IM1(t2) и IM2(t2). Далее, фиксируя координаты x 1 П и x 2 П пересечения IM1(t2) и IM2(t2) с SM1(n) и SM2(n) соответственно, специализированный вычислитель 8 рассчитывает координаты точки пересечения пальцем 5 сенсорной плоскости Θ по формуле 1. Координаты XП и YП поступают далее в персональный компьютер, смартфон и т.п. для организации интерактивного взаимодействия с его программным обеспечением.

На фиг. 4 представлена модификация предлагаемого устройства, а именно фиксатор 7 на стороне, противоположной той, которой он скреплен с браслетом 6, дополнен плоскостью 9, оптически сопряженной с первой и второй телевизионными камерами, параллельной сенсорной плоскости Θ. Если в распоряжении пользователя есть участок плоской поверхности, например стола, работа с устройством может быть организованна следующим образом. Пользователь прижимает фиксатор 7 плоскостью 9 к рабочей поверхности 10. Далее он может прикоснуться к рабочей поверхности 10 и перемещать по ней палец 5, производя интерактивное взаимодействие с программным обеспечением. Для того чтобы это прикосновение происходило практически одновременно с пересечением сенсорной плоскости Θ, расстояние ξ между сенсорной плоскостью 0 и рабочей поверхностью 10 должно быть не больше нескольких миллиметров, благодаря чему кончик пальца проходит это расстояние практически мгновенно для пользователя.

На фиг. 5 иллюстрируется использование телевизионных камер типа OVM7675 фирмы Omni Vision [8], имеющих габариты 2.9×2.9×2.3 мм, что позволяет получить сенсорную плоскость Θ, находящуюся на расстоянии ξ от поверхности 10 не больше 1.5 мм. Конструктивно, телевизионные камеры и излучатель могут быть расположены на единой многослойной печатной плате 11, с обратной стороны которой размещается специализированный вычислитель 8.

Для передачи вычисленных значений координат в персональный компьютер, смартфон и т.п. устройство может быть снабжено средством беспроводной передачи данных, например Wi-Fi или Bluetooth.

Источники информации

1. Патент США №8228315 В1 от 24.01.2012 г.

2. Патент США №7333090 В2 от 19.02.2008 г.

3. Патент США №7259747 от 21.08.2007 г.

4. Патент США №7170492 В2 от 30.01.2007 г.

5. Публикация № US 2010/0199228 А1 от 05.08.2010 г.

6. Патент США №7006236 В2 от 28.02.2006 г.

7. В.В. Коротаев, А.В. Краснящих. Телевизионные измерительные системы. СПб.: СПбГУ ИТМО, 2008 г., стр. 43.

8. Материал фирмы Omni Vision. OV7695. VGA product brief. Verison 1.0, August 2012.

http://www.ovt.com/download_document.php?type=sensor&sensorid=124.

1. Мобильное устройство для организации сенсорной плоскости, содержащее источник подсветки и оптически сопряженную с ним телевизионную камеру, направленные в сторону пальцев пользователя, причем телевизионная камера подключена к входу вычислителя, отличающееся тем, что дополнительно содержит вторую телевизионную камеру, оптически сопряженную с первой и подключенную ко второму входу вычислителя, браслет и фиксатор, механически связанный с браслетом, причем браслет размещен на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе, причем сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер, в свою очередь, эти плоскости проходят через заданную строку изображения каждой телевизионной камеры и оптический центр ее объектива, в результате сенсорная плоскость пересекает возможное положение пальцев пользователя, а вычислитель фиксирует пересечение пальцами пользователя сенсорной плоскости и определяет пространственное положение этого пересечения.

2. Мобильное устройство для организации сенсорной плоскости по п. 1, отличающееся тем, что сторона фиксатора, противоположная той, которой он крепится к браслету, имеет плоскую поверхность, параллельную сенсорной плоскости.



 

Похожие патенты:

Изобретение относится к низкопрофильной системе обнаружения позиции. Технический результат - более точное определение позиции вводимого объекта.

Изобретение относится к автостереоскопическому устройству отображения, которое содержит отображающую панель, имеющую решетку пикселей дисплея для создания отображения и компоновку формирования изображений для направления различных ракурсов в разные пространственные положения.

Изобретение относится к устройствам отображения, а также к способам управлениями ими. Техническим результатом является обеспечение улучшенного доступа пользователей клиентских терминалов к требуемой информации на основе использования предыстории просмотра.

Изобретение относится к области отображения изображения. Техническим результатом является обеспечение возможности уменьшения уровня воспринимаемых пользователем остаточных изображений.

Изобретение относится к способам обработки изображений, отображаемых на электронных устройствах. Техническим результатом является обеспечение поддержания заданных цветовых свойств отображаемых изображений вне зависимости от значений их текстурных свойств.

Изобретение относится к преобразованию контента, а более конкретно, к новому пользовательскому интерфейсу взаимодействия между браузером в устройстве компьютерной техники (CE) и смартфоном, подключенным к нему с помощью беспроводного сетевого соединения.

Изобретение относится к твердотельному устройству считывания изображений, включающему блоки аналого-цифрового преобразования. Техническим результатом является обеспечение возможности сравнивать пиксельный сигнал с различными опорными сигналами для преобразования пиксельного сигнала в цифровой сигнал с высокой точностью, наряду с уменьшением масштаба схемы.

Изобретение относится к технологиям управления устройствами отображения. Техническим результатом является обеспечение управления контентом, просматриваемым множеством пользователей с использованием одного устройства дистанционного управления.

Изобретение относится к совместному использованию множества дисплеев и/или пользовательских интерфейсов для улучшения взаимодействия мобильных устройств. Технический результат - улучшение пользовательского интерфейса в мобильном устройстве за счет объединения дисплеев множества устройств для их совместного функционирования.

Изобретение относится к устройствам обработки информации. Технический результат заключается в обеспечении возможности одновременного просмотра данных, выходящих за дисплейную секцию.

Изобретение относится к устройству для отображения контента, а также к способу управления дисплеем электронного устройства и соответствующему носителю. Техническим результатом является обеспечение отображения дополнительной информации на искривленной части дисплея, а именно части следующей страницы контента в последовательном порядке.

Изобретение относится к управлению оповещением пользователя. Технический результат заключается в обеспечении возможности управления оповещением пользователя с использованием обнаруженных биосигналов.

Изобретение относится к средствам создания комплексного Интерфейса Пользователя (UI) посредством объединения отдельных UI-интерфейсов приложений. Технический результат заключается в обеспечении возможности эффективного использования данных или функций, по отдельности рассредоточенных на нескольких устройствах.

Изобретение относится к графическому пользовательскому интерфейсу. Технический результат заключается в обеспечении выполнения операций прокрутки в режиме, соответствующем отображаемым на экране изображениям или информации.

Группа изобретений относится к области устройств для ручного управления сенсорным экраном электронного устройства и может применяться для работы пользователя с игровыми приложениями.

Изобретение относится к области управления мобильными устройствами путем ввод команд посредством отслеживаемых жестов, а именно к способу захвата контента, выполняемому мобильным терминалом.

Изобретение относится к системам управления документами. Технический результат заключается в обеспечении возможности выгрузки файлов, управляемых файловой системой операционной системы посредством исполнения операции "перетащить и отпустить".

Изобретение относится к отображению меню установки устройства отображения изображения и, в частности, к устройству отображения изображения, которое выводит изображение в по меньшей мере одном из двумерного (2D) и трехмерного (3D) режимов.

Изобретение относится к устройствам ввода информации и может быть использовано для измерения емкости в емкостных датчиках касания. Предложены способы, системы и устройство, связанные с датчиками касания, которые выполнены с возможностью измерять емкостное касание и силу, приложенную к датчику пользователем.

Изобретение относится к технике оптических Touch-панелей, широко применяемых в торговле, электронных платежных системах, в игровых приложениях. Технический результат - упрощение подгонки сенсорной панели под требуемый размер, в том числе, с возможностью увеличения размера, возможность измерения скорости касания с сенсорной поверхностью.

Изобретение относится к области обработки электронных документов. Технический результат - обеспечение сокращения времени, необходимого для сборки файла документа, посредством параллельной организации рабочих процессов. Способ для использования параллельной обработки при формировании документа включает: назначение основным процессом множества задач обработки изображений множеству рабочих процессов, причем основной процесс создает рабочие процессы и продолжает обработку документа в то время, когда рабочие процессы выполняют свою соответствующую обработку; определение входных параметров для каждой задачи из множества задач, причем входные параметры содержат часть исходного документа и описание структуры этой части со ссылкой на элемент документа, требующий длительной обработки; и сборка основным процессом множества изображений, создаваемых рабочими процессами на основе элементов, требующих длительной обработки и определяющихся входными параметрами, в результирующий файл, соответствующий исходному документу. 3 н. и 20 з.п. ф-лы, 6 ил.
Наверх