Система и способ мультисенсорного взаимодействия и подсветки на основе камеры

Изобретения относятся к системе мультисенсорного взаимодействия и способу использования этой системы. Техническим результатом является обеспечение работы нескольких пользователей параллельно, двухрежимной работы системы, а именно мультисенсорный ввод пальцами и ввод пером одновременно. Система мультисенсорного взаимодействия на основе камеры для определения позиции и/или положения, по меньшей мере, одного объекта (25) перед поверхностью (16) взаимодействия включает в себя: узел (2) прибора подсветки; узел (1) камеры; вычислительный модуль для вычисления позиции и/или положения, по меньшей мере, одного объекта (25), причем плоскости одного или более веерообразных световых пучков (5, 26), формируемых узлом (2) прибора подсветки, являются практически параллельными поверхности (16) взаимодействия; и один или более указанных пучков (5, 26) фокусируются в направлении, практически перпендикулярном плоскости поверхности (16) взаимодействия, так что один или указанных пучков (5, 26) имеют практически постоянную толщину в упомянутом направлении. 2 н. и 22 з.п. ф-лы, 28 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к мультисенсорным интерактивным системам на основе камеры, например, с использованием устройств ввода на основе камеры и подсветки в видимом или инфракрасном диапазоне спектра для отслеживания объектов в области/пространстве, например, для отслеживания одного или более пальцев или пера для взаимодействия человека с компьютером; системы предоставляют определение двумерной позиции в пределах области и высоте над поверхностью области для предоставления фактических двумерных координат входа и для точного различения между фактическими состояниями взаимодействия, такими как "неактивное" (без отслеживания), "наведение" (отслеживание без касания, иногда также указывается как "в зоне наведения") и "касание". Настоящее изобретение также относится к устройствам и интерфейсам многомодального ввода, которые, например, дают возможность сенсорного ввода пером и пальцами, а также выполнены с возможностью обрабатывать несколько объектов одновременно, например, к устройству мультисенсорного компьютерного ввода. Кроме того, изобретение относится к способам ввода жеста с использованием устройств трехмерного ввода и тем самым захвата положения, например, руки или пальца человека, и их последовательность может распознаваться в качестве команд на основе жестов и/или вводов на основе позиции и ориентации для трехмерного управления.

Уровень техники

Отслеживание на основе камеры объектов для взаимодействия человека с компьютерами, в частности, отслеживание рук и пальцев, привлекает научный, промышленный и коммерческий интерес в течение нескольких десятилетий. Обзоры достижений в этой вычислительно-сложной области техники приведены в работах авторов Pavlovic и др., IEEE Trans. "Pattern Analysis and Machine Intelligence", издание 19, № 7, стр. 677-695, 1997 год, и авторов Zhou и др., IEEE Int. Symposium on Mixed and Augmented Reality, стр. 193-202, 2008 год. Во многих указанных технологиях объекты наблюдаются с нескольких различных точек обзора посредством одной или более камер, чтобы уменьшать зависимость от затемнений, а также для надежного отслеживания и интерпретации жестов.

Для отслеживания на основе одной камеры касания пальцами и жестов пальцами или руками такие признаки, как тени, контуры, текстура, силуэт и градиенты изображений этих объектов и даже их зеркального изображения, отражаемого обратно от глянцевой поверхности отображения, извлекаются и используются для того, чтобы обновлять различные системы отслеживания на основе модели, чтобы вычислять положение пальца или руки и определять, например, касание пальцем в реальном времени.

В качестве примера интеллектуального извлечения признаков опубликованная заявка на патент (США) № US2010/0066675A1 описывает систему сенсорного экрана для формирования изображений на основе одной камеры и извлечение признаков на основе наблюдения того, что тень от пальца, подсвеченного посредством прибора подсветки сбоку, в итоге загораживается посредством пальца при касании экрана, так что тень напоминает палец без касания, при этом тень существенно сужается, когда палец касается поверхности, так что может быть определено касание. Тем не менее, заявка включает в себя независимый пункт формулы изобретения, который предполагается посредством общедоступной научной статьи 2005 года автором изобретения Andrew D. Wilson (ACM Proc. UIST' 2005, стр. 83-92).

Предыдущие опубликованные заявки на патент номера WO9940562 (A1), US006100538A и US2010188370 (A1) в принципе описывают системы отслеживания объектов с использованием касания пальцами или ввода пером, в которых, по меньшей мере, две точки обзора камеры располагаются на внешней границе координатной плоскости для того, чтобы определять координаты объекта, например, указательного пальца, посредством триангуляции.

Опубликованная международная PCT-заявка на патент № WO9940562 (A1) описывает систему для определения касания пером и пальцами перед экраном компьютерного монитора посредством использования одной камеры и посредством перископической оптической системы, состоящей из одного или нескольких плоских зеркал, записи двух изображений экрана, обращенных сбоку к зоне непосредственно перед экраном, чтобы определять координаты пера или пальца и расстояние до экрана.

Опубликованная заявка на патент (США) № US006100538A описывает оптический цифрователь для определения позиции указывающего объекта, проецирующего свет и располагаемого на координатной плоскости, и детектор, расположенный на периферии координатной плоскости. Предпочтительно пара линейных датчиков изображений имеет поле зрения, закрывающее координатную плоскость, так что они выступают в качестве детектора, и коллиматор располагается с возможностью ограничивать высоту поля зрения детектора. Детектор выполнен с возможностью принимать только параллельный компонент света, который проецируется из указывающего объекта практически параллельно к координатной плоскости, и экран располагается с возможностью не допускать вхождения шумового света, отличного от проецируемого света, в ограниченное поле зрения детектора. Предусмотрен процессор для вычисления координат, представляющих позицию указывающего объекта.

Опубликованная заявка на патент (США) № US2010188370 (A1) описывает сенсорную систему на основе камер, включающую в себя, по меньшей мере, две камеры, имеющие перекрывающиеся поля зрения, размещенные вдоль периферии и типично в углах сенсорной поверхности, чтобы определять позицию указателя посредством триангуляции и определять касание указателем и наведение указателя над сенсорной поверхностью.

Выданный патент (Китай) № CN201331752 описывает многоточечную сенсорную систему для прозрачного дисплея. Система использует подсветку проекционной световой плоскости с задней стороны с помощью света в инфракрасном диапазоне спектра и работает посредством наблюдения подсветки кончиков пальцев посредством инфракрасной сенсорной CCD-камеры с задней стороны.

Выданный патент (Европа) № EP1336172 описывает устройство и способ для устройства ввода для определения и локализации взаимодействий пользовательских объектов с виртуальным устройством ввода. Устройство выполнено с возможностью работать с карманными устройствами на основе определения объектов, проникающих через световую плоскость.

В опубликованной заявке на патент (Корея) № KR20100109420A (Dongseo Technology Headquarters) описывается система интерактивного отображения на мультисенсорной основе для свободного выполнения взаимодействия с контентом. Система выполнена с возможностью предоставлять интерактивную область на экране, чтобы упрощать функцию взаимодействия с контентом, представленным в области взаимодействия. Кроме того, система использует матричную решетку инфракрасных (IR) светоизлучающих диодов (светодиодов) для того, чтобы формировать взаимодействующий слой, подсвеченный посредством инфракрасного излучения. IR-камера используется в системе для того, чтобы формировать изображение отраженного инфракрасного излучения от человеческого тела или объекта, касающегося взаимодействующего слоя. Сервер, включающий в себя вычислительные аппаратные средства, используется для того, чтобы вычислять значения координат позиции взаимодействия человеческого тела или объекта из сигналов, сформированных посредством IR-камеры.

В опубликованной международной PCT-заявке на патент номер WO 02/054169A1 описываются устройство ввода данных и ассоциированный способ. Устройство включает в себя прибор подсветки, который выполнен с возможностью подсвечивать, по меньшей мере, одну плоскость контакта посредством направления света вдоль, по меньшей мере, одной плоскости контакта. Кроме того, устройство включает в себя датчик двумерных изображений, просматривающий, по меньшей мере, одну плоскость контакта из местоположения за пределами, по меньшей мере, одной плоскости контакта для считывания света из прибора подсветки, рассеянного посредством вхождения в контакт объекта ввода данных, например, пальца пользователя, по меньшей мере, с одной плоскостью контакта. Кроме того, устройство включает в себя процессор ввода данных для приема вывода из датчика двумерных изображений и предоставления ввода данных в функциональную схему.

В опубликованной международной PCT-заявке на патент номер WO 2004/072843A1 описывается сенсорный экран, который использует источники света на одном или более краев экрана. Один или более источников света направляют свет через поверхность экрана. Также включены две камеры, имеющие электронные выводы, при этом две камеры находятся на внешней границе экрана таким образом, что они принимают свет из источников света. Процессор данных также включен с возможностью принимать выводы двух камер и выполнен с возможностью осуществлять один или более программных продуктов для выполнения триангуляционных вычислений для определения одного или более местоположений одного или более объектов в непосредственной близости от экрана. Определение присутствия объекта включает в себя определение в двух камерах присутствия или отсутствия прямого света вследствие объекта с использованием поверхности экрана в качестве зеркала. Камеры используются для того, чтобы определять присутствие или отсутствие отраженного света вследствие объекта на поверхности. Необязательно источники света модулируются, чтобы предоставлять излучение в двух камерах в полосе пропускания сенсорного излучения двух камер.

В общем, важно, чтобы намерения и команды пользователя корректно распознавались в системах человеко-машинного взаимодействия. Точность определения позиции объекта в отношении ординат X и Y в используемой координатной плоскости может представлять или не представлять важность в зависимости от ситуации, а именно является зависимой от варианта применения. Следовательно, сенсорные системы на основе использования пальцев являются привлекательными, если требуется, например, умеренная точность для перемещения или выбора графических объектов или осуществления доступа к меню, тогда как стилус или перо являются предпочтительными, когда требуется наибольшая точность, например, для приложений, связанных с точным написанием либо прорисовкой или обработкой деталей и объектов в CAD-программах. Следовательно, в системе на основе использования пальцев извлечение признаков и надежная эвристика для определения координат пальца могут быть достаточными на основе двумерного изображения из одной камеры.

Тем не менее, для всех типов приложений высокая точность, связанная с определением касания пальцем или пером, имеет важнейшее значение и не должна ухудшаться, поскольку в этом случае пользователь может терять контроль над приложением. Следовательно, высокое и постоянное качество определения состояния касания требуется в каждой позиции в координатной плоскости, которая используется. Кроме того, способ определения не должен быть зависимым от изменений размера пальца, цвета кожи, условий окружающего освещения, света от дисплеев и т.д., и определение должно быть быстрым и равномерным над координатной плоскостью и без каких-либо негативных последствий вследствие поведения пользователя или задержки.

В настоящее время существует большой интерес к системам взаимодействия с использованием пера, касания или и того, и другого (двухрежимные системы) для обучения, совместной работы и переговоров. Несколько новых платформ взаимодействия также дают возможность простого управления на основе жестов с помощью пера или пальцев и/или даже взаимодействия на основе жестов руками. В частности, существует большой глобальный интерес к интерактивным планшетным компьютерам и электронным доскам для использования при обучении как в обычных классах, так и в больших лекционных залах. Такие электронные доски также приспосабливаются в современных помещениях для проведения встреч и переговоров, помещениях для проведения видеоконференций и помещениях для совместной работы. Изображения на координатной плоскости интерактивной электронной доски могут быть сформированы в качестве проецируемого изображения из информационного проектора с небольшим проекционным расстоянием или большим проекционным расстоянием либо посредством плоского экрана; плоский реализуется, например, в качестве жидкокристаллического устройства отображения, плазменного дисплея, OLED-устройства или рипроекционной системы. Важно, чтобы устройство ввода для касания и/или пера могло быть использовано вместе со всеми типами технологий на основе дисплеев без снижения качества изображения или износа ассоциированного оборудования. Кроме того, важно, чтобы технология на основе устройств ввода могла легко приспосабливаться к различным экранам, проекторам и модулям отображения при низких затратах и небольших усилиях.

Новые интерактивные электронные доски обычно оснащаются проекторами с небольшим проекционным расстоянием, например, проекторами со сверхширокоугольной линзой, размещенной на коротком расстоянии над ассоциированным экраном. Такой способ работы приводит к меньшему раздражению пользователя вследствие света в глаза и зачастую отбрасывает меньше теней на экран, и проектор может монтироваться непосредственно на стену вместе с электронной доской. Следовательно, идеальное устройство ввода для пера и касания для таких систем с небольшим проекционным расстоянием должно быть интегрировано или подсоединено рядом с настенным проектором либо присоединено к настенному держателю для проекторов, что делает установку простой и надежной.

В лекционных залах требуются очень длинные интерактивные электронные доски и интерактивные пространства, и эти поверхности взаимодействия преимущественно должны предоставлять управление на основе касания, пера и жестов. На экранах большого формата зачастую требуются джойстики и лазерные указатели для того, чтобы привлекать внимание публики. Предпочтительная технология ввода должна подходить ко всем таким разнообразным требованиям, а именно должна также принимать джойстики и лазеры в качестве инструмента пользовательского ввода и быть толерантной и адаптируемой к различным форматам отображения.

Кроме того, для технологий на основе плоских экранов, возможно, требуется работа с использованием касаний и/или пера, простое взаимодействие на основе жестов с помощью пера и/или касаний и, в конечном счете, управление на основе жестов руками. Сенсорные пленки, уложенные поверх плоского экрана, не могут определять наведение или жесты в воздухе. Чистые системы на основе электромагнитных датчиков позади плоского экрана не могут определять касание пальцами или жесты пальцами, и возможна только работа с использованием пера. Тем не менее, некоторые типы технологий на основе плоских дисплеев, в частности, OLED-дисплеи, могут быть прозрачными, так что технологии на основе камер могут использоваться для управления на основе жестов через экран. Если системы двухрежимного ввода, включающие в себя наведение и жесты, будут приобретать всю большую важность и стандартизироваться для предоставления эффективного и естественного пользовательского интерфейса, то таким образом системы оптического ввода также станут предпочтительными для плоских интерактивных экранов вместо емкостных или резистивных пленок или электромагнитных решений. Следовательно, предпочтительная технология на основе устройств ввода должна быть оптической и должна быть подходящей для приспособления как к традиционным плоским экранам (LCD, плазменным, светодиодным), так и к прозрачным плоским экранам, таким как OLED и рипроекционные экраны.

Устройства ввода не должны быть зависимыми от источников света, таких как дневной свет, освещение помещения, свет из проектора или экрана отображения и т.д. Кроме того, устройства ввода не должны быть зависимыми от излучения в ближнем инфракрасном диапазоне спектра вследствие солнечного света, искусственного света или пультов дистанционного управления и т.п., которые используют светоизлучающие диоды в ближнем инфракрасном диапазоне спектра для связи. Кроме того, устройства ввода дополнительно должны демонстрировать высокую скорость обновления координат и обеспечивать небольшое время задержки для достижения наилучших возможностей работы пользователей.

Устройства ввода предпочтительно должны быть адаптируемыми к внедрению в существующую инфраструктуру, например, для того, чтобы модернизировать существующую установленную модель интерактивной электронной доски на основе пера, чтобы также давать возможность управления на основе касаний пальцами и жестов руками, либо модернизировать помещение для обучения или проведения встреч и переговоров, уже оснащенное установленным проектором или плоским экраном, либо становиться интерактивными за счет простой установки самого устройства ввода.

В некоторых сценариях технология ввода может быть применимой даже без интерактивной обратной связи на самой поверхности для написания, например, посредством точного захвата мазков от мела и губки на традиционной классной доске и распознавания жестов руками для управления компьютером; либо посредством захвата обычного использования ручки и бумаги (в том числе перечеркиваний) и простых жестов для управления компьютером; либо посредством захвата информации пользователя посредством заполнения бумажной формы или анкетного опроса, включающего в себя подпись, в то время как результат сохраняется в компьютере, и ввод или некоторая интерпретация ввода показывается посредством обычного экрана компьютера или посредством подключенного дисплея или проектора для справки пользователю и аудитории. Это означает то, что должна быть возможность автономного или раздельного от затратной технологии на основе дисплеев использования устройства ввода в случаях, если этот тип инфраструктуры недоступен или не требуется.

Аналогично тому, как интерактивные электронные доски заменяют традиционный мел и классную доску в образовательных учреждениях, новые интерактивные пространства появляются в других сферах деятельности. Многопользовательские интерактивные вертикальные и горизонтальные поверхности появляются в помещениях для совместной работы и диспетчерских, музеях и выставках. Кроме того, интерактивные пространства, включающие в себя интерактивные гостевые столики, монтируются в современных коммерческих заведениях, таких как бары, казино, кафе, магазины, чтобы позволить гостям выбрать из меню, сделать заказ и произвести оплату, а также для развлечений, например, для компьютерных игр, просмотра Интернета или чтения новостей.

Тем не менее, современная проблема заключается в том, что устройства ввода для мониторинга перемещений при касании и/или наведении в интерактивном пространстве не являются достаточно точными и разрабатываются для того, чтобы разрешать потребности множества систем ввода и отображения информации. Настоящее изобретение создано для того, чтобы, по меньшей мере, частично разрешать эти современные проблемы.

Сущность изобретения

Цель настоящего изобретения заключается в том, чтобы предоставлять системы, включающие в себя интерактивные пространства для взаимодействия человека с компьютером, обеспечивающие работу нескольких пользователей параллельно, обеспечивающие двухрежимную работу, а именно мультисенсорный ввод пальцами и ввод пером одновременно, а также ввод на основе положений пальцев и рук, и захват последовательностей команд на основе положений и жестов человека для усовершенствованного многомодального человеко-машинного взаимодействия.

Дополнительная цель настоящего изобретения заключается в том, чтобы предоставлять двухрежимную систему мультисенсорного ввода, которая должна быть использована совместно или интегрирована в информационные проекторы для настенного и настольного монтажа и плоские дисплеи, чтобы сделать такие системы интерактивными, а также модернизировать существующую интерактивную электронную доску на основе пера так, что она включает в себя мультисенсорный ввод.

Согласно первому аспекту изобретения, предусмотрена система по пункту 1 прилагаемой формулы изобретения 1: предусмотрена система мультисенсорного взаимодействия на основе камеры для определения позиции и/или положения, по меньшей мере, одного объекта перед передней поверхностью взаимодействия, при этом система включает в себя:

- узел прибора подсветки для формирования одного или более плоских веерообразных световых пучков светового излучения в видимом и/или в ближнем инфракрасном диапазоне спектра;

- узел камеры для считывания поверхности взаимодействия в поле зрения камеры с тем, чтобы формировать соответствующие сигналы;

- вычислительный модуль для вычисления позиции и/или положения, по меньшей мере, одного объекта, перехватывающего один или более плоских веерообразных световых пучков, на основе сигналов, предоставленных из камеры, отличающаяся тем, что:

- один или более веерообразных световых пучков формируются при работе таким образом, что их плоскости являются практически параллельными поверхности взаимодействия; и

- один или более веерообразных световых пучков фокусируются в направлении, практически перпендикулярном плоскости поверхности взаимодействия, так что один или более веерообразных пучков имеют практически постоянную толщину относительно ортогонали к плоскости поверхности взаимодействия, для повышения интенсивности света, а также для того, чтобы повышать точность определения положения, по меньшей мере, одного объекта, предоставляемого посредством системы.

Система имеет преимущество в том, что один или более веерообразных пучков обеспечивают возможность достижения более точного определения позиции одного или более объектов относительно поверхности.

Необязательно система реализуется таким образом, что один или более веерообразных световых пучков подсвечивают поверхность взаимодействия, так что улучшается определение касания объекта с поверхностью взаимодействия.

Необязательно система реализуется с возможностью определять позицию наведения, по меньшей мере, одного объекта в отношении поверхности взаимодействия.

Необязательно система реализуется с возможностью формировать множество веерообразных световых пучков, при этом каждый веерообразный световой пучок располагается с возможностью подсвечивать соответствующую пространственную область около поверхности взаимодействия, так что соответствующие пространственные области веерообразных световых пучков обеспечивают прилегающую подсветку всей области около поверхности взаимодействия.

Необязательно система реализуется таким образом, что один или более веерообразных световых пучков при работе выполнены с возможностью подсвечивать зону, смежную с поверхностью взаимодействия, а не саму поверхность взаимодействия.

Необязательно система реализуется таким образом, что узел прибора подсветки включает в себя источники света, которые выполнены с возможностью избирательной модуляции по интенсивности для улучшения определения касания одного или более объектов на поверхности взаимодействия, наведения и/или уровня наведения одного или более объектов относительно поверхности взаимодействия. Также необязательно, система реализуется таким образом, что источники света выполнены с возможностью избирательного включения и выключения. Также необязательно система реализуется таким образом, что источники света выполнены с возможностью работы в режиме мигания в пределах активного периода считывания узла камеры для эффективной заморозки движений одного или более объектов.

Необязательно система реализуется таким образом, что узел камеры включает в себя один или более оптических фильтров для избирательного блокирования или прохождения излучения, которое должно быть принято посредством датчиков узла камеры, в зависимости от длины волны излучения. Также необязательно один или более оптических фильтров выполнены с возможностью обеспечивать прохождение света, перехваченного посредством одного или более объектов, с диапазоном длин волн, идентичным диапазону длин волн света, излучаемого из узла прибора подсветки, в датчики камеры. Также необязательно один или более оптических фильтров выполнены с возможностью обеспечивать прохождение только света в видимом диапазоне спектра для захвата изображений из проектора или плоского экрана на поверхности взаимодействия.

Необязательно система реализуется таким образом, что узел прибора подсветки включает в себя множество источников света для формирования одного из более веерообразных световых пучков так, что они включают в себя излучение при длинах волн в ближнем инфракрасном диапазоне спектра, при этом узел камеры включает в себя один или более оптических фильтров, которые блокируют длины волн излучения в видимом диапазоне спектра и пропускают длины волн излучения в ближнем инфракрасном диапазоне спектра, чтобы уменьшать чувствительность системы к другим источникам света, включающим в себя одно или более из следующего: дневной свет, освещение помещения, свет от проекторов, свет от дисплеев.

Необязательно система реализуется таким образом, что она подлежит интеграции в новое оборудование или встраиванию в существующее оборудование и выполнена с возможностью обеспечения интерактивности такого оборудования.

Необязательно система реализуется как фронт- или рипроекционное устройство.

Необязательно система выполнена с возможностью функционального монтажа или интегрирования в настенные держатели для проекторов или экранные держатели, включающие в себя, по меньшей мере, одно из следующего: LCD, OLED, LED, CRT.

Необязательно система реализуется таким образом, что узел прибора подсветки включает в себя один или более корпусов, соответствующие длины которых для ассоциированных оптических компонентов подсветки имеют достаточно большую длину для обеспечения достаточной тонкости различных слоев сфокусированных веерообразных световых пучков, чтобы повышать разрешение и точность системы по отношению к касанию и жестам в направлении по оси Z одного или более объектов относительно поверхности взаимодействия.

Необязательно система реализуется таким образом, что узел прибора подсветки включает в себя один или более светоизлучающих лазерных диодов, которые выполнены с возможностью испускать излучение в ближнем инфракрасном диапазоне спектра для дополнительного уменьшения толщины одного или более веерообразных световых пучков в направлении, ортогональном к плоскости взаимодействия.

Необязательно система реализуется таким образом, что узел камеры реализуется с использованием пиксельных CCD- или CMOS-датчиков, и узел прибора подсветки реализуется с использованием светодиодов в ближнем инфракрасном диапазоне спектра и ассоциированных оптических компонентов, адаптированных с возможностью пропускать и/или отражать излучение в ближнем инфракрасном диапазоне спектра.

Необязательно система реализуется таким образом, что узел прибора подсветки включает в себя:

- выпуклую линзу для предоставления фокусировки излучения, пропущенного через нее;

- множество источников подсветки, при этом источники подсветки размещаются со значительным разнесением вдоль части периферии круга, имеющего центр в центральной оси линзы, чтобы обеспечивать концентрированную интенсивность излучения в секторах сфокусированного веерообразного светового пучка, а также помогать в распределении ассоциированной теплоотдачи;

- перегородку, размещенную с возможностью ограничивать подсветку из источников подсветки приблизительно половиной диаметра выпуклой линзы; и

- коническое зеркало для того, чтобы изменять ось симметрии таким образом, что она является практически параллельной поверхности взаимодействия.

Также необязательно система реализуется таким образом, что коническое зеркало имеет угол отражающей поверхности, который выполнен с возможностью наклонять оптическую ось симметрии световых пучков из узла прибора подсветки, формирующего веерообразные световые пучки, к поверхности взаимодействия.

Также необязательно система реализуется таким образом, что перегородка выполнена с возможностью не допускать подсвечивания противоположной части выпуклой линзы посредством световых лучей из каждого источника подсветки узла прибора подсветки с воспринимаемым размером источника, тем самым фактически исключая пересечение общей оптической оси линзы и конического зеркала посредством световых лучей.

Также необязательно система реализуется таким образом, что узел прибора подсветки дополнительно включает в себя коническое зеркало, размещенное таким образом, что его угол отражающей поверхности выполнен с возможностью компенсировать оси источников света, используемых для того, чтобы формировать один или более веерообразных световых пучков, не совмещенных с центральной осью выпуклой линзы.

Необязательно система реализуется таким образом, что один или более веерообразных световых пучков имеют ассоциированные передние границы, которые размещаются с достаточным разнесением от поверхности взаимодействия, чтобы подсвечивать область, соответствующую всей поверхности взаимодействия, так что задние границы по существу ограничены посредством поверхности взаимодействия.

Согласно второму аспекту изобретения, предусмотрено устройство для использования в реализации системы в соответствии с первым аспектом изобретения.

Согласно третьему аспекту изобретения, предусмотрен способ использования системы мультисенсорного взаимодействия на основе камеры для определения позиции и/или положения, по меньшей мере, одного объекта перед поверхностью взаимодействия, при этом система включает в себя:

- узел камеры для считывания поверхности взаимодействия в поле зрения камеры с тем, чтобы формировать соответствующие сигналы;

- вычислительный модуль для вычисления позиции и/или положения, по меньшей мере, одного объекта, перехватывающего один или более плоских веерообразных световых пучков, на основе сигналов, предоставленных из камеры, отличающийся тем, что способ включает в себя:

- формирование одного или более веерообразных световых пучков при работе таким образом, что их плоскости являются практически параллельными поверхности взаимодействия; и

- фокусировку одного или более веерообразных световых пучков в направлении, практически перпендикулярном плоскости поверхности взаимодействия, так что один или более веерообразных пучков имеют практически постоянную толщину относительно ортогонали к плоскости поверхности взаимодействия, для повышения интенсивности света, а также для того, чтобы повышать точность определения положения, по меньшей мере, одного объекта, предоставляемого посредством системы.

Необязательно способ выполнен с возможностью предоставления усовершенствованного пользовательского мультисенсорного взаимодействия для образовательного и делового рынка, для предоставления небольших и средних дисплеев, для предоставления больших и широких электронных досок для школьных аудиторий и лекционных залов, для использования с или без дисплея в обучении, для интерактивных информационных табло, а также в музеях и на выставках.

Согласно четвертому аспекту изобретения, предусмотрена система, включающая в себя устройство ввода для человеко-машинной связи или, синонимично, человеко-машинного взаимодействия, для отслеживания позиции объекта в пределах поверхности взаимодействия или, синонимично, координатной плоскости, для определения состояний наведения и/или касания в зоне взаимодействия, расположенной на поверхности взаимодействия в диапазоне высот, и/или для распознавания положения объекта, отличающаяся тем, что система включает в себя:

- камеру для захвата изображения с использованием света в видимом диапазоне спектра и/или света в ближнем инфракрасном диапазоне спектра; по меньшей мере, одну световую плоскость веерообразных пучков в видимом и/или в ближнем инфракрасном диапазоне спектра, в частности, совмещенную с координатной плоскостью, и вычислительный модуль;

- при этом поле зрения камеры включает в себя как координатную плоскость, так и, по меньшей мере, одну плоскость веерообразных световых пучков;

- при этом вычислительный модуль выполнен с возможностью вычислять из сигналов, сформированных посредством камеры, координаты объекта и/или его состояние наведения и/или касания, и/или характеристики положения на основе одного изображения, принимаемого посредством вычислительного модуля, и/или при этом модуль вычисления выполнен с возможностью вычислять из сигналов, сформированных посредством камеры, перемещение объекта и/или жесты объекта на основе последовательности изображений.

В контексте настоящего изобретения следует понимать, что световая плоскость является непрерывным сегментом зоны для подсветки, предоставляемым посредством одного или более сфокусированных веерообразных световых пучков, при этом каждый веерообразный световой пучок является узким, вееровидным пучком световых лучей в видимом или в ближнем инфракрасном диапазоне спектра, а именно с небольшой шириной пучка за счет фокусировки при возвышении и большой шириной пучка при азимуте, причем углы возвышения и азимутальные углы связаны с плоскостью поверхности взаимодействия. Сфокусированный веерообразный световой пучок является практически параллельным или сходится к поверхности взаимодействия, а именно с возвышением на нулевой или небольшой отрицательный угол. Один или более сфокусированных веерообразных световых пучков преимущественно формируют непрерывный сегмент зоны для подсветки в зоне взаимодействия, которая, в описании настоящего изобретения, для простоты обозначается посредством световой плоскости, при этом более полным обозначением является узкая подсветка непрерывного сегмента зоны посредством одного или более сфокусированных веерообразных световых пучков в видимом и/или в ближнем инфракрасном диапазоне спектра.

Камера содержит CCD- или CMOS-кристалл для формирования изображений и т.п. для захвата двумерных изображений и линзу и т.п. с полем зрения, которое является достаточно большим для включения в себя координатной плоскости, зоны и с достаточным качеством формирования оптических изображений для фактических диапазонов длин волн, адаптированных к фактическому разрешению кристалла для формирования изображений. Камера необязательно альтернативно реализуется с использованием сканированного датчика, включающего в себя линейную матрицу элементов пиксельного датчика или даже один чувствительный элемент, сканируемый, по меньшей мере, в двух координатных направлениях.

В некоторых предпочтительных вариантах осуществления настоящего изобретения узлы прибора подсветки необязательно управляются посредством управляющего выключателя таким образом, чтобы избирательно включать и выключать подсветку для различных изображений.

В некоторых предпочтительных вариантах осуществления настоящего изобретения узел источника подсветки в узле подсветки управляется в режиме мигания в пределах активного периода экспозиции камеры, чтобы замораживать движения, связанные с движущимися объектами.

В некоторых предпочтительных вариантах осуществления настоящего изобретения камера содержит оптический фильтр, чтобы блокировать нежелательный свет, а именно свет из плоского дисплея или экрана проектора и/или окружающий свет, при обеспечении возможности прохождения света с идентичным диапазоном длин волн в качестве подсветки.

В некоторых предпочтительных вариантах осуществления настоящего изобретения камера содержит один или более выбираемых оптических фильтров, которые избирательно блокируют или обеспечивают прохождение света различных диапазонов длин волн; например, для некоторых изображений обеспечивается прохождение света с диапазоном длин волн, идентичным диапазону длин волн подсветки, тогда как для других изображений обеспечивается прохождение света только для длин волн света в видимом диапазоне спектра для последующего захвата изображений из проектора или плоского экрана.

В некоторых предпочтительных вариантах осуществления, настоящее изобретение может быть комбинировано с нововведениями, описанными в опубликованных заявках на патент номера WO 2002027461 и US7083100B2 и/или WO2006135241A1 и US2009040195A1, которые содержатся в данном документе по ссылке. Эти нововведения связаны с объектами, которые оснащаются шаблонами, которые являются наблюдаемыми в данном диапазоне длин волн на поверхности и/или в теле и/или проецируются на экран, в качестве приборов для более точного отслеживания и/или для более точной идентификации объекта, и/или для определения состояния различных средств управления пользовательским взаимодействием, например, кнопок и т.д., которые согласно вышеуказанным нововведениям могут изменять наблюдаемые шаблоны. Кроме того, близость объекта к поверхности или близость между различными внутренними компонентами объекта может наблюдаться посредством комбинирования настоящего изобретения с оптическим детектором близости, как описано в опубликованных заявках на патент номера WO2005050130 и US7339684B2, которые также содержатся в данном документе по ссылке.

В некоторых предпочтительных вариантах осуществления настоящего изобретения простая компьютерная процедура калибровки используется для нахождения точного преобразования координатной плоскости в координаты отображения. Необязательно процедура калибровки требует действий от пользователей, например, посредством показа пересечений в нескольких точках на дисплее, при требовании касания пером или пальцем вручную, чтобы находить преобразование, а именно для определения надлежащей матрицы преобразования, описывающей преобразование координатной плоскости в координаты отображения.

В некоторых предпочтительных вариантах осуществления настоящего изобретения компьютерная программа выполнена с возможностью представлять изображения на дисплее, при этом изображения включают в себя шаблоны, используемые для идентификации и отслеживания объектов, например, способом, описанным в опубликованных международных PCT-заявках на патент, номера WO2002027461 и US7083100B2 и/или WO2006135241A1 и US2009040195A1, которые автоматически распознаются посредством камеры для вычисления матрицы преобразования, чтобы преобразовывать координатную плоскость в координаты отображения; эти предыдущие опубликованные заявки содержатся в данном документе по ссылке.

Цель настоящего изобретения заключается в том, чтобы предоставлять информацию местоположения в направлениях по оси X и Y, а также информацию по касанию и наведению (направление по оси Z, представляя информацию действий пользователя) от пользователя в человеко-машинном интерфейсе, который типично, но не обязательно, также включает в себя дисплей совместного использования.

Цель настоящего изобретения заключается в том, чтобы предоставлять, по меньшей мере, один сфокусированный плоский веерообразный пучок над поверхностью взаимодействия или в зоне взаимодействия, так что проникновение сфокусированного веерообразного светового пучка посредством, по меньшей мере, одного объекта, например, человеческого пальца, определяется посредством камеры в ее поле зрения, размещенной с возможностью считывать поверхность взаимодействия, зону взаимодействия и, по меньшей мере, один проникающий объект. Сфокусированный веерообразный световой пучок, который ограничен определенной зоной над поверхностью взаимодействия, выполнен с возможностью отчетливо подсвечивать объект, поскольку интенсивность типично значительно выше задней подсветки, и, по меньшей мере, один объект эффективно находится посредством средства обработки сигналов изображений, посредством поиска областей высокой интенсивности, посредством определения краев и выполнения центроидных вычислений для нахождения, по меньшей мере, одного объекта, например, одного или более пальцев.

Дополнительная цель настоящего изобретения заключается в том, чтобы приспосабливать усовершенствованное мультисенсорное взаимодействие, которое используется в устройствах с человеко-машинным интерфейсом для компьютеров и другого электронного оборудования. Посредством включения нескольких слоев сфокусированных веерообразных световых пучков в зону взаимодействия мелкие детали при взаимодействии пользователя, включающие в себя точное сенсорное управление, положение руки и пользовательские жесты, подлежат захвату. В предпочтительном варианте осуществления настоящего изобретения источник подсветки для формирования каждого сфокусированного веерообразного светового пучка периодически включается и выключается, например, стробируется, так что различные слои сфокусированного веерообразного светового пучка избирательно включаются и выключаются для различения их соответствующих долей сигналов, тем самым фактически позволяя различать, например, состояния наведения и касания. Посредством разделения зоны взаимодействия на несколько сегментов, которые избирательно подсвечиваются посредством различных слоев плоских веерообразных световых пучков, зона взаимодействия может быть проанализирована эффективно с некоторым подобием формированию томографических изображений. Подсветка также может быть мигающей, а именно стробируемой с относительно небольшой длительностью подсветки относительно временного интервала самих перемещений, чтобы замораживать перемещения, считываемые в принимаемых сигналах.

В некоторых дополнительных вариантах осуществления настоящего изобретения плоские веерообразные световые пучки формируются из подсветки, предоставляемой из источников подсветки на основе света в ближнем инфракрасном диапазоне спектра, например, источников подсветок, выводимое излучение которых имеет длину волны 700 нм или больше. Кроме того, камера преимущественно включает в себя оптический фильтр для блокирования света в видимом диапазоне спектра и т.п. и тем самым обеспечения прохождения только вышеуказанного света в ближнем инфракрасном диапазоне спектра предпочтительно. В таких вариантах осуществления настоящего изобретения имеется меньшая зависимость от других источников света, таких как дневной свет, освещение помещения, свет от используемого проектора, свет от дисплея и т.д.

Преимущественно при реализации настоящего изобретения сфокусированный веерообразный световой пучок формируется посредством фокусировки света в направлении самого дальнего конца поверхности/зоны взаимодействия, чтобы поддерживать достаточную подсветку на самом дальнем конце. Также преимущественно при реализации настоящего изобретения, если сфокусированные веерообразные световые пучки располагаются под небольшим углом относительно поверхности ассоциированной электронной доски и т.п., в направлении поверхности взаимодействия, так что сфокусированный веерообразный световой пучок имеет почти постоянное и параллельное расстояние до поверхности.

Преимущественно при реализации настоящего изобретения в отличие от использования традиционных световых плоскостей, формирование веерообразных световых пучков является централизованным, а не распределенным. Во фронт- и рипроекционных системах для формирования изображений на стенах и столах настоящее изобретение преимущественно интегрируется в новое оборудование или встраивается в существующее оборудование для обеспечения интерактивности таких систем, без необходимости в создании законченных структур из инфракрасных световых плоскостей, а именно просто посредством включения настоящего изобретения в качестве централизованного модуля формирования веерообразных световых пучков и камеры вместе с ассоциированным модулем вычисления.

Преимущественно настоящее изобретение имеет преимущество в том, что оно подлежит монтажу или интеграции в настенные держатели для проекторов или экранные держатели, например, на основе ЖК-дисплеев, OLED-устройств и аналогичных светоизлучающих устройств.

В некоторых альтернативных вариантах осуществления настоящего изобретения для сверхусовершенствованных интерактивных пространств могут использоваться более длинные корпусы для оптической системы подсветок для утончения различных слоев сфокусированных веерообразных световых пучков, чтобы повышать разрешение и точность касания и жестов в направлении по оси Z. В некоторых дополнительных альтернативных вариантах осуществления, один или более светодиодных источников может быть заменен посредством лазерных диодов в ближнем инфракрасном диапазоне спектра, чтобы еще больше уменьшать толщину слоев веерообразных световых пучков.

Настоящее изобретение может использовать недорогие компоненты технологии на основе CCD- или CMOS-камер и недорогие светодиоды в ближнем инфракрасном диапазоне спектра и оптические компоненты. Такие компоненты являются недорогими в изготовлении. Кроме того, современные интегральные схемы обработки сигналов, например, процессоры сигналов, микроконтроллеры и микропроцессоры, а также программируемые логические устройства подлежат использованию для того, чтобы реализовать настоящее изобретение, причем такие интегральные схемы просты в программировании для фактического применения настоящего изобретения. Следовательно, настоящее изобретение является несложным для реализации при высоких объемах производства.

Настоящее изобретение также допускает предоставление усовершенствованного пользовательского мультисенсорного взаимодействия для образовательного и делового рынка. Настоящее изобретение потенциально является подходящим для небольших и средних дисплеев, а также для больших и широких электронных досок для школьных аудиторий и лекционных залов. Кроме того, настоящее изобретение также подлежит использованию с или без дисплея при обучении, для интерактивных информационных табло, а также в музеях и на выставках.

Настоящее изобретение также позволяет предоставлять интерактивные пространства, выполненные с возможностью использования в системе цифровых информационных табло с использованием плоских дисплеев или экранов проектора с цифровым контентом, который может изменяться динамически, а не только в предварительно определенной последовательности от поставщика контента, и, кроме того, изменяться вследствие пользовательского ввода из управления на основе касаний и жестов, тем самым делая информационные табло еще более гибкими, информативными и удобными для пользователя.

Предоставленное настоящее изобретение также допускает предоставление устройств ввода для управления на основе касаний и жестов для использования в интерактивных информационных табло, которые хорошо работают через антивандальные толстые окна и хорошо работают на всех видах поверхностей и плоских экранов с простой установкой, так что они подходят для установки и использования в общедоступных и коммерческих зонах в помещениях и вне помещений.

Краткое описание чертежей

Изобретение описано в данном документе только в качестве примера, со ссылкой на прилагаемые чертежи, на которых:

фиг. 1 является схематичной иллюстрацией в перспективе примерной аппаратной конфигурации настоящего изобретения, в которой показан пример типичных местоположений одной или более световых плоскостей, модуля формирования сфокусированных веерообразных световых пучков, поверхности и зоны взаимодействия, камеры, дисплея, проектора и настенного держателя;

фиг. 2 является иллюстрацией примерной конфигурации по фиг. 1 при виде сбоку;

фиг. 3 является иллюстрацией примерной конфигурации по фиг. 2 при виде сбоку, в которой модуль формирования сфокусированных веерообразных световых пучков интегрируется в настенный держатель;

фиг. 4 является иллюстрацией примерной конфигурации на фиг. 2 при виде сбоку, в которой модуль формирования сфокусированных веерообразных световых пучков вертикально интегрируется или вертикально монтируется вдоль настенного держателя;

фиг. 5 является иллюстрацией принципа работы узла фокусировки и увеличения источника, используемого в вариантах осуществления настоящего изобретения;

фиг. 6 является иллюстрацией источника по фиг. 5, но показанной посредством вставки значений параметров для типичного случая для большой интерактивной электронной доски;

фиг. 7 является иллюстрацией примера связанной оптической системы, как показано на фиг. 6, но в которой лучи отражаются посредством конического зеркала для того, чтобы изменять ассоциированную ось симметрии таким образом, что она является параллельной рабочей поверхности/поверхности взаимодействия;

фиг. 8A является иллюстрацией примера связанной оптической системы, как показано на фиг. 7, но в которой угол конического зеркала регулируется с возможностью изменять ось таким образом, что она наклонена в определенной степени к поверхности взаимодействия;

фиг. 8B является иллюстрацией примера связанной оптической системы, как показано на фиг. 8A, в которой проиллюстрированы примеры веерообразных световых пучков и увеличенного исходного изображения, также включающие в себя лучи и компонент исходного изображения, вероятно, отражаемого посредством поверхности взаимодействия, чтобы создавать световую плоскость для определения позиции и/или определения контакта с поверхностью взаимодействия;

фиг. 8C является иллюстрацией примера связанной оптической системы, как показано на фиг. 8A, в которой проиллюстрированы примеры световых лучей и увеличенного исходного изображения, чтобы создавать световую плоскость для определения позиции и/или определения уровня наведения в зоне взаимодействия;

фиг. 9 представляет пример модуля формирования сфокусированных веерообразных световых пучков, в котором зеркало конической формы и выпуклая линза и источники подсветки монтируются в кожухе;

фиг. 10 является иллюстрацией примера изготовленного конического зеркала, как показано на фиг. 8;

фиг. 11 является иллюстрацией примерной конфигурации, которая использует несколько модулей формирования веерообразных световых пучков, как показано на фиг. 9, для формирования нескольких световых плоскостей вдоль поверхности взаимодействия;

фиг. 12 является иллюстрацией модуля формирования веерообразных световых пучков, как показано на фиг. 9, при виде сверху, в которой модуль монтируется над поверхностью взаимодействия на стене с держателем для оптической системы световой плоскости;

фиг. 13 является иллюстрацией модуля формирования веерообразных световых пучков, как показано на фиг. 9, при виде сверху, в которой модуль монтируется через отверстие в стене над поверхностью взаимодействия с держателем для оптической системы световой плоскости в рипроекционной системе;

фиг. 14 является иллюстрацией модуля формирования веерообразных световых пучков, который, в принципе, является аналогичным по функции модуля на фиг. 9, но с использованием вогнутого конического зеркала;

фиг. 15 является иллюстрацией способа, которым источники подсветки подлежат компоновке в качестве зеркал конической формы, как показано на фиг. 7-14;

фиг. 16 является иллюстрацией, при виде сбоку, модуля формирования сфокусированных веерообразных световых пучков, в которой цилиндрическая линза, выпуклая линза и источники подсветки монтируются в кожухе;

фиг. 17 является иллюстрацией модуля формирования сфокусированных веерообразных световых пучков, как показано на фиг. 16, но при виде сверху, в которой цилиндрическая линза, выпуклая линза и источники подсветки монтируются в кожухе;

фиг. 18 является иллюстрацией примера по фиг. 17, но в которой ось наклоняется посредством использования плоского зеркала.

фиг. 19 является иллюстрацией примера по фиг. 17, но в которой ось отклоняется на 90 градусов посредством использования плоского зеркала;

фиг. 20 является иллюстрацией примерной комбинации примеров по фиг. 17, фиг. 18 и фиг. 19 для формирования более широкой плоскости веерообразных световых пучков;

фиг. 21 является иллюстрацией примерной конфигурации, комбинирующей примеры по фиг. 17, фиг. 18 и фиг. 19 для формирования более широкой плоскости веерообразных световых пучков, закрывающей всю поверхность взаимодействия, и использования длинных корпусов, которые предоставляют меньшее увеличение источника и более тонкий слой веерообразных световых пучков;

фиг. 22 является иллюстрацией примерной комбинации примеров по фиг. 17, фиг. 18 и фиг. 19 для формирования более широкой плоскости веерообразных световых пучков, закрывающей всю поверхность взаимодействия, и использования коротких корпусов, которые обеспечивают большее увеличение источника и более толстый слой веерообразных световых пучков;

фиг. 23 является иллюстрацией примерной комбинации разновидностей примеров по фиг. 17, фиг. 18 и фиг. 19, смонтированных вертикально, для формирования широкой плоскости веерообразных световых пучков, закрывающей всю поверхность взаимодействия;

фиг. 24 является иллюстрацией примера с использованием вогнутого цилиндрического зеркала для формирования плоскости веерообразных световых пучков, закрывающей частей поверхности взаимодействия под углом;

фиг. 25 является иллюстрацией примера с использованием вогнутых цилиндрических зеркал для формирования двух наборов плоскостей веерообразных световых пучков, закрывающих поверхность взаимодействия под двумя углами; и

фиг. 26 является иллюстрацией способа, которым источники подсветки могут быть размещены с возможностью использования в примерах на основе цилиндрической линзы и цилиндрического зеркала, как показано на фиг. 16-25.

Подробное описание вариантов осуществления изобретения

Настоящее изобретение относится к системе и способу для устройства компьютерного ввода на основе камеры для человеко-машинного взаимодействия или эквивалентно, человеко-компьютерного взаимодействия. Кроме того, настоящее изобретение также относится к устройству для реализации таких систем и осуществления таких способов.

Перед подробным описанием реализации и работы, по меньшей мере, одного варианта осуществления изобретения следует понимать, что изобретение не ограничено применением к подробностям в отношении конструкции и компоновок компонентов, изложенным в нижеприведенном описании или проиллюстрированным на чертежах. Изобретение допускает реализацию в других вариантах осуществления либо осуществление на практике или выполнение различными способами. Кроме того, следует понимать, что формулировки и терминология, используемая в данном документе, служат только для описания и не должны рассматриваться как ограничивающие. Принципы и работа устройства, системы и способа для устройства интерактивного ввода, согласно настоящему изобретению, лучше понимаются со ссылкой на чертежи и прилагаемые описания.

Во-первых, описывается принцип устройства взаимодействия и системы взаимодействия. После этого приводится подробное описание некоторых предпочтительных вариантов осуществления наряду с подробными принципами работы системы.

Принципы работы системы взаимодействия и ее ассоциированного интерактивного устройства описываются посредством ссылки на примерную конфигурацию, как представлено на фиг. 1 и фиг. 2. На фиг. 1 и фиг. 2 схематично проиллюстрирована аппаратная конфигурация предпочтительного варианта осуществления настоящего изобретения, при виде в перспективе и сбоку. Аппаратная конфигурация включает в себя аппаратные компоненты, содержащие информационный проектор 3 с небольшим проекционным расстоянием, размещенный вместе с камерой 1 и прибором 2 подсветки на настенном держателе 4. Настенный держатель 4 имеет внешний вид и практическую реализацию, которая потенциально существенно варьируется, но главное его назначение состоит в том, чтобы размещать одно или более из проектора 3 с небольшим проекционным расстоянием, камеры 1 и прибора 2 подсветки на надлежащем расстоянии до экрана и до держателя на стене, предпочтительно над отображаемым изображением 16. Отображаемое изображение 16 также представляет поверхность взаимодействия, в этом документе синонимично называемую координатной плоскостью 16. Необязательно при использовании проектора 3 координатная плоскость 16 является гладкой и белой поверхностью, подходящей для проекции, работы с использованием пера и касания. Наоборот, в случае использования плоского дисплея вместо проектора 3 поверхность 16 взаимодействия сама является плоским дисплеем, необязательно защищенным с помощью специального прозрачного материала, типично стеклянного или пластикового материала для защиты, так что она является надежной для работы с использованием пера и касаний. Проектор 3 с небольшим проекционным расстоянием имеет ассоциированное поле 6 зрения и выполнен с возможностью проецировать отображаемое изображение на поверхность 16 взаимодействия, как представлено посредством прямоугольника с пунктирной линией в зоне взаимодействия, также обозначаемой посредством 1. Объект 25, например, палец и/или рука пользователя, выполнен с возможностью взаимодействовать с компьютером и т.п., когда объект 25 находится в зоне 7 взаимодействия, ограниченной посредством конкретной высоты над координатной плоскостью 16.

Устройство дополнительно включает в себя узел оптических компонентов для проецирования подсветки в видимом или в ближнем инфракрасном диапазоне спектра, при этом узел располагается за пределами поверхности взаимодействия, а именно координатной плоскости 16, и ассоциированная проецируемая подсветка преимущественно имеет форму одной или более световых плоскостей 5 в зоне 7 взаимодействия и фактически совмещена с поверхностью взаимодействия, а именно координатной плоскостью 16.

Камера 1 имеет поле 8 зрения, которое включает в себя зону 7 взаимодействия, так что координаты объекта 25 и высота наведения объекта 25 вычисляются, и/или ее состояние наведения и/или состояние касания, и/или характеристики положения извлекаются на основе одного изображения, которое считывается посредством камеры 1, и переносятся в качестве сигналов посредством вычислительного модуля, и/или перемещение объекта и/или жесты объекта дополнительно вычисляются на основе последовательности изображений, представленных в сигналах, сформированных посредством камеры 1, и предоставляются в качестве соответствующих сигналов, переносимых в вычислительный модуль. Необязательно вычислительный модуль типично, но не обязательно, встраивается в камеру 1. Камера 1 необязательно включает в себя оптические фильтры для избирательного блокирования света с различными диапазонами длин волн, например, чтобы уменьшать влияние дневного света и света из дисплея и/или проектора 3 с большим проекционным расстоянием.

Вычислительный модуль включает в себя устройство связи для передачи координат и других интерактивных данных в компьютер, например, посредством использования стандартной последовательной шины и ассоциированных схем (таких как USB) или посредством использования протоколов и устройств беспроводной связи.

На фиг. 1 показана примерная конфигурация согласно предпочтительному варианту осуществления настоящего изобретения, в которой модуль 2 формирования сфокусированных веерообразных световых пучков и камера 1 устройства монтируются на настенном держателе 4 вместе с проектором 3. Камера 1 и проектор 3 направлены к поверхности 16 взаимодействия с полем 8 зрения камеры и полем 6 зрения проектора, показанным на фиг. 1. По меньшей мере, один объект 25, а именно проиллюстрированный здесь в качестве указательного пальца и руки, выполнен с возможностью проникать, по меньшей мере, через одну плоскость 5 и/или 26 сфокусированных веерообразных световых пучков в зону 7 взаимодействия перед поверхностью 16 взаимодействия, и камера 1 и модуль вычисления выполнены с возможностью определять из одного изображения подсвеченную часть объекта 25 и находить и сообщать его поперечную позицию в поперечных направлениях (направлениях по оси X и Y), а также сообщать то, на каком уровне наведения он находится в данный момент (т.е. связанную с направлением по оси Z информацию), а именно то, посредством какого слоя сфокусированного веерообразного светового пучка подсвечивается объект 25, который представляется, например, в качестве "касания", которое является синонимичным с "в контакте" с поверхностью 16 взаимодействия и, например, в качестве "наведения", синонимичного с состоянием "в зоне наведения", используемым в некотором словаре по интерфейсам взаимодействия, которое передается в качестве ввода взаимодействующего компьютера.

Также следует понимать, что фиг. 1 иллюстрирует соответствующую систему, выполненную с возможностью использования для плоского экрана в качестве интерфейсной поверхности 16, а именно без проектора 3, смонтированного на настенном держателе 4.

Подсветка, используемая в варианте осуществления, проиллюстрированном на фиг. 1, необязательно является переключаемой, так что одна или более световых плоскостей 5 и/или 26 необязательно включаются или отключаются, подсвечивая объект 25 посредством одной из нескольких световых плоскостей 5 и/или 26 или посредством комбинации нескольких световых плоскостей 5 и/или 26, так что подсветка выбирается для определения поперечной позиции и определения высоты наведения, а также определения объектов в контакте с поверхностью взаимодействия соответственно. Для определения поперечной позиции объекта 25 подсветка через одну или более световых плоскостей 5 и/или 26, расположенных на расстоянии до поверхности 16 взаимодействия, соответствующем расстоянию наведения, обеспечиваемому посредством зоны 7 взаимодействия, включается, формируя поле световых лучей практически с постоянной высотой, а именно веерообразный световой пучок, параллельный плоскости, которая подсвечивает часть объекта 25 сбоку при входе в световые плоскости 5 и/или 26 в зоне 7 взаимодействия, и за счет этого также обеспечивая некоторое определение контуров объекта 25 при наблюдении непосредственно из камеры 1. Для определения уровня или высоты наведения последовательное включение или отключение одной или более световых плоскостей 26, расположенных на различных расстояниях от поверхности 16 взаимодействия, в зоне 7 взаимодействия обеспечивает определение информации уровня или высоты наведения посредством последовательного подсвечивания частей объектов 25 в зоне 7 взаимодействия, которые находятся на различных расстояниях от поверхности 16 взаимодействия. Для определения того, находятся или нет объекты в контакте (а именно касаются) с поверхностью 16 взаимодействия, световая плоскость 5, сформированная по существу в плоскости поверхности 16 взаимодействия и непосредственно подсвечивающая поверхность взаимодействия 16, включается. Прямая подсветка поверхности 16 взаимодействия из световой плоскости 5 преимущественно выполняется посредством создания веерообразного светового пучка, размещаемого по существу в плоскости поверхности 16 взаимодействия и оптической оси симметрии веерообразного светового пучка, сходящейся к плоскости поверхности 16 взаимодействия, при этом одновременно веерообразный световой пучок подсвечивает поверхность 16 взаимодействия.

Во всех примерных конфигурациях и предпочтительных вариантах осуществления согласно настоящему изобретению, дополнительно может существовать, по меньшей мере, один внешний экран или панель, опущенный здесь для ясности на чертежах, который необязательно содержит один или более аппаратных компонентов: проектор 3, камеру 1 (необязательно включающую в себя вычислительный модуль и устройство связи), прибор 2 подсветки, функционально формирующий одну или более световых плоскостей 5 и/или 26 (а именно веерообразных световых пучков), настенный держатель 4 и плоскость отображения и координатную плоскость 16. Назначение внешнего экрана или панели, например, состоит в том, чтобы делать систему взаимодействия надежной, необслуживаемой, пылезащищенной, удобной для пользователя, более безопасной, более простой в изготовлении и установке, а также обеспечивать профессиональный внешний вид системы согласно некоторым представленным принципам и элементам конструкции.

Обращаясь дополнительно к фиг. 1 и фиг. 2, прибор 2 подсветки для формирования веерообразного светового пучка является модулем формирования, или, синонимично, прибор 2 подсветки для формирования плоскости сфокусированных веерообразных световых пучков является прибором подсветки в этой примерной конфигурации, преимущественно находится над поверхностью 16 взаимодействия, предпочтительно смонтирован на стене или на настенном держателе 4. Прибор 2 подсветки необязательно включается в комплект оборудования для такой модернизации существующей установки с электронной доской или проектором с небольшим проекционным расстоянием, что она становится сенсорной, в соответствии с настоящим изобретением.

Ссылаясь на фиг. 3, прибор 2 подсветки, например, узел подсветки плоскости сфокусированных веерообразных световых пучков в этих примерных конфигурациях интегрируется в держатель для проектора. Ссылаясь на фиг. 3, представлена конфигурация, идентичная конфигурации, показанной на фиг. 2, при виде сбоку, но на фиг. 3 прибор 2 подсветки, реализованный в качестве модуля формирования плоскости сфокусированных веерообразных световых пучков, интегрируется в настенный держатель 4.

Ссылаясь на фиг. 4, представлена конфигурация, идентичная конфигурации, показанной на фиг. 2, при виде сбоку, но на фиг. 4 прибор 2 подсветки, реализованный в качестве модуля формирования плоскости сфокусированных веерообразных световых пучков, вертикально интегрируется или вертикально монтируется вдоль настенного держателя 4.

В дополнительных предпочтительных вариантах осуществления настоящего изобретения прибор 2 подсветки, реализованный в качестве узла подсветки сфокусированных веерообразных световых пучков, является не только неразъемной частью настенного держателя 4, но также и неразъемной частью держателя дисплея с плоским экраном, формирующего поверхность 16 взаимодействия, или неразъемной частью всей интерактивной электронной доски, или неразъемной частью всего информационного проектора, или посредством другого механического средства, помещаемого в вышеуказанный внешний экран или панель, в силу этого представляя собой неразъемную часть всей интерактивной системы, тогда как функция прибора 2 подсветки, реализованного в качестве узла подсветки сфокусированных веерообразных световых пучков, является идентичной.

Ссылаясь на фиг. 5, проиллюстрирован принцип увеличения и фокусировки источника в настоящем изобретении. Типично множество светодиодных источников 11 размещается на расстоянии S2 от одной выпуклой линзы 10, необязательно альтернативно реализованной в качестве вогнутого зеркала с фокусным расстоянием f, и изображение 18 источника 11 подсветки фокусируется типично на самой дальней части зоны 7 взаимодействия над поверхностью 16 взаимодействия в диапазоне S1 с увеличением в S1/S2 источника 11 подсветки, представляющим минимальную толщину фактического слоя сфокусированных веерообразных световых пучков над зоной 7.

Ссылаясь на фиг. 6, проиллюстрирован принцип, идентичный принципу, показанному на фиг. 5, но вставлены значения параметров для типичного случая для большой интерактивной электронной доски с размером 90-100" (а именно приблизительно 225-250 см) по диагонали, причем изображение источника в этом примере сфокусировано на S1=1900 мм. Посредством использования, например, линзы с фокусным расстоянием f=250 мм, источники преимущественно размещаются на расстоянии S2=288 мм от одной выпуклой линзы 10. Достигается увеличение приблизительно в 6,6, и при эквивалентном или воспринимаемом размере 27 источника для источника 11 подсветки прибора 2 подсветки (для размера 27 источника, см. фиг. 8B и фиг. 8C) приблизительно в 3,5 мм, сфокусированное изображение 18 источника подсветки крупнее приблизительно на S1/S2, а именно приблизительно на 23,1 мм.

Ссылаясь на фиг. 7, представлена связанная оптическая система, как показано на фиг. 6, но теперь лучи отражаются посредством конического зеркала 9, чтобы изменять ось симметрии таким образом, что она является параллельной рабочей поверхности/поверхности 16 взаимодействия. Источники размещаются в диаметре D=25 мм от центральной оси выпуклой линзы 10. Предусмотрена перегородка 19 с возможностью ограничивать подсветку из источника половиной диаметра линзы. Угол конического зеркала составляет 46,43°, чтобы компенсировать ось источников света, не проходящих через центральную ось линзы, и, как следствие, отклоняется.

Ссылаясь на фиг. 8A, проиллюстрирована связанная оптическая система, как показано на фиг. 7, но теперь угол конического зеркала 9 регулируется с возможностью изменять ось таким образом, что она наклонена в определенной степени к рабочей поверхности/поверхности 16 взаимодействия для подсвечивания поверхности взаимодействия непосредственно посредством плоскости веерообразных световых пучков. Примерный угол конического зеркала составляет 46,65°, достигая оптической оси симметрии сфокусированного веерообразного светового пучка, которая наклонена на 0,44° к поверхности 16 взаимодействия. Передняя граница плоскости веерообразных световых пучков размещается с достаточным разнесением от поверхности взаимодействия, чтобы подсвечивать всю поверхность 16 взаимодействия, и задняя граница плоскости веерообразных световых пучков по существу ограничена посредством поверхности 16 взаимодействия, как пояснено ниже.

Ссылаясь на фиг. 8B, представлена примерная конфигурация связанной оптической системы согласно настоящему изобретению, как показано на фиг. 8A, в которой проиллюстрированы примеры световых лучей и увеличенного исходного изображения, также включающие в себя лучи и компонент исходного изображения, вероятно, отражаемого посредством поверхности взаимодействия, с тем чтобы формировать плоскость веерообразных световых пучков для определения позиции и/или определения контакта (или касания) с поверхностью 16 взаимодействия. Источники 11 подсветки, необязательно реализованные в качестве светоизлучающих диодов (светодиодов), размещаются вдоль круга с диаметром D=25 мм. Несколько источников 11 подсветки преимущественно разнесены вдоль периферии, чтобы обеспечивать высокую интенсивность в различных секторах сфокусированного веерообразного светового пучка, а также помогать распределять ассоциированную теплоотдачу. Необязательно используется только один центральный источник подсветки, и в таком случае оптическая система немного модифицируется соответствующим образом посредством изменения угла конического зеркала 9 и создания центральной перегородки 19 и регулирования перегородок 30 и 29 таким образом, чтобы ограничивать лучи световой плоскости, при этом обычно наблюдаемый максимум интенсивности при 0° (зенит) в схеме излучения такого типичного источника 11 подсветки не используется оптимально, и рассеяние мощности в этом случае является слишком сильно сконцентрированным и потенциально генерирует слишком много тепла. Эквивалентный размер 27 (или воспринимаемый размер 27) источника 11 подсветки должен быть увеличен посредством системы формирования изображений для того, чтобы формировать сфокусированное изображение 18, как указано на фиг. 8A, которое превышает по абсолютной величине на коэффициент S1/S2 эквивалентный размер 27 источника подсветки при условии, что расстояние S2 является расстоянием от источника 11 до линзы 10, и расстояние S1 является длиной от линзы 10 через зеркало 9 до изображения 18, причем изображение символически представляется посредством стрелок 38 и 39. Следовательно, эквивалентный размер 27 источника подсветки является важным ограничивающим фактором для формирования достаточно тонкой плоскости веерообразных световых пучков. Централизованный источник 11 подсветки для высокого рассеяния мощности и высокой интенсивности подсветки типично также зачастую имеет больший эквивалентный/воспринимаемый размер 27 источника, что означает то, что плоскость веерообразных световых пучков зачастую толще в таких конфигурациях.

Дополнительно ссылаясь на фиг. 8B, главная цель перегородки 19 заключается в том, чтобы не допускать подсвечивания противоположной части выпуклой линзы 10 посредством световых лучей из каждого источника 11 подсветки с воспринимаемым размером 27 источника, а именно, чтобы исключать пересечение общей оптической оси 28 линзы 10 и конического зеркала 9 посредством световых лучей. Некоторые примерные световые лучи 31, 32, 33, 34, 36, 37 и 43 нарисованы как исходящие из источника 11 подсветки с размером 27 источника для того, чтобы описывать принцип действия настоящего изобретения для подсветки поверхности 16 взаимодействия, выполненной с возможностью определения позиции и/или определения контакта с поверхностью 16 взаимодействия. Источник 11 света с воспринимаемым размером 27 источника фокусируется на расстоянии S1 с увеличенным изображением, имеющим абсолютную величину, большую на S1/S2, проиллюстрированным символически посредством двух стрелок 38 и 39.

Часть стрелки 38 представляет часть изображения 18 источника 11, которая поглощается и/или отражается посредством поверхности 16 взаимодействия. Если поверхностные свойства поверхности 16 взаимодействия являются такими, что существует отражение, и отражение является зеркальным, то зеркально отраженное изображение 40 отражается посредством поверхности 16 взаимодействия этой части стрелки 38. Далее объект 25 в контакте с поверхностью 16 взаимодействия должен подсвечиваться посредством суммы прямых лучей из зеркала 9 и отраженных лучей, также исходящих из зеркала 9, но отраженных посредством поверхности 16 взаимодействия. Если поверхностные свойства поверхности 16 взаимодействия являются такими, что возникает главным образом рассеянное отражение, то подсветка достаточно близко к поверхности подсветки усиливается посредством компонентов света с рассеивающим отражением из поверхности 16 взаимодействия. В случае если световые лучи, исходящие из зеркала 9 и подсвечивающие поверхность взаимодействия 16, полностью поглощаются в поверхности 16 взаимодействия, отсутствует доля в подсветке объекта 25 от поверхности взаимодействия.

При условии, что ось 35 симметрии плоскости веерообразных световых пучков, исходящей из зеркала 9, не пересекает плоскость поверхности 16 взаимодействия в зоне 7 взаимодействия, толщина результирующей плоскости задается посредством переднего луча 31, который ограничивается посредством перегородки 29 для ограничения прохождения передних лучей и ограничивается посредством самой поверхности 16 взаимодействия. Посредством размещения этой точки пересечения оси с плоскостью поверхности 16 взаимодействия за пределами поверхности 16 взаимодействия, а именно в направлении левой стороны поверхности 16 взаимодействия на фиг. 8B, часть изображения, зеркально отраженная посредством поверхности 16 взаимодействия, не шире прямых компонентов изображения, как проиллюстрировано посредством примерного светового луча 33, который исходит из примерного светового луча 37 под предельным углом, который без поверхности 16 взаимодействия должен продолжаться в луче 32 в направлении символического конца стрелки сфокусированного изображения 38, но вследствие вероятных зеркальных отражений на поверхности 16 взаимодействия отражается в качестве луча 33 в направлении символического конца стрелки сфокусированного зеркально отраженного изображения 40.

Дополнительно ссылаясь на фиг. 8B, луч 34 является лучом под предельным углом, исходящим из разграничивающей зоны источника 11 с ассоциированным размером 27 источника, которая является самой дальней от оптической оси 28, проходящей через перегородку 19 для ограничения прохождения лучей из источника, и проходит через линзу 10 на периферии линзы 10 и соударяется с коническим зеркалом 9 рядом с концом зеркала 9, в котором диаметр является наибольшим, но после отражения в зеркале 9 луч 34 останавливается посредством перегородки 30 для ограничения прохождения задних лучей. Примерный световой луч 34 под предельным углом, если он не остановлен посредством перегородки 30 и поверхности 16 взаимодействия, пересекает луч 32 на символическом конце стрелки сфокусированного изображения 38. Луч 43 исходит из той же стороны источника 11 с размером 27 источника, что и луч 34, но тогда как луч 34 останавливается посредством перегородки 30, луч 43 проходит через перегородку 30 и останавливается посредством бокового края поверхности 16 взаимодействия либо может подсвечивать плоскость 16 взаимодействия и поглощаться и отражаться, как описано выше. При отсутствии перегородки 30 или поверхности 16 взаимодействия, останавливающей лучи, примерный луч 37, переобозначенный как луч 32, и примерный луч 34 исходят из разграничивающей зоны источника 11 с размером 27 источника, которая является самой дальней для оптической оси 28, и должны сталкиваться и пересекаться друг с другом на конце стрелки сфокусированного изображения 38.

Соответственно, примерный луч 36 и передний граничный примерный луч 31 исходят из разграничивающей зоны источника 11 с размером 27 источника, которая является ближайшей к оптической оси 28, и должны сталкиваться и пересекаться друг с другом на конце стрелки сфокусированного изображения 39.

Преимущества настоящего изобретения понятно иллюстрируются посредством фиг. 8B. Во-первых, посредством фокусировки веерообразного светового пучка, совмещенного практически параллельно к плоскости поверхности 16 взаимодействия, изображение, как проиллюстрировано посредством 39 и 38, источника подсветки на дальнем конце поверхности 16 взаимодействия, а именно слева на фиг. 8B, ограничивает ширину пучка. Во-вторых, фокусировка обеспечивает возможность того, что интенсивность не падает очень сильно на самом дальнем конце, а именно слева на фиг. 8B, и поддерживает максимально возможный уровень интенсивности над поверхностью 16 взаимодействия, когда лучи веерообразного светового пучка расходятся круговым способом из конического зеркала 9, и круговое распространение уменьшает интенсивность пучка с увеличением расстояния от зеркала 9. В-третьих, сходимость оси 35 симметрии к поверхности 16 взаимодействия, подсвечивающей поверхность 16 взаимодействия, предоставляет дополнительное разграничение светового поля, поскольку задним концом светового поля является сама поверхность 16 взаимодействия. В-четвертых, сходимость оси 35 симметрии к поверхности 16 взаимодействия обеспечивает возможность того, что зеркальные и рассеянные компоненты, отражаемые обратно от подсвеченной поверхности 16 взаимодействия, повышают интенсивность рядом с поверхностью. В-пятых, сходимость оси 35 симметрии к поверхности 16 взаимодействия возникает без пересечения плоскости поверхности 16 взаимодействия в пределах поверхности 16 взаимодействия, а именно точка пересечения с плоскостью преимущественно находится существенно влево от поверхности 16 взаимодействия на фиг. 8B и обеспечивает возможность того, что зеркальные компоненты, отражаемые обратно от поверхности 16 взаимодействия, не увеличивают ширину поля подсветки, так что ширина фактически ограничивается посредством переднего луча 31 и поверхности 16 взаимодействия.

Согласно этим пяти вышеуказанным преимущественным свойствам, предоставляемым посредством настоящего изобретения, световой пучок 5, который фокусируется максимально узко, чтобы поддерживать ассоциированную интенсивность максимально высокой, и который является практически параллельным или немного сходится и ограничен посредством поверхности 16 взаимодействия, преимущественно расходится, а именно является веерообразным и распределяется и подсвечивает поверхность 16 взаимодействия, по меньшей мере, из одного модуля формирования плоскостей веерообразных световых пучков, соответствующего прибору 2 подсветки, тем самым обеспечивая собственную и разграниченную подсветку части объекта 25, которая находится в контакте или, синонимично, касается поверхности 16 взаимодействия.

На фиг. 8C представляется пример связанной оптической системы, как показано на фиг. 7 и фиг. 8A, в котором проиллюстрированы примеры световых лучей и увеличенного исходного изображения, чтобы создавать плоскость веерообразных световых пучков для определения позиции и/или для определения "состояния наведения" и/или уровня наведения в зоне 7 взаимодействия над поверхностью 16 взаимодействия. Источники 11 подсветки, например, светоизлучающие диоды (светодиоды), размещаются вдоль круга с диаметром D=25 мм. Множество источников 11 подсветки необязательно разнесены вдоль периферии, чтобы обеспечивать высокую интенсивность в различных секторах сфокусированного веерного пучка, а также помогать распределять ассоциированную теплоотдачу. Необязательно используется только один центральный источник подсветки, и в таком случае оптическая система должна быть немного модифицирована посредством изменения угла конического зеркала 9, а также создания центральной перегородки 19 и регулирования перегородок 44 и 29 таким образом, чтобы ограничивать лучи световой плоскости, при этом обычно наблюдаемый максимум интенсивности при 0° (зенит) в схеме излучения такого типичного источника 11 подсветки в этом случае не используется оптимально, и рассеяние мощности является более концентрированным и, в конечном счете, может генерировать слишком много тепла. Эквивалентный размер 27 или воспринимаемый размер 27 источников 11 подсветки должен быть увеличен посредством системы формирования изображений для того, чтобы формировать сфокусированное изображение 18, как указано на фиг. 7 или фиг. 8A, которое превышает по абсолютной величине на S1/S2 эквивалентный размер 27 источника подсветки при условии, что S2 является расстоянием от источника 11 до линзы 10, и S1 является длиной от линзы 10 через зеркало 9 до изображения 18, причем изображение здесь символически представляется посредством стрелок 41 и 39. Следовательно, эквивалентный размер 27 источника 11 подсветки является важным ограничивающим фактором для формирования достаточно тонкой плоскости веерообразных световых пучков. Централизованный источник 11 подсветки для высокого рассеяния мощности и высокой интенсивности подсветки типично также зачастую имеет больший эквивалентный/воспринимаемый размер 27 источника, что означает то, что плоскость веерообразных световых пучков зачастую толще в таких конфигурациях.

Дополнительно ссылаясь на фиг. 8C, главная цель перегородки 19 заключается в том, чтобы не допускать подсвечивания противоположной части выпуклой линзы 10 посредством световых лучей из каждого источника 11 подсветки с воспринимаемым размером 27 источника, а именно, чтобы исключать пересечение общей оптической оси 28 линзы 10 и конического зеркала 9 посредством световых лучей. Некоторые примерные световые лучи 31, 34, 36, 42 и 43 нарисованы как исходящие из источника 11 подсветки с размером 27 источника для того, чтобы описывать принцип настоящего изобретения для подсветки объекта 25, над поверхностью 16, выполненной с возможностью определения позиции и/или определения "наведения", или определения уровня наведения в зоне 7 взаимодействия над поверхностью 16 взаимодействия. Источник 11 света с воспринимаемым размером 27 источника фокусируется на расстоянии S1 с увеличенным изображением, имеющим абсолютную величину, большую на S1/S2, проиллюстрированным символически посредством двух стрелок 41 и 39.

Кроме того, ссылаясь на фиг. 8C, примерный луч 43 является лучом под наиболее предельным углом, исходящим из разграничивающей зоны источника 11 с размером 27 источника, которая является самой дальней от оптической оси 28, проходящей через перегородку 19 для ограничения прохождения лучей из источника, и проходит через линзу 10 на периферии линзы 10 и соударяется с коническим зеркалом 9 рядом с концом зеркала 9, в котором диаметр является наибольшим, и после отражения в зеркале 9 луч 43 просто проходит через перегородку 30 для ограничения прохождения задних лучей и продвигается над поверхностью 16 взаимодействия, и в точке изображения, символизированной с помощью острия стрелки 41, должен сталкиваться и пересекаться с другим примерным лучом 42 под предельным углом, который исходит из идентичной стороны источника 11, проходящим через перегородку 29 и продвигающимся над поверхностью 16 взаимодействия. Соответственно, примерный луч 36 и передний граничный примерный луч 31 исходят из разграничивающей зоны источника 11 с размером 27 источника, которая является ближайшей к оптической оси 28, и должны сталкиваться и пересекаться друг с другом на конце стрелки сфокусированного изображения 39.

Преимущества даже этой конфигурации настоящего изобретения проиллюстрированы на фиг. 8C. Во-первых, посредством фокусировки пучка, совмещенного практически параллельно к плоскости поверхности 16 взаимодействия, изображение, как проиллюстрировано посредством 39 и 41, источника подсветки на дальнем конце поверхности 16 взаимодействия, а именно слева на фиг. 8C, ограничивает ширину пучка. Во-вторых, фокусировка обеспечивает возможность того, что интенсивность не уменьшается очень сильно на самом дальнем конце, а именно слева на фиг. 8C, и поддерживает максимально возможный уровень интенсивности над поверхностью 16 взаимодействия, при этом лучи веерообразного светового пучка расходятся круговым способом из конического зеркала 9, и круговое распространение уменьшает интенсивность пучка с увеличением расстояния от зеркала 9. В-третьих, посредством регулирования угла оси 35 симметрии посредством выбора надлежащего зеркального угла конического зеркала 9 передняя граница или задняя граница либо ось симметрии становится параллельной поверхности 16 взаимодействия, чтобы оптимизировать определение уровня наведения. В-четвертых и в завершение, посредством регулирования перегородки 29 для ограничения прохождения передних лучей и перегородки 44 для ограничения прохождения задних лучей ширина расфокусированного пучка рядом с зеркалом 9, входящего над поверхностью взаимодействия, эффективно ограничивается.

Согласно этим вышеуказанным преимуществам настоящего изобретения, световой пучок 26, который фокусируется максимально узко, чтобы поддерживать интенсивность максимально высокой, и который является практически параллельным поверхности 16 взаимодействия, преимущественно расходится, а именно является веерообразным и распределяется над поверхностью 16 взаимодействия, по меньшей мере, из одного модуля формирования световых плоскостей веерообразных пучков, соответствующего прибору 2 подсветки, тем самым обеспечивая собственную и разграниченную подсветку части объекта 25, которая находится на конкретном уровне наведения, а именно находится в "режиме наведения", над поверхностью 16 взаимодействия.

Ссылаясь на фиг. 9, проиллюстрирована примерная конфигурация модуля формирования сфокусированных веерных пучков, соответствующего прибору 2 подсветки, для настоящего изобретения, в которой зеркало 9 конической формы и выпуклая линза 10, и источники 11 подсветки монтируются в кожухе/корпусе 14 и выполнены с возможностью формировать, в соответствии с вышеуказанными принципами, плоскость 5 веерообразных световых пучков вдоль поверхности 16 взаимодействия в рамках "передней границы" 12 и "задней границы" 13 световой плоскости.

На фиг. 10 проиллюстрирована примерная конфигурация изготовленного конического зеркала, как показано на фиг. 8A. Угол конического зеркала составляет 46,65°, и его диаметр составляет D=50 мм. Зеркало необязательно изготавливается из различных типов металла, например, из алюминия, или зеркало необязательно реализуется с использованием пластиковых материалов, например, посредством использования процессов литья под давлением, чтобы изготавливать формованный компонент, с последующей металлизацией компонента, например, посредством использования осажденного в вакууме алюминия.

Ссылаясь далее на фиг. 11, показана примерная конфигурация настоящего изобретения с использованием нескольких модулей формирования веерообразных световых пучков, соответствующих прибору 2 подсветки, в которой зеркала 9 конической формы и выпуклые линзы 10 и источники 11 подсветки монтируются в кожухах/корпусах 14 и выполнены с возможностью формировать, в силу принципов, поясненных выше, несколько плоскостей 5, 26 веерообразных световых пучков, вдоль поверхности 16 взаимодействия с "передней границей" 12 и "задней границей" 13 для каждой из световых плоскостей, при этом световая плоскость 5 размещается так, как пояснено выше, для определения позиции по оси X-Y и/или контакта (касания), в то время как другие световые плоскости 26 размещаются так, как пояснено выше, для определения позиции по оси X-Y и/или наведения и/или уровней наведения.

На фиг. 12 проиллюстрирована примерная конфигурация веера модуля формирования лучей в качестве прибора 2 подсветки при виде сверху для настоящего изобретения, как показано на фиг. 9, в которой модуль монтируется над поверхностью 16 взаимодействия на стене 15 с держателем 17 для оптической системы световой плоскости. Аналогичным образом, но для рипроекционных систем или систем с плоским экраном, фиг. 13 является иллюстрацией примерной конфигурации модуля формирования веерообразных световых пучков для реализации прибора 2 подсветки при виде сверху для настоящего изобретения, как показано на фиг. 9. На фиг. 9 модуль вместе с корпусом 14 монтируется над поверхностью 16 взаимодействия с оптической системой световой плоскости, смонтированной в рипроекционной системе таким образом, что имеется отверстие 7 через стену и/или поверхность 16 взаимодействия, при этом только левая часть модуля входит в бок стены и поверхности 16 взаимодействия, где выполняется взаимодействие.

Вместо использования прямого конического зеркала 9 и выпуклой линзы 10 для выполнения фокусировки, как пояснено выше, и распространения веерообразного светового пучка над поверхностью 16 взаимодействия, фиг. 14 является иллюстрацией примерной конфигурации модуля формирования веерообразных световых пучков для прибора 2 подсветки с функцией, аналогичной функции по фиг. 9, но с использованием вогнутого конического зеркала 20 для того, чтобы комбинировать функцию фокусировки и ортогональную функцию распространения в одном оптическом элементе. Такой оптический элемент преимущественно изготавливается посредством использования способов, аналогичных используемым для изготовления конического зеркала, показанного на фиг. 10. Элемент необязательно изготавливается из различных типов металла, например, алюминия, или он изготавливается из пластиковых материалов посредством использования литья под давлением с последующей металлизацией пластмассовой части, например, посредством использования осажденного в вакууме алюминия и/или посредством процессов электролитического осаждения.

Поскольку веерообразный световой пучок, сформированный посредством модуля формирования веерообразных световых пучков, соответствующего прибору 2 подсветки, должен расходиться только в секторах, источники подсветки не должны обязательно распределяться равномерно по полному кругу. Фиг. 15 является иллюстрацией примерной конфигурации способа, которым источники 11 подсветки необязательно размещаются с возможностью использования для вариантов осуществления с зеркалами конической формы, как показано на фиг. 7-14.

На фиг. 16 проиллюстрирована примерная конфигурация, при виде сбоку, системы, использующей модуль формирования сфокусированных веерообразных световых пучков, соответствующий прибору 2 подсветки. Система дополнительно содержит цилиндрическую линзу 21 и выпуклую линзу 10 и множество источников 11 подсветки, которые преимущественно монтируются в кожухе/корпусе 14. Источники 11 подсветки выполнены с возможностью излучать свет, который распространяется к линзе 10, чтобы предоставлять более коллимированный луч, который затем распространяется через цилиндрическую линзу 21, так что формируется веерообразный световой пучок для подсвечивания зоны 7 взаимодействия, ассоциированной с поверхностью 16 взаимодействия.

На фиг. 17 проиллюстрирована примерная конфигурация, при виде сверху, системы для реализации модуля формирования веерообразных световых пучков, соответствующего прибору 2 подсветки. Примерная конфигурация дополнительно включает в себя цилиндрическую линзу 21 и выпуклую линзу 10 наряду с источниками 11 подсветки, которые преимущественно монтируются в кожухе/корпусе 14 для формирования плоскости 5, 26 веерообразных световых пучков вдоль главной оси выпуклой линзы 10 в пределах угла, заданного посредством границ 22. При работе свет, излучаемый из источников 11, распространяется к линзе 10, при этом свет становится более коллимированным и далее продвигается через цилиндрическую линзу 21, чтобы формировать плоскость 5, 26 веерообразных световых пучков. На фиг. 18 проиллюстрирована альтернативная примерная конфигурация, аналогичная фиг. 17, в которой ось наклоняется посредством использования плоского зеркала 23. На фиг. 19 проиллюстрирована примерная конфигурация, аналогичная фиг. 17, но в которой ось отклоняется на 90°, а именно отклоняется ортогонально, посредством использования плоского зеркала 23, расположенного под углом 45°.

На фиг. 20 проиллюстрирована примерная конфигурация, извлекаемая посредством совмещения вариантов осуществления по фиг. 17, фиг. 18 и фиг. 19 таким образом, что они формируют более широкую плоскость 5, 26 веерообразных световых пучков с более идеальными пространственными характеристиками. В примерной конфигурации по фиг. 20, предусмотрены левый, центральный и правый приборы 2 подсветки, при этом центральный прибор 2 подсветки имеет линзу 21, расположенную с осью, симметричной к световой плоскости 5, 26, а левый и правый приборы 2 подсветки - соответствующие линзы 21 под острым углом, например, в диапазоне 20-80° относительно линзы 21 центрального прибора 2 подсветки.

На фиг. 21 проиллюстрирована примерная конфигурация, которая включает в себя варианты осуществления по фиг. 17, фиг. 18 и фиг. 19, совмещенные таким образом, что они формируют более широкие световые плоскости 5, 26 веерообразных световых пучков, закрывающие всю поверхность 16 взаимодействия. Корпусы 14 приборов 2 подсветки реализуются с возможностью быть относительно более длинными, чем проиллюстрировано на фиг. 20, и поля лучей от приборов 2 подсветки по фиг. 21 выполнены с возможностью перекрываться при работе, как проиллюстрировано. Более длинный корпус приводит к меньшему увеличению источников 11 и более тонкому слою подсветки. В качестве альтернативы созданию более длинных корпусов на фиг. 21 корпусы 14 создаются более короткими, как проиллюстрировано на фиг. 22, для получения большего увеличения источников 11 и тем самым более толстого слоя подсветки.

На фиг. 23 проиллюстрирована примерная конфигурация, в которой варианты осуществления, практически аналогичные фиг. 17, фиг. 18 и фиг. 19, совмещены таким образом, что они формируют веерообразный световой пучок 5, 26 для подсветки всей поверхности 16 взаимодействия. Примерная конфигурация на фиг. 23 включает в себя правый, центральный и левый приборы 2 подсветки, соответствующие корпусы 14 которых имеют центральные оси, расположенные взаимно параллельным способом, как проиллюстрировано. Например, приборы 2 подсветки на фиг. 23 преимущественно монтируются таким образом, что центральные оси корпусов 14 имеют вертикальную ориентацию в ходе использования.

На фиг. 24 проиллюстрирована примерная конфигурация для реализации прибора 2 подсветки посредством использования вогнутого цилиндрического зеркала для того, чтобы формировать плоскость 5, 26 веерообразных световых пучков для закрытия частей поверхности 16 взаимодействия под углом.

На фиг. 25 проиллюстрирована примерная конфигурация прибора 2 подсветки на основе вышеуказанных приборов 2 подсветки, но которая использует вогнутое цилиндрическое зеркало для того, чтобы формировать плоскости 5, 26 веерообразных световых пучков, закрывающие поверхность 16 взаимодействия от верхних углов поверхности 16 взаимодействия. Кроме того, на фиг. 26 показана примерная конфигурация способа, которым источники 11 подсветки размещаются с возможностью использования для цилиндрической линзы и цилиндрического зеркала на основе фиг. 16-25.

Модификации вариантов осуществления изобретения, описанных выше, являются возможными без отступления от объема изобретения, заданного посредством прилагаемой формулы изобретения. Такие выражения, как "включающий в себя", "содержащий", "включающий", "состоящий из", "имеет", "является", используемые для того, чтобы описывать настоящее изобретение и его формулу, имеют намерением трактоваться неисключительным образом, то есть также предполагают присутствие позиций, компонентов или элементов, не описанных в явном виде. Ссылка на форму единственного числа также должна истолковываться как связанная с формой множественного числа. Позиции, включенные в круглые скобки в прилагаемой формуле изобретения, предназначены для облегчения понимания формулы изобретения и не должны истолковываться тем или иным образом как ограничивающие предмет изобретения, заявленный посредством этой формулы изобретения.

1. Система мультисенсорного взаимодействия на основе камеры для определения позиции и/или положения, по меньшей мере, одного объекта (25) перед поверхностью (16) взаимодействия, при этом упомянутая система включает в себя:
- узел (2) прибора подсветки для формирования одного или более плоских веерообразных световых пучков (5, 26) светового излучения в видимом и/или в ближнем инфракрасном диапазоне спектра;
- узел (1) камеры для считывания зоны (16) взаимодействия в поле зрения узла (1) камеры с тем, чтобы формировать соответствующие сигналы;
- вычислительный модуль для вычисления позиции и/или положения, по меньшей мере, одного объекта (25), перехватывающего один или более плоских веерообразных световых пучков (5, 26), на основе сигналов, предоставленных из узла (1) камеры,
отличающаяся тем, что:
- один или более веерообразных световых пучков (5, 26) формируются при работе таким образом, что их плоскости являются практически параллельными поверхности (16) взаимодействия; и
- один или более веерообразных световых пучков (5, 26) фокусируются в направлении, практически перпендикулярном плоскости поверхности (16) взаимодействия, так что один или более веерообразных пучков (5, 26) имеют практически постоянную толщину в упомянутом направлении, для повышения интенсивности света, а также для того, чтобы повышать точность определения положения, по меньшей мере, одного объекта (25), предоставляемого посредством системы.

2. Система по п. 1, в которой один или более веерообразных световых пучков (5) выполнены с возможностью подсвечивать поверхность (16) взаимодействия.

3. Система по п. 1, при этом система выполнена с возможностью определять позицию наведения, по меньшей мере, одного объекта (25) в отношении поверхности (16) взаимодействия.

4. Система по п. 1, в которой узел (2) прибора подсветки выполнен с возможностью формировать множество веерообразных световых пучков (5, 26), при этом каждый световой пучок (5, 26) располагается с возможностью подсвечивать соответствующую пространственную область около поверхности (16) взаимодействия, так что соответствующие пространственные области веерообразных световых пучков (5, 26) обеспечивают прилегающую подсветку всей области около поверхности (16) взаимодействия.

5. Система по п. 1, в которой один или более световых пучков (5, 26) при работе выполнены с возможностью подсвечивать зону, смежную с поверхностью (16) взаимодействия, а не саму поверхность (16) взаимодействия.

6. Система по п. 1, в которой узел (2) прибора подсветки включает в себя источники (11) света, которые выполнены с возможностью избирательной модуляции по интенсивности для улучшения определения касания одного или более объектов (25) на поверхности (16) взаимодействия, наведения и/или уровня наведения одного или более объектов относительно поверхности (16) взаимодействия.

7. Система по п. 6, в которой источники (11) света выполнены с возможностью избирательного включения и выключения.

8. Система по п. 6, в которой источники (11) света выполнены с возможностью работы в режиме мигания в пределах активного периода считывания узла (1) камеры для эффективной заморозки движений одного или более объектов (25).

9. Система по п. 1, в которой узел (1) камеры включает в себя один или более оптических фильтров для избирательного блокирования или прохождения излучения, которое должно быть принято посредством датчиков узла (1) камеры, в зависимости от длины волны излучения.

10. Система по п. 9, в которой один или более оптических фильтров выполнены с возможностью обеспечивать прохождение света, перехваченного посредством одного или более объектов (25), с диапазоном длин волн, идентичным диапазону длин волн света, излучаемого из узла (2) прибора подсветки, в узел (1) камеры.

11. Система по п. 9, в которой один или более оптических фильтров выполнены с возможностью обеспечивать прохождение только света в видимом диапазоне спектра для захвата изображений из проектора или плоского экрана на поверхности (16) взаимодействия.

12. Система по п. 1, в которой узел (2) прибора подсветки включает в себя множество источников (11) света для формирования одного из более световых пучков (5, 26) так, что они включают в себя излучение при длинах волн в ближнем инфракрасном диапазоне спектра, при этом узел (1) камеры включает в себя один или более оптических фильтров, которые блокируют длины волн излучения в видимом диапазоне спектра и пропускают длины волн излучения в ближнем инфракрасном диапазоне спектра, чтобы уменьшать чувствительность системы к другим источникам света, включающим в себя одно или более из следующего: дневной свет, освещение помещения, свет от проекторов, свет от дисплеев.

13. Система по п. 1, при этом система интегрируется в новое оборудование или встраивается в существующее оборудование и выполнена с возможностью обеспечения интерактивности такого оборудования.

14. Система по п. 13, при этом система реализуется как фронт- или рипроекционное устройство.

15. Система по п. 1, при этом система выполнена с возможностью функционального монтажа или интегрирования в настенные держатели для проекторов или экранные держатели, включающие в себя, по меньшей мере, одно из следующего: LCD, OLED, LED, CRT.

16. Система по п. 1, в которой узел (2) прибора подсветки включает в себя один или более корпусов (14), соответствующие длины которых для ассоциированных оптических компонентов подсветки выполнены с возможностью обеспечивать достаточную тонкость различных слоев сфокусированных веерных пучков (5, 26), чтобы повышать разрешение и точность системы по отношению к касанию и жестам в направлении по оси Z одного или более объектов (25) относительно поверхности (16) взаимодействия.

17. Система по п. 16, в которой узел (2) прибора подсветки включает в себя один или более светоизлучающих лазерных диодов, которые выполнены с возможностью испускать излучение в ближнем инфракрасном диапазоне спектра для дополнительного уменьшения толщины одного или более веерообразных световых пучков в направлении, ортогональном к плоскости (16) взаимодействия.

18. Система по п. 1, в которой узел (1) камеры реализуется с использованием пиксельных CCD- или CMOS-датчиков, и узел (2) прибора подсветки реализуется с использованием светодиодов в ближнем инфракрасном диапазоне спектра и ассоциированных оптических компонентов, адаптированных с возможностью пропускать и/или отражать излучение в ближнем инфракрасном диапазоне спектра.

19. Система по п. 1, в которой узел (2) прибора подсветки включает в себя:
- выпуклую линзу (10) для предоставления фокусировки излучения, пропущенного через нее;
- множество источников (11) подсветки, при этом источники подсветки размещаются со значительным разнесением вдоль части периферии круга, имеющего центр в центральной оси линзы (10), чтобы обеспечивать концентрированную интенсивность излучения в секторах сфокусированного веерообразного светового пучка (5, 26), а также помогать в распределении ассоциированной теплоотдачи;
- перегородку (19), размещенную с возможностью ограничивать подсветку из источников подсветки приблизительно половиной диаметра выпуклой линзы (10); и
- коническое зеркало (9) для того, чтобы изменять ось симметрии таким образом, что она является практически параллельной поверхности (16) взаимодействия.

20. Система по п. 19, в которой коническое зеркало (9) включает в себя угол отражающей поверхности, который выполнен с возможностью наклонять оптическую ось симметрии веерообразного светового пучка (5, 26), формирующего к поверхности (16) взаимодействия.

21. Система по п. 19, в которой перегородка (19) выполнена с возможностью не допускать подсвечивания противоположной части выпуклой линзы (10) посредством световых лучей из каждого источника (11) подсветки узла (2) прибора подсветки с воспринимаемым размером источника (27), тем самым фактически исключая пересечение общей оптической оси (28) линзы (10) и конического зеркала (9) посредством световых лучей.

22. Система по п. 19, в которой узел (2) прибора подсветки дополнительно включает в себя коническое зеркало, размещенное таким образом, что его угол отражающей поверхности выполнен с возможностью компенсировать оси источников (11) света, используемых для того, чтобы формировать один или более веерообразных световых пучков (5, 26), не совмещенных с центральной осью выпуклой линзы (10).

23. Система по п. 1, в которой один или более веерообразных световых пучков (5, 26) имеют ассоциированные передние границы, которые размещаются с достаточным разнесением от поверхности (16) взаимодействия, чтобы подсвечивать область, соответствующую всей поверхности взаимодействия, так что задние границы по существу ограничены посредством поверхности (16) взаимодействия.

24. Способ использования системы мультисенсорного взаимодействия на основе камеры для определения позиции и/или положения, по меньшей мере, одного объекта (25) перед поверхностью (16) взаимодействия, при этом упомянутая система включает в себя:
- узел (2) прибора подсветки для формирования одного или более плоских веерообразных световых пучков (5, 26) светового излучения в видимом и/или в ближнем инфракрасном диапазоне спектра;
- узел (1) камеры для считывания поверхности (16) взаимодействия в поле (1) зрения камеры с тем, чтобы формировать соответствующие сигналы;
- вычислительный модуль для вычисления позиции и/или положения, по меньшей мере, одного объекта (25), перехватывающего один или более плоских веерообразных световых пучков (5, 26), на основе сигналов, предоставленных из узла (1) камеры, упомянутый способ отличается тем, что включает в себя этапы, на которых:
- формируют один или более веерообразных световых пучков (5, 26) при работе таким образом, что их плоскости являются практически параллельными поверхности (16) взаимодействия; и
- фокусируют один или более веерообразных световых пучков (5, 26) в направлении, практически перпендикулярном плоскости поверхности (16) взаимодействия, так что один или более веерообразных пучков (5, 26) имеют практически постоянную толщину относительно ортогонали к плоскости поверхности (16) взаимодействия, для повышения интенсивности света, а также для того, чтобы повышать точность определения положения, по меньшей мере, одного объекта (25), предоставляемого посредством системы.