Универсальное компьютерное устройство
Изобретение относится у устройствам ввода для генерации однородных электронных меток. Техническим результатом является обеспечение точного определения положения устройства ввода относительно поверхности объекта, на которых нанесен указанных узор. Универсальное устройство ввода обеспечивает общий интерфейс пользователя с различными компьютерными платформами, включающими в себя печатные документы. Используя настоящую систему, возможно использование универсального устройства ввода для управления различными компьютерными устройствами, а также для захвата рукописных электронных меток и ассоциации электронных меток с новыми или сохраненными документами. Универсальное устройство ввода может быть идентифицировано посредством однозначной идентификации, предоставляя возможность многим пользователям одновременно или поочередно работать с документом и/или с одной прикладной программой. Смещенная оптическая система с инфракрасным освещением обрабатывает перспективу и помогает обнаруживать кодирование положения, которое при освещении видимым светом может быть покрыто уже существующими чернилами. 4 н. и 20 з.п. ф-лы, 20 ил., 8 табл.
Настоящая заявка на патент является частично продолжающей заявки на патент США 10/284,417, поданной 31 октября, 2002, озаглавленной “Универсальное компьютерное устройство”, включенной в настоящее описание во всей своей полноте в качестве ссылки.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Аспекты настоящего изобретения в общем случае относятся к компьютерному устройству ввода для генерации однородных электронных меток. Более точно, аспекты настоящего изобретения относятся к устройству ввода, которое может быть использовано на разнородных платформах, в то же время обеспечивая общий интерфейс пользователя.
УРОВЕНЬ ТЕХНИКИ
Компьютерные устройства чрезвычайно изменили нашу жизнь. Первая волна компьютеров была непомерно дорогой и являлась экономически эффективной только для использования в бизнесе. Компьютеры становились более доступными, использование персональных компьютеров как на рабочем месте, так и дома стало настолько распространенным, что компьютеры стали настолько же обычными, как столы в офисах и на кухнях. Микропроцессоры были внедрены во все аспекты нашей повседневной жизни, от применения в телевизорах и других системах развлечения до устройств, управляющих работой нашего автомобиля.
Эволюция компьютерных устройств, от устройств переработки данных, занимающих целые этажи больших офисных установок, до лэптопов или других портативных компьютерных устройств, чрезвычайно повлияла на способ, которым генерируются документы и хранится информация. Возможность портативных вычислений позволила отдельному человеку писать письма, разрабатывать документы, делать заметки, создавать изображения и выполнять множество задач в местах, отличных от офисного использования этих компьютерных устройств. Профессионалы и непрофессионалы в равной степени получили возможность выполнять задачи во время их перемещения, используя устройства, удовлетворяющие их потребности в вычислительных ресурсах в любом месте.
Обычные компьютерные системы, в особенности компьютерные системы, использующие графический интерфейс пользователя (GUI), например, Microsoft ® Windows, оптимизированы для приема ввода пользователя от одного или нескольких дискретных устройств ввода, таких как клавиатура (для ввода текста) и указательное устройство (такое как мышь) с одной или несколькими кнопками для активации вариантов выбора пользователя.
Одна из первичных задач компьютерного мира заключалась в том, чтобы компьютер имелся на каждом столе. Эта задача была с размахом реализована персональным компьютером, который стал обыденным на офисном рабочем месте. С пришествием лэптопов и высокопроизводительных персональных цифровых помощников офисное рабочее место расширилось, включая в себя множество нетрадиционных мест выполнения работы. Во все возрастающей степени компьютерные пользователи должны были становиться специалистами во все более различающихся интерфейсах пользователя для каждого из их компьютерных устройств. От мыши и клавиатурного интерфейсов стандартных персональных компьютеров до интерфейса упрощенного стилуса на омическом сопротивлении персонального цифрового помощника и даже минималистической клавиатуры сотового телефона, пользователь сталкивается с множеством различных интерфейсов пользователя, которыми каждый должен овладеть, перед тем как он сможет использовать скрывающуюся за ними технологию.
Несмотря на технологическое развитие, большинство пользователей предпочитают использовать документы, напечатанные на бумаге, в качестве их основного инструмента редактирования. Некоторые преимущества печатных документов включают в себя удобство чтения и компактность. Другие включают в себя возможность совместного использования бумажных документов с правками и легкость, с которой печатные документы могут архивироваться. Один из интерфейсов пользователя, являющийся мостом между продвинутыми компьютерными системами и функциональностью печатных документов представляет собой интерфейс пользователя с перьевым вводом. Один из подходов для интерфейса пользователя с перьевым вводом является использования технологии на основе омического сопротивления (общепринятой в сегодняшних ПЦП). Другой подход представляет собой использование активных датчиков в лэптопе. Одна из очередных задач компьютерного мира состоит в возвращении интерфейса пользователя для управления компьютером обратно к пользователю.
Недостатки, связанные с использованием стилуса, заключаются в том, что устройства являются привязанными к компьютерным устройствам, содержащим сенсорную панель. Другими словами, стилус может быть использован только для генерации ввода, если он применяется в сочетании с соответствующей сенсорной панелью. Более того, на регистрацию стилуса влияет близость стилуса к сенсорной панели.
Портативные компьютерные устройства предшествующего уровня техники могли не обладать определенными формами идентификации для многопользовательских конфигураций. В этих случаях, если два портативных компьютерных устройства работают одновременно, главный компьютер вводится в заблуждение и считает правки приходящими от одного компьютерного устройства. Если один пользователь правит документ при помощи компьютерного устройства и затем второй пользователь правит тот же документ с помощью второго компьютерного устройства, главный ПК, принимающий кадры данных от компьютерного устройства, интерпретирует данные как исходящие из одного и того же компьютерного устройства. Не обладая способностью идентифицировать компьютерные устройства, от которых поступают правки, главный ПК не может отследить изменения, относящиеся к конкретному компьютерному устройству.
Портативные компьютерные устройства предшествующего уровня техники могли не обладать способностью отслеживать надпись, выполняемую пользователем поверх уже существующей метки. Компьютерные устройства предшествующего уровня техники могли отслеживать надпись пользователя на чистых, свободных от надписей поверхностях; однако возможности захвата изображения этих устройств не позволяли отслеживать надпись, выполняемую по уже существующим меткам. Помимо этого, портативные компьютерные устройства предшествующего уровня техники могли не обладать способностью учитывать перспективу, которая естественным образом присутствует в процессе применения устройства рукописного ввода, такого как перо. Датчик изображения связанного компьютерного устройства работает эффективно, когда пользователь удерживает компьютерное устройство под прямым углом к поверхности нанесения надписи. Однако большинство людей не удерживают перо под прямым углом к поверхности. Таким образом, перспектива становится проблемой для датчика, от которого требуется адекватно компенсировать угол компьютерного устройства.
В данной области техники существует потребность в портативных компьютерных устройствах, которые могут функционировать в качестве устройств ввода для любого из множества компьютерных устройств и которые могут работать в различных условиях. Дополнительно в данной области техники существует потребность в портативном компьютерном устройстве, которое может быть идентифицировано при помощи определенного вида идентификации, для того, чтобы дать возможность множеству пользователей работать над документом и/или в прикладной программе одновременно. Также в данной области техники существует потребность в портативном компьютерном устройстве, способном уменьшить эффект перспективы при захвате изображений на поверхности и может быть выполнено с возможностью отслеживания надписей пользователя поверх существующих меток.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Аспекты настоящего изобретения относятся к одной или нескольким проблемам, приведенным выше, тем самым предлагая общий интерфейс пользователя для разнородных компьютерных платформ. Аспекты настоящего изобретения относятся к устройству ввода, для генерации электронных меток, и/или генерации других видов ввода, независимо от устройства, для которого предназначены данные. Устройство ввода может быть выполнено в виде пера, и может содержать или не содержать картридж с чернилами для облегчения перемещения устройства ввода знакомым способом. Один из аспектов настоящего изобретения является портативным компьютерным устройством, которое может быть идентифицировано при помощи определенного вида идентификации, для того, чтобы дать возможность множеству пользователей работать над документом и/или в прикладной программе одновременно.
В одном из аспектов изобретения применяют инфракрасную подсветку и узоры в виде лабиринта, напечатанные, внедренные или впечатанные в поверхность. Поверхность может представлять собой лист бумаги с узором в виде лабиринта, напечатанным обычными чернилами. Камера настоящего изобретения выполнена с возможностью захвата ячеек узора в виде лабиринта, которые могут располагаться под любым непечатным контентом. Алгоритмы, связанные с декодированием м-матрицы и анализом изображения документа, декодируют положение захваченных изображений, содержащих как контент документа, так и узоры в виде лабиринта.
Другой аспект настоящего изобретения предлагает смещенную, оптическую систему с инфракрасным (ИК) освещением, которая включает в себя набор линз и оптический датчик, работающих как камера с относительно низким разрешением. Камера располагается в другой плоскости и под углом смещения по отношению к устройству ввода, используемому для правки. Установка со смещением улучшает производительность и позволяет разрешать проблему перспективы таким образом, что устройство ввода может быть использовано более естественно, под обычными углами письма. ИК-освещение помогает обнаруживать метки позиционирования, которые часто могут быть скрыты существующим контентом документа или чернилами при освещении видимым светом.
Приведенные выше аспекты настоящего изобретения, а также нижеследующее подробное описание различных вариантов осуществления будут поняты лучше при прочтении совместно с прилагаемыми чертежами, которые включены в качестве примеров, и не ограничивают заявленное изобретение.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг.1 показана схематическая диаграмма цифровой компьютерной среды общего назначения, в которой могут быть реализованы определенные аспекты настоящего изобретения;
На Фиг.2 показано устройство ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.3 показаны три иллюстративных варианта осуществления системы камеры для применения согласно аспектам настоящего изобретения;
На Фиг.4 показан один из вариантов осуществления оптической конструкции устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.5 показан один из вариантов осуществления оптической конструкции устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.6 показан один из вариантов осуществления конструкции освещения устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.7А и 7В показаны компоненты, чувствительные к нажатию, устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.8 показан один из вариантов осуществления конструкции линз устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.9 показан иллюстративный способ (узор в виде лабиринта) для кодирования положения документа;
На Фиг.10 показан образец траектории, из которого может быть сгенерирована электронная метка;
На Фиг.11А и 11В показаны иллюстративные архитектуры аппаратного обеспечения системы согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.12 показана дополнительная комбинация компонентов, входящих в состав устройства ввода для генерации электронной метки согласно другому иллюстративному варианту осуществления настоящего изобретения;
Фиг.13 является иллюстративной блок-схемой прохождения данных через двуядерную архитектуру устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.14 показана иллюстративная структура кадра данных, передаваемая из устройства ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг.15 показано управление передачей данных от множества устройств ввода согласно, по меньшей мере, одному аспекту настоящего изобретения;
На Фиг 16 показано применение устройства ввода согласно нескольким иллюстративным вариантам осуществления настоящего изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Аспекты настоящего изобретения относятся к устройству ввода, которое может применяться с множеством различных платформ от управления настольными компьютерами или лэптопами, письма на белой доске, письма на поверхности, такой как бумага, управления ПЦП или сотовым телефоном, или создания меток, которые могут быть портированы на множество различных платформ.
ТЕРМИНЫ
Перо - любое приспособление для письма, которое может быть выполнено с возможностью содержать чернила или без таковой. В некоторых примерах стилус, не содержащий чернил, может использоваться в качестве пера согласно вариантам осуществления настоящего изобретения.
Камера - система захвата изображения.
Активное кодирование - внедрение кодов в объект или поверхность, над которой расположено устройство ввода для определения положения и/или перемещения устройства ввода, используя соответствующие алгоритмы обработки.
Пассивное кодирование - обнаружение перемещения/положения устройства ввода, используя данные изображения, отличные от кодов, внедренных для этой цели, полученные от объекта или поверхностей, поверх которых перемещается устройство ввода, используя соответствующие алгоритмы обработки.
Устройство ввода - устройства для ввода информации, которое может быть выполнено с возможностью генерации и обработки информации.
Активное устройство ввода - устройство ввода, которое активно измеряет сигналы и генерирует данные, указывающие на положение и/или перемещение устройства ввода, используя датчики, встроенные в устройство ввода.
Пассивное устройство ввода - устройство ввода, чье перемещение определяют с использованием датчиков, встроенных не в устройство ввода.
Компьютерное устройство - настольный компьютер, лэптоп, планшетный компьютер, персональный цифровой помощник, телефон или любое устройство, выполненное с возможностью обработки информации, в том числе устройство ввода.
На Фиг.1 показан пример подходящей среды 100 компьютерной системы, в которой может быть реализовано настоящее изобретение. Среда 100 компьютерной системы является только одним примером подходящей компьютерной среды и не предназначена для введения каких-либо ограничений как на объем, так и на функциональность данного изобретения. Также компьютерную среду 100 не следует интерпретировать как имеющую какую-либо зависимость или требования, относящиеся к любому компоненту, приведенному в иллюстративной рабочей среде 100 или их комбинации.
Настоящее изобретение может работать с рядом других сред или конфигураций компьютерных систем общего или специального назначения. Примеры хорошо известных компьютерных систем, сред и/или конфигураций, которые могут подойти для применения с настоящим изобретением, включают в себя, без ограничения, персональные компьютеры, серверные компьютеры, наладочные или носимые устройства, мультипроцессорные системы, системы, основанные на микропроцессорах, телевизионные приставки, программируемую бытовую электронику, сетевые ПК, мини-компьютеры, мэйнфреймы, распределенные компьютерные среды, включающие в себя любые вышеупомянутые системы или устройства, и им подобные.
Настоящее изобретение может быть описано в общем контексте выполняемых компьютером инструкций, таких как программные модули, выполняемые компьютером. В общем случае программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных, и т.п., которые выполняют конкретные задачи или реализуют определенные абстрактные типы данных. Настоящее изобретение также может применяться в распределенных компьютерных средах, в которых задачи выполняются удаленными вычислительными устройствами, связанными коммуникационной сетью. В распределенной компьютерной среде программные модули могут размещаться на носителях данных как локального, так и удаленного компьютера, включая запоминающие устройства.
По Фиг.1 иллюстративная система для реализации настоящего изобретения включает в себя компьютерное устройство общего назначения в виде компьютера 110. Компоненты компьютера 110 могут включать в себя, без ограничения, процессорное устройство 120, системную память 130 и системную шину 121, связывающую различные компоненты системы, в том числе и системную память с процессорным устройством 120. Системная шина 121 может представлять собой шинную структуру любого типа, включая шину памяти или контроллер памяти, периферийную шину и локальную шину с любой из многочисленных шинных архитектур. Для примера, но не с целью ограничения, такие архитектуры включают в себя шину архитектуры промышленного стандарта (ISA), шину микроканальной архитектуры (MCA), расширенную ISA (EISA) шину, локальную шину ассоциации стандартов видеоэлектроники (VESA) и шину соединений периферийных компонентов (PCI), также известную как шину Mezzanine.
Компьютер 110 обычно включает в себя ряд читаемых компьютером носителей данных. Читаемые компьютером носители данных могут быть любыми доступными носителями данных, к которым может получить доступ компьютер 110, и включают в себя как энергозависимые, так и энергонезависимые носители данных, и как съемные, так и несъемные носители данных. Для примера, но не с целью ограничения, читаемые компьютером носители данных могут включать в себя компьютерные средства хранения данных и среды передачи сигналов. Компьютерные средства хранения данных включают в себя как энергозависимые, так и энергонезависимые, и как съемные, так и несъемные средства хранения данных, реализованные с применением любого способа или технологии хранения информации, такой как читаемые компьютером инструкции, структуры данных, программные модули или другие данные. Компьютерные средства хранения данных включают в себя, без ограничения, ОЗУ, ПЗУ, EEPROM, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другие оптические средства хранения данных, магнитные кассеты, магнитные ленты, средства хранения данных на магнитных дисках или другие магнитные средства хранения данных, или любые другие носители данных, которые могут быть использованы для хранения необходимой информации и к которым может получить доступ компьютер 110. Среды передачи данных обычно представляют читаемые компьютером инструкции, структуры данных, программные модули или другие данные в виде модулированного сигнала данных такого, как несущая или другой транспортный механизм, и включают в себя любые средства доставки информации. Термин “модулированный сигнал данных” означает сигнал, имеющий одну или более его характеристик, установленных или изменяемых таким образом, что при этом в сигнале кодируется информация. Для примера, но не с целью ограничения, среды передачи данных включают в себя кабельные среды, такие как кабельная сеть или прямое кабельное соединение, беспроводные среды, такие как акустические, РЧ (радиочастотные), инфракрасные, и другие беспроводные среды. В объем читаемых компьютером носителей данных также следует включить любую комбинацию упомянутых выше носителей.
Системная память 130 включает в себя компьютерные средства хранения данных в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство (ПЗУ) 131 и оперативное запоминающее устройство (ОЗУ) 132. Базовая система 133 ввода/вывода (BIOS), содержащая основные подпрограммы, участвующие в передаче информации между элементами в компьютере 110, например, во время запуска, обычно хранятся в ПЗУ 131. ОЗУ 132 обычно содержит данные и/или программные модули, которые являются непосредственно доступными и/или выполняются в настоящее время процессорным устройством 120. Для примера, но не с целью ограничения, на Фиг.1 показаны операционная система 134, прикладные программы 135, другие программные модули 136 и данные 137 программ.
Компьютер 110 также может включать в себя другие съемные/несъемные, энергозависимые/энергонезависимые компьютерные средства хранения данных. Исключительно в качестве примера, на Фиг.1 показан привод 141 жесткого диска, считывающий или записывающий на несъемный, энергонезависимый магнитный носитель данных, привод 151 магнитного диска, считывающий или записывающий на несъемный, энергонезависимый магнитный диск 152 и привод 155 оптического диска, считывающий или записывающий на съемный, энергонезависимый оптический диск 156 такой, как CD-ROM или другой оптический носитель данных. Другие сменные/несменные, энергозависимые/энергонезависимые компьютерные средства хранения данных, которые могут применяться в иллюстративной рабочей среде, включают в себя, без ограничения, кассеты с магнитной лентой, карты флэш-памяти, универсальные цифровые диски, цифровую видеоленту, твердотельное ОЗУ, твердотельное ПЗУ и т.п. Привод 141 жесткого диска обычно связан с системной шиной 121 посредством интерфейса несъемной памяти, такого как интерфейс 140, и привод 151 магнитного диска и привод 155 оптического диска обычно связаны с системной шиной 121 посредством интерфейса съемной памяти, такого как интерфейс 150.
Приводы и ассоциированные с ними компьютерные средства хранения данных, обсуждаемые выше и иллюстрированные на Фиг.1, обеспечивают в компьютере 110 хранение считываемых компьютером инструкций, структур данных, программных модулей и других данных. Например, на Фиг.1 привод жесткого диска 141 изображен хранящим операционную систему 144, прикладные программы 145, другие программные модули 146 и данные 147 программ. Необходимо заметить, что эти компоненты могут быть либо теми же самыми, либо отличаться от операционной системы 134, прикладных программ 135, других программных модулей 136 и данных 137 программ. Операционная система 144, прикладные программы 145, другие программные модули 146 и данные 147 программ имеют в данном случае отличающиеся номера для иллюстрации того, что, по меньшей мере, они являются отдельными копиями. Пользователь может вводить команды и информацию в компьютер 110 через устройства ввода, такие как цифровую камеру (не показано), клавиатуру 162 и указывающее устройство 161, обычно называемое мышью, трекбол или сенсорный планшет. Другие устройства ввода (не показано) могут включать в себя микрофон, джойстик, игровую панель, спутниковую тарелку, сканнер и т.п. Эти и другие устройства ввода часто соединены с процессорным устройством 120 через пользовательский интерфейс 160 ввода, связанный с системной шиной, но могут быть подсоединены через другой интерфейс или шинные структуры, такие как параллельный порт, игровой порт или универсальную последовательную шину (USB). Монитор 191 или другое устройство отображения также подсоединены к системной шине 121 через интерфейс, такой как видеоинтерфейс 190. Дополнительно к монитору компьютеры также могут включать в себя другие периферийные устройства вывода данных, такие как спикеры 197 и принтер 196, которые могут быть подсоединены через периферийный интерфейс 195 вывода.
В одном из вариантов осуществления изобретения перьевое устройство 163 оцифровки и соответствующее перо или стилус 164 предусмотрены для цифрового захвата рукописного ввода. Хотя между перьевым устройством 163 оцифровки и интерфейсом 160 ввода пользователя показано непосредственное соединение, на практике перьевое устройство 163 оцифровки может быть подсоединено к процессорному устройству 120 непосредственно через параллельный порт или другой интерфейс и системную шину 121, как известно в данной области техники. Помимо этого, хотя устройство 163 оцифровки показано отдельно от монитора 191, используемая область ввода устройства 163 оцифровки может совпадать с областью отображения монитора 191. Дополнительно устройство 163 оцифровки может быть интегрировано в монитор 191, или может присутствовать в виде отдельного устройства, накрывающее сверху или каким-либо другим образом прикрепленное к монитору 19.
Компьютер 110 может работать в сетевом окружении, используя логические соединения с одним или более удаленными компьютерами, таким как удаленный компьютер 180. Удаленный компьютер 180 может быть персональным компьютером, сервером, маршрутизатором, сетевым ПК, одноранговым узлом сети, или другим обычным узлом сети, и обычно включает в себя ряд элементов, описанных выше в связи с компьютером 110, или все указанные элементы, несмотря на то, что на Фиг.1 изображено только запоминающее устройство 181. Изображенные на Фиг.1 логические соединения включают в себя локальную сеть (ЛС) 171 и глобальную сеть (ГС) 173, но также могут включать в себя другие сети. Такие типы сетевого окружения являются обычными в офисах, промышленных компьютерных сетях, интрасетях и Интернете.
При использовании в локальной сетевой среде, компьютер 110 подсоединяется к ЛС 171 через сетевой интерфейс или адаптер 170. При использовании в глобальной сетевой среде, компьютер 110 обычно включает в себя модем 172 или другие средства для установления соединения через ГС 173, такую как Интернет. Модем 172, который может быть внутренним или внешним, может быть подсоединен к системной шине 121 через пользовательский интерфейс 160 ввода или другим подходящим способом. В сетевой среде программные модули, описанные в связи с компьютером 110, или часть их, могут храниться в удаленном устройстве хранения данных. Для примера, но не с целью ограничения, на Фиг.1 показаны удаленные прикладные программы 185, размещенные в запоминающем устройстве 181. Очевидно, что показанные сетевые соединения являются иллюстративными и могут быть использованы другие средства организации соединения между компьютерами.
Также очевидно, что показанные сетевые соединения являются иллюстративными и могут быть использованы другие средства установления связи между компьютерами. Допускается наличие любого из множества хорошо известных протоколов, таких как TCP/IP, Ethernet, FTP, HTTP и им подобных, и система может работать в конфигурации клиент-сервер, позволяя пользователю получать веб-страницы от веб-сервера. Любой из множества известных веб-браузеров может быть использован для отображения и манипулирования данными на веб-страницах.
На Фиг.2 показан иллюстративный вариант осуществления устройства ввода для использования согласно различным аспектам настоящего изобретения. Ниже описан ряд различных элементов или датчиков. Для осуществления аспектов настоящего изобретения могут быть использованы различные комбинации датчиков. Помимо этого, также могут быть включены дополнительные датчики, в том числе магнитный датчик, акселерометр, гироскоп, микрофон или любой датчик, выполненный с возможностью определения положения устройства ввода относительно поверхности или объекта. На Фиг.2 перо 201 включает в себя чернильный картридж 202, датчик 203 давления, камеру 204, индуктивный элемент 205, процессор 206, память 207, приемопередатчик 208, источник питания 209, установочную станцию 210, колпачок 211 и дисплей 212. Различные компоненты могут быть соединены электрически, как это необходимо, используя, например, шину 9 (не показано). Перо 201 может служит в качестве устройства ввода для набора устройств, включающих в себя настольный компьютер, лэптоп, планшетный ПК, персональный цифровой помощник, телефон или любое устройство, которое может обрабатывать и/или отображать информацию.
Устройство 201 ввода может включать в себя чернильный картридж 202 для осуществления обычных для пера операций письма или рисования. Помимо этого пользователь может генерировать электронные метки при помощи устройства ввода в процессе использования устройства способом, обычным для пера. Таким образом, чернильный картридж 202 может обеспечить удобную, знакомую среду для генерации рукописных штрихов на бумаге, в то время как перемещения пера записываются и используются для генерации электронных меток. Чернильный картридж 202 может быть перемещен в положение для письма из удаленного положения, используя любой из известных способов. В качестве альтернативы, чернильный картридж 202 может быть заменен картриджем, не содержащим чернил, таким как пластиковый картридж с закругленным кончиком, но который дает возможность перемещать перо по поверхности, не повреждая перо или поверхность. Дополнительно, может быть включен индуктивный элемент или элементы для содействия в обнаружении относительного перемещения устройства ввода, например, посредством обеспечения сигналов, индикативных для пера, например, также как сигналы, генерируемые стилусом. Датчик 203 давления может быть включен для определения ввода, например, указывающего на то, что перо 201 опущено после размещения над объектом, тем самым способствуя выбору объекта или указанию, например, такому как выполняется при помощи выбора ввода через кнопку мыши. В качестве альтернативы, датчик 203 давления может определять силу нажатия, с которой пользователь наносит штрихи пером, для использования в изменении ширины генерируемых электронных меток. Помимо этого, датчик 203 может инициировать работу камеры. В альтернативных режимах работы камера 204 может работать независимо от установки датчика 203 давления.
Помимо этого, в дополнение к датчику давления, который может работать в качестве переключателя, также могут быть включены дополнительные переключатели для воздействия на различные установки для управления работой устройства ввода. Например, один или несколько переключателей могут быть предусмотрены на внешней стороне устройства ввода и использоваться для включения питания устройства ввода, активации камеры или источника света, для управления чувствительностью датчика или яркостью источника света, установки устройства ввода в режим выполнения набросков, в котором не выполняется преобразование в текст, установки устройства для внутреннего запоминания вводимых данных, обработки и сохранения вводимых данных, передачи данных устройство обработки, такое как компьютерное устройство, с которым устройство ввода имеет возможность обмениваться данными, или для управления любыми установками, которые могут потребоваться.
Камера 204 может быть включена для захвата изображений поверхности, поверх которой перемещается перо. Индукционный элемент 205 также может быть включен для расширения функциональных возможностей пера при использовании в качестве стилуса в индукционной системе. Процессор 206 может содержать любой известный процессор для выполнения функций связанных с различными аспектами настоящего изобретения, которые более подробно описаны ниже. Аналогично, память 207 может включать в себя ОЗУ, ПЗУ, или любое другое запоминающее устройство для хранения данных и/или программных средств для управления устройством или обработки данных. Устройство ввода может дополнительно включать в себя приемопередатчик 208. Приемопередатчик выполняет обмен данными с другими устройствами. Например, для осуществления обмена данными может использоваться Bluetooth® или другие беспроводные технологии. Другие устройства могут включать в себя компьютерные устройства, которые могут дополнительно включать в себя устройства связи.
Источник 209 питания может входить в состав и обеспечивать питание, если перо 201 должно использоваться независимо и удаленно от главного устройства, устройства, в котором данные должны обрабатываться, сохраняться и/или отображаться. Источник 209 питания может быть встроен в устройство 201 ввода в любом месте, и может быть расположен для обеспечения возможности быстрой замены, если источник питания должен быть заменяемым, или для облегчения его зарядки, если источник питания должен быть перезаряжаемым. В качестве альтернативы, перо может быть соединено с альтернативными источниками питания, такими как адаптер для электрического соединения пера 201 с автомобильным аккумулятором, зарядным устройством, подсоединяемым к стенной розетке, источником питания компьютера, или любым другим источником питания.
Соединитель 210 с док-станцией может использоваться для передачи информации между устройством ввода и вторым устройством, таким как внешний главный компьютер. Соединитель 210 с док-станцией также может включать в себя конструкцию для зарядки источника 209 питания при соединении с док-станцией (не показано) или при соединении с источником питания. USB или другое соединение может обеспечивать соединение с возможностью рассоединения устройства ввода с главным компьютером через соединитель с док-станцией, или через альтернативный порт. В качестве альтернативы, для соединения пера с устройством для передачи и приема данных может быть использовано проводное соединение. В проводной конфигурации соединитель с док-станцией может отсутствовать, поскольку устройство ввода имеет проводное соединение непосредственно с главным устройством. Соединитель с док-станцией может отсутствовать или возможна его замена на другую систему связи с другим устройством (например, Bluetooth® 802.11b).
Устройство 201 ввода может дополнительно включать в себя удаляемый колпачок 211, который может быть снабжен металлическим наконечником для обеспечения возможности применения резистивных датчиков, таким образом, что устройство 201 ввода может быть использовано с устройством, включающим в себя, например, сенсорную панель. Оболочка устройства 201 ввода может быть выполнена из пластика, металла или смолы, или их комбинации, или любого материала, который может обеспечить защиту компонентов или всей конструкции устройства ввода. Шасси может включать в себя металлический отсек для электрической экранировки некоторых или всех чувствительных электронных компонентов устройства. Устройство ввода может иметь удлиненную форму, которая может соответствовать форме ручки. Однако устройство может быть выполнено в любой форме, совместимой с его применением в качестве устройства ввода и/или устройства генерации меток.
На Фиг.3А-3С показаны три иллюстративных варианта осуществления камеры для использования согласно аспектам настоящего изобретения. Как показано, устройство 201 ввода может применяться для генерации электронных меток посредством обнаружения перемещения пера, например, используя камеру. Камера 304 может быть включена в состав устройства для захвата изображений поверхности, поверх которой перемещается перо, и определения посредством анализа изображения величины перемещения пера над сканируемой поверхностью. Перемещение может быть связано с документом и в электронном виде перенесено, добавлено или связано (например, сохранение введенных правок отдельно от исходного документа) в виде электронных меток в документе.
Как показано на Фиг.3А, в одном из вариантов осуществления, камера 304 включает в себя датчик 320 изображения, содержащий, например, матрицу элементов датчиков изображения. Например, камера может содержать CMOS датчик изображения, выполненный с возможностью сканирования квадратной области 1,79 мм × 1,79 мм с разрешением 32 пикселя на 32 пикселя. Частота кадров с минимальной экспозицией для одного такого датчика изображения может составлять приблизительно 330 Гц, тогда как иллюстративный датчик изображения может работать с частотой обработки 110 Гц. Выбранный датчик изображения может содержать датчик цветного изображения, датчик серого изображения, или может работать, обнаруживая интенсивность, превышающую единичный порог. Однако выбор камеры или ее компонентов может меняться исходя из требуемых рабочих параметров, связанных с камерой, исходя из таких параметров, как производительность, цена и т.п., которые могут определяться такими факторами, как разрешение, требуемое для точного вычисления положения устройства ввода.
Поверхность, поверх которой перемещают устройство ввода, может освещать источник 321 света. Источник света может содержать, например, один светоизлучающий диод (СД), СД-матрицу, или другие светоизлучающие устройства. Источник света может выдавать свет одного цвета, в том числе белый, или может выдавать набор цветов. Для направления света, как это требуется, камера может включать в себя полупрозрачное зеркало 322. Камера 304 может дополнительно включать в себя одно или несколько оптических устройств 323 для фокусировки света от источника света на сканируемую поверхность 324 и/или фокусировки света, отраженного от такой поверхности на датчик 320 изображения.
Как показано на Фиг.3А, свет, испускаемый источником 321 света, отражается полупрозрачным зеркалом 322, зеркалом, которое отражает или пропускает свет в зависимости от направления падающего света. Отраженный свет затем направляют через систему 323 линз и передают на нижележащую отражающую поверхность. Затем свет отражается от этой поверхности через систему 323 линз, падает на полупрозрачное зеркало 322 под углом пропускания, проходя через зеркало, и падает на чувствительную матрицу 320. Конечно, для захвата данных изображения могут применяться камеры, включающие в себя камеры, содержащие большее или меньшее количество компонентов. Различия в расположении компонентов также может быть значительным. Для того чтобы привести только один пример, при упрощенном расположении источник света и чувствительная матрица могут быть размещены вместе, таким образом, что они оба обращены к поверхности, с которой требуется захватить изображение. В этом случае, поскольку не требуется отражений внутри камеры, полупрозрачное зеркало может быть удалено из системы. Как показано на Фиг.3В, при упрощенной конфигурации источник 321 света расположен на некотором расстоянии от линзы 323 и датчика 320. При еще одном упрощенном расположении, как показано на Фиг.3С, источник света может быть удален и на датчик 320 фокусируется линзой 323 внешний свет, отраженный целевой поверхностью.
Таким образом, различия в компонентах встроенных в камеру, или в их расположении, может быть использовано способом, совместимым с аспектами настоящего изобретения. Например, расположение, и/или ориентация камеры, и/или чернильного картриджа может отличаться от показанной на Фиг.2, предоставляя возможность использования широкого спектра конфигураций и способов ориентации камеры и/или чернильного картриджа. Например, камера 304 или любая из ее составных частей может быть размещена в отверстиях, расположенных смежно с отверстием для чернильного картриджа, а не в том же самом отверстии, как показано. В качестве дополнительного примера камера 304 может быть размещена в центре устройства ввода при чернильном картридже, расположенном сбоку от камеры. Аналогично, источник 321 света может быть встроен в корпус остальных компонентов, причем один или несколько компонентов могут быть расположены отдельно от других. Помимо этого может быть использовано устройство направленного света, использующее источник света, и/или оптическую систему, с дополнительной структурой, и/или программным обеспечением, или модификации показанных компонентов, как это необходимо.
В обычной оптической конструкции оптическая ось проходит через центр датчика изображения и ПЗ (поле зрения) линзы, причем оптическая ось является практически параллельной оболочке устройства ввода. Оптическая характеристика является наилучшей, если устройство ввода перпендикулярно плоскости бумаги, поскольку при этом плоскость датчика изображения является параллельной плоскости поверхности. Однако пользователи часто используют ручку под некоторым углом наклона, не равным 90°. Поэтому эффект перспективы будет ограничивать применение устройства ввода, которое является работоспособным, если удерживается под углом примерно девяносто градусов. Случай письма по существующим надписям возникает, если пользователь желает написать что-нибудь в области, в которой уже были сделаны надписи. В таком случае необходима специальная обработка, поскольку узор в виде лабиринта покрыт сделанными пользователем надписями. Поле зрения смещенной оптической системы для устройства ввода решает проблему эффекта перспективы, а ИК (инфракрасное) освещение решает проблему случая уже существующей надписи. ИК-освещение может быть использовано для захвата узора в виде лабиринта, покрытого непечатным содержимым.
На Фиг.4 показан вариант осуществления системы изображения устройства 400 ввода. Устройство 400 ввода может содержать 32х32 пиксельный КМОП датчик 410 изображения. Цель системы может представлять собой 5мм х 5мм поле плоскости узора в виде лабиринта. Когда пользователь пишет или наносит штрихи, между устройством 400 ввода и плоскостью поверхности имеются углы наклона и склонения с кончиком пера в качестве опорной точки. Многие пользователи обычно не держат перо под углом девяносто градусов. Поэтому система изображения настоящего изобретения разработана так, что удовлетворяет требованиям достаточного качества изображения в определенных пределах углов наклона/склонения, например от 50° до 90°. В таблице 1 приведены требования на линзы одного из вариантов осуществления настоящего изобретения.
| Таблица 1 Требования на линзы системы изображения |
|
| Размер захватываемого изображения | Размер области плоскости поверхности, захватываемой камерой (5мм × 5мм), в настоящей заявке называемый полем зрения |
| Расстояние сопряжения | Менее 30 мм |
| Искажение плоскости изображения | Менее 3,5% |
| Разрешение | Лучше, чем 12 пл/мм (пар линий на миллиметр) |
| Увеличение | 0,385 (размер детектора/размер ПЗ) |
| Глубина фокусировки (ГФ) | 65 ± 15° (угол наклона с кончиком пера в качестве опорной точки) |
| Освещение | Приблизительно равномерное в плоскости изображения |
Как показано на Фиг.4, устройство 400 ввода может быть использовано при различных углах наклона относительно плоскости поверхности. Так, в конструкции системы угол наклона 65° указан в качестве расчетного. В таком положении устройства 400 ввода оптическая система работает более эффективно. Как показано на Фиг.4, реальное поле 440 зрения датчика 410 изображения является частью всего поля 450 зрения структуры 420 линз, и между реальной осью системы изображения и главной оптической осью линзы 430 существует угол. Ось системы изображения является приблизительно параллельной оси пера, т.е. ось системы изображения расположена под углом около 65°÷70° к плоскости поверхности.
При расчетном угле оптическая ось 430 структуры 420 линз является перпендикулярной плоскости изображения, в то время как поле зрения датчика 410 изображения является смещенным относительно оптической оси 430, как показано на Фиг 5. Расстояние от центра поля зрения до оптической оси составляет примерно 7,44 мм, что дает угол наклона примерно 65° к плоскости изображения. Конструкция со смещенным полем зрением может уменьшить эффект перспективы, поскольку плоскость изображения является примерно параллельной к плоскости бумаги при нормальном расчетном угле, т.е. перспектива является очень маленькой (менее 3,5%) когда устройство 400 ввода удерживают примерно под углом 65°. Специалисты в данной области техники признают, что иллюстративный расчетный угол составляющий примерно 65° описанный выше составляет только один из примеров и что могут использоваться другие углы согласно настоящему изобретению.
Структура 420 линз может представлять собой трехэлементную систему, содержащую двойную линзу одинарную линзу. Подходящую величину апертуры выбирают таким образом, чтобы удовлетворить требования как к глубине фокусировки, так и яркости изображения. Вся оптическая система может быть оптимизирована при помощи программного обеспечения ZEMAX, Сан-Диего, Калифорния, для получения как хорошего разрешения так и приемлемого искажения.
При разработке оптической системы часто недооценивают влияние освещения на качество изображения. Подходящая схема освещения может увеличить контраст и разрешение изображения, улучшая общее качество системы. Источник света может содержать единичный светоизлучающий диод (СД), или СД матрицу, или другие светоизлучающие устройства. Источник света может выдавать белый свет, один цвет или множество цветов. Освещающий компонент дополнительно может включать в себя один или два оптических устройства для фокусирования света от источника света на сканируемую поверхность и обеспечения яркого и равномерного освещения, насколько это возможно.
На Фиг.6 показана ИК-СД-осветительная оптическая система согласно по меньшей мере одному аспекту настоящего изобретения. Свет, испускаемый двумя СД 610, через пленку направляют непосредственно на плоскую поверхность 620. Области, освещаемые двумя СД, перекрываются 630, что превышает ПЗ 640 камеры. В одном из вариантов осуществления, в качестве источника света может быть выбран 850 нм ИК СД 610. Характеристики освещения поверхности 620 являются такими, что узор может быть покрытым непечатными чернилами, т.е. ИК свет от ИК СД 620 может проходить через слой чернил так, что чернильные надписи на поверхности 620 не влияют на изображение, захватываемое КМОП датчиком. Помимо этого, узкополосный спектр может улучшить качество изображения. Перед ИК СД 620 может быть размещена пленка с диффузным отражением для улучшения равномерности освещения. ПЗ освещают двумя СД 620 с двух направлений для обеспечения достаточной яркости и равномерности яркости освещения, насколько это возможно, на поверхности 620.
Система изображения, включающая в себя линзу, датчик изображения и источник света, может быть расположена смежно с чернильным картриджем, как показано на Фиг.4. Чернильный картридж с чувствительными к усилию компонентами и компонентами системы изображения могут быть интегрированы в механический компонент. Давление от кончика пера, касающегося плоскости, может быть использовано для включения/выключения сэмплирования изображения и обеспечения информации о толщине для генерации электронных меток. При этом для чувствительного к давлению компонента одна из проблем заключается в том, чтобы разработать эффективную и надежную систему передачи давления, которая может автоматически точно обнаруживать нажатие и ослабление кончика пера при перемещении кончика пера вверх и вниз. Как показано на Фиг.7А, система 710 датчика давления обеспечивает надежное обнаружение усилия. Система 710 концентрирует усилие через шарик 720 из нержавеющей стали непосредственно на кремниевом чувствительном элементе 730. На Фиг.7В показана эффективная система передачи давления на основе скользящего блока с пружиной. Пружины 740 используют для буферизации давления и восстановления положения чернильного картриджа 760. Винт 750 тонкой регулировки используют для установки порога усилия. Длина винта 750 вне скользящего блока 770 может быть использована для определения предела сжатия пружин 740. Расчетный интервал усилий составляет от 0 кг до 4,5 кг. Для оцифровки усилия могут быть использованы линейный операционный усилитель и 12-битный аналого-цифровой преобразователь (АЦП). Точное определение усилия и точность 12 бит дают возможность устройству ввода записывать штрихи, имеющие определенную толщину. В Таблицах 2-8 приведена дополнительная информация, относящаяся к одному из вариантов осуществления линз настоящего изобретения. Фиг.8 предоставляет дополнительную информацию к Таблицам 6 и 7, приведенным ниже.
| Таблица 2 Общие характеристики линзы |
|
| Поверхности диафрагма |
10 5 |
| Апертура системы Каталоги стекла Нацеливание луча |
Image space Schott Параксиальное, со включенным кэшем |
| Сдвиг зрачка по X Сдвиг зрачка по Y Сдвиг зрачка по Z |
0 0 0 |
| Аподизация Эквивалентное фокусное расстояние |
Однородная, коэффициент=0.00000E+000 5,317697 (в воздухе при температуре и давлении системы) |
| Эквивалентное фокусное расстояние Заднее фокусное расстояние Полная длина |
5,317697(в пространстве изображения) 5,187262 27,07951 |
| (F/#) пространства изображения Параксиальное рабочее F/# Рабочее F/# Числовая апертура (NA) пространства изображения |
6,5 20,19998 19,55002 |
| Числовая апертура (NA) пространства объекта Радиус диафрагмы |
0,02474492 0,06892086 0,3888333 |
| Высота параксиального изображения Параксиальное увеличение |
10,5 -2,791037 |
| Диаметр входного зрачка Положение входного зрачка |
0,8181072 5,000273 |
| Диаметр выходного зрачка Положение выходного зрачка |
1,083351 -21,7404 |
| Тип поля | Высота параксиального изображения в миллиметрах |
| Максимальное поле Первичная волна Угловое увеличение Поля |
10,5 0,545 0,7551635 5 |
| Единицы измерения для линзы | миллиметры |
| Таблица 3 Тип поля: параксиальная высота изображения (единицы: в миллиметрах) |
|||
| # | Значение Х | Значение Y | вес |
| 1 | 0,0 | 0,0 | 0,02 |
| 2 | 0,0 | 5,0 | 1,50 |
| 3 | 0,0 | 7,5 | 1,00 |
| 4 | 0,0 | 10,0 | 1,00 |
| 5 | 0,0 | 10,5 | 1,00 |
| Таблица 4 Коэффициенты виньетирования |
|||||
| # | VDX | VDY | VCX | VCY | VAN |
| 1 | 0,0 | 0,0 | 0,0 | 0,0 | 0,0 |
| 2 | 0,0 | 0,0 | 0,0 | 0,0 | 0,0 |
| 3 | 0,0 | 0,0 | 0,0 | 0,0 | 0,0 |
| 4 | 0,0 | 0,0 | 0,0 | 0,0 | 0,0 |
| 5 | 0,0 | 0,0 | 0,0 | 0,0 | 0,0 |
| Таблица 5 Длины волн: 3 Единицы: микроны |
||
| # | Значение | Вес |
| 1 | 0,450 | 1,0 |
| 2 | 0,545 | 1,0 |
| 3 | 0,618 | 1,0 |
| Таблица 6 Сводные данные о поверхностях |
|||||||
| Поверх-ность | Тип | Примечание | радиус | Толщина | стекло | диаметр | конус |
| объект | STANDARD | бесконечность | 0,920734 | 7,524086 | 0 | ||
| 1 | STANDARD | бесконечность | 0,53 | СВАК6 | 6,477137 | 0 | |
| 2 | STANDARD | бесконечность | 4,23389 | 6,125204 | 0 | ||
| 3 | STANDARD | 5,931 | 0,7 | CLAF2 | 2,4 | 0 | |
| 4 | STANDARD | -4,36 | 0 | 2,4 | 0 | ||
| STO | STANDARD | бесконечность | 0,32 | 0,7776666 | 0 | ||
| 6 | STANDARD | -1,7 | 0,55 | CZF2 | 1,049225 | 0 | |
| 7 | STANDARD | 11,56 | 0,08 | 2,4 | 0 | ||
| 8 | STANDARD | -9,45 | 0,78 | CLAK3 | 1,69666 | 0 | |
| 9 | STANDARD | -1,95 | 19,88562 | 2,4 | 0 | ||
| IMA | бесконечность | 21,06387 | 0 |
| Таблица 7 Данные о толщине края |
|
| Поверхность | |
| объект | 0,920734 |
| 1 | 0,530000 |
| 2 | 4,356554 |
| 3 | 0,408946 |
| 4 | 0,168389 |
| STO | 0,237029 |
| 6 | 0,695424 |
| 7 | -0,020607 |
| 8 | 0,405197 |
| 9 | 20,298575 |
| IMA | 0,000000 |
| Таблица 8 Характеристики линзы |
|
| Фокусное расстояние, f | 5,52 мм |
| Общая длина | 28 мм |
| F# | 19,5 мм |
| Длина волны света | 456, 546, 640 мм |
Для облегчения детектирования и/или позиционирования устройства ввода поверхность объекта, поверх которой позиционируют устройство ввода, может содержать данные изображения, которые указывают относительное положение областей поверхности. В одном из иллюстративных вариантов осуществления сканируемая поверхность может содержать дисплей главного компьютера или другого внешнего компьютерного устройства, которое может соответствовать монитору настольного компьютера, лэптопу, планшетному ПК™, персональному цифровому помощнику, телефону, цифровой камере или любому устройству, выполненному с возможностью отображения информации. Соответственно, пустой документ или другое изображение, генерируемое на экране планшетного ПК™, может включать в себя данные, соответствующие коду, который представляет относительное положение этой части документа внутри всего документа или относительно любой другой части изображения. Информация может быть составлена из изображений, которые могут включать в себя алфавитно-цифровые знаки, кодирующий узор или любой различимый узор данных изображения, который может быть использован для указания относительного положения. Изображение или изображения, выбранные для использования при определении местоположения областей на поверхности объекта, могут зависеть от чувствительности сканирующего устройства, встроенного в камеру, например, физическое разрешение датчика, и/или физическое разрешение данных изображения, содержащихся на сканируемой поверхности. Информация о местоположении, извлеченная из объекта, затем может быть использована для отслеживания перемещения устройства ввода поверх объекта. Используя такую информацию, может быть легко сгенерирована электронная метка, или другая информация, соответствующая перемещению устройства ввода. Информация о местоположении может быть использована как для определения положения внутри изображения, для которого применяют операцию ввода, а также для предоставления указания перемещения устройства ввода поверх поверхности объекта. Полученная в результате информация, например, может быть использована интерактивно с программными средствами обработки текста для генерации изменений в документе.
В альтернативном варианте осуществления объект, используемый в комбинации с устройством ввода, может быть изготовлен, например, из бумаги с информацией позиционирования, включенной в фон. Информация позиционирования может быть введена в любой форме кода, оптического представления, или другой форме, которая может быть воспринята датчиком, связанным с устройством ввода, и использоваться для представления относительного положения определенного места на бумаге.
На Фиг.9 показан иллюстративный способ кодирования положения документа. В этом примере фон изображения может включать в себя тонкие линии, которые формируют узор, подобный лабиринту, когда рассматриваются в больших группах. Каждая группа линий в лабиринте, содержащая несколько тонких линий с уникальной ориентацией и относительными положениями, например, может обозначать положение этой части узора в виде лабиринта относительно других частей документа. Декодирование узора в виде лабиринта, обнаруженного в захваченном изображении, может быть выполнено в соответствии с многочисленными схемами декодирования. В одном из вариантов осуществления для генерации информации позиционирования может декодироваться конкретное расположение и группировка линий. В другом варианте осуществления указание на положение захваченных данных может быть выведено путем извлечения кода из изображения, соответствующего оцифрованному узору и использования этого кода для адресации таблицы просмотра, содержащей данные, идентифицирующие положение этой области. Ссылка на способ кодирования, использующий узор в виде лабиринта, представлен в иллюстративных целях совместно с аспектами настоящего изобретения, также могут использоваться альтернативные способы кодирования, включающие в себя, без ограничения, способы визуального кодирования заявки на патент США № 10/284,412 поданной 31 Октября 2002, озаглавленной “Active Embedded Interaction Code” содержимое которой включено в настоящее описание во всей своей полноте в качестве ссылки.
Даже в случае отсутствия кодов положения, изображение, захваченное датчиком изображения, может быть проанализировано для определения положения устройства ввода в момент захвата изображения. Последовательные изображения могут использоваться для вычисления относительных положений устройства ввода в различные моменты времени. Корреляция такой информации может предоставить точную траекторию устройства ввода поверх подложки. Используя такую информацию о траектории, например, могут генерироваться электронные метки, точно воспроизводящие рукописные штрихи.
На Фиг. 10 представлена иллюстрация образца траектории, из которого может быть сгенерирована электронная метка. В этом примере первое захваченное изображение может содержать часть узора в виде лабиринта, указывающую на первую позицию р1 устройства ввода в первый момент времени t1. Следующее захваченное изображение может содержать часть кодированных данных изображения, другую часть узора - в виде лабиринта, в этом примере представляющую информацию положения второй позиции р2 во второй момент времени t2. Третье захваченное изображение может содержать третью часть узора в виде лабиринта, тем самым указывая положение устройства ввода в третьей позиции р3 в момент времени t3. Используя эти данные, три точки могут обозначать траекторию устройства ввода за время от t1 до t3. Применяя алгоритмы для оценки образца, вычерчиваемого устройством ввода, могут быть сгенерированы электронные метки. Сложность применяемого алгоритма определяется точностью генерируемых меток. Например, основной алгоритм рисования может просто соединять точки прямыми линиями неизменяемой толщины. Алгоритмы разложения предварительно введенных точек, время между моментами ввода или другие данные указывающие на скорость или ускорение, с которыми перемещается точка ввода, данные, указывающие на силу нажима, или любые другие значимые данные, могут обрабатываться для обеспечения меток, которые более точно представляют реальное перемещение устройства ввода (например, от других датчиков).
Оптическое сканирование, выполняемое камерой 304, может генерировать данные, необходимые для определения положения устройства ввода в различные моменты времени, и эта информация может быть использована для генерации электронных меток. В одном из иллюстративных вариантов осуществления сравнение изображения, захваченного в момент времени t1, с изображением, захваченным в момент времени t2, может обеспечить данные указывающие на расстояние перемещения пера от одной точки до другой за период с t1 по t2. Эти данные двух точек и/или расстояние относительного перемещения затем может быть использовано для генерации траектории перемещения устройства ввода для генерации электронных меток, представляющих рукописные штрихи. Сравнение двух или набора изображений или частей захваченных изображений для вычисления относительного перемещения может быть выполнено при помощи анализа различий. В этом случае, например, особенности, которые появились более чем в одном изображении, могут сравниваться, и относительное перемещение особенности или особенностей от одного положения до другого внутри этих изображений могут обеспечить точное указание перемещения пера. В случае необходимости использования нерегулярного периода ввода, алгоритм обработки может быть модифицирован для вариаций в периоде ввода для более точного указания корреляции между перемещением устройства ввода с реальным временем, требуемого для каждого перемещения. Информация, указывающая на скорость перемещения, может быть полезной в генерации электронных меток соответствующей толщины.
В соответствии с таким вариантом осуществления, поверхность, поверх которой перемещают устройство ввода, может включать в себя дисплей компьютерного устройства, коврик для мыши, поверхность стола или любую неоднородную отражающую поверхность, на которой можно выделить объекты или данные изображения, указывающие на перемещение устройства ввода поверх этой поверхности. Алгоритм отслеживания, при помощи которого могут обрабатываться данные захваченного изображения, может быть фиксированным или может меняться в зависимости от захватываемого изображения. Используя простой алгоритм отслеживания, процессор может обнаруживать частички древесины стола, например, и основываясь на сравнении последовательности изображений, захваченных камерой, относительное положение конкретного узора частичек внутри последовательных изображений может быть использовано для определения положения точки ввода в различные моменты времени и/или относительное перемещение устройства ввода поверх этой поверхности. Более сложный алгоритм отслеживания может быть необходим, если отличительные особенности изображения являются не настолько легкоразличимыми и изображение более однородно. Также могут использоваться совместно с аспектами настоящего изобретения альтернативные способы пассивного кодирования, включающие в себя, без ограничения, способы кодирования, описанные в заявке на патент США № 10/284,451, поданной 31 октября 2002 и озаглавленной “Passive embedded interaction code”, содержание которой включено в настоящее описание во всей своей полноте в качестве ссылки.
На Фиг.11А показана архитектура аппаратных средств системы согласно одному из аспектов настоящего изобретения. Многие одинаковые или подобные компоненты, иллюстрированные в предыдущих вариантах осуществления, показаны с использованием одинаковых ссылочных позиций. Процессор 1106 может содержать любой известный процессор для выполнения функций, связанных различными аспектами изобретения. Например, процессор может включать в себя FPSLIC AT94S40, и может содержать FPGA (программируемая в устройстве матрица вентилей) с ядром AVR. Такое конкретное устройство может включать в себя 20 МГц тактовый генератор и работать со скоростью 20 MIPS. Конечно, выбор процессора для использования в устройстве ввода 1101 может диктоваться требованиями на стоимость и/или скорость обработки системы. Процессор 1106 может выполнять анализ изображения, если такой анализ следует проводить в устройстве ввода. В качестве альтернативы, обработка может выполняться вторым процессором, таким как цифровой сигнальный процессор (ЦСП), встроенный в устройство 1101. Процессор 1106 дополнительно может выполнять калибровку и регулирование производительности различных компонентов, в том числе настройку интенсивности источника света или чувствительности чувствительной матрицы камеры, например. Помимо этого, процессор, или связанный цифровой сигнальный процессор может выбирать из множества хранящихся алгоритмов обработки изображения и может управляться для выбора алгоритма обработки изображения, наиболее подходящего для обнаружения перемещения, например, согласно характеристикам, связанным с поверхностью, поверх которой перемещают устройство. Таким образом, алгоритм обработки изображения может выбираться автоматически, основываясь на требованиях к производительности, запрограммированных в устройстве. В качестве альтернативы, устройство ввода может управляться, и параметры устанавливают исходя, например, на выборе, введенном пользователем, посредством активации датчика давления или ввода через устройство ввода, или основываясь на рукописных штрихах, соответствующих командам.
В одном из вариантов осуществления, память 1107 может включать в себя одно или несколько ОЗУ, ПЗУ, флэш-память, или любое запоминающее устройство или устройства для хранения данных, хранения программных средств для управления устройством или хранения программных средств для обработки данных. Как указывалось, данные, представляющие информацию положения, могут обрабатываться в устройстве 1101 ввода и сохранятся в памяти 1107 для передачи в главный компьютер 1120. В качестве альтернативы, данные захваченного изображения могут буферизироваться в памяти 1107 в устройстве 1101 ввода, для передачи в главный компьютер 1120 для обработки или наоборот.
Приемопередатчик может включать в себя передающий модуль и приемный модуль. Как указывалось, информация, представляющая перемещение устройства ввода, либо перерабатывается в форму, подходящую для генерации и/или отображения электронных меток, либо, напротив, может быть передана в главный компьютер 1120, например, такой как описанный выше настольный компьютер, лэптоп, планшетный ПК™, персональный цифровой помощник, телефон или другое устройство, для которого могут быть полезными ввод пользователя и электронные метки. Приемопередатчик может осуществлять связь с внешнем устройством, используя любой беспроводной способ, в том числе Bluetooth®, для осуществления связи на короткой дистанции, инфракрасную связь, или даже сотовые и другие технологии беспроводной дальней связи. В качестве альтернативы, приемопередатчик может управлять передачей данных по прямой линии связи с главным компьютером, например, через USB соединение, или косвенно через соединение с док-станцией 1130. Устройство ввода также может быть соединено с главным компьютером кабельной связью, используя выделенное соединение. Приемопередатчик также может использоваться для приема информации и/или программных средств, которые в одном из вариантов осуществления могут использоваться для улучшения производительности устройства ввода. Например, информация программ для обновления функций управления процессора может быть загружена посредством любого из описанных выше способов. Помимо этого, программные средства также могут быть переданы в устройство ввода, в том числе программные средства для анализа данных изображения и/или для калибровки устройства ввода могут быть загружены из внешнего устройства.
Процессор 1106 может работать согласно модели взаимодействия. Модель взаимодействия может быть реализована в форме программных средств для поддержания постоянной активности, при которой электронная метка генерируется независимо от внешнего устройства, для которого модуль выполняет функции устройства ввода. Модель взаимодействия может обрабатывать захваченные данные для преобразования в форму, универсально подходящую для использования в любом главном устройстве, в том числе настольном компьютере, лэптопе, планшетном ПК™, персональном цифровом помощнике, телефоне, планшете или любом устройстве, выполненном с возможностью сохранения, отображения или записи данных посредством устройства ввода. Процессор 1106 может распознавать устройство, к которому он подсоединен, или для которого предназначены данные, представляющие рукописный ввод, и, основываясь на указанном распознавании, выбирать обработку, преобразующую входные данные в форму, подходящую для конкретного распознанного устройства. В этом случае преобразование в форму, подходящую для каждого потенциального принимающего компьютерного устройства, происходит в устройстве ввода, становится доступным по необходимости. Распознавание предполагаемого принимающего компьютерного устройства может быть достигнуто как результат обмена данными между устройствами, связанными непосредственно или беспроводным способом. В качестве альтернативы, пользователь может ввести идентификацию устройства или устройств, для которых предназначены данные, непосредственно в устройство ввода. Естественно, если устройство ввода включает в себя дисплей, данные могут быть обработаны, используя алгоритм обработки по умолчанию, подходящий для применения с дисплеем и/или множеством других устройств.
На Фиг.11В показана другая архитектура системы, согласно настоящему изобретению. Архитектура аппаратных средств может представлять собой комплект печатных плат (ПП) и встроенных программных средств, выполняемых на ПП. Компоненты комплекта ПП включают в себя двуядерный архитектурный компонент 1150, еще один модуль 1160 датчика ввода, модуль 1170 захвата изображения, коммуникационный компонент 1180, аудиомодуль 1155, модуль 1190 интерфейса пользователя, память 1186, логическое управление 1187 и компонент 1188 аппаратного ускорения. Специалисты в данной области техники признают, что приведенные ниже платы и их описания не являются необходимыми для настоящего изобретения и для операций настоящего изобретения могут быть введены один или несколько компонентов.
Двуядерный архитектурный компонент 1150 включает в себя RISC (компьютер с ограниченным набором инструкций) или ПОЗ (процессор общего назначения) 1151, используемый для выполнения встроенной ОС (операционной системы), такой как Windows CE®. ЦСП (цифровой сигнальный процессор) 1152 предназначен для выполнения алгоритмов, таких как обработка изображения, анализ узора в виде лабиринта и декодирование m-массива. Указанные два ядра могут представлять собой различные микросхемы и встроены в одну микросхему. MCU/RISC/GPP компонент 1151 может иметь несколько датчиков и микросхем А/Ц (аналого-цифровое преобразование) действующих одновременно. Датчики и микросхемы А/Ц должны быть сконфигурированы и в то же время управляться. MCU/RISC/GPP компонент 1151 может осуществлять управление системой вычисления, и обмена данными, поскольку MCU/RISC/GPP-компонент 1151 является подходящим для параллельных вычислений в реальном масштабе времени. Один из примеров MCU/RISC/GPP-компонента 1151 может включать в себя три микросхемы: XCV50CS144, микросхему FPGA от Xilinx, San Jose, СА содержащая 50К логических вентилей и 96 пользовательских элементов ввода-вывода; XC18V01, конфигурационное перепрограммируемое ПЗУ от Xilinx, San Jose, СА; и CY62256V, 32Kx8 статическое ОЗУ от CYPRESS, San Jose, СА, в качестве буфера для вычислений.
Компонент 1152 ЦСП (цифровой сигнальный процессор) может состоять из двух микросхем. Микросхема TMS320VC5510 является высокопроизводительной, с низким потреблением мощности, микросхемой ЦСП с фиксированной запятой компании Texas Instruments (TI), Dallas, TX. Такая микросхема является весьма подходящей для мобильных компьютерных устройств. Эту микросхему используют для вычисления, чтобы восстанавливать штрихи согласно записанным пользователем. Второй микросхемой компонента 1152 ЦСП может быть SST39LF160, 16-мегабитная многоцелевая флэш-память компании SST, Sunnyvale, CA. Эту энергонезависимую, надежную, компактную микросхему запоминающего устройства используют, чтобы хранить микропрограммное обеспечение ЦСП и результат вычисления.
Два входных блока включают в себя блок 1160 дополнительных датчиков входных сигналов и блок 1170 захвата изображения. Эти блоки формируют сигналы усилия и изображения, которые являются выводимыми на компонент 1150 сдвоенной архитектуры соответственно. Блок 1160 дополнительных датчиков входных сигналов может включать в себя FSL05N2C, микросхему 1161 датчика усилия компании Honeywell Morristown, NJ, MAX4194, измерительный усилитель 1163 компании MAXIM, Sunnyvale, CA, и MAX 1240, 12-битовый последовательный преобразователь 1162 А/Ц компании MAXIM, Sunnyvale, CA. Блок 1160 дополнительных датчиков входных сигналов настроен, чтобы считывать слабые изменения усилия с 12-битовой точностью, приблизительно до 100 килобайтов выборок в секунду. Точные данные усилия необходимы, чтобы указать, используется ли устройство ввода для записи, или как сильно пользователь нажимает на устройство ввода при записи. Блок 1170 захвата изображения может включать в себя MF64285FP, микросхему 1171 датчика изображения (размером) 32x32 пикселя, компании Mitsubishi, Tokyo, Japan (Токио, Япония), TLV571, 8-битовый преобразователь 1172 А/Ц компании TI, Dallas, TX, и компонент 1173 логического управления. Блок 1170 захвата изображения может вводить изображение до 336 кадр/с. Выбран датчик изображения с минимальной разрешающей способностью 32x32 пикселя, поскольку более низкая разрешающая способность не может захватить достаточно признаков для обработки. Датчик 1171 изображения является быстродействующим, малогабаритным, с малой потребляемой мощностью датчиком изображения. Блок 1170 захвата изображения может включать в себя дополнительные датчики для ввода данных изображения из многих областей. Например, устройство ввода, использующее два датчика 1171 изображения, может использоваться для оперирования с графическим планшетом. Один датчик 1171 изображения может быть настроен с возможностью ввода данных, представительных для записи пользователя (представляющих запись пользователя). Второй датчик 1171 изображения может быть настроен с возможностью сканирования индикатора, такого как штрихкод, для пера графического планшета. В таком примере штрихкод пера графического планшета может включать в себя информацию, относящуюся к цвету и/или толщине пера графического планшета. Второй датчик 1171 изображения может вводить эти данные, чтобы идентифицировать, что пользователь использует синее перо графического планшета, имеющее толщину 1,5 см.
Компонент 1180 связи может включать в себя микросхему 1181 WML-C09 и антенну. Микросхема 1181 WML-C09 является модулем Bluetooth® Класса 2 компании MITSUMI, Токио, Япония. Микросхема Bluetooth® дает возможность устройству ввода данных взаимодействовать с главным ПК со скоростью 720 килобитов в секунду или 100 кадров в секунду в пределах диапазона 10 метров. Bluetooth® является решением замены кабеля, которое имеет низкую стоимость, низкую мощность с широкой промышленной поддержкой, которое является подходящим для использования с настоящим изобретением. Каждому блоку Bluetooth® назначен конкретный и/или уникальный адрес Bluetooth®, который может быть использован, чтобы идентифицировать непосредственно устройство ввода. Компонент 1180 связи может включать в себя порт 1182 УПШ и компонент 1183 универсального асинхронного приемопередатчика (УАПП, UART).
Компонент 1185 управления режимом электропитания от аккумуляторной батареи спроектирован, чтобы формировать все необходимые напряжения, например, 5V, 3.3V, 2.5V, 1.6V, от питающей ионно-литиевой аккумуляторной батареи. Источник питания 5 вольт может быть использован датчиком 1171 изображения и датчиком 1161 усилия. Источник питания 2,5 вольт может быть использован компонентом 1151 MCU/RISC/GPP в качестве внутреннего источника энергии. Источник питания 1,6 вольт может быть использован компонентом 1152 ЦСП для внутреннего источника энергии. Источник питания 3,3 вольт может быть использован другими компонентами, например, для компонента 1180 связи. Компонент 1186 экономичного электропитания сберегает эксплуатационный ресурс батареи, и компонент 1187 зарядки восстанавливает заряд батареи устройства ввода. Разработана также защита от чрезмерной разрядки, чтобы предотвратить повреждение батареи. Компонент управления режимом питания от аккумуляторной батареи может включать в себя нижеследующие микросхемы: UCC3952PW-1 компании TI, Dallas, TX, и MAX9402SO8 компании MAXIM, Sunnyvale, CA, чтобы совместно осуществлять защиту от чрезмерной разрядки; TPS60130PWP компании TI, Dallas, TX, чтобы формировать выходное питание 5 вольт; TPS62006DGSR компании TI, Dallas, TX, чтобы формировать выходное питание 2,5 вольт; TPS62000DGSR компании TI, Dallas, TX, чтобы формировать выходное питание 1,6 вольт; и TPS62007DGSR компании TI Dallas, TX, и/или TPS79333 компании TI Dallas, TX, чтобы формировать выходное питание 3,3 вольт.
Блок 1155 аудио обеспечивает компоненты аудиоинтерфейса для устройства ввода. Блок аудио может включать в себя встроенную систему звукового воспроизведения такую, как проигрыватель MP3. Микрофон допускает возможности записывания речи при использовании устройства ввода. Громкоговоритель 1157 может осуществлять вывод аудио от многих источников, включая встроенный и/или внешний проигрыватель аудио в формате MP3, мультимедийный файл, файл аудио, и/или некоторый другой источник звука. Устройство 1158 звуковой сигнализации может быть звуковым индикатором для пользователя, например, индикатором недопустимой операции и/или индикатором разрядки батареи.
Блок 1190 пользовательского интерфейса обеспечивает различные элементы пользовательского интерфейса для передачи данных к пользователю и от пользователя. Кнопка 1191 питания позволяет пользователю включать или выключать устройство ввода и также может быть настроена для входа в спящий режим, режим ожидания или режим пониженного энергопотребления для сохранения энергии батареи. Функциональная кнопка/переключатель 1192 может быть использована в качестве ввода команды в устройство ввода. Функциональная кнопка/переключатель может быть активизируемой кнопкой для выбора элемента в прикладной программе, с которым работает устройство. Индикаторами 1193 могут быть светодиоды (СД) и/или другие оптические выходные устройства визуального взаимодействия с пользователем. Индикаторы 1193 могут изменять цвета, интенсивность, и/или частоту повторения импульсов. Например, индикатор 1193 может изменять цвета в случае, когда устройство ввода переходит на режим пониженного энергопотребления. ЖКИ (жидкокристаллический индикатор) 1194 может представлять собой мини-дисплей, который выводит пользователю визуальную информацию. Например, ЖКИ 1194 может индицировать на интерфейсе пользователя, что аккумуляторная батарея разряжена, показывая "LO BAT" на устройстве отображения. Проектор 1195 пера дает возможность проецирования изображения на поверхности. Проектор 1195 пера обеспечивает дополнительную визуальную информацию пользователю устройства ввода.
Запоминающее устройство 1186 предусматривает хранение информации любого типа, включая данные датчика 1161 усилия и датчика 1171 изображения и функциональные команды, предназначенные для конкретной прикладной программы, с помощью которой пользовательский интерфейс может функционировать. Блок 1187 логического управления может быть использован для управления периферийными устройствами. Блоком 1187 логического управления может быть ППВМ или СПЛУ (сложное программируемое логическое устройство). Блок 1188 аппаратного ускорения может быть настроен с возможностью ускорять алгоритмы для того, чтобы повышать эффективность вычислений устройства ввода.
Как проиллюстрировано на Фиг. 12, устройство ввода 1201 также может включать в себя один или несколько инерциальных датчиков 1215 для определения перемещения пера, позиции, или ориентации в дополнение к вышеописанным компонентам, представленным с помощью числовых ссылочных позиций. Например, устройство 1201 ввода данных может включать в себя гироскоп для обеспечения данных, представляющих угловую скорость пера в нескольких направлениях. Устройство 1201 ввода данных может включать в себя один или несколько акселерометров, или наборы акселерометров, измеряющих ускорение или силу тяжести, действующую на перо. Данные, представляющие перемещение пера, также могут быть получены с использованием магнитного датчика, измеряющего перемещения пера посредством измерения изменений магнитного поля Земли, который при этом описан как инерциальный датчик, поскольку он обнаруживает перемещение устройства ввода на основании данных, отличных от данных изображения. Данные от каждого или любого из инерциальных датчиков, объединенных или встроенных в устройство ввода, которые могут включать в себя гироскопы, акселерометры, магнитный датчик, индуктивные элементы или любое устройство или устройства для измерения перемещения устройства ввода, могут быть использованы в сочетании вместе с данными от камеры, для получения данных, представляющих перемещение или положение устройства ввода, и таким образом формировать данные для генерирования электронных меток.
Как упомянуто, поверхность объекта, над которой устройство ввода позиционируют и/или перемещают, может включать в себя данные кодированного изображения, которые указывают местоположение или относительную позицию для каждой области в пределах этой поверхности. Объект может содержать устройство отображения, или дисплей компьютерного устройства, например, портативной ЭВМ. В одном варианте осуществления документ может быть выбран из запоминающего устройства и отображен на экране. Вложенной в этот документ, например, на заднем плане, или фоне, может находиться кодированная информация, указывающая позицию каждой области документа. Например, фон документа может включать в себя узор в виде лабиринта, достаточно довольно большая часть этого образа уникальным образом идентифицирующая каждую область внутри полного документа. Устройство ввода может быть использовано в комбинации с кодированной информацией о местоположении, чтобы добавлять аннотации или редакционные изменения к документу на заданных местоположениях, даже если дисплей портативной ЭВМ не включает в себя датчики для обнаружения перемещения устройства ввода по экрану. Таким образом, устройство ввода может функционировать как "активное устройство ввода", так что датчики, связанные с устройством ввода данных, формируют данные, указывающие позицию или местоположение этого устройства.
В одном примере датчик изображения, встроенный внутри устройства ввода, вводит данные изображения, представляющие поверхность экрана дисплея, над которым устройство ввода позиционируют и/или перемещают. Датчик вводит изображения, включающие в себя коды местоположения, указывающие относительную позицию устройства ввода. По мере того, как пользователь осуществляет перемещение по отображенному изображению, вводя аннотации и/или делая редакционные изменения в отображаемом электронном документе, устройство ввода формирует сигналы, представляющие эти входные данные и данные, представляющие то местоположение внутри документа, на котором эти входные данные должны быть встроены (включены в состав). На управление портативным устройством также можно воздействовать, используя устройство ввода вместо мыши, или для того, чтобы выполнять другую общепринятую функцию ввода данных, включая перемещение курсора и обработку вариантов выбора.
Устройство ввода может быть использовано вместе с программным обеспечением обработки текстов для того, чтобы редактировать документ посредством, например, удаления текста и вставки нового текста. Чтобы редактировать документ, отображаемый на экране компьютерного устройства, пользователь позиционирует устройство ввода над экраном в требуемом местоположении. Чтобы удалить текст, пользователь может позиционировать устройство ввода в непосредственной близости к экрану и перемещать устройство в направлении перечеркивания изображения отображаемого текста. Считав коды местоположения, изображение может быть обработано, чтобы определить, что и перо было перемещено в движении перечеркивания, и чтобы идентифицировать текст, соответствующий местоположению, на которое пользователь переместил устройство ввода. Соответственно, входные данные могут быть использованы, чтобы удалить эти данные.
Затем пользователь может пожелать вставить новый текст. Хорошо известным образом пользователь может вычертить символ, предназначенный для вставки текста, например, "морковь" или перевернутый "V", на местоположении, в котором должен быть вставлен новый текст. Обрабатывающее программное обеспечение, предназначенное для преобразования входных данных в данные изображения и/или команды, сохраняемые в устройстве ввода или главном компьютере, распознает символ в качестве управляющего сигнала для вставки текста. При помощи устройства ввода пользователь может затем вручную записать текст, подлежащий вставке.
В альтернативном варианте осуществления пользователь может добавлять примечания, имеющие яркостное выделение, или подсвечивание, индицирующего исходный текст, к которому относятся аннотации. Например, пользователь может выбирать текст, подлежащий подсвечиванию, используя выпадающее меню, или кнопку подсвечивания, отображенные на экране. Затем устройство ввода перетаскивают по тексту, который будет выбран для подсвечивания. Затем комментарии, которые подлежат связыванию с подсвеченным)/выбранным текстом, могут быть записаны на экране дисплея на местоположении, соседним с подсвеченным текстом. Когда операция завершена, пользователь может выбирать подсказки, необходимые для завершения ввода аннотаций. Все эти модификации к документу могут быть созданы, используя устройство ввода, независимо от того, включает ли дисплей в себя датчики для обнаружения перемещения устройства ввода.
Модификации документа могут быть отображены и/или включены в документ в форме данных изображения, электронных меток или данных, преобразованных в текст. Преобразование входных данных в текст может происходить способом, невидимым пользователю, так что текст появляется в отображении документа на экране, по мере того, как он введен. В качестве альтернативы, рукописный текст пользователя может появляться в пределах внутренней части (или тела) документа. Чтобы достичь мгновенного отображения редакционных изменений, информация, представляющая перемещение пера и местоположение таких редакционных изменений, может быть передана на портативное устройство на основе продолжения.
При функционировании устройство ввода вводит изображения, имеющие разрешение 32x32 пиксела, с поверхности, над которой перемещают устройство ввода, и имеющие 12-битовую точность данные о усилии, указывающие, используется ли устройство ввода для записи или как сильно пользователь нажимает устройство ввода при записи. Изображение и данные об усилии упаковывают в кадр. Затем непрерывный поток кадров передают по беспроводной связи, используя Bluetooth®, со скоростью до 100 кадров в секунду. Устройство ввода начинает процедуру автоинициализации, когда включают питание, и затем переходит (меняется) на рабочий режим или режим ожидания. Устройство ввода переключает режимы во время выполнения в соответствии усилением значения давления, то есть переходит в рабочий режим, если значение давления является большим, чем заданное пороговое значении, иначе в режим ожидания.
В рабочем режиме устройство ввода потребляет ток примерно 120 миллиампер. Данные кадра формируют в блоке дополнительных датчиков входных сигналов таком, как 1160, и блоке захвата изображения таком, как 1170, и выдают в архитектуру сдвоенного ядра, такую как 1150. Архитектура 1150 сдвоенного ядра принимает изображение и данные усилия, оформляет их в виде кадра (сжатие изображения, кодирование ЦИК, метка времени, формирование кадра), и передает данные на блок связи такой, как 1180, для связи с главным ПК. В блоке связи также предусмотрен быстродействующий УАПП, такой как 1183, непосредственно связанный с RS-232 главного ПК для отладки. Операции в архитектуре 1150 сдвоенного ядра включают в себя формирование кадра данных, сжатие отображения, метку времени, кодирование ЦИК, и управление линиями передачи данных (через УАПП или Bluetooth).
На Фиг. 13 показана иллюстративная блок-схема данных, проходящих через архитектуру сдвоенного ядра устройства ввода в соответствии по меньшей мере с одним аспектом настоящего изобретения. Во время сбора данных формирование кадра изображения и данных датчика усилия происходит на этапе 1301. Формирование кадра данных может быть настроено с возможностью использования ограниченной полосы пропускания Bluetooth®, разделяя кадры из непрерывного потока данных только посредством двух "FF". В архитектуре сдвоенного ядра данные введенного изображения и усилия объединяют в кадры данных. Кадр 1400 данных составлен из данных изображения (необработанные данные или сжатые данные), данных усилия, метки времени, признака 1410 сжатия, кода ЦИК, и признака кадра, как показано на Фиг. 14.
На этапе 1302 алгоритм, использующий постоянный коэффициент сжатия, сжимает данные изображения от 8 битов на пиксел до 5 или 6 битов. Это сжатие поддерживает устойчивую скорость передачи данных. Принципом алгоритма является прогнозирование плюс неравномерное квантование. Формула прогнозирования: d = + b - c, при этом d является прогнозируемым значением пикселя и a, b, и c являются левым, верхним, левым верхним пикселем, соответственно. Разность между прогнозируемым и фактическим значением квантуется согласно заранее установленной схеме, сохраняемой в виде таблицы просмотра в архитектуре сдвоенного ядра. Сжатие изображения, этап 1302, может быть выполнено, чтобы использовать ограниченную полосу пропускания Bluetooth®. На этапе 1303, 28-битовую метку времени увеличивают для каждого кадра, начиная с запуска, чтобы однозначно и/или уникально идентифицировать каждый кадр данных. На этапе 1304, все данные в кадре данных, кроме признака кадра, направляют 28-битный кодер ЦИК. Приемник в главном ПК может проверить код ЦИК, и отбросить ошибочные кадры. Код ЦИК гарантирует, что все данные принятого кадра являются верными.
В течение управления потоком данных, на этапе 1305, буфер FIFO (первым пришел - первым обслужен) обеспечивает 2048-байтовый буфер, для согласования скорости формирования данных и скорость передачи. Буфер FIFO может действовать одновременно. Данные кадра помещают в FIFO и извлекают в одно и то же время. Когда качество линии связи Bluetooth® является низким, компонент Bluetooth® не может передавать данные кадра с той же скоростью, с какой данные формируют. В этом случае некоторые данные должны быть отброшены, чтобы продолжить формирование кадров. На этапе 1306 блок управления, или контроллер потока выполняет адаптивное управление скоростью передачи кадра, чтобы отбросить дополнительные данные кадра. В течение передачи данных блок связи передает данные кадра на главный ПК. Если для беспроводной передачи данных используют контроллер Bluetooth®, то на этапе 1307 происходит беспроводная передача данных от устройства ввода на блок приемопередатчика Bluetooth® главного ПК. В качестве альтернативы на этапе 1308 может использоваться контроллер УАПП осуществляющий сопряжение с RS-232 главного ПК. Быстродействующее ядро УАПП реализовано в архитектуре сдвоенного ядра для передачи данных из архитектуры сдвоенного ядра на RS-232 в главном ПК. Этот интерфейс может быть тестовым портом для отладки.
При работе в режиме ожидания устройство ввода потребляет ток приблизительно 40 миллиампер. Компонент управления режимом батарейного питания, блок дополнительных датчиков входных сигналов, и блок захвата изображения могут при этом находиться в активном состоянии. Архитектура сдвоенного ядра прекращает большинство операций и контролирует только значение усилия. Компоненты связи работают в ждущем режиме.
Как указывалось, идентичность лица, вводящего входные сигналы, также может быть записана. Например, устройство ввода может формировать информацию, идентифицирующую пользователя и/или конкретное устройство ввода. Информация об идентичности может быть приложена к сформированным входным данным. В качестве альтернативы, такую идентифицирующую информацию можно предоставлять в качестве отдельного сигнала, передаваемого на главное устройство.
На Фиг. 14 показана иллюстративная структура кадра данных, передаваемая от устройства ввода, в соответствии по меньшей мере с одним аспектом настоящего изобретения. Каждое устройство ввода является идентифицированным посредством идентификатора (PEN ID) пера и адресом Bluetooth® компонента Bluetooth®. Признак 1410 сжатия содержит данные (PEN ID), которые идентифицируют устройство ввода, являющееся источником данных изображения в кадре данных. Идентификатор пера является конкретным для устройства ввода. Системы регистрации в начале сеанса отсутствующих пользователей и задаваемые пользователем регистрационные имена, предшествующие технические средства устройств ввода не имели системы идентификации, которая была бы однозначной для устройства ввода. Одно устройство ввода идентифицировали точно так же, как любое другое устройство ввода подобного типа. В соответствии по меньшей мере с одним аспектом настоящего изобретения поле “PEN ID” из флагов 1410 сжатия данных дает возможность многим устройствам ввода данных действовать одновременно. Такое применение будет полезным в совместной работе с несколькими участниками. Специалисту в данной области техники должно быть понятно, что количество байтов для полей 1024, 768 и 640 данных изображения представляет количество байтов без сжатия, сжатых до 6 битов на пиксель, и сжатых до 5 битов на пиксель, соответственно.
В многопользовательском приложении несколько пользователей могут аннотировать один и тот же документ одновременно или нет. Главный ПК будет принимать последовательность данных кадра по мере того, как каждое устройство ввода будет выводить данные кадра. Посредством извлечения данных кадра для каждого устройства ввода, используя “PEN ID” и/или адрес Bluetooth®, несколько устройств ввода могут действовать совместно одновременно или поочередно, как показано на Фиг. 15. Технология Bluetooth® допускает, одновременную идентификацию до семи (7) различных устройств ввода посредством беспроводной передачи данных. Как показано на Фиг. 15, устройства ввода 1510, 1520, и 1530 каждое передает по беспроводной связи данные захваченного изображения на главный ПК посредством компонента связи Bluetooth®. Главный ПК принимает последовательность кадров данных от 1540-1 до 1540-n. Главный ПК может отделять индивидуальные кадры данных для каждого из устройств 1510, 1520, и 1530 ввода из последовательности кадров данных, используя поле PEN ID и/или адрес Bluetooth® соответствующих устройств 1510, 1520, и 1530 ввода данных. Как таковые, в многопользовательском приложении на одном и том же документе могут присутствовать различные аннотации, и главный ПК может отслеживать, какое из устройств 1510, 1520, или 1530 ввода данных создало данную аннотацию.
Поскольку приведенный выше иллюстративный вариант осуществления идентифицирует поверхность, над которой перемещают устройство ввода, в качестве устройства отображения портативного устройства, устройство ввода также может функционировать, чтобы обнаруживать местоположение, используя коды, включенные в пределы поверхности любого объекта, над которой устройство может быть перемещено. Таким образом, изображение, включающее в себя коды местоположения, может быть создано и/или отредактировано, используя устройство ввода в комбинации вместе с монитором настольного компьютера, планшетным ПК™, персональным цифровым помощником, телефоном или любым устройством, которое может отображать информацию. Кодированная информация также может быть включена в пределы прозрачного листа, положенного поверх экрана дисплея таких устройств, или включена в пределы поверхности, которая может использоваться в комбинации вместе с дисплеем, включая защитные пленки.
Кодированная информация также может быть встроена на поверхность для записи или на материале для записи, например, бумажном документе, чтобы уникально идентифицировать местоположения на этой поверхности. Например, позиционная информация может быть включена в фон бумажного документа. Как указывалось, позиционная информация может включать в себя любую форму знаков или кода, представляющих относительное местоположение конкретного места на бумажном документе. Соответственно, устройство ввода может быть использовано во взаимосвязи с кодированным бумажным документом, чтобы записывать информацию, соответствующую рукописному тексту пользователя на соответствующем местоположении. Например, оснащенное только устройством ввода данных и поверхностью для записи, включающей кодированную позиционную информацию, при поездке в такси устройство ввода может быть использовано для черновика письма клиенту. При записи на бумажном документе с помощью устройства ввода программируемые графические знаки, соответствующие тексту или другой входной информации, распознают, обнаруживая изменения в местоположении устройства ввода в некоторые моменты времени. Входные сигналы затем могут быть преобразованы в электронные метки или другие электронные данные для использования в формировании информации, соответствующей этим графическим знакам. Преобразование входных данных может быть выполнено по мере того, как формируют эти входные данные, либо в пределах устройства ввода, либо, если они приняты, главным компьютерным устройством, связанным с устройством ввода данных. В качестве альтернативы такое преобразование может быть выполнено в более позднее время. Например, информация, сформированная с использованием устройства ввода, может быть сохранена в запоминающем устройстве и передана получателю и/или главному компьютеру для подходящей обработки в более поздний момент времени.
Данные, сформированные с использованием устройства ввода, являются ли эти входные данные рукописными буквами, символами, словами или другими письменными изображениями, могут быть включены в документ на местоположениях, идентифицированных посредством кодов местоположения. Таким образом, даже в отсутствие форматированного шаблона, макет документа такой, как предварительно описанное письмо, может быть выполнен, используя информацию о местоположении, идентифицирующую местоположение в пределах документа, в которое должна быть введена информация. Например, адрес разработчика, адрес получателя, внутренняя часть и заключительная часть письма, и оставшиеся компоненты, могут быть введены на бумажный документ в соответствующем местоположении. Используя кодированную информацию о местоположении, введенную камерой, слова или другие изображения, образующие содержимое соответствующего электронного документа, являются включенными на соответствующих местоположениях.
Используя обнаруженную информацию о местоположении, устройство ввода также может взаимодействовать с главным компьютерным устройством для ввода команд и осуществления выборок и т.п. В тех случаях, когда компьютерным устройством является портативная камера или телефон, обладающие возможностью просмотра сети, устройство ввода может быть использовано способом, соответствующим перу или мыши для выбора из отображенных кнопок или меню. Следовательно, устройство ввода можно использовать, чтобы активизировать браузер главного компьютера и выбирать опции для поиска файла такого, как предварительно описанный документ, даже если он сохранен удаленно. Используя устройство ввода, пользователь может выбрать загрузку файла, содержащего информацию, необходимую пользователем. Затем пользователь может вводить аннотации в загруженный файл или файлы посредством устройства ввода. Эти редакционные изменения могут быть переданы на удаленное местоположение, из которого файл был загружен, причем устройство ввода оборудовано для выполнения обмена информацией с удаленными компьютерными устройствами. В качестве альтернативы, редакционные изменения можно использовать, чтобы редактировать файл, сохраненный в пределах устройства ввода и/или главного компьютерного устройства, предполагая, что устройство ввода находится в связи с главным компьютерным устройством.
В другом варианте осуществления файлом, отображаемым на мониторе главного компьютерного устройства, может быть электронная таблица, сформированная с использованием программного обеспечения электронной таблицы такого, как EXCEL™ компании Microsoft® Corporation, Redmond, Washington (Редмонд, Вашингтон). Коды местоположения могут быть использованы, чтобы связать местоположения с заданными ячейками в электронной таблице. Пользователь может вводить числовой элемент в ячейку, отображенную на экране. В это время устройство ввода осуществляет захват изображения, связанные с местоположением устройства ввода, и передает эту информацию на главное компьютерное устройство. Программные средства обработки, например, находящееся в главном компьютерном устройстве и работающее совместно с электронной таблицей, определяет идентичность ячейки, выбранной для ввода, на основании обнаруженных кодов местоположения, и соответственно изменяет содержимое документа электронной таблицы.
Устройство ввода также может быть использовано, чтобы воспроизводить изображения или другую предварительно сохраненную информацию, связанную с конкретными графическими знаками или комбинации графических знаков. Например, устройство ввода можно использовать, чтобы начертить символ, для распознавания которого запрограммировано устройство алгоритма обработки. Узор в виде лабиринта может использоваться, чтобы точно обнаружить перемещение устройства ввода над узором с тем, чтобы мог быть обнаружен конкретный символ, связанный с таким перемещением. Например, пользователь может управлять устройством ввода, чтобы начертить такой предварительно идентифицированный пользователем символ на бумаге, который будет связан с логотипом компании. Узор в виде лабиринта может идентифицировать комбинацию перемещений, соответствующих букве "M", за которой непосредственно следует буква "S", в качестве команды для обозначения ввода логотипа компании Microsoft® Corporation. В качестве результата такая предварительно сохраненная информация может быть введена в документ посредством ввода конкретной последовательности входных данных.
Устройство ввода также можно использовать в качестве пассивного устройства ввода. В таком режиме устройство ввода можно использовать в комбинации с компьютерным устройством, которое воспринимает перемещение устройства ввода, например, используя резистивное считывание. При использовании в комбинации с устройством, которое включает в себя плату датчиков для обнаружения перемещения устройства ввода, такого как планшетный ПКТМ или персональный цифровой помощник, устройство ввода может функционировать способом, соответствующим перу. При использовании устройства ввода электронные метки или другие данные изображения могут быть сформированы, когда устройство ввода расположено довольно близко к экрану. Подобным образом могут быть введены управляющие функции. Дополнительно, изображение, отображенное на мониторе конкретного компьютерного устройства, также может включать в себя данные, соответствующие коду, который представляет относительную позицию этой части документа. Информация местоположения, извлеченная из объекта, используя камеру, затем может использоваться для отслеживания перемещения устройства ввода в качестве подстановки в перемещение, или в комбинации с перемещением, обнаруженным с использованием датчиков компьютерного устройства.
Например, пользователь может пожелать создать или изменить изображение на портативном компьютерном устройстве, которое уже включает в себя возможность обнаруживать местоположение устройства ввода такого, как планшетный ПК™ или персональный цифровой помощник. Устройство ввода может функционировать только в качестве пассивного устройство ввода, так что информацию, представляющую перемещение устройства ввода, формирует компьютерное устройство. Датчики компьютерного устройства, однако, могут не иметь способности обнаруживать перемещение пера в диапазоне, требуемом пользователем в данной ситуации. Например, точное обнаружение пользовательских входных данных может быть затруднено, когда пользователь путешествует в неустойчивом транспортном средстве. По мере того, как пользователь редактирует файл, перемещая устройство ввода по поверхности дисплея компьютерного устройства, устройство ввода может быть оттолкнуто и смещено на значительное расстояние от платы датчика. Данные изображения, введенные устройством ввода данных, можно использовать, чтобы обнаружить перемещение устройства ввода в пределах плоскости, горизонтальной к поверхности компьютерного устройства, даже при том, что сигналы, сформированные датчиками компьютерного устройства, стали менее точными. Даже если датчики компьютерного устройства более не являются способными обнаруживать перемещение устройства ввода, датчик изображения может формировать достаточную информацию, чтобы поддерживать точное представление перемещения устройства ввода, чтобы отобразить предполагаемые входные сигналы пользователя. Таким образом, даже при использовании в комбинации с компьютерным устройством, выполненным с возможностью считывания перемещения устройства ввода, устройство ввода может функционировать в качестве пассивного устройства ввода или в качестве активного устройства ввода.
Устройство ввода также можно использовать совместно с каким-либо бумажным документом, поверхностью для записи или другой подложкой, чтобы записывать информацию, соответствующую рукописному тексту пользователя. Опять, оснащенное только устройством ввода данных и поверхностью для записи, устройство ввода можно использовать, чтобы составить черновик письма клиенту. В этом случае, перьевой ввод данных обнаруживают на основе пассивного кодирования, при котором перемещения устройств ввода обнаруживают, используя коды, отличные от встроенных внутри и/или напечатанных на изображении поверхности подложки. Например, пользователь может составить набросок на простом листе бумаги. Поскольку пользователь пишет с помощью устройства ввода, датчик изображения вводит изображения бумажного документа. Объекты внутри изображений могут быть идентифицированы, и их перемещение в пределах последовательности введенных изображений являются признаками перемещения. Считанные объекты могут включать в себя искусственные объекты или другие объекты на поверхности бумажного документа, которые могут соответствовать водяным знакам или другому дефекту бумажного документа. В качестве альтернативы бумажный документ может включать в себя линованные строки, которые также можно использовать, чтобы вычислить перемещение пера по поверхности. Даже в отсутствие бумажного документа может быть определено относительное перемещение устройства ввода. Устройство ввода можно перемещать по поверхности стола, волокна древесины которой обеспечивает объекты, необходимые для обнаружения относительного перемещения устройства ввода. Способом, подобным вышеописанному, пользователь может составить набросок на бумаге, или любой поверхности, перемещение по которой может быть обнаружено оптически. Перемещения устройства ввода могут быть сохранены в запоминающем устройстве и/или преобразованы в информацию, представляющую эти движения.
В еще одном варианте осуществления портативное устройство может быть использовано в качестве замены портативного компьютерного устройства. Например, решив проблему отказа схемы, по поручению своего руководителя но не имея с собой лэптопа или другого доступного компьютерного устройства, инженер может обратиться к своему устройству ввода данных в качестве подходящей замены для записи своих соображений, пока он находится в поезде перед встречей с остальной частью группы проектирования. Максимально используя доступное время (и со снятым чернильным картриджем или насадкой вместо него), на спинке стула перед собой пользователь составляет эскиз, представляющий модификацию рассматриваемой подвергаемой сомнению электрической схемы. Он активизирует устройство ввода, устанавливает его в режим, способствующий формированию эскиза (который может, например, включать в себя вывод из активного состояния преобразований), и начинать делать набросок упрощенного проекта, представляющего решение задачи. Устройство ввода затем может сохранить файл, представляющий рукописные штрихи. Переключением из режима эскиза, примечания и ссылки могут быть кратко записаны рядом с соответствующими частями эскиза и эти элементы включены в файл изображения. Например, пользователь может перейти в режим примечаний, в котором распознают движения, соответствующие буквам. Таким образом, он может объединять описание его предложенного решения вместе с эскизом. Предпочтительнее, чем ждать, пока доедут до медицинского исследовательского центра, оператор может выбрать передачу схемного решения к остальной части группы проектирования для полного рассмотрения прежде запланированной встречи. Такая передача может быть выполнена произвольным количеством способов, включая в них загрузку (по линии связи) скорректированного документа из устройства ввода на портативное беспроводное устройство, например, телефон сотовой связи. Информацию затем можно использовать, чтобы сформировать файл изображения, например, документ VISIO™.
После передачи остальным членам группы описанный выше файл, соответствующий эскизу схемного решения, может быть отображен на мониторе главного компьютерного устройства члена группы. Например, изображение и сопроводительный текст могут быть представлены на дисплее настольного компьютера. Помещая устройство ввода в близости к изображению файла, отображенного на мониторе, дополнительные аннотации могут быть добавлены к тем, которые отображены. В этом случае перемещение устройства ввода может быть обнаружено посредством измерения относительного перемещения объектов в пределах изображений, введенных посредством оптического датчика устройства ввода. Сигналы, сгенерированные устройством ввода данных, могут быть обработаны посредством программного обеспечения, сохраненного в устройстве ввода, или переданы на главное компьютерное устройство для обработки. Обработка обнаруженного перемещения может сформировать электронные метки, текст или другие данные, представляющие примечания, введенные посредством устройства ввода.
Устройство ввода можно использовать вместе с компьютерным устройством, имеющим датчики для обнаружения перемещения устройства ввода, даже в отсутствие кодов местоположения. Например, устройство ввода можно использовать в качестве источника для формирования рукописных примечаний на персональном цифровом помощнике или другом компьютерном устройстве, разработанном для использования вместе с пером. Следовательно, пока пользователь исполняет поручения, ему можно напомнить о перечне задач и пожелать добавить пункт к имеющемуся перечню. Пользователь извлекает перечень, сохраненный в главном компьютерном устройстве, например, персональном цифровом помощнике. Позиционируя кончик устройства ввода над дисплеем персонального цифрового помощника, пользователь имеет возможность проходить по меню и делать выбор, чтобы извлечь требуемый перечень. Получив представленным этот перечень, пользователь может вводить флажки-отметки на экране главного устройства в пустых окошках-прямоугольниках, расположенных рядом с описаниями уже завершенных задач. Устройство ввода вводит изображения, относящиеся к экрану, включая данные, соответствующие окошку-прямоугольнику, и передает эти данные на главное компьютерное устройство. Используя алгоритм обработки, предназначенный для анализа данных изображения, главное компьютерное устройство затем обнаруживает форму прямоугольника в качестве объекта, для которого может быть сделан ввод. Чтобы успешно вводить флажки-отметки, данные изображения могут быть обработаны, чтобы обнаружить перемещение пера над областью и внутри области прямоугольника, графические знаки, образующие распознаваемую форму "флажка-отметки". Главное устройство затем изменяет файл, связанный с перечнем, чтобы включить в него представление флажка-отметки в пределы прямоугольника. Позиционируя устройство ввода над пространством, следующим за последним пунктом в списке, пользователь вводит текст, описывающий дополнительный пункт. Датчики главного устройства обнаруживают перемещение устройства ввода и формируют данные, представляющие эти входные сигналы. Входные сигналы преобразуют в текст и отображают для пользователя вместе с пустым прямоугольником.
Аналогично, пользователь Microsoft® Reader, например, студент, читающий роман, может кратко записать свои примечания рядом с соответствующим текстом. Изображение, отображенное на мониторе портативного главного устройства, аннотируют, используя устройство ввода. Например, пользователь позиционирует устройство ввода над монитором главного компьютера, например, планшетного ПКTM, и вводит рукописные примечания рядом с соответствующим текстом. Графические знаки обнаруживают посредством датчиков главного устройства и сохраняют в качестве электронных данных, которые преобразуют в данные изображения и отображают на экране. Примечания могут остаться в рукописной форме или могут быть преобразованы в алфавитно-цифровые символы. Примечания могут не быть видимы без приведения в действие дополнительных функций, таких как активизация просмотра прилагаемых комментариев, или позиционирование устройства ввода над яркостным выделением, или некоторой другой индикации того, что аннотации присутствуют. Примечания затем могут быть сохранены в отдельном файле, или сохранены вместе с копией электронной версии романа, сохраняемого в главном компьютере.
В еще одном варианте осуществления информацию от дополнительных датчиков, образующих часть устройства ввода, можно использовать, чтобы дополнить или полностью заменить другие способы обнаружения перемещения. Такие дополнительные датчики могут обнаруживать линейное ускорение устройства ввода, угловое ускорение, скорость, вращение, усилие нажима, наклон, изменения в электромагнитных полях, или любую считываемую индикацию перемещения или местоположения устройства ввода. Такая информация может помогать в попытке осуществлять более точное обнаружение перемещения. В качестве альтернативы, дополнительные датчики могут обеспечивать лишь информацию, доступную в заданный момент времени. Например, устройство ввода может быть использовано вместе с обычно однородной поверхностью, например чистым листом бумаги. В таких случаях изображение, введенное оптическим датчиком, может предоставлять недостаточную информацию, чтобы согласованно и точно обнаруживать перемещение устройства ввода. Если оптическое обнаружение перемещения становится более трудным, например, если становится более трудным обнаруживать объекты для отслеживания перемещения устройства ввода, то в соответствии с одним вариантом осуществления для оптического обнаружения перемещения может использоваться дополнительная информация от дополнительных датчиков, чтобы обеспечить более тонкое обнаружение перемещения. Конкретно, алгоритм или алгоритмы, используемые для определения позиции, и/или перемещения, могут включать в себя вычисления, чтобы внести дополнительную информацию, и таким образом дополнить обнаружение перемещения и/или местоположения в оптическом обнаружении перемещения.
Если оптическое обнаружение не обеспечивает пригодные результаты, то дополнительные датчики могут только обеспечивать информацию, с помощью которой можно обнаружить перемещение. Например, если пользователь делает попытку изобразить схематически чертеж на однородной белой поверхности из многослойного пластика, система оптического считывания может обеспечить достаточные данные для представления перемещения. В этом случае дополнительные датчики могут обеспечивать достаточную информацию, чтобы сформировать приемлемо точное представление входной информации.
Например, если устройство ввода перемещают на достаточное расстояние от сканируемой поверхности, то блок оптического датчика не может вводить точное представление предоставленного изображения. В этом случае может использоваться дополнительная информация от дополнительных датчиков, чтобы дополнить данные, полученные в соответствии с изображением объекта, над которым перемещают устройство ввода. Таким образом, даже если устройство ввода перемещается на дюйм или более от дисплея, над которым его перемещают (“ось Z”), то датчики в устройстве ввода могут обеспечивать индикацию перемещения пера в пределах плоскости отображения, то есть в горизонтальном и вертикальном направлениях.
Например, устройство ввода, используемое вместе с лэптопом, установлено на выдвижном столике перед пользователем. Изображение документа вместе с узором в виде лабиринта, включенным в состав фона, отображено на экране лэптопа. Аннотации, введенные пользователем, показаны чернилами синего цвета. Знак “пристегните ремни” появляется, поскольку самолет находится в зоне турбулентности. По мере того, как пользователь протягивает руку над клавиатурой портативной ЭВМ и добавляет еще одно слово к аннотации, его рука быстро двигается вдали от поверхности экрана. Хотя датчик изображения не может точно обнаруживать линии, образующие отображаемый узор в виде лабиринта, перемещение по оси Х и оси Y измеряют посредством дополнительных датчиков, включенных в устройство ввода.
На Фиг. 16 показано использование устройства ввода согласно несколькими иллюстративными вариантами осуществления настоящего изобретения для создания, передачи и редакции документа, используя устройство ввода в широком спектре окружения. Нижеследующее описание является только иллюстрацией использования устройства ввода и не предназначено для ограничения структуры или функциональных возможностей настоящего изобретения.
Устройство ввода 1601 может быть использовано, чтобы расширить возможности использования документа, допуская создание и/или редактирование документов в широком диапазоне сред, и использование во взаимосвязи со многими устройствами. С использованием устройства 1601 ввода документ 1602 может быть создан с помощью электроники на экране одного компьютерного устройства, например, проиллюстрированном планшетном ПК 1603. Например, устройство ввода 1601 можно использовать, чтобы сформировать рукописный черновик документа. Электронные метки, соответствующие информации, введенной на экран планшетного ПК 1603, формируют, по мере того как устройство 1601 ввода данных функционирует в качестве пера для планшетного ПК 1603. Электронные метки могут быть преобразованы в текстовую форму и сохранены в планшетном ПК 1603.
Электронный файл, представляющий документ, может быть передан на второе компьютерное устройство, например, настольный ПК 1604. В этой среде документ может быть отредактирован на экране настольного устройства, используя устройство ввода 1601, действующее в качестве независимого входного блока. Поскольку устройство ввода 1601 воспринимает его собственное относительное местоположение в пределах отображенного изображения документа, то редакционные изменения, введенные на экране настольного устройства, могут быть отражены в электронном документе 1602, даже если дисплей не включает в себя элементы для считывания местоположения устройства ввода. Редакционные изменения, сформированные с использованием устройства ввода 1601, могут быть переданы на настольный ПК 1604, когда они сформированы, или могут быть сохранены в устройстве 1601 ввода данных для передачи на любой ПК позднее. Редакционные изменения могут быть введены в версию документа 1602, сохраняемую в настольном ПК 1604.
Созданный документ также может быть выведен в форме документальной (печатной) копии принтером, например принтером 1605, соединенным с настольным ПК 1604. Версия печатной копии 1606 документа может включать в себя информацию или коды, обозначающие относительное местоположение устройства ввода на любом местоположении в документе, например использующую узор в виде лабиринта. Печатная копия может быть размечена одним или несколькими пользователями, каждый из которых имеет устройство ввода, и редакционными изменениями каждого пользователя, сформированными посредством отдельного устройства ввода. Вместе с информацией, представляющей редакционные изменения, также может быть обеспечена информация, идентифицирующая перо, используемое для формирования этих редакционных изменений. Например, входные сигналы могут быть отображены, используя подчеркнутый цветной текст, например, известный в приложениях для отслеживания изменений, сделанных в документах. Редакционные изменения/входные данные могут быть пересланы от настольного ПК 1604 на планшетный ПК 1603 для объединения в этот документ. В качестве альтернативы редакционные изменения могут быть сохранены в устройстве 1601 ввода данных и загружены позднее.
Документ также может быть выведен на простую бумагу или на любую подложку, которая не включает в себя индикации относительного местоположения устройства ввода. Вновь документальная копия 1606 может быть размечена одним или несколькими пользователями, имеющими устройство ввода, и редакционными изменениями каждого пользователя, сформированными посредством устройства 1601 ввода. В этом примере, позиция или перемещение пера 1601 могут быть определены с использованием способов кодирования для оптического считывания перемещения устройства 1601 ввода над бумажным документом. Как упомянуто, местоположение/перемещение может быть определено, используя алгоритм сравнения, в котором относительную позицию объектов в пределах каждого кадра данных изображения обнаруживают и используют, чтобы определить перемещение устройства 1601 ввода. Полученные в результате редакционные изменения могут быть переданы на компьютерное устройство, на котором документ создан, например, для обновления исходного файла данных. Редакционные изменения могут быть переданы посредством компьютерного устройства, например, карманного ПК 1607 для передачи на устройство адресата, либо по беспроводной, либо по проводной связи, или после стыковки устройства, содержащего редакционные изменения, с компьютерным устройством.
Электронный документ также может быть передан на второе компьютерное устройство, например, проиллюстрированный планшетный ПК 1603. В этой среде документ может быть отредактирован на экране устройства планшетного компьютера 1603 с использованием устройства 1601 ввода в качестве простого пера. Эти входные данные могут быть пересланы от планшетного ПК 1603 на компьютерное устройство, сохраняющее исходную копию документа, в качестве аннотаций к документу или в качестве редакционных изменений, например, для объединения в этот документ.
С помощью встроенных средств кодирования взаимодействия, жидкокристаллический дисплей может быть превращен в цифровой преобразователь. Область решетки каждой жидкокристаллической ячейки можно использовать, чтобы встроить образ. В одном варианте осуществления узор в виде лабиринта может быть встроен в область черной матрицы панели жидкокристаллического дисплея. В другом варианте осуществления узор в виде лабиринта может быть встроен в плоскость световода. Вертикальные и горизонтальные полосы узора в виде лабиринта излучают свет, который может быть считан датчиком камеры в устройстве ввода. Уникальные и абсолютные координаты обеспечивают с помощью декодирования многомерной матрицы. Как таковое, устройство ввода можно использовать в качестве планшетного пера для планшетного ПК, карманного ПК, интеллектуального телефона, и/или любого другого устройства со встроенным кодированием взаимодействия, допускаемым жидкокристаллическим дисплеем. Пользователь может использовать одно и то же устройство ввода для множества различных устройств. При установке, например, на планшетном ПК, устройство ввода может быть перезаряжено. Такая конфигурация обеспечивает пользователю множество вариантов выбора, тогда как поддерживает только одно необходимое устройства ввода.
Устройство ввода настоящего изобретения также можно использовать для удаленного хранения и передачи данных позднее. Устройство ввода согласно настоящему изобретению можно использовать без главного ПК поблизости. Возможности обработки данных и хранения, соответствующие устройству ввода данных, могут обрабатывать изображения, введенные датчиком изображения, и сохранять их для передачи позднее. Например, в случае, когда пользователь использует устройство ввода, чтобы сделать примечания и/или аннотировать документ, примечания, и аннотации могут быть обработаны и сохранены в устройстве ввода неограниченно (по времени). В качестве альтернативы, данные могут быть переданы на персональный цифровой помощник (ПЦП) немедленно и/или позднее и обработаны и сохранены на ПЦП. Если ПЦП имеет возможности беспроводной связи, то данные могут быть переданы на главный ПК или сервер на удаленном местоположении. Например, в случае, когда пользователи передвигаются, примечания и аннотации, которые они делают с помощью устройства ввода, могут быть переданы обратно на их главный ПК через их интеллектуальный телефон. Пользователь может создавать аннотации к документу в то время, как находится в самолете, и сохранять аннотации для передачи на главный ПК и/или сервер позднее, например, после посадки самолета.
С помощью проекционного дисплея и встроенных и/или печатных метаданных, устройство ввода, например универсальное компьютерное устройство, может делать практику считывания более диалоговой. Например, интеллектуальные неотображаемые метки, или тэги, в Office 2000 компании Microsoft® Corporation, Redmond, Washington, могут быть встроены внутри и/или напечатаны на документе вместе с абсолютным местоположением. В случае, когда пользователи используют устройство ввода, чтобы считывать и аннотировать, устройство ввода может обнаруживать и декодировать интеллектуальные тэги и отображать соответственную информацию с помощью проекционного индикатора. Если элементы словаря встроены и/или напечатаны на документе, устройство ввода также может отображать поиск по словарю. Подобным образом различные виды информации могут быть встроены и/или напечатаны на документе, такие как командная и управляющая информация и аудио информация. Устройство ввода может обнаруживать и декодировать встроенную и/или печатную информацию и действовать соответственно.
Средства технологии интеллектуальных персональных объектов (ТИПО) могут быть включены в устройство ввода, соответствующее настоящему изобретению. Со средствами ТИПО, встроенной и/или печатной командной и управляющей информацией, и проекционным индикатором устройство ввода может обеспечивать пользователей современной информацией “на кончике пера”. Например, запрос прогноза погоды может быть встроен или напечатан на бумажной распечатке. Устройство ввода может декодировать запрос, и ТИПО может принимать прогноз погоды на основании текущего местоположения пользователя. Устройство ввода может отображать информацию на бумажном документе с помощью проекционного индикатора. Подобным образом другие виды информации, такие как биржевые котировки, спортивные состязания, новости и информация о развлечениях, например времена киносеанса, времена телевизионных показов, могут быть обеспечены пользователям “на кончике пера”.
Хотя описание выше и сопроводительные чертежи описывают варианты осуществления, использующие конкретные компоненты, дополнение компонентов и/или удаление любого описанного компонента находится в пределах объема настоящего изобретения. Подобным образом перемещение различных компонентов в пределах структуры устройства ввода может быть осуществлено без значительного воздействия на точность, с которой камера или инерциальные датчики обнаруживают перемещение пера и формируют электронные метки. Например, датчик изображения может быть заменен или дополнен чувствительным элементом для выявления свойств поверхности или объекта, над которым устройство ввода можно перемещать. Таким образом, если узор в виде лабиринта был создан на поверхности объекта из условия, чтобы узор мог быть обнаружен на основании излучения энергии вне спектра оптического излучения, то отражательную способность такой энергии передают на объект или другие подобные средства считывания. Считывание любого свойства поверхности может быть обнаружено и использовано, чтобы определить позицию и/или перемещение устройства ввода над поверхностью объекта. В качестве дополнительного примера система микрофонного датчика может быть использована из условия, что микрофон обнаруживает акустические отражения или эмиссию от объекта, над которым устройство ввода позиционировано.
Описанные и проиллюстрированные выше иллюстративные варианты осуществления описывают устройство ввода, реализованное в форме пера. Однако аспекты настоящего изобретения являются применимыми к устройствам ввода произвольной формы и размеров.
Использование такого устройства обеспечивает возможность индивидуальных вычислений в любом месте. Таким образом, пользователи, оснащенные описанным устройством ввода, могут формировать или редактировать файлы данных независимо от того, где они находятся. Документы и другая информация могут быть сформированы, отредактированы или записаны в офисе, в классной комнате, в гостинице, в пути, или, например, на пляже.
Как указывалось, устройство ввода может включать в себя подходящее устройство отображения. В качестве альтернативы для анализа созданных документов и изображений может использоваться устройство отображения главного компьютерного устройства. Пользователь может выбирать форматирование документа прежде или после того, как информация, например текст, введена, или может анализировать документ и делать изменения в формате документа. При просмотре документа, созданного на таком устройстве отображения, в контексте вышеупомянутого примера, пользователь может вставлять заголовок, включая в соответствующем местоположении свой адрес.
Хотя изобретение определено в прилагаемой формуле изобретения, эта формула изобретения является иллюстративной в том смысле, что изобретение может быть предназначено, чтобы включать в себя элементы и этапы, описанные в документе, в любой комбинации или под-комбинации. Соответственно, имеется произвольное количество альтернативных комбинаций для определения изобретения, которые включают в себя один или несколько элементов из описания, включая описание, формулу изобретения и чертежи, в различных комбинациях или под-комбинациях. Специалистам в данной области техники будет очевидно, в свете настоящего описания, что дополнительные комбинации аспектов изобретения, либо одиночных, либо в комбинации с одним или несколькими элементами или этапами, определенными в документе, могут быть использованы в качестве модификации или изменения изобретения или в качестве части изобретения. Можно подразумевать, что письменное описание изобретения, содержащееся в документе, охватывает все такие модификации и изменения. Например, в различных вариантах осуществления показан некоторый порядок данных. Однако любое переупорядочение данных является осуществляемым в соответствии с настоящим изобретением. Также, в тех случаях, когда используют некоторые единицы для свойств таких, как размер (например, в байтах или битах), допускают также любые другие единицы.
1. Устройство ввода для генерации данных, представляющих рукописные штрихи, причем указанное устройство ввода содержит
устройство захвата изображения для захвата изображения области объекта, поверх которой расположено устройство ввода и генерации данных захваченного изображения,
причем данные захваченного изображения включают в себя упомянутую часть узора в виде лабиринта;
процессор, выполненный с возможностью обработки данных захваченного изображения для генерации
(а) данных, представляющих относительное местоположение упомянутой части узора в виде лабиринта, основываясь на упомянутой части узора в виде лабиринта и
(б) данных, представляющих рукописные штрихи, основываясь на данных захваченного изображения;
память для сохранения данных, представляющих рукописные штрихи, основываясь на данных захваченного изображения; и идентификатор устройства ввода.
2. Устройство ввода по п.1, дополнительно содержащее устройство связи для передачи данных, представляющих перемещения устройства ввода на внешнее устройство обработки для генерации сигналов, представляющих рукописный ввод.
3. Устройство ввода по п.2, в котором внешнее устройство обработки представляет собой персональный цифровой помощник.
4. Устройство ввода по п.2, в котором устройство связи выполнено с возможностью беспроводной передачи данных, представляющих перемещение.
5. Устройство ввода по п.4, в котором устройство связи является адресуемым устройством связи.
6. Устройство ввода по п.5, в котором адрес адресуемого устройства связи соответствует идентификатору устройства ввода.
7. Устройство ввода по п.1, в котором процессор выполнен с возможностью сжатия данных захваченного изображения.
8. Устройство ввода по п.1, в котором процессор выполнен с возможностью генерации кадра данных для передачи на внешнее устройство обработки, причем кадр данных включает в себя
сжатые данные захваченного изображения;
измеренные данные усилия;
данные метки времени;
данные флагов сжатия;
данные циклического избыточного кода.
9. Устройство ввода по п.8, в котором идентификатор устройства ввода размещен в данных флагов сжатия.
10. Устройство ввода по п.1, в котором идентификатор однозначно идентифицирует устройство ввода.
11. Устройство ввода по п.1, в котором устройство захвата изображения выполнено с возможностью работы с множеством устройств отображения, предусмотренных встроенным кодом взаимодействия.
12. Устройство ввода по п.11, в котором по меньшей мере одно из множества устройств отображения, предусмотренных встроенным кодом взаимодействия, может быть выполнено с возможностью перезарядки устройства ввода.
13. Система для приема данных от множества устройств ввода по любому одному из пп.1-12, причем указанная система содержит
процессор для приема беспроводным способом потока данных, причем упомянутый поток данных представляет кадры данных, принимаемые от множества приемных устройств,
причем процессор выполнен с возможностью идентификации первого кадра данных в потоке данных при помощи первого идентификатора, причем первый идентификатор идентифицирует первое устройство ввода, и извлечения первого кадра данных из потока данных, основываясь на первом идентификаторе,
причем первый кадр данных включает в себя данные, представляющие рукописные штрихи, основываясь на данных изображения, захваченного первым устройством ввода,
причем изображение области, поверх которой расположено устройство ввода, включает в себя изображение, отражающее расположение области объекта;
причем упомянутое изображение, отражающее расположение упомянутой области объекта, включает в себя узор, отражающий расположение упомянутой области объекта, и
причем упомянутый узор, отражающий расположение упомянутой области объекта, включает в себя часть узора в виде лабиринта.
14. Система по п.13, в которой процессор выполнен с возможностью идентификации второго кадра данных в потоке данных при помощи второго идентификатора, причем второй идентификатор идентифицирует второе устройство ввода, и извлечения второго кадра данных из потока данных, основываясь на втором идентификаторе, причем второй кадр данных включает в себя данные, представляющие рукописные штрихи, основываясь на данных изображения, захваченного вторым устройством ввода.
15. Система по п.14, в которой процессор выполнен с возможностью сохранения данных, извлеченных из потока данных, основываясь на первом идентификаторе, и данных, извлеченных из потока данных, основываясь на втором идентификаторе, в памяти.
16. Система по п.13, в которой первый идентификатор представляет собой определенное количество битов данных в заранее заданном поле первого кадра данных.
17. Система по п.13, в которой процессор выполнен с возможностью сохранения извлеченного первого кадра данных в памяти.
18. Способ обработки множества кадров данных в потоке данных от множества устройств ввода по любому одному из пп.1-12, причем упомянутый способ содержит этапы, на которых
принимают поток данных, представляющих кадры данных от множества устройств ввода;
обнаруживают первый идентификатор устройства ввода в первом кадре данных потока данных;
определяют первое устройство ввода, связанное с первым идентификатором устройства ввода; и
сохраняют первый кадр данных в памяти, основываясь на связанном первом устройстве ввода,
причем первый кадр данных включает в себя данные, представляющие рукописные штрихи, основываясь на данных изображения, захваченного первым устройством ввода,
причем изображение области, поверх которой расположено устройство ввода включает в себя изображение, отражающее расположение области объекта;
причем упомянутое изображение, отражающее расположение упомянутой области объекта, включает в себя узор, отражающий расположение упомянутой области объекта, и
причем упомянутый узор, отражающий расположение упомянутой области объекта, включает в себя часть узора в виде лабиринта.
19. Способ по п.18, дополнительно содержащий этапы, на которых
обнаруживают второй идентификатор устройства ввода во втором кадре данных потока данных;
определяют второе устройство ввода, связанное со вторым идентификатором устройства ввода; и
сохраняют второй кадр данных в памяти, основываясь на связанном втором устройстве ввода,
причем второй кадр данных включает в себя данные, представляющие рукописные штрихи, основываясь на данных изображения, захваченного вторым устройством ввода.
20. Способ по п.19, в котором первый идентификатор устройства ввода однозначно идентифицирует первое устройство ввода, и второй идентификатор устройства ввода однозначно идентифицирует второе устройство ввода.
21. Способ по п.18, в котором первый кадр данных включает в себя
поле сжатых данных захваченного изображения;
поле данных метки времени;
поле флагов сжатия; и поле данных циклического избыточного кода.
22. Способ по п.21, в котором первый идентификатор устройства ввода размещен в поле флагов сжатия.
23. Способ по п.18, в котором первый идентификатор устройства ввода соответствует адресу адресуемого блока связи, связанного с первым устройством ввода.
24. Система ввода для генерации данных, представляющих рукописные штрихи, причем система ввода содержит
устройство ввода по п.1; и
объект, поверх которого расположено устройство ввода, причем упомянутый объект содержит узор в виде лабиринта.
