Способ и устройство пользовательского интерфейса для пользовательского терминала

Изобретение относится к устройству пользовательского интерфейса для пользовательского терминала. Технический результат заключается в расширении функциональных возможностей за счет поддержки функции заметки, написанной от руки, в различных приложениях. Такой результат достигается благодаря тому, что пользовательский интерфейс в пользовательском терминале поддерживает основанную на написании от руки функцию заметки, и в котором после приема написанного от руки ввода на экране заметки от пользователя распознается записанный от руки ввод, из распознанного ввода определяется команда, и исполняется приложение, соответствующее упомянутой определенной команде. 2 н. и 7 з.п. ф-лы, 36 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[1] Настоящее изобретение относится к способу и устройству пользовательского интерфейса (UI) для пользовательского терминала и, в частности, к устройству с основанным на написании от руки UI в пользовательском терминале и способу поддержки того же самого.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

[2] Наряду с недавним ростом переносных электронных устройств повышаются требования к Пользовательским Интерфейсам (User Interface (UI)), которые позволяют осуществлять интуитивный ввод/вывод. Например, традиционные UI, на которых информация вводится посредством дополнительного устройства, такого как клавиатура, клавишная панель, координатный манипулятор типа «мышь» и т.д., развились до интуитивных UI, на которых информация вводится посредством прямого прикосновения к экрану пальцем или электронным пером для прикосновения или голосом.

[3] Кроме того, вследствие развития технология UI стала интуитивной и ориентированной на человека, а также удобной для пользователя. С помощью технологии UI пользователь может разговаривать с переносным электронным устройством посредством голоса для того, чтобы вводить надлежащую информацию или получать желаемую информацию.

[4] Как правило, устанавливается некоторое количество приложений, и новые функции становятся доступными из установленных приложений в популярном переносном электронном устройстве, смартфоне.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[5] Несмотря на это, множество приложений, установленных в смартфоне, в целом исполняются независимо, не обеспечивая новой функции или результата пользователю совместно друг с другом.

[6] Например, приложение планирования позволяет осуществлять ввод информации только в своем поддерживаемом UI несмотря на поддержку пользовательским терминалом интуитивного UI.

[7] Кроме того, пользовательский терминал, поддерживающий функцию заметки, предоставляет пользователю возможность записывания записей с использованием такого средства ввода, как его или ее палец или электронное перо, но не предлагает какого-либо заданного способа использования записей совместно с другими приложениями.

РЕШЕНИЕ ЗАДАЧИ

[8] Один аспект вариантов осуществления настоящего изобретения должен быть направлен на решение по меньшей мере упомянутых проблем и/или недостатков и обеспечивать по меньшей мере преимущества, описанные ниже. Соответственно, один аспект вариантов осуществления настоящего изобретения должен обеспечивать устройство и способ обмена информацией с пользователем в основанном на написании от руки Пользовательском Интерфейсе (UI) в пользовательском терминале.

[9] Другой аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для исполнения особой команды с использованием основанной на написании от руки функции заметки в пользовательском терминале.

[10] Другой аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для обмена вопросами и ответами с пользователем посредством основанной на написании от руки функции заметки в пользовательском терминале.

[11] Еще один аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для приема команды для обработки выбранной всей или часть записи, написанной на экране, посредством функции заметки в пользовательском терминале.

[12] Другой аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для поддержки переключения между режимом заметки и режимом обработки команды в пользовательском терминале, поддерживающем функцию заметки, посредством электронного пера.

[13] Еще один аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI, в то время как приложение задействовано, предоставляя возможность ввода команды для управления задействованным приложением или другим приложением в пользовательском терминале.

[14] Дополнительный аспект вариантов осуществления настоящего изобретения должен обеспечивать способ и устройство UI для анализа шаблона заметки пользователя и определения ввода информации посредством запоминающей функции, принимая во внимание проанализированный шаблон заметки, в пользовательском терминале.

[15] В соответствии с одним вариантом осуществления настоящего изобретения предлагается способ UI в пользовательском терминале, в котором событие ввода посредством пера принимают согласно вводу посредством пера, примененному на экране заметки пользователем, содержимое ввода посредством пера распознают согласно событию ввода посредством пера, команду и содержимое записи, для которого должна быть исполнена упомянутая команда, определяют из распознанного содержимого ввода посредством пера, исполняют приложение, соответствующее упомянутой определенной команде, и упомянутое определенное содержимое записи используют в качестве входных данных для приложения.

[16] В соответствии с другим вариантом осуществления настоящего изобретения предлагается устройство UI в пользовательском терминале, в котором блок сенсорной панели отображает экран заметки и выводит событие ввода посредством пера согласно вводу посредством пера, примененному на экране заметки пользователем, командный процессор распознает содержимое ввода посредством пера согласно событию ввода посредством пера, определяет команду и содержимое записи, для которого должна быть исполнена упомянутая команда, из распознанного содержимого ввода посредством пера, и предоставляет упомянутую команду и содержимое записи, для которого должна быть исполнена упомянутая команда, и блок исполнения приложения исполняет приложение, соответствующее упомянутой определенной команде, и использует упомянутое определенное содержимое записи в качестве входных данных для упомянутого приложения.

ПРЕИМУЩЕСТВЕННЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

[17] Представленные варианты осуществления настоящего изобретения могут предоставлять больше удобства пользователю посредством поддержки функции заметки в различных приложениях и таким образом управления приложениями интуитивным образом.

[18] Представленные варианты осуществления настоящего изобретения характеризуются тем, что, когда пользователь запускает слой заметки на экране и записывает информацию на слое заметки, пользовательский терминал распознает информацию и выполняет действие, соответствующее информации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[19] Вышеупомянутые и другие задачи, признаки и преимущества некоторых вариантов осуществления настоящего изобретения станут более очевидны из последующего подробного описания, рассматриваемого совместно с сопроводительными чертежами, на которых:

[20] Фиг. 1 является схематической блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки Взаимодействие посредством Естественного Языка (Natural Language Interaction (NLI)), согласно одному варианту осуществления настоящего изобретения;

[21] Фиг. 2 является подробной блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения;

[22] На Фиг. 3 изображена конфигурация пера для прикосновения, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения;

[23] На Фиг. 4 изображено действие по распознаванию ввода посредством прикосновения и ввода посредством прикосновения пером через сенсорную панель и панель распознавания пера согласно одному варианту осуществления настоящего изобретения;

[24] Фиг. 5 является подробной блок-схемой контроллера в пользовательском терминале, поддерживающем основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения;

[25] Фиг. 6 является блок-схемой командного процессора для поддержки основанного на написании от руки NLI в пользовательском терминале согласно одному варианту осуществления настоящего изобретения;

[26] Фиг. 7 является блок-схемой последовательности операций, изображающей управляющее действие для поддержки Пользовательского Интерфейса (UI) с использованием основанного на написании от руки NLI в пользовательском терминале согласно одному варианту осуществления настоящего изобретения;

[27] На Фиг. 8 изображен пример требования действия на основе заданного приложения или функции посредством функции заметки;

[28] На Фиг. 9 изображен пример фактического пользовательского шаблона заметки для использования в реализации вариантов осуществления настоящего изобретения;

[29] На Фиг. 10 изображен пример, в котором один символ может быть интерпретирован в качестве различных значений;

[30] На Фиг. 11 изображен пример, в котором введенная информация, включающая в себя сочетание текста и символа, может интерпретироваться в качестве различных значений в зависимости от символа;

[31] На Фиг. 12 изображены примеры использования знаков и символов в семиотике;

[32] На Фиг. 13 изображены примеры использования знаков и символов в машиностроении/электротехнике/вычислительной технике и химии;

[33] На Фиг. 14-22 изображены сценарии действия технологии UI согласно одному варианту осуществления настоящего изобретения;

[34] На Фиг. 23-28 изображены примерные сценарии запуска приложения, поддерживающего функцию заметки, после того, как задействуется заданное приложение, и затем исполнения задействованного приложения запущенным приложением и

[35] На Фиг. 29 и 30 изображены примерные сценарии, относящиеся к семиотике.

[36] Следует понимать, что повсюду на чертежах одни и те же чертежные ссылочные позиции обозначают одни и те же элементы, признаки и структуры.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[37] Для достижения вышеописанных технических задач настоящего изобретения должны предлагаются представленные варианты осуществления настоящего изобретения. Для удобства описания заданные объекты могут иметь одни и те же имена, которые не накладывают ограничений на настоящее изобретение. Таким образом, настоящее изобретение может быть реализовано с теми же самыми или готовыми модификациями в системе, имеющей схожий технический уровень.

[38] Варианты осуществления настоящего изобретения, которое будет описано позже, предназначены для осуществления процедуры вопроса и ответа с пользователем посредством функции заметки в пользовательском терминале, в котором технология основанного на написании от руки Пользовательского Интерфейса (User Interface (UI)) применяется через Взаимодействие посредством Естественного Языка (Natural Language Interaction (NLI)) (далее упоминаемого в качестве «основанного на написании от руки NLI»).

[39] NLI в целом включает в себя понимание и создание. С помощью функций понимания и создания вычислительное устройство понимает ввод и отображает текст, легко понятный людям. Таким образом, можно сказать, что NLI является понимающим естественный язык приложением, которое позволяет осуществлять диалог на естественном языке между человеком и электронным устройством.

[40] Например, пользовательский терминал исполняет команду, принятую от пользователя, или получает информацию, необходимую для исполнения команды ввода от пользователя в процедуре вопроса и ответа через NLI.

[41] Для применения основанного на написании от руки NLI к пользовательскому терминалу предпочтительно, чтобы переключение выполнялось органически между режимом заметки и режимом обработки команды через основанное на написании от руки NLI в настоящем изобретении. В режиме заметки пользователь пишет запись на экране, отображаемом задействованным приложением, с помощью такого средства ввода, как палец или электронное перо, в пользовательском терминале, тогда как в режиме обработки команды запись, написанная в режиме заметки, обрабатывается совместно с информацией, относящейся к текущему задействованному приложению.

[42] Например, переключение может произойти между режимом заметки и режимом обработки команды посредством нажатия кнопки электронного пера, то есть, посредством создания сигнала в аппаратном обеспечении.

[43] Несмотря на то, что последующее описание предоставлено в контексте электронного пера, используемого в качестве главного инструмента ввода для поддержки функции заметки, настоящее изобретение не ограничивается пользовательским терминалом, использующим электронное перо в качестве средства ввода. Другими словами, следует понимать, что любое устройство, выполненное с возможностью ввода информации на сенсорной панели, может использоваться в качестве средства ввода в вариантах осуществления настоящего изобретения.

[44] Предпочтительно, информация используется совместно между пользовательским терминалом и пользователем по предварительно взаимному согласию так, чтобы пользовательский терминал мог принимать надлежащую информацию от пользователя посредством обмена вопросом и ответом с пользователем, и таким образом мог предоставлять результат обработки принятой информации пользователю через основанное на написании от руки NLI настоящего изобретения. Например, можно согласиться с тем, чтобы в случае запрашивания переключения режима функционирования использовалось по меньшей мере одно из символа, шаблона, текста и их сочетания, либо функцией распознавания ввода посредством жеста использовалось движение (или жест). Главным образом может потребоваться переключение с режима заметки на режим обработки команды или переключение с режима обработки команды на режим заметки.

[45] В отношении согласия на введенную информацию, соответствующую символу, шаблону, тексту или их сочетанию предпочтительным является анализ пользовательского шаблона заметки и рассмотрение результата анализа, чтобы тем самым предоставить возможность пользователю интуитивно вводить надлежащую информацию.

[46] Различные сценарии, в которых управление текущим задействованным приложением посредством функции заметки, на основе основанного на написании от руки NLI и вывод результата управления происходят в одно время, будут подробно описаны в качестве отдельных вариантов осуществления настоящего изобретения.

[47] Например, будет дано подробное описание сценария выбора всей или части записи и обработки выбранного содержимого записи посредством заданной команды, сценария ввода заданной информации на экран заданного приложения посредством функции заметки, сценария обработки заданной команды в процедуре вопроса и ответа с использованием основанного на написании от руки NLI, и т.д.

[48] Предпочтительные варианты осуществления настоящего изобретения будут упомянуты со ссылкой на прилагаемые чертежи. Подробное описание общеизвестной функции и структуры настоящего изобретения будет исключено, чтобы не затруднять понимание предмета изобретения настоящего изобретения.

[49] Фиг.1 является схематической блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения. Несмотря на то, что на Фиг. 1 изображены только составляющие пользовательского терминала, необходимые для поддержки основанного на написании от руки NLI согласно одному варианту осуществления настоящего изобретения, для выполнения других функций к пользовательскому терминалу могут быть добавлены другие составляющие. Также возможно сконфигурировать каждую составляющую, изображенную на Фиг. 1, в виде функционального блока программного обеспечения, так же как и функционального блока аппаратного обеспечения.

[50] На Фиг. 1 блок 110 исполнения приложения устанавливает приложение, принятое через сеть или внешний интерфейс, совместно с запоминающим устройством (не изображено) по требованию пользователя. Блок 110 исполнения приложения задействует одно из установленных приложений по требованию пользователя или в ответ на прием внешней команды и управляет задействованным приложением согласно внешней команде. К внешней команде относится почти любая из внешне введенных команд, отличающихся от внутренне созданных команд.

[51] Например, внешняя команда может быть командой, соответствующей информации, введенной пользователем через основанное на написании от руки NLI, а также командой, соответствующей информации, введенной через сеть. Для удобства описания внешняя команда ограничена командой, соответствующей информации, введенной пользователем через основанное на написании от руки NLI, что не следует рассматривать в качестве ограничения настоящего изобретения.

[52] Блок 110 исполнения приложения предоставляет результат установки или задействования заданного приложения пользователю через основанное на написании от руки NLI. Например, блок 110 исполнения приложения выводит результат установки или задействования заданного приложения или исполнения функции заданного приложения на устройстве отображения блока 130 сенсорной панели.

[53] Блок 130 сенсорной панели обрабатывает ввод/вывод информации через основанное на написании от руки NLI. Блок 130 сенсорной панели выполняет функцию отображения и функцию ввода. К функции отображения в общем случае относится функция отображения информации на экране, а к функции ввода в общем случае относится функция приема информации от пользователя.

[54] Однако, очевидно, что пользовательский терминал может включать в себя дополнительную структуру для выполнения функции отображения и функции ввода. Например, пользовательский терминал может дополнительно включать в себя модуль обнаружения движения для обнаружения ввода посредством движения или модуль оптического обнаружения для обнаружения ввода оптических символов. Модуль обнаружения движения включает в себя камеру и датчик близости и может обнаруживать перемещение предмета в пределах заданного расстояния от пользовательского терминала с использованием камеры и датчика близости. Модуль оптического обнаружения может обнаруживать свет и выводить сигнал обнаружения света. Для удобства описания предполагается, что блок 130 сенсорной панели выполняет как функцию отображения, так и функцию ввода без разделения своего функционирования на функцию отображения и функцию ввода.

[55] Блок 130 сенсорной панели принимает заданную информацию или заданную команду от пользователя и предоставляет принятую информацию или команду в блок 110 исполнения приложения и/или командный процессор 120. Данная информация может быть информацией о записи, написанной пользователем, то есть, записи, написанной от руки на экране заметки пользователем, или информацией об ответе в процедуре вопроса и ответа на основе основанное на написании от руки NLI. Кроме того, информация может быть информацией для выбора всей или части записи, отображаемой на текущем экране.

[56] Команда может быть командой, требующей установку заданного приложения, или командой, требующей задействования или исполнения заданного приложения из числа уже установленных приложений. Кроме того, команда может быть командой, требующей исполнения заданного действия, функции и т.д., поддерживаемых выбранным приложением.

[57] Информация или команда могут быть введены в виде линии, символа, шаблона или их сочетания, а также в тексте. Такая линия, символ, шаблон и т.д. могут быть предварительно установленными по согласию или изучению.

[58] Блок 130 сенсорной панели отображает результат задействования заданного приложения или выполнения заданной функции задействованного приложения блоком 110 исполнения приложения на экране.

[59] Блок 130 сенсорной панели также отображает вопрос или результат в процедуре вопроса и ответа на экране. Например, когда пользователь вводит заданную команду, то блок 130 сенсорной панели отображает результат обработки заданной команды, принятый от командного процессора 120, или вопрос на получение дополнительной информации, необходимой для обработки заданной команды. После приема дополнительной информации в качестве ответа на вопрос от пользователя блок 130 сенсорной панели предоставляет принятую дополнительную информацию в командный процессор 120.

[60] Впоследствии, блок 130 сенсорной панели отображает дополнительный вопрос для получения другой информации по требованию командного процессора 120 или результат обработки заданной команды, отражающий принятую дополнительную информацию.

[61] При этом блок 130 сенсорной панели отображает экран заметки и выводит событие ввода посредством пера согласно вводу посредством пера, примененному пользователем на экране заметки.

[62] Командный процессор 120 принимает событие ввода посредством пера, например, введенный пользователем текст, символ, фигуру, шаблон и т.д., от блока 130 сенсорной панели и идентифицирует надлежащий для пользователя ввод по тексту, символу, фигуре, шаблону и т.д. Например, командный процессор 120 принимает запись, написанную на экране заметки пользователем, от блока 130 сенсорной панели и распознает содержимое принятой записи. Другими словами, командный процессор распознает содержимое ввода посредством пера согласно событию ввода посредством пера.

[63] Например, командный процессор 120 может распознавать надлежащий для пользователя ввод посредством обработки принятого текста, символа, фигуры, шаблона и т.д. с использованием естественного языка. Для обработки с использованием естественного языка командный процессор 120 использует основанное на написании от руки NLI. Надлежащий для пользователя ввод включает в себя команду, требующую задействование заданного приложения или исполнение заданной функции в текущем задействованном приложении, или ответ на вопрос.

[64] Когда командный процессор 120 определяет, что надлежащий для пользователя ввод является командой, требующей конкретного действия, то командный процессор 120 обрабатывает определенную команду. В частности, командный процессор 120 выводит распознанный результат, соответствующий определенной команде, блоку 110 исполнения приложения. Блок 110 исполнения приложения может задействовать заданное приложение или исполнить заданную функцию в текущем задействованном приложении на основе результата распознавания. В данном случае командный процессор 120 принимает обработанный результат от блока 110 исполнения приложения и предоставляет обработанный результат в блок 130 сенсорной панели. Очевидно, что блок 110 исполнения приложения может предоставлять обработанный результат напрямую в блок 130 сенсорной панели, а не в командный процессор 120.

[65] Если необходима дополнительная информация для обработки определенной команды, то командный процессор 120 создает вопрос для получения данной дополнительной информации и предоставляет вопрос в блок 130 сенсорной панели. Затем командный процессор 120 может принять ответ на вопрос от блока 130 сенсорной панели.

[66] Командный процессор 120 может непрерывно обмениваться вопросами и ответами с пользователем, то есть, может продолжать диалог с пользователем через блок 130 сенсорной панели пока не получит достаточной информации, чтобы обработать определенную команду. Таким образом, командный процессор 120 может повторять процедуру вопроса и ответа через блок 130 сенсорной панели.

[67] Для выполнения вышеописанного действия командный процессор 120 внедряет основанное на написании от руки NLI посредством взаимодействия с блоком 130 сенсорной панели. Таким образом командный процессор 120 позволяет осуществлять вопросы и ответы, то есть диалог между пользователем и электронным устройством, посредством функции заметки через основанный на написании от руки интерфейс естественного языка. Пользовательский терминал обрабатывает пользовательскую команду или предоставляет результат обработки пользовательской команды пользователю в диалоге.

[68] Относительно вышеописанной конфигурации пользовательского терминала согласно настоящему изобретению пользовательский терминал может включать в себя другие составляющие в дополнение к командному процессору 120, блоку 110 исполнения приложения и блоку 130 сенсорной панели. Командный процессор 120, блок 110 исполнения приложения и блок 130 сенсорной панели могут быть сконфигурированы согласно различным вариантам осуществления настоящего изобретения.

[69] Например, командный процессор 120 и блок 110 исполнения приложения могут быть включены в контроллер 160, который предоставляет полное управление пользовательскому терминалу, либо контроллер 160 может быть сконфигурирован так, чтобы выполнять действия командного процессора 120 и блока 110 исполнения приложения.

[70] Блок 130 сенсорной панели ответственен за обработку ввода/выхода информации, участвующих в применении основанного на написании от руки NLI. Блок 130 сенсорной панели может включать в себя панель отображения для отображения выводимой информации пользовательского терминала и панель ввода, к которой пользователь применяет ввод. Панель ввода может быть реализована по меньшей мере в одной панели, выполненной с возможностью обнаружения различных вводов, таких как ввод пользователем посредством одиночного прикосновения или множества прикосновений, ввод посредством перетаскивания, ввод посредством написания от руки, ввод посредством черчения и т.д.

[71] Панель ввода может быть сконфигурирована с возможностью включения в себя одиночной панели, выполненной с возможностью обнаружения как ввода посредством пальца, так и ввода посредством пера, или двух панелей, например, сенсорной панели, выполненной с возможностью обнаружения ввода посредством пальца, и панели распознавания пера, выполненной с возможностью обнаружения ввода посредством пера.

[72] Фиг. 2 является подробной блок-схемой пользовательского терминала, поддерживающего основанное на написании от руки NLI, согласно одному варианту осуществления настоящего изобретения.

[73] На Фиг. 2 пользовательский терминал 100 согласно одному варианту осуществления настоящего изобретения может включать в себя контроллер 160, блок 180 ввода, блок 130 сенсорной панели, аудио процессор 140, запоминающее устройство 150 и модуль 170 связи.

[74] Блок 130 сенсорной панели может включать в себя панель 132 отображения, сенсорную панель 134 и панель 136 распознавания пера. Блок 130 сенсорной панели может отображать экран заметки на сенсорной панели 132 и принимать написанную от руки запись, написанную на экране заметки пользователем, через по меньшей мере одну из сенсорной панели 134 и панели 136 распознавания пера. Например, после обнаружения ввода посредством прикосновения пальца пользователя или предмета в режиме ввода посредством прикосновения блок 130 сенсорной панели может вывести событие ввода посредством прикосновения через сенсорную панель 134. После обнаружения ввода посредством пера, соответствующего пользовательскому манипулированию пером в режиме ввода посредством пера, блок 130 сенсорной панели может вывести событие ввода посредством пера через панель 136 распознавания пера.

[75] Касательно обнаружения пользовательского ввода посредством пера через панель 136 распознавания пера пользовательский терминал 100 собирает информацию о состоянии пера о пере 20 для прикосновения и информацию распознавания ввода посредством пера, соответствующую жесту ввода посредством пера, через панель 136 распознавания пера. Затем пользовательский терминал 100 может идентифицировать предварительно заданную команду для функции пера, соотносимую с собранной информацией о состоянии пера и информацию распознавании пера, и исполняет функцию, соответствующую команде для функции пера. Кроме того, пользовательский терминал 100 может собирать информацию о типе функции текущего задействованного приложения, а также информацию о состоянии пера и информацию распознавания ввода посредством пера, и может создавать предварительно заданную команду для функции пера, соотнесенную с информацией о состоянии пера, информацией распознавании ввода посредством пера и информацией о типе функции.

[76] С целью распознавания ввода посредством пера панель 136 распознавания пера может быть размещена в предварительно определенном местонахождении в пользовательском терминале 100 и может быть задействована после создания заданного события или по умолчанию. Панель 136 распознавания пера может быть выполнена над предварительно определенной областью при панели 132 отображения, например, над областью, покрывающей область отображения панели 132 отображения. Панель 136 распознавания пера может принимать информацию о состоянии пера согласно приближению пера 20 для прикосновения и манипулирования пером 20 для прикосновения и может предоставлять информацию о состоянии пера в контроллер 160. Дополнительно, панель 143 распознавания пера может принимать информацию распознавания ввода посредством пера согласно жесту ввода, совершенному с помощью пера 20 для прикосновения, и предоставлять информацию распознавания ввода посредством пера в контроллер 160.

[77] Панель 136 распознавания пера сконфигурирована так, чтобы принимать значение местонахождения пера 20 для прикосновения на основе электромагнитной индукции и пера 20 для прикосновения, имеющего катушку. Панель 136 распознавания пера может собирать значение электромагнитной индукции, соответствующее близости пера 20 для прикосновения, и предоставлять данное значение электромагнитной индукции в контроллер 160. Данное значение электромагнитной индукции может соответствовать информации о состоянии пера, то есть, информации, указывающей, находится ли перо для прикосновения в состоянии нависания или в состоянии контакта. Перо 20 для прикосновения нависает над панелью 136 распознавания пера или сенсорной панелью 134 на величину предварительно определенного зазора в состоянии нависания, тогда как перо 20 для прикосновения контактирует с панелью 132 отображения или сенсорной панелью 134 или отдалено от панели 132 отображения или сенсорной панели 134 на величину другого предварительно определенного зазора.

[78] Теперь будет более подробно описана конфигурация пера 20 для прикосновения. На Фиг. 3 изображена конфигурация пера 20 для прикосновения для поддержки основанного на написании от руки NLI согласно одному варианту осуществления настоящего изобретения. На Фиг. 3 перо 20 для прикосновения может включать в себя тело 22 пера, острие 21 пера на конце тела 22 пера, катушку 23, размещенную в теле 22 пера по близости острия 21 пера, и кнопку 24 для изменения значения электромагнитной индукции, создаваемой от катушки 23. Перо 20 для прикосновения, имеющее данную конфигурацию, согласно настоящему изобретению поддерживает электромагнитную индукцию. Катушка 23 формирует магнитное поле в заданной точке панели 136 распознавания пера так, чтобы панель 136 распознавания пера могла распознавать точку, к которой осуществлено прикосновение, посредством обнаружения местонахождения магнитного поля.

[79] Острие 21 пера контактирует с панелью 132 отображения или панелью 136 распознавания пера, когда панель 136 распознавание пера размещена на панели 132 отображения, чтобы тем самым указывать заданную точку на панели 132 отображения. Поскольку острие 21 пера помещено на концевом наконечнике тела 22 пера, и катушка 23 отдалена от острия 21 пера на предварительно определенное расстояние, то, когда пользователь пишет, захватив перо 20 для прикосновения, расстояние между местонахождением прикосновения острия 21 пера и местонахождением магнитного поля, созданного катушкой 23, может быть скомпенсировано. Вследствие компенсации расстояния пользователь может выполнять действие ввода, такое как написание от руки (записывание) или черчение, прикосновение (выбор), прикосновение и перетаскивание (выбор и затем перемещение) и т.д., указывая заданную точку панели 132 отображения с помощью острия 21 пера. В частности, пользователь может применять ввод посредством пера, включающий в себя заданное написание от руки или черчение, прикасаясь к панели 132 отображения с помощью острия 21 пера.

[80] Когда перо 20 для прикосновения оказывается в пределах предварительно определенного расстояния до панели 136 распознавания пера, катушка 36 может создавать магнитное поле в заданной точке панели 136 распознавания пера. Таким образом, пользовательский терминал 100 может сканировать магнитное поле, сформированное на панели 136 распознавания пера, в режиме реального времени или через каждый предварительно определенный интервал времени. Панель 136 распознавания пера может быть задействована в момент, когда задействуется перо 20 для прикосновения. В частности, панель 136 распознавания пера может распознавать различные состояния пера согласно близости пера 20 к панели 136 распознавания пера.

[81] Пользователь может нажать на кнопку 24 пера 20 для прикосновения. При нажатии кнопки 24 может происходить создание заданного сигнала из пера 20 для прикосновения и предоставление данного заданного сигнала в панель 136 распознавания пера. Для такого действия вблизи кнопки 24 могут быть размещены заданный конденсатор, дополнительная катушка или заданное устройство для вызывания изменения электромагнитной индукции. Когда происходит прикосновение к кнопке 24 или нажатие на кнопку 24, то конденсатор, дополнительная катушка или заданное устройство могут соединяться с катушкой 23 и таким образом изменять значение электромагнитной индукции, создаваемое от панели 136 распознавания пера, так, чтобы можно было распознать нажатие кнопки 24. Либо конденсатор, дополнительная катушка, либо заданное устройство могут создавать беспроводной сигнал, соответствующий нажатию кнопки 24, и предоставлять данный беспроводной сигнал в приемник (не изображен), выполненный в пользовательском терминале 100, так, чтобы пользовательский терминал 100 мог распознать нажатие кнопки 24 пера 20 для прикосновения.

[82] Как описано выше, пользовательский терминал 100 может собирать информацию о различных состояниях пера согласно разному смещению пера 20 для прикосновения. Таким образом, пользовательский терминал 100 может принимать информацию, указывающую, находится ли перо 20 для прикосновения в состоянии нависания или состоянии контакта, и информацию, указывающую, была ли нажата кнопка 24 пера 20 для прикосновения или кнопка 24 пера 20 для прикосновения находится в своем исходном состоянии. Пользовательский терминал 100 может определять заданную написанную от руки команду на основе информации о состоянии пера, принятой от пера 20 для прикосновения, и информации распознавании ввода посредством пера, соответствующей жесту ввода посредством пера, принятой от катушки 23 пера 20 для прикосновения, и может исполнять функцию, соответствующую упомянутой определенной команде.

[83] На Фиг. 2 снова, когда перо 20 для прикосновения помещено внутри первого расстояния (предварительно определенного расстояния контактирования) от панели 136 распознавания пера, панель 136 распознавания пера может распознать, что перо 20 для прикосновения находится в состоянии контакта. Если перо 20 для прикосновения отдалено от панели 136 распознавания пера на расстояние, находящееся в пределах диапазона между первым расстоянием и вторым расстоянием (предварительно определенное расстояние близости), панель 136 распознавания пера может распознать, что перо 20 для прикосновения находится в состоянии нависания. Если перо 20 для прикосновения помещено за пределами второго расстояния от панели 136 распознавания пера, то панель 136 распознавания пера может распознать, что перо 20 для прикосновения находится в состоянии отрыва. По такому принципу панель 136 распознавания пера может предоставлять информацию о различных состояниях пера согласно расстоянию до пера 20 для прикосновения.

[84] Относительно обнаружения пользовательского ввода посредством прикосновения через сенсорную панель 134 сенсорная панель 134 может быть размещена на или под панелью 132 отображения. Сенсорная панель 134 предоставляет информацию местонахождения, к которому осуществлено прикосновение, и состояния прикосновения согласно изменению емкости, сопротивления или напряжении, вызванному прикосновением предмета, в контроллер 160. Сенсорная панель 134 может быть размещена по меньшей мере в некоторой части панели 132 отображения. Сенсорная панель 134 может быть задействована одновременно с панелью 136 распознавания пера, либо может быть прекращено действие сенсорной панели 134, когда задействована панель 136 распознавания пера, согласно режиму функционирования. В частности, сенсорная панель 134 задействуется одновременно с панелью 136 распознавания пера в режиме совмещения. В режиме ввода посредством пера задействуется модуль 136 распознавания пера, тогда как действие сенсорной панели 134 прекращается. В режиме ввода посредством прикосновения задействуется сенсорная панель 134, тогда как действие панели 136 распознавания пера прекращается.

[85] Фиг. 4 является блок-схемой, изображающей действие по обнаружению ввода посредством прикосновения и ввода посредством прикосновения пером через сенсорную панель 134 и панель 136 распознавания пера согласно одному варианту осуществления настоящего изобретения.

[86] На Фиг. 4 сенсорная панель 134 включает в себя Интегральную Схему (IC) сенсорной панели и драйвер сенсорной панели. Сенсорная панель 134 предоставляет информацию о местонахождении, к которому осуществлено прикосновение, и состоянии прикосновения согласно изменению емкости, сопротивления или напряжения, вызванному прикосновением такого предмета, как палец пользователя, то есть, информацию о вводе посредством прикосновения в контроллер 160.

[87] Панель 136 распознавания пера включает в себя IC сенсорной панели посредством пера и драйвер сенсорной панели посредством пера. Панель 136 распознавания пера может принимать информацию о состоянии пера согласно близости и манипулированию пером 20 для прикосновения и предоставлять данную информацию о состоянии пера в контроллер 160. Кроме того, панель 143 распознавания пера может принимать информацию распознавания ввода посредством пера согласно жесту ввода, совершенному с помощью пера 20 для прикосновения, и предоставлять информацию распознавания ввода посредством пера в контроллер 160.

[88] Контроллер 160 включает в себя концентратор событий, очередь, считыватель ввода и диспетчер ввода. Контроллер 160 принимает информацию от сенсорной панели 134 и панели 136 распознавания пера через считыватель ввода и создает событие ввода посредством пера согласно информации о состоянии пера и информации распознавании ввода посредством пера или событие ввода посредством прикосновения согласно информации ввода посредством прикосновения через диспетчера ввода. Контроллер 160 выводит событие ввода посредством прикосновения и событие ввода посредством пера через очередь и концентратор события и управляет вводом события ввода посредством пера и события прикосновения через канал вода, соответствующий связанному виду приложения среди множества видов приложения под управлением администратора окон.

[89] Панель 132 отображения выводит различные экраны относительно действий пользовательского терминала 100. Например, панель 132 отображения может предоставлять различные экраны согласно задействованию связанных функций, включающих в себя начальный экран ожидания или экран меню для поддержки функций пользовательского терминала 100, и экран поиска файла, экран воспроизведения файла, экран широковещательного приема, экран редактирования файла, экран осуществления доступа к Веб-странице, экран заметки, экран чтения электронной книги, экран беседы и экран приема и написания сообщения или электронной почты, которые отображаются согласно выбранным функциям. Каждый из экранов, предоставленных панелью 132 отображения, может иметь информацию о заданном типе функции, и информация о типе функции может предоставляться в контроллер 160. Если задействована каждая функция панели 132 отображения, то панель 136 распознавания пера может задействоваться согласно предварительной установке. Информация распознавания ввода посредством пера, принятая от панели 136 распознавания пера, может выводиться в панель 132 отображения в связанной с ней формой. Например, если информацией распознавания пера является жестом, соответствующим заданному шаблону, то изображение шаблона может быть выведено в панель 132 отображения. Таким образом пользователь может подтвердить ввод посредством пера, который он или она применил, посредством просмотра изображения.

[90] В частности, моменты времени начала и моменты времени окончания ввода посредством пера могут быть определены на основе изменение информации о состоянии пера касательно пера 20 для прикосновения в настоящем изобретении. То есть, ввод посредством жеста может начаться по меньшей мере в одном из состояния контактирования и состояния нависания пера 20 для прикосновения и может закончиться, когда осуществлен выход из одного из состояния контактирования и состояния нависания. Соответственно, пользователь может применить ввод посредством пера, осуществляя контакт пера 20 для прикосновения с панелью 132 отображения или располагая перо 20 для прикосновения от панели 132 отображения на предварительно определенный зазор. Например, когда перо 20 для прикосновения перемещается в диапазон состояния контактирования, пользовательский терминал 100 может распознавать ввод посредством пера, такой как написание от руки, черчение, прикосновение, прикосновение и перетаскивание и т.д., согласно перемещению пера 20 для прикосновения в состоянии контактирования. С другой стороны, если перо 20 для прикосновения помещается в диапазон состояния нависания, пользовательский терминал 100 может распознавать ввод посредством пера в состоянии нависания.

[91] Запоминающее устройство 150 хранит различные программы и данные, необходимые для функционирования пользовательского терминала 100 согласно настоящему изобретению. Например, запоминающее устройство 150 может хранить Операционную Систему (Operating System (OS)), необходимую для функционирования пользовательского терминала 100, и функциональные программы для поддержки описанных ранее экранов, отображаемых на сенсорной панели 132. В частности, запоминающее устройство 150 может хранить функциональную программу 151 для пера, чтобы поддерживать функции пера, и таблицу 153 функций пера, чтобы поддерживать функциональную программу 151 для пера, согласно настоящему изобретению.

[92] Функциональная программа 151 для пера может включать в себя различные подпрограммы для поддержки функции пера настоящего изобретения. Например, функциональная программа 151 для пера может включать в себя подпрограмму для проверки условия задействования для панели 136 распознавания пера, подпрограмму для сбора информации о состоянии пера в отношении пера 20 для прикосновения, когда задействована панель 136 распознавания пера, и подпрограмму для сбора информации распознавания ввода посредством пера посредством распознавания ввода посредством пера согласно жесту, совершенному пером 20 для прикосновения. Функциональная программа 151 для пера может дополнительно включать в себя подпрограмму для создания заданной команды для функции пера на основе собранной информации о состоянии пера и информации распознавания ввода посредством пера и подпрограмму для исполнения функции, соответствующей заданной команде для функции пера. Кроме того, функциональная программа 151 для пера может включать в себя подпрограмму для сбора информации о типе текущей задействованной функции, подпрограмму для создания команды для функции пера, соотносимой с собранной информацией о типе функции, информацией о состоянии пера и информацией распознавания ввода посредством пера, и подпрограмму для исполнения функции, соответствующей команде для функции пера.

[93] Подпрограмма для создания команды для функции пера выполнена с возможностью создания команды, обращаясь к таблице 153 функций пера, хранящейся в запоминающем устройстве 150. Таблица 153 функций пера может включать в себя команды для функций пера, соотнесенные с заданными функциями терминала, соответствующими вводу жестов пера 20 для прикосновения проектировщиком или разработчиком программы. В частности, таблица 153 функций пера соотносит информацию распознавания жестов ввода с командами для функций пера согласно информации о состоянии пера и информации о типе функции так, чтобы отличающаяся функция могла быть выполнена согласно информации о состоянии пера и типу функции несмотря на одну и ту же информацию распознавания ввода посредством пера. Таблица 153 функций пера может соотносить команды для функций пера, соответствующие заданным функциям терминала, с информацией о состоянии пера и информацией распознавания ввода посредством пера. Данная таблица 153 функций пера, включающая в себя только информацию о состоянии пера и информацию распознавания ввода посредством пера, может поддерживать исполнение заданной функции только на основе информация о состоянии пера и информации распознавания ввода посредством пера независимо от типа текущей задействованной функции. Как описано выше, таблица 153 функций пера может включать в себя по меньшей мере одну из первой таблицы функций пера, включающей в себя команды для функций пера, соотнесенные с информацией о состоянии пера, информацией о типе функции и информацией распознавания ввода посредством пера, и второй таблицы функций пера, включающей в себя команды для функций пера, соотнесенные с информацией о состоянии пера и информацией распознавания ввода посредством пера. Таблица 153 функций пера, включающая в себя команды для функций пера, может применяться по выбору или автоматически согласно пользовательской установке или типу программы исполняемого приложения. Например, пользователь может предварительно установить первую или вторую таблицу функций пера. Затем пользовательский терминал 100 может выполнить процесс распознавания ввода посредством пера над жестом ввода на основе заданной таблица функций пера согласно пользовательской установке.

[94] При этом пользовательский терминал 100 может применять первую таблицу функций пера, когда задействуется первое приложение, и вторую таблицу функций пера, когда задействуется второе приложение, согласно разработке или пользовательской настройке. Как описано выше, таблица 153 функций пера может применяться по-разному согласно типу задействованной функции. Примерные применения таблицы 153 функций пера будут описаны более подробно позже.

[95] В случае, при котором пользовательский терминал 100 поддерживает функцию связи, пользовательский терминал 100 может включать в себя модуль 170 связи. В частности, когда пользовательский терминал 100 поддерживает функцию мобильной связи, модуль связи 110 может включать в себя модуль мобильной связи. Модуль связи 110 может выполнять такие функции связи, как беседа, передача и прием сообщения, вызов, и т.д. Если информация распознавания ввода посредством пера собирается от пера 20 для прикосновения во время функционирования модуля 170 связи, то модуль 170 связи может поддерживать исполнение команды для функции пера, соответствующей информации распознавания ввода посредством пера, под управлением контроллера 160.

[96] Поддерживая функциональность связи пользовательского терминала 100, модуль связи 110 может принимать внешнюю информацию для обновления таблицы 153 функции пера и предоставлять принятую внешнюю информацию обновления в контроллер 160. Как описано ранее, согласно типу функции программы исполняемого приложения может быть установлена другая таблица 153 функций пера. Следовательно, когда новая функция добавляется в пользовательский терминал 100, может потребоваться новая установка, относящаяся к функционированию пера 20 для прикосновения. Когда для новой функции или предварительно установленной функции предоставлена таблица 153 функций пера, модуль связи 110 может поддерживать прием информации о таблице 153 функций пера по умолчанию или по требованию пользователя.

[97] Блок 180 ввода может быть сконфигурирован в виде боковых клавиш или отдельно выполненной площадки для прикосновения. Блок 180 ввода может включать в себя кнопку для включения или выключения пользовательского терминала 100, клавишу домой для возвращения на домашний экран пользовательского терминала 100, и т.д. Блок 180 ввода может создавать сигнал ввода для установки режима функционирования пера под управлением пользователя и предоставлять данный сигнал ввода в контроллер 160. В частности, блок 180 ввода может создавать сигнал ввода, устанавливающий один из основного режима функционирования пера, в котором местонахождение пера обнаруживается без дополнительного распознавания ввода посредством пера, и осуществляется выполнение функции согласно обнаруженному местонахождению пера и режиму функционирования пера на основе одной из описанных ранее различных таблиц 153 функций пера. Пользовательский терминал 100 извлекает заданную таблицу 153 функций пера согласно связанному сигналу ввода и поддерживает функционирование пера на основе извлеченной таблицы 153 функций пера.

[98] Аудио процессор 140 включает в себя по меньшей мере одно из громкоговорителя (SPK) для вывода звукового сигнала и микрофона (MIC) для сбора звукового сигнала. Аудио процессор 140 может выводить звук уведомления для предложения пользователю установить режим функционирования пера или звук действия согласно установке. Когда панель 136 распознавания пера собирает информацию распознавания ввода посредством пера согласно заданному жесту ввода посредством пера, аудио процессор 140 выводит звука уведомления, соответствующий информации распознавания ввода посредством пера, или звук действия, связанный с исполнением функции. Аудио процессор 140 может выводить звук действия по отношению к вводу посредством пера, принимаемому в режиме реального времени с жестом ввода посредством пера. Кроме того, аудио процессор 140 может управлять амплитудой вибрации, соответствующей вводу посредством жеста, посредством управления модулем вибрации. Аудио процессор 140 может разграничивать амплитуду вибрации согласно принятому вводу посредством жеста. То есть, при обработке различной информации распознавания ввода посредством пера аудио процессор 140 может устанавливать различную амплитуду вибрации. Аудио процессор 140 может выводить звук действия различной громкости и типа согласно типу информации распознавания ввода посредством пера. Например, когда собирается информация распознавания ввода посредством пера, связанная с исполняемой в настоящее время функции, то аудио процессор 140 выводит вибрацию, имеющую предварительно определенную амплитуду, или звук действия, имеющий предварительно определенную громкость. Когда собирается информация распознавания ввода посредством пера для вызова другой функции, аудио процессор 140 выводит вибрацию, имеющую относительно большую амплитуду, или звук действия, имеющий относительно большую громкость.

[99] Контроллер 160 включает в себя различные составляющие для поддержки функций пера согласно вариантам осуществления настоящего изобретения и таким образом обрабатывает данные и сигналы для функций пера и управляет исполнением функций пера. С этой целью контроллер 160 может иметь конфигурацию, изображенную на Фиг. 5.

[100] Фиг. 5 подробная блок-схема контроллера 160 согласно настоящему изобретению.

[101] На Фиг. 5 контроллер 160 настоящего изобретения может включать в себя определитель 161 типа функции, определитель 163 состояния пера, распознаватель 165 ввода посредством пера, распознаватель 169 ввода посредством прикосновения, командный процессор 120 и блок 110 исполнения приложения.

[102] Определитель 161 типа функции определяет тип пользовательской функции, в настоящее время задействованной в пользовательском терминале 100. В частности, определитель 161 типа функции собирает информацию о типе функции, относящейся к текущему экрану, отображаемому на панели 132 отображения. Если пользовательский терминал 100 поддерживает многозадачность, то может быть осуществлено задействование множества функций наряду с задействованием множества приложений. В данном случае определитель 161 типа функции может собирать только информацию о типе функции, относящуюся к текущему экрану, отображаемому на панели 132 отображения, и предоставлять данную информацию о типе функции в командный процессор 120. Если на панели 132 отображения отображается множество экранов, то определитель 161 типа функции может собирать информацию о типе функции, относящуюся к экрану, отображаемому на переднем слое.

[103] Определитель 163 состояния пера собирает информацию о местонахождении пера 20 для прикосновения и нажатии кнопки 24. Как описано ранее, определитель 163 состояния пера может обнаружить изменение значения вводимой электромагнитной индукции посредством сканирования панели 136 распознавания пера, определить, находится ли перо 20 для прикосновения в состоянии нависания или состоянии контактирования, и была ли нажата или отпущена кнопка 24, и собирать информацию о состоянии пера согласно данному определению. Событие ввода посредством пера, соответствующее собранной информации о состоянии пера, может быть предоставлено в командный процессор 120.

[104] Распознаватель 165 ввода посредством пера распознает ввод посредством пера согласно перемещению пера 20 для прикосновения. Распознаватель 165 ввода посредством пера принимает событие ввода посредством пера, соответствующее жесту ввода посредством пера согласно перемещению пера 20 для прикосновения, от панели 136 распознавания пера независимо от того, находится ли перо 20 для прикосновения в состоянии нависания или состоянии контактирования, распознает ввод посредством пера и предоставляет результирующую информацию распознавания ввода посредством пера в командный процессор 120. Информация распознавания ввода посредством пера может быть информацией распознавания одиночного ввода посредством пера, полученной посредством распознавания одного предмета, или информацией распознавания составного ввода посредством пера, полученной посредством распознавания множества предметов. Информация распознавания одиночного ввода посредством пера или информация распознавания составного ввода посредством пера может быть определена согласно жесту ввода посредством пера. Например, распознаватель 165 ввода посредством пера может создавать информацию распознавания одиночного ввода посредством пера для ввода посредством пера, соответствующего непрерывному перемещению пера 20 для прикосновения, при нахождении пера 20 для прикосновения в состоянии нависания или состоянии контактирования. Распознаватель 165 ввода посредством пера может создавать информацию распознавания составного ввода посредством пера для ввода посредством пера, соответствующего перемещению пера 20 для прикосновения, которое было совершено при переключении пера 20 для прикосновения между состоянием нависания и состоянием контактирования. Распознаватель 165 ввода посредством пера может создавать информацию распознавания составного ввода посредством пера для ввода посредством пера, соответствующего перемещению пера 20 для прикосновения, которое был совершено при переключении пера 20 для прикосновения из состояния нависания в состояния отрыва. Либо распознаватель 165 ввода посредством пера может создавать информацию распознавания составного ввода посредством пера для множественного ввода посредством пера, которое перо 20 для прикосновения совершило через границу диапазона, распознаваемого панелью 136 распознавания пера.

[105] Распознаватель 169 ввода посредством прикосновения распознает ввод посредством прикосновения, соответствующий прикосновению или перемещению пальца, предмета и т.д. Распознаватель 169 ввода посредством прикосновения принимает событие ввода посредством прикосновения, соответствующее вводу посредством прикосновения, распознает ввод посредством прикосновения и предоставляет результирующую информацию распознавания ввода посредством прикосновения в командный процессор 120.

[106] Командный процессор 120 создает команду для функции пера на основе одной из информации о типе функции, принятой от определителя 161 типа функции, информации о состоянии пера, принятой от определителя 163 состояния пера, и информации распознавания ввода посредством пера, принятой от распознавателя 165 ввода посредством пера, и создает команду для функции прикосновения на основе информации распознавания ввода посредством прикосновения, принятой от распознавателя 169 ввода посредством прикосновения, согласно режиму функционирования. В течение такого функционирования командный процессор 120 может обратиться к таблице 153 функций пера, располагающей в списке некоторое количество команд для функций пера. В частности, командный процессор 120 может обратиться к первой таблице функций пера на основе информации о типе функции, информации о состоянии пера и информации распознавания ввода посредством пера, второй таблице функций пера на основе информации о состоянии пера и информации распознавания ввода посредством пера или третьей таблице функций пера на основе информации распознавании ввода посредством пера согласно установке или типу текущей задействованной функции. Командный процессор 120 предоставляет созданную команду для функции пера в блок 110 исполнения приложения.

[107] Блок 110 исполнения приложения управляет исполнением функции, соответствующей одной из команд, включающих в себя команду для функции пера и команду для функции прикосновения, принятых от командного процессора 120. Блок 110 исполнения приложения может исполнить заданную функцию, вызвать новую функцию или закончить заданную функцию по отношению к текущему задействованному приложению.

[108] Действия командного процессора 120 и блока 110 исполнения приложения будут описаны более подробно ниже.

[109] Сначала будет описан командный процессор 120. Фиг. 6 является блок-схемой командного процессора для поддержки основанного на написании от руки NLI в пользовательском терминале согласно одному варианту осуществления настоящего изобретения.

[110] На Фиг. 6 командный процессор 120, поддерживающий основанное на написании от руки NLI, включает в себя механизм 210 распознавания и механизм 220 NLI.

[111] Механизм 210 распознавания включает в себя управляющий распознаванием модуль 212, клиентский модуль 214 удаленного распознавания и модуль 216 локального распознавания. Модуль 216 локального распознавания включает в себя блок 215-1 распознавания написания от руки, блок 215-2 оптического распознавания символов и блок 215-3 распознавания предмета.

[112] Механизм 220 NLI включает в себя диалоговый модуль 222 и интеллектуальный модуль 224. Диалоговый модуль 222 включает в себя блок управления диалогом для управления диалоговой последовательностью и блок Понимания Естественного Языка (Natural Language Understanding (NLU)), для распознавания намерение пользователя. Интеллектуальный модуль 224 включает в себя блок моделирования пользователя для отражения пользовательских предпочтений, блок здравомыслящего рассуждения и блок управления контекстом для отражения ситуации с пользователем.

[113] Механизм 210 распознавания может принимать информацию от механизма черчения, соответствующего средству ввода, такому как электронное перо, и интеллектуальной платформы ввода, такой как камера. Интеллектуальная платформа ввода (не изображена) может быть распознавателем оптических символов, таким как Считыватель Оптических Символов (Optical Character Reader (OCR)). Интеллектуальная платформа ввода может считывать информацию, принимающую форму печатного текста или написанного от руки текста, чисел или символов, и предоставлять считанную информацию в механизм 210 распознавания. Механизм черчения является составляющей для приема ввода от средства ввода, такого как палец, предмет, перо, и т.д. Механизм черчения может обнаруживать вводимую информацию, принимаемую от средства ввода, и предоставлять обнаруженную введенную информацию в механизм 210 распознавания. Таким образом, механизм 210 распознавания может распознавать информацию, принятую от интеллектуальной платформы ввода и блока 130 сенсорной панели.

[114] Теперь в качестве примера в одном варианте осуществления настоящего изобретения будет описан случай, при котором блок 130 сенсорной панели принимает ввод от средства ввода и предоставляет информацию распознавания ввода посредством прикосновения и информацию распознавания ввода посредством пера в механизм 210 распознавания.

[115] Согласно данному варианту осуществления настоящего изобретения механизм 210 распознавания распознает выбранную пользователем всю или часть в настоящее время отображаемой записи или выбранную пользователем команду из текста, линию, символ, шаблон, фигуру или их сочетание, принятые в качестве информация. Выбранная пользователем команда является предварительно заданным вводом. Выбранная пользователем команда может соответствовать по меньшей мере одному из предварительно установленного символа, шаблона, текста или их сочетания, или по меньшей мере одного жеста, предварительно установленного функцией распознавания жестов.

[116] Механизм 210 распознавания выводит распознанный результат, полученный при вышеупомянутом действии.

[117] С этой целью, механизм 210 распознавания включает в себя управляющий распознаванием модуль 212 для предоставления полного управления, чтобы выводить распознанный результат, клиентский модуль 214 удаленного распознавания и модуль 216 локального распознавания для распознавания введенной информации. Модуль 216 локального распознавания включает в себя по меньшей мере блок 215-1 распознавания написания от руки для распознавания написанной от руки введенной информации, блок 215-2 оптического распознавания символов для распознавания информации из введенного оптического сигнала, и модуль 215-2 распознавания предмета для распознавания информации из жеста ввода.

[118] Блок 215-1 распознавания написания от руки распознает написанную от руки введенную информацию. Например, блок 215-1 распознавания написания от руки распознает запись, которую пользователь записал на запоминающем экране с помощью пера 20 для прикосновения. В частности, блок 215-1 распознавания написания от руки принимает координаты точек, к которым осуществлено прикосновение на экране заметки, от блока 130 сенсорной панели, сохраняет координаты точек, к которым осуществлено прикосновение, в качестве черт и создает массив черт с использованием черт. Блок 215-1 распознавания написания от руки распознает написанное от руки содержимое с использованием предварительно сохраненной библиотеки написания от руки и списка массива черт, включающего в себя созданные массивы черт. Блок 215-1 распознавания написания от руки выводит результирующие распознанные результаты, соответствующие содержимому записи и команде в распознанном содержимом.

[119] Блок 215-2 оптического распознавания символов принимает оптический сигнал, обнаруженный модулем оптического обнаружения, и выводит распознанный результат оптического символа. Блок 215-3 распознавания предмета принимает сигнал обнаружения жеста, обнаруженный модулем обнаружения движения, распознает жест и выводит распознанный результат жеста. Распознанные результаты, выведенные из блока 215-1 распознавания написания от руки, блока 215-2 оптического распознавания символов и блока 215-3 распознавания предмета, предоставляются в механизм 220 NLI или блок 110 исполнения приложения.

[120] Механизм 220 NLI определяет намерение пользователя посредством обработки, например, анализа распознанных результатов, принятых от механизма 210 распознавания. То есть, механизм 220 NLI определяет надлежащую для пользователя введенную информацию из распознанных результатов, принятых от механизма 210 распознавания. В частности, механизм 220 NLI собирает достаточно информации посредством обмена вопросами и ответами с пользователем на основе основанного на написании от руки NLI и определяет намерение пользователя на основе собранной информации.

[121] Для данного действия диалоговый модуль 222 механизма 220 NLI создает вопрос для осуществления диалога с пользователем и предоставляет вопрос пользователю, тем самым управляя диалоговой последовательностью для приема ответа от пользователя. Диалоговый модуль 222 управляет информацией, полученной из вопросов и ответов (блок управления диалогом). Диалоговый модуль 222 также понимает намерение пользователя посредством выполнения над первоначально принятой командой обработки с использованием естественного языка, принимая во внимание управляемую информацию (блок NLU).

[122] Интеллектуальный модуль 224 механизма 220 NLI создает информацию, к которой следует обращаться для понимания намерения пользователя, через обработку с использованием естественного языка и предоставляет ссылочную информацию в диалоговый модуль 222. Например, интеллектуальный модуль 224 информации моделирует информацию, отражающую пользовательское предпочтение, посредством анализа пользовательских привычек при делании записи (блок моделирования пользователя), индуцирует информацию для отражения здравого смысла (блок здравомыслящего рассуждения) или управляет информацией, представляющей собой текущую ситуацию с пользователем (блок управления контекстом).

[123] Поэтому, диалоговый модуль 222 может управлять диалоговой последовательностью в процедуре вопроса и ответа с пользователем с помощью ссылочной информации, принятой от интеллектуального модуля 224.

[124] Тем временем, блок 110 исполнения приложения принимает распознанный результат, соответствующий команде, от механизма 210 распознавания, осуществляет поиск команды в предварительно сохраненной таблице синонимов и считывает идентификатор (ID), соответствующий синониму, соответствующему команде, при наличии синонима, соотносящегося с командой в таблице синонимов. Блок 110 исполнения приложения затем исполняет способ, соответствующий идентификатору, находящемуся в списке в предварительно сохраненной таблице способов. Соответственно, способ исполняет приложение, соответствующее команде, и содержимое записи предоставляется в приложение. Блок 110 исполнения приложения исполняет связанную функцию приложения с использованием содержимого записи.

[125] Фиг. 7 является блок-схемой последовательности операций, изображающей управляющее действие для поддержки UI с использованием основанного на написании от руки NLI в пользовательском терминале согласно одному варианту осуществления настоящего изобретения.

[126] На Фиг. 7 пользовательский терминал задействует заданное приложение и предоставляет функцию задействованного приложения на этапе 310. Заданное приложение является приложением, задействование которого потребовал пользователь, среди приложений, которые были установлены в пользовательском терминале по требованию пользователя.

[127] Например, пользователь может задействовать заданное приложение посредством функции заметки пользовательского терминала. Таким образом, пользовательский терминал вызывает слой заметки по требованию пользователя. Затем, после приема идентификационной информации заданного приложения и информации, соответствующей команде исполнения, пользовательский терминал осуществляет поиск заданного приложения и задействует обнаруженное приложение. Данный способ полезен при быстром исполнении надлежащего приложения среди большого количества приложений, установленных в пользовательском терминале.

[128] Идентификационная информация заданного приложения, например, может быть названием приложения. Информация, соответствующая команде исполнения, может быть фигурой, символом, шаблоном, текстом и т.д., предварительно установленной для предписания задействования приложения.

[129] На Фиг. 8 изображен пример требования действия на основе заданного приложения или функции функцией заметки. В изображенном на Фиг. 8 случае часть записи, записанной посредством функции заметки, выбирается с использованием линии, замкнутого контура или фигуры, и выбранное содержимое записи обрабатываются с использованием другого приложения. Например, содержимое записи «galaxy note premium suite» («премиальный комплект для галактического блокнота» (расширение программного обеспечения для продукции серии Galaxy Note)) выбирается с использованием линии, и подается команда для отправки выбранного содержимого записи с использованием приложения отправки текста.

[130] На Фиг. 8 после подчеркивания «galaxy note premium suite» на запоминающем экране, после приема слова «текст», соответствующего текстовой команде, пользовательский терминал определяет введенное слово, соответствующее текстовой команде, принятой после подчеркивания, в качестве команда отправки текста и отправляет содержимое записи с использованием приложения отправки текста. То есть, когда область выбрана, и ввод, соответствующий команде, принят, пользовательский терминал определяет ввод в качестве команды и определяет содержимое ввода посредством пера, содержащееся в выбранной области, в качестве содержимое записи.

[131] Если нет никакого приложения, согласующегося с пользовательским вводом, в пользовательском терминале, то пользователю может быть предоставлен потенциальный набор схожих приложений так, чтобы пользователь мог выбрать надлежащее приложение среди потенциальных приложений.

[132] В другом примере функция, поддерживаемая пользовательским терминалом, может исполняться функцией заметки. С этой целью, пользовательский терминал вызывает слой заметки по требованию пользователя и осуществляет поиск установленного приложения согласно информации пользовательского ввода.

[133] Например, ключевое слово поиска вводится в экран заметки, отображаемый для функции заметки, для того, чтобы осуществить поиск заданного приложение среди приложений, установленных в пользовательском терминале. Затем пользовательский терминал осуществляет поиск приложения, согласующегося с ключевым словом ввода. То есть, если пользователь записывает «автомобильная игра» на экране посредством функции заметки, то пользовательский терминал осуществляет поиск приложения, относящегося к «автомобильной игре», среди установленных приложений и предоставляет результаты поиска на экране.

[134] В другом примере пользователь может ввести время установки, например, февраль 2011, на экране посредством функции заметки. Затем пользовательский терминал осуществляет поиск приложений, установленных в феврале 2011. То есть, когда пользователь записывает «февраль 2011» на экране посредством функции заметки, пользовательский терминал осуществляет поиск приложений, установленных в «феврале 2011», среди установленных приложений и предоставляет результаты поиска на экране.

[135] Как описано выше, задействование или поиск заданного приложения на основе пользовательской записи является полезным в случае, при котором в пользовательском терминале установлено большое количество приложений.

[136] Для более эффективного поиска приложений установленные приложения предпочтительно индексируются. Индексированные приложения могут быть классифицированы по категориям, таким как характеристика, область, функция и т.д.

[137] После ввода пользователем заданной клавиши или жеста слой заметки может быть вызван для позволения пользователю ввести идентификационную информацию приложения, которое следует задействовать, или ввести индексную информацию для поиска заданного приложение.

[138] Заданные приложения, задействованные или отыскиваемые по вышеописанному принципу, включают в себя приложение заметки, приложение-планировщик, картографическое приложение, музыкальное приложение и приложение для метрополитена.

[139] После задействования заданного приложения пользовательский терминал наблюдает за вводом написанной от руки информации на этапе 312. Введенная информация может принимать форму линии, символа, шаблона или их сочетания, а также текста. Кроме того, пользовательский терминал может наблюдать за вводом информации, указывающей область, которая выбирает всю или часть записи, записанной на текущем экране.

[140] Если запись выбрана частично или полностью, пользовательский терминал непрерывно наблюдает за дополнительной вводимой информацией, соответствующей команде, для того, чтобы обработать выбранное содержимое записи на этапе 312.

[141] После обнаружения ввода написанной от руки информации пользовательский терминал выполняет действие по распознаванию обнаруженной введенной информации на этапе 314. Например, распознается текстовая информация выбранного всего или частичного содержимого записи, или распознается введенная информация, принимающая форму линии, символа, шаблона или их сочетания в дополнение к тексту. Механизм 210 распознавания, изображенный на Фиг. 6, ответствен за распознавание введенной информации.

[142] Как только пользовательский терминал распознает обнаруженную введенную информацию, пользовательский терминал выполнит над распознанной текстовой информацией обработку с использованием естественного языка для понимания содержимого распознанной текстовой информации. Механизм 220 NLI ответственен за обработку распознанной текстовой информации с использованием естественного языка.

[143] Если определено, что введенная информация является сочетанием текста и символа, пользовательский терминал также обрабатывает символ наряду с обработкой с использованием естественного языка.

[144] При обработке символа пользовательский терминал анализирует фактический шаблон заметки пользователя и обнаруживает главный символ, который пользователь часто использует, посредством анализа шаблона заметки. Затем пользовательский терминал анализирует намерение использования обнаруженного главного символа и определяет значение главного символа на основе результата анализа.

[145] Значение, которое пользователь подразумевает для каждого главного символа, встраивается в базу данных для дальнейшего использования при интерпретации более позднего введенного символа. Таким образом, заготовленная база данных может использоваться для обработки символов.

[146] На Фиг. 9 изображен примерный фактический шаблон заметки пользователя для использования при реализации вариантов осуществления настоящего изобретения. Шаблон заметки, изображенный на Фиг.9, демонстрирует, что пользователь часто использует символы →, (), _, -, + и ?. Например, символ → используется для дополнительного описания или отделения абзаца, а символ () указывает, что содержимое внутри () является определением термина или описанием.

[147] Один и тот же символ может быть интерпретирован по-разному. Например, символ → может обозначать «течение времени», «причинно-следственную взаимосвязь», «местонахождение», «описание соотношения между атрибутами», «опорную точку для кластеризации», «замену» и т.д.

[148] Фиг. 10 изображает пример, в котором один символ может быть интерпретирован по-разному. На Фиг. 10 символ → может использоваться в значениях течения времени, причинно-следственной взаимосвязи, местонахождения и т.д.

[149] На Фиг. 11 изображен пример, в котором введенная информация, включающая в себя сочетание текста и символа, может быть интерпретирована по-разному в зависимости от символа. Веденную пользователем информацию «Сеул → Пусан» можно интерпретировать в качестве подразумевающей, что «Сеул заменяется на Пусан», так же как «из Сеула в Пусан». Символ, который предполагает множество значений, может быть интерпретирован с учетом дополнительной информации или взаимосвязи с предыдущей или последующей информацией. Однако данная интерпретация может привести к неточному оцениванию намерения пользователя.

[150] Чтобы преодолеть данную проблему, необходимы обширные исследования и усилия в распознавании/понимании символа. Например, взаимосвязь между распознаванием и пониманием символа является объектом исследования в семиотике области гуманитарных наук, и данное исследование используется в рекламных объявлениях, литературе, фильмах, указателях дорожного движения и т.д. Семиотика, в ее широком смысле, является теорией и изучением функций, анализа, интерпретации, значений и представлений знаков и символов, и различных систем, относящихся к общению.

[151] Знаки и символы также изучаются с точки зрения технических наук. Например, проводится исследование над распознаванием символов блок-схемы последовательности операций и светокопии чертежей в области машиностроения/электротехники/вычислительной техники. Данное исследование используется при распознавании эскиза (нарисованной от руки схемы). Дополнительно, распознавание формул сложных химических структур изучается в химии, и данное изучение используется при распознавании нарисованной от руки химической схемы.

[152] На Фиг. 12 изображены примерные использования знаков и символов в семиотике, а на Фиг. 13 изображены примерные использования знаков и символов в области машиностроения/электротехники/вычислительной техники и химии.

[153] Пользовательский терминал понимает содержимое введенной пользователем информации посредством обработки распознанного результата с использованием естественного языка и затем оценивает намерение пользователя относительно введенной информации на основе распознанного содержимого на этапе 318.

[154] Как только пользовательский терминал определил намерение пользователя относительно введенной информации, пользовательский терминал выполняет действие, соответствующее намерению пользователя, или выводит реагирование, соответствующее намерению пользователя, на этапе 322. После выполнения действия, соответствующего намерению пользователя, пользовательский терминал может вывести результат действия пользователю.

[155] Напротив, если пользовательский терминал не осуществляет доступ к намерению пользователя относительно введенной информации, то пользовательский терминал получает дополнительную информацию посредством процедуры вопроса и ответа с пользователем для определения намерения пользователя на этапе 320. С этой целью пользовательский терминал создает вопрос, который следует задать пользователю, и предоставляет данный вопрос пользователю. Когда пользователь вводит дополнительную информацию, отвечая на вопрос, пользовательский терминал повторно оценивает намерение пользователя, принимая во внимание новую введенную информацию в дополнение к содержимому, понятому предварительно посредством обработки с использованием естественного языка.

[156] Несмотря на то, что не изображено, пользовательский терминал может дополнительно выполнять этапы 314 и 316 для понимания новой введенной информации.

[157] Пока оценка намерения пользователя не будет осуществлена точно, пользовательский терминал может получать большую часть информации, необходимой для определения намерения пользователя, посредством обмена вопросами и ответами с пользователем, то есть, осуществляя диалог с пользователем на этапе 320.

[158] Как только пользовательский терминал определил намерение пользователя в описанной ранее процедуре вопроса и ответа, пользовательский терминал выполняет действие, соответствующее намерению пользователя, или выводит результат реагирования, соответствующий намерению пользователя, пользователю на этапе 322.

[159] Конфигурацию устройства UI в пользовательском терминале и способе UI с использованием основанного на написании от руки NLI в устройстве UI можно рассмотреть в различных сценариях. На Фиг. 14-21 изображены сценарии функционирования на основе приложений, поддерживающих функцию заметки согласно вариантам осуществления настоящего изобретения.

[160] То есть, на Фиг. 14-21 изображены примеры обработки записи, записанной в приложении, поддерживающем функцию заметки, посредством запуска другого приложения.

[161] Фиг. 14 блок-схема последовательности операций, изображающая действие обработки записи, записанной в приложении, поддерживающем функцию заметки, запуская другое приложение.

[162] На Фиг. 14 после исполнения приложения заметки пользовательский терминал 100 отображает экран заметки через блок 130 сенсорной панели и принимает запись, которую пользователь записал на экране заметки, на этапе 1202. Пользовательский терминал 100 может получать событие ввода посредством пера через панель 136 распознавания пера в соответствии с вводом посредством пера от пользователя и может получать событие ввода посредством прикосновения через сенсорную панель 134 в соответствии с вводом посредством прикосновения от пальца пользователя или предмета. В соответствии с одним вариантом осуществления настоящего изобретения, в качестве примера, пока пользователь пишет запись с помощью пера 20 для прикосновения, пользовательский терминал 100 принимает событие ввода посредством пера через панель 136 распознавания пера. Пользователь может вводить команду, а также делать запись на экране заметки посредством пера 20 для прикосновения.

[163] На этапе 1204, пользовательский терминал распознает содержимое ввода посредством пера согласно событию ввода посредством пера. Пользовательский терминал может распознавать содержимое ввода посредством пера с использованием блока 215-1 распознавания написания от руки механизма 210 распознавания. Например, блок 215-1 распознавания написания от руки принимает координаты точек, к которым осуществлено прикасание на экране заметки, от блока 130 сенсорной панели, сохраняет принятые координаты точек, к которым осуществлено прикасание, в качестве черт и создает массив черт с чертами. Блок 215-1 распознавания написания от руки распознает содержимое ввода посредством пера с использованием предварительно сохраненной библиотеки написания от руки и списка массива черт, включающего в себя созданный массив черт.

[164] На этапе 1206 пользовательский терминал определяет команду и содержимое записи, для который должна быть исполнена эта команда, из распознанного содержимого ввода посредством пера. Пользовательский терминал может определять выбранную всю или частичную область содержимого ввода посредством пера в качестве содержимого записи, для которой должна быть исполнена упомянутая команда. При присутствии предварительно определенного ввода в выбранной всей или частичной области пользовательский терминал может определить предварительно определенный ввод в качестве команды. Предварительно определенный ввод соответствует по меньшей мере одному из предварительно установленного символа, шаблона, текста или их сочетания, или по меньшей мере одного жеста, предварительно установленного функцией распознавания жестов.

[165] Более конкретно, когда пользователь вводит слово «текст», соответствующее текстовой команде, после подчеркивания «galaxy note premium suite» на экране заметки, как изображено на Фиг. 8, пользовательский терминал определяет слово, соответствующее текстовой команде, в качестве команды отправки текста, и определяет содержимое ввода посредством пера подчеркнутой области в качестве содержимого записи, которое следует отправить.

[166] Пользовательский терминал исполняет приложение, соответствующее упомянутой команде, и исполняет функцию приложения посредством приема содержимого записи в качестве входных данных для исполняемого приложения на этапе 1208.

[167] В частности, пользовательский терминал может исполнить функцию приложения, соответствующего команде, посредством задействования приложения через блока 110 исполнения приложения. То есть, блок 110 исполнения приложения принимает распознанный результат, соответствующий команде, от механизма 210 распознавания, проверяет, содержится ли команда в предварительно сохраненной таблице синонимов, и при наличии синонима, соответствующего команде, считывает идентификатор, соответствующий синониму. Затем блок 110 исполнения приложения исполняет способ, соответствующий идентификатору, обращаясь к предварительно установленной таблице способов. Вследствие этого способ исполняет приложение согласно команде, переносит содержимое записи в приложение и исполняет функцию приложения с использованием содержимого записи в качестве входных данных.

[168] После исполнения функции приложения пользовательский терминал может сохранить написанное от руки содержимое, то есть, содержимое ввода посредством пера и информацию о приложении, функция которого была исполнена, в качестве записи.

[169] По требованию пользователя может быть извлечена хранящаяся запись. Например, после получения требования на извлечение хранящейся записи от пользователя пользовательский терминал извлекает хранящуюся запись, отображает написанное от руки содержимое хранящейся записи, то есть, содержимое ввода посредством пера и информацию об уже исполненном приложении, на экране заметки. Когда пользователь редактирует написанное от руки содержимое, пользовательский терминал может принимать событие ввода посредством пера, редактирующее написанное от руки содержимое извлеченной записи, от пользователя. Если приложение уже было исполнено для хранящейся записи, то приложение может быть повторно исполнено после получения требования на повторное исполнение приложения.

[170] Приложения, которые исполняются посредством распознавания написания от руки, могут включать в себя приложение отправки для отправки почты, текста, сообщения и т.д., поисковое приложение для поиска в Интернете, на карте и т.д., приложение сохранения для хранения информация и приложение-переводчик для перевода одного языка на другой.

[171] Случай, в котором настоящее изобретение применяется к приложению отправки почты, будет описан в качестве одного варианта осуществления. На Фиг. 15 изображен сценарий отправки части записи в качестве почты посредством функции заметки в пользовательском терминале.

[172] На Фиг. 15, пользователь пишет запись на экране пользовательского терминала посредством функции заметки и выбирает часть записи посредством линии, символа, замкнутого контура и т.д. Например, частичная область всей записи может быть выбрана посредством черчения замкнутого контура, тем самым выбирая содержимое записи внутри замкнутого контура.

[173] Затем пользователь вводит команду, требующую обработки выбранного содержимого с использованием предварительно установленного или интуитивно распознаваемого символа и текста. Например, пользователь чертит стрелку, указывающую выбранную область, и записывает текст, указывающий человека (Господин, Хва Кьен-КИМ).

[174] После приема информации пользовательский терминал интерпретирует намерение пользователя означающим, что содержимое записи выбранной области должно быть отправлено «Господину, Хва Кьен-КИМУ». Например, пользовательский терминал определяет команду, соответствующую стрелке, указывающей выбранную область, и текст, указывающий человека (Господин, Хва Кьен-КИМ). После определения намерения пользователя, например, команды, пользовательский терминал извлекает рекомендуемые приложения, выполненные с возможностью отправки выбранного содержимого записи, среди установленных приложений. Затем пользовательский терминал отображает извлеченные рекомендуемые приложения так, чтобы пользователь мог потребовать выбор или задействование рекомендуемого приложения.

[175] Когда пользователь выбирает одно из рекомендуемых приложений, пользовательский терминал запускает выбранное приложение и отправляет выбранное содержимое записи «Господину, Хва Кьен-КИМУ» посредством приложения.

[176] Если информация о получателе не является предварительно зарегистрированной, то пользовательский терминал может запросить у пользователя почтовый адрес «Господина, Хва Кьен-КИМА». В данном случае пользовательский терминал может отправить выбранное содержимое записи в ответ на прием почтового адреса от пользователя.

[177] После обработки намерения пользователя, например, команды, пользовательский терминал отображает обработанный результат на экране так, чтобы пользователь мог подтвердить подходящую обработку, соответствующую намерению пользователя. Например, пользовательский терминал запрашивает у пользователя, следует ли сохранить подробности отправленной почты в списке, при отображении сообщения, указывающего завершение отправки почты. Когда пользователя требует сохранения подробностей отправленной почты в списке, пользовательский терминал регистрирует подробности отправленной почты в списке.

[178] Вышеупомянутый сценарий может помочь увеличить производительность посредством позволения пользовательскому терминалу отправить необходимое содержимое записи, записанной в течение конференции с другой стороной, без необходимости в переключении от одного приложения в другое и сохранить подробности отправленной почты через взаимодействие с пользователем.

[179] На Фиг. 16a и 16b изображен сценарий, в котором пользовательский терминал отправляет всю запись посредством функции заметки.

[180] На Фиг. 16a и 16b пользователь пишет запись на экране посредством функции заметки (Написание заметки). Затем пользователь выбирает всю запись с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, когда пользователь чертит замкнутый контур вокруг всей записи, пользовательский терминал может распознать, что выбрано все содержимое записи внутри замкнутого контура.

[181] Пользователь требует отправку текста выбранного содержимого посредством записывания предварительно установленного или интуитивно распознаваемого текста, например, «отправить текст» (Написание команды).

[182] Механизм обработки NLI, который конфигурирует UI на основе информации пользовательского ввода, распознает, что пользователь намеревается отправить содержимое выбранной области в тексте. Затем механизм NLI дополнительно получает необходимую информацию посредством обмена вопросом и ответом с пользователем, определяя, что информации недостаточно для отправки текста. Например, механизм NLI запрашивает у пользователя, кому следует отправить текст, например, с помощью «Кому?».

[183] Пользователь вводит информацию о получателе для приема текста посредством функции заметки в качестве ответа на вопрос. Имя или телефонный номер получателя могут быть непосредственно введены в качестве информации о получателе. На Фиг. 16b в качестве информации о получателях вводятся «Хва Кьен-КИМ» и «Джу Юн-БЭ».

[184] Механизм NLI обнаруживает телефонные номера, соотнесенные с введенными именами «Хву Кьен-КИМА» и «Джу Юн-БЭ», в каталоге и отправляет текст, имеющий выбранное содержимое записи в качестве текстового блока по телефонным номерам. Если выбранное содержимое записи является изображением, пользовательский терминал может дополнительно преобразовать изображение в текст так, чтобы другая сторона могла распознать.

[185] После завершения отправки текста механизм NLI отображает уведомление, указывающее обработанный результат, например, сообщение «текст отправлен». Вследствие этого пользователь может подтвердить, что процесс был закончен должным образом, как и подразумевалось.

[186] На Фиг. 17a и 17b изображен сценарий нахождения значения части записи посредством функции заметки в пользовательском терминале.

[187] На Фиг. 17a и 17b пользователь пишет запись на экране посредством функции заметки (Написание заметки). Затем пользователь выбирает часть записи с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, пользователь может выбрать одно слово, написанное в частичной области записи, чертя замкнутый контур вокруг данного слова.

[188] Пользователь требует значение выбранного текста посредством записывания предварительно установленного или интуитивно распознаваемого символа, например, «?» (Написание команды).

[189] Механизм NLI, который конфигурирует UI на основе о введенной пользователем информации, спрашивает пользователя, какой механизм обработки использовать для того, чтобы найти значение выбранного слова. С этой целью, механизм NLI использует с пользователем процедуру вопроса и ответа. Например, механизм NLI предлагает пользователю ввести информацию, выбирающую поисковый механизм, отображая «Какой поисковый механизм?» на экране.

[190] Пользователь вводит «Википедия» в качестве ответа посредством функции заметки. Таким образом, механизм NLI распознает, что пользователь намеревается использовать «Википедию» в качестве поискового механизма с использованием пользовательского ввода в качестве ключевого слова. Механизм NLI находит значение выбранного «MLS» с использованием «Википедии» и отображает результаты поиска. Вследствие этого пользователь узнает о значении «MLS» из информации, отображаемой на экране.

[191] На Фиг. 18a и 18b изображен сценарий регистрации части записи, записанной посредством функции заметки, в качестве информации для другого приложения в пользовательском терминале.

[192] На Фиг. 18a и 18b пользователь записывает список заданий относительно вещей, которые следует подготовить для поездки в Китай на экране пользовательского терминала посредством функции заметки (Написание заметки). Затем пользователь выбирает часть записи с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, пользователь может выбрать «оплатить оставшуюся часть авиабилета» в части записи, чертя замкнутый контур вокруг текста.

[193] Пользователь требует регистрацию выбранного содержимого записи в списке заданий, записывая предварительно установленный или интуитивно распознаваемый текст, например, «зарегистрировать в списке заданий» (Написание команды).

[194] Механизм NLI, который конфигурирует UI на основе введенной пользователем информации, распознает, что пользователь намеревается потребовать планирование задачи, соответствующей выбранному содержимому записи. Затем механизм NLI дополнительно получает необходимую информацию посредством процедуры вопроса и ответа с пользователем, определяя, что информации недостаточно для планирования. Например, механизм NLI предлагает пользователю ввести информацию, запрашивая расписание, например, «Введите конечную дату».

[195] Пользователь вводит «2 мая» в качестве даты, в которую задача должна быть выполнена, посредством функции заметки в качестве ответа. Таким образом, механизм NLI сохраняет выбранное содержимое в качестве вещи, которую следует сделать ко 2 мая, для планирования.

[196] После обработки требования пользователя механизм NLI отображает обработанный результат, например, сообщение «сохранено». Вследствие этого пользователь знает, что должный процесс был выполнен, как и подразумевалось.

[197] На Фиг. 19a и 19b изображен сценарий сохранения записи, записанной посредством функции заметки, с использованием функции блокировки в пользовательском терминале. На Фиг. 19c изображен сценарий считывания записи, сохраненной посредством функции блокировки.

[198] На Фиг. 19a и 19b, пользователь записывает впечатления пользователя в течение поездки в Осаку с использованием фотографии и записи на экране пользовательского терминала посредством функции заметки (Написание заметки). Затем пользователь выбирает всю запись или часть записи с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, пользователь может выбрать всю запись, чертя замкнутый контур вокруг записи.

[199] Пользователь требует регистрацию выбранного содержимого записи посредством функции блокировки, записывая предварительно установленный или интуитивно распознаваемый текст, например, «заблокировать» (Написание команды).

[200] Механизм NLI, который конфигурирует UI на основе введенной пользователем информации, распознает, что пользователь намеревается сохранить содержимое записи посредством функции блокировки. Затем механизм NLI дополнительно получает необходимую информацию посредством процедуры вопроса и ответа с пользователем, определяя, что информации недостаточно для установки функции блокировки. Например, NLI отображает вопрос, запрашивающий пароль, например, сообщение «Введите пароль», на экране, чтобы установить функцию блокировки.

[201] Пользователь вводит «3295» в качестве пароля посредством функции заметки в качестве ответ для того, чтобы установить функцию блокировки. Таким образом, механизм NLI сохраняет выбранное содержимое записи с использованием пароля «3295».

[202] После сохранения содержимого записи посредством функции блокировки механизм NLI отображает обработанный результат, например, сообщение «Сохранено». Вследствие этого пользователь знает, что должный процесс был выполнен, как и предполагалось.

[203] На Фиг. 19c пользователь выбирает запись среди записей, сохраненных посредством функции блокировки (Выбор заметки). После пользователем выбора заданной записи механизм NLI предлагает пользователю ввести пароль посредством процедуры вопроса и ответа, определяя, что для предоставления выбранной записи необходим пароль (Написание пароля). Например, механизм NLI отображает окно в заметке, в котором пользователь может ввести пароль.

[204] Когда пользователь вводит действующий пароль, механизм NLI отображает выбранную запись на экране.

[205] На Фиг. 20 изображен сценарий исполнения заданной функции с использованием части записи, записанной посредством функции заметки, в пользовательском терминале.

[206] На Фиг. 20 пользователь пишет запись на экране пользовательского терминала посредством функции заметки (Написание заметки). Затем пользователь выбирает часть записи с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, пользователь может выбрать телефонный номер «010-9530-0163» в части записи, чертя замкнутый контур вокруг телефонного номера.

[207] Пользователь требует набор телефонного номера посредством записывания предварительно установленного или интуитивно распознаваемого текста, например, «позвонить» (Написание команды).

[208] Механизм NLI, который конфигурирует UI на основе введенной пользователем информации, распознает выбранный телефонный номер посредством преобразования его в естественный язык и осуществляет попытку набора телефонного номера «010-9530-0163».

[209] На Фиг. 21a и 21b изображен сценарий скрытия части записи, записанной посредством функции заметки, в пользовательском терминале.

[210] На Фиг. 21a и 21b пользователь записывает идентификатор и пароль для каждого Веб-сайта, которые посещает пользователь, на экране пользовательского терминала посредством функции заметки (Написание заметки). Затем пользователь выбирает часть записи с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, пользователь может выбрать пароль «wnse3281» в части записи, чертя замкнутый контур вокруг пароля.

[211] Пользователь требует скрытия выбранного содержимого посредством записывания предварительно установленного или интуитивно распознаваемого текста, например, «скрыть» (Написание команды).

[212] Механизм NLI, который конфигурирует UI на основе введенной пользователем информации, распознает, что пользователь намеревается скрыть выбранное содержимое записи. Чтобы использовать функцию скрывания, механизм NLI дополнительно получает необходимую информацию от пользователя посредством процедуры вопроса и ответа, определяя, что необходима дополнительная информация. Механизм NLI выводит вопрос, запрашивающий пароль, например сообщение «Введите пароль», чтобы установить функцию скрывания.

[213] Когда пользователь записывает «3295» в качестве пароля посредством функции заметки в качестве ответа, чтобы установить функцию скрывания, механизм NLI распознает «3295» посредством преобразования его в естественный язык и сохраняет «3295». Затем механизм NLI скрывает выбранное содержимое записи так, чтобы пароль не появлялся на экране.

[214] На Фиг. 22 изображен сценарий преобразования части записи, записанной посредством функции заметки, в пользовательском терминале.

[215] На Фиг. 22 пользователь пишет запись на экране пользовательского терминала посредством функции заметки (Написание заметки). Затем пользователь выбирает часть записи с использованием линии, символа, замкнутого контура и т.д. (Инициирование). Например, пользователь может выбрать предложение «принять требуемый документ к 11:00 завтра» в части записи, подчеркивая предложение.

[216] Пользователь требует перевод выбранного содержимого посредством записывания предварительно установленного или интуитивно распознаваемого текста, например, «перевести» (Написание команды).

[217] Механизм NLI, который конфигурирует UI на основе введенной пользователем информации, распознает, что пользователь намеревается потребовать перевод выбранного содержимого записи. Затем механизм NLI отображает вопрос, запрашивающий язык, на который выбранное содержимое записи должно быть переведено, посредством процедуры вопроса и ответа. Например, механизм NLI предлагает пользователю ввести надлежащий язык, отображая сообщение «Какой язык» на экране.

[218] Когда пользователь записывает «итальянский язык» в качестве языка посредством функции заметки в качестве ответа, механизм NLI распознает, что «итальянский язык» является надлежащим языком для пользователя. Затем механизм NLI переводит распознанное содержимое записи, то есть, предложение «принять требуемый документ к 11:00 завтра» на итальянский язык, и выводит перевод. Вследствие этого пользователь читает итальянский перевод требуемого предложения на экране.

[219] На Фиг. 23-28 изображены примерные сценарии, в которых после того, как задействовано заданное приложение, запускается другое приложение, поддерживающее функцию заметки, и задействованное приложение исполняется запущенным приложением.

[220] На Фиг. 23 изображен сценарий исполнения слоя заметки на домашнем экране пользовательского терминала и исполнения заданного приложения в слое заметки. Например, пользовательский терминал запускает слой заметки на домашнем экране посредством исполнения приложения заметки на домашнем экране и исполняет некоторое приложение после получения идентификационной информации о приложении (например, имени приложения) «Chaton» («Общайся»).

[221] На Фиг. 24 изображен сценарий управления заданным действием в заданном задействованном приложении посредством функции заметки в пользовательском терминале. Например, слой заметки запускается посредством исполнения приложения заметки на экране, на котором уже исполнялось приложение проигрывания музыки. Затем, когда пользователь записывает заголовок надлежащей песни, «Yeosu Night Sea» («Ночное море Yeosu») на экране, пользовательский терминал проигрывает звуковой источник, соответствующий «Yeosu Night Sea», в задействованном приложении.

[222] На Фиг. 25 изображены примерные сценарии управления заданным задействованным приложением посредством функции заметки в пользовательском терминале. Например, если пользователь записывает время для перехода к «40:22» на слое заметки в течение просмотра видео, пользовательский терминал переходит к моменту времени в 40 минут 22 секунды для проигрывания продолжающегося видео. Данная функция может быть выполнена тем же самым образом в течение прослушивания музыки, так же как и в течение просмотра видео.

[223] На Фиг. 26 изображены сценарий попытки поиска с использованием функции заметки, в то время как Веб-браузер исполняется в пользовательском терминале. Например, во время считывания заданной Веб-страницы с использованием Веб-браузера пользователь выбирает часть содержимого, отображаемого на экране, запускает слой заметки и затем записывает слово «найти» на слое заметки, тем самым предписывая поиск с использованием выбранного содержимого в качестве ключевого слова. Механизм NLI распознает намерение пользователя и понимает выбранное содержимое через обработку с использованием естественного языка. Затем механизм NLI осуществляет поиск с использованием установленного поискового механизма с использованием выбранного содержимого и отображает результаты поиска на экране.

[224] Как описано выше, пользовательский терминал может обрабатывать выбор и основанный на функции заметки ввод информации совместно на экране, который обеспечивает заданное приложение.

[225] На Фиг. 27 изображен сценарий получения надлежащей информации в картографическом приложении посредством функции заметки. Например, пользователь выбирает заданную область, чертя замкнутый контур вокруг упомянутой области на экране приложения отображения с использованием функции заметки, и записывает информацию, которую следует искать, например, «известное место?», тем самым предписывая поиск известных мест внутри выбранная области.

[226] При распознавании намерения пользователя механизм NLI осуществляет поиск полезной информации в своей сохраненной базе данных или базе данных сервера и дополнительно отображает обнаруженную информацию на карте, отображаемой на текущем экране.

[227] На Фиг. 28 изображен сценарий ввода надлежащей информации посредством функции заметки, в то время как задействовано приложение планирования. Например, в то время как происходит задействование приложения планирования, пользователь исполняет функцию заметки и записывает информацию на экране, как это делается интуитивно в режиме без выхода в сети. Например, пользователь выбирает заданную дату, чертя замкнутый контур на экране графика, и записывает план на эту дату. То есть, пользователь выбирает 14 августа 2012 и записывает «семинар по TF» на эту дату. Затем механизм NLI пользовательского терминала требует ввод времени в качестве дополнительной информации. Например, механизм NLI отображает вопрос «Время?» на экране, чтобы предложить пользователю записывать точное время, такое как «3:00 PM», посредством функции заметки.

[228] На Фиг. 29 и 30 изображены примерные сценарии, относящиеся к семиотике.

[229] На Фиг. 29 изображен пример интерпретации значения написанного от руки символа в контексте последовательности вопроса и ответа, совершаемой посредством функции заметки. Например, можно предположить, что написаны обе записи «в Италию по делу» и «Инчхон → Рим». Поскольку символ → может быть интерпретирован в качестве поездки из одного места в другое, механизм NLI пользовательского терминала выводит вопрос, запрашивающий время, например «Когда?», пользователю.

[230] Дополнительно, механизм NLI может осуществлять поиск информации о рейсах, доступных для поездки из Инчхона в Рим на написанную пользователем дату, 5 апреля, и предоставить результаты поиска пользователю.

[231] На Фиг. 30 изображен пример интерпретации значения символа, написанного посредством функции заметки совместно с задействованным приложением. Например, когда пользователь выбирает место отправления и место назначения с использованием символа, то есть стрелки, интуитивным образом на экране, на котором осуществляется задействование приложения для метрополитена. Затем пользовательский терминал может предоставить информацию о времени прибытия поезда, направляющегося в место назначения, и времени, проведенному в пути до места назначения, посредством в настоящее время задействованного приложения.

[232] Как очевидно из вышеупомянутого описания, настоящее изобретение может предоставить больше удобства пользователю посредством поддержки функции заметки в различных приложениях и таким образом управления приложениями интуитивным образом.

[233] Вышеописанные сценарии характеризуются тем, что, когда пользователь запускает слой заметки на экране и записывает информацию на слое заметки, пользовательский терминал распознает информацию и выполняет действие, соответствующее информации. С этой целью предпочтительным является дополнительное задание методику для запуска слоя заметки на экране.

[234] Например, слой заметки может быть запущен на текущем экране посредством нажатия кнопки меню, введения заданного жеста, удерживания нажатой кнопку пера для прикосновения или прокрутки вверх или вниз экрана пальцем. Несмотря на то, что для запуска слоя заметки в одном варианте осуществления настоящего изобретения экран прокручивается вверх, доступно много других методик.

[235] Следует понимать, что варианты осуществления настоящего изобретения могут быть реализованы в аппаратном обеспечении, программном обеспечении или их сочетании. Программное обеспечение может храниться в запоминающем устройстве кратковременного хранения или долговременного хранения, таком как ROM, независимо от того, являются ли данные удаляемыми или перезаписываемыми, в запоминающем устройстве, таком как RAM, микросхема памяти, устройство или интегральная схема, или на носителе хранения информации, на который данные могут быть записаны оптическим или магнитным образом, и из которого данные могут считываться машиной (например, вычислительным устройством), таком как CD, DVD, магнитный диск, или магнитная лента.

[236] Дополнительно, способ и устройство UI в пользовательском терминале настоящего изобретения могут быть реализованы в вычислительном устройстве или переносном терминале, который имеет контроллер и запоминающее устройство, и запоминающее устройство является примером машиночитаемого (считываемого вычислительным устройством) носителя хранения информации, подходящего для хранения программы или программ, включающих в себя команды для реализации вариантов осуществления настоящего изобретения. Соответственно, настоящее изобретение включает в себя программу, имеющую код для реализации устройств или способов, заданных формулой изобретения, и носитель хранения информации, считываемый машиной, которая сохраняет программу. Программа может переноситься электронным образом через носитель, такой как сигнал связи, передаваемый по проводному или беспроводному соединению, который и эквиваленты которого включены в настоящее изобретение.

[237] Устройство UI и способ в пользовательском терминале могут принимать программу из предоставляющего программу устройства, соединенного посредством кабеля или беспроводным образом, и сохранить ее. Предоставляющее программу устройство может включать в себя программу, включающую в себя команды, для реализации вариантов осуществления настоящего изобретения, запоминающее устройство для хранения информации, необходимой для вариантов осуществления настоящего изобретения, модуль связи для связи с устройством UI посредством кабеля или беспроводным образом и контроллер для передачи программы в устройство UI автоматически или по требованию от устройства UI.

[238] Например, в вариантах осуществления настоящего изобретения предполагается, что механизм распознавания, конфигурирующий UI, анализирует намерение пользователя на основе распознанного результата и предоставляет результат обработки ввода на основе пользовательского намерения пользователю, и эти функции обрабатываются внутри пользовательского терминала.

[239] Однако, можно дополнительно рассмотреть случай, при котором пользователь исполняет функции, необходимые для реализации настоящего изобретения, совместно с сервером, доступным через сеть. Например, пользовательский терминал передает распознанный результат механизма распознавания на сервер через сеть. Затем сервер оценивает намерение пользователя на основе принятого распознанного результата и предоставляет намерение пользователя в пользовательский терминал. Если необходима дополнительная информация для оценки намерения пользователя или обработки намерения пользователя, то сервер может принять дополнительную информацию посредством процедуры вопроса и ответа с пользовательским терминалом.

[240] Кроме того, пользователь может ограничить функционирование настоящего изобретения до пользовательского терминала или может выборочно расширить функционирование настоящего изобретения до взаимодействия с сервером через сеть посредством регулирования параметров настройки пользовательского терминала.

[241] Несмотря на то, что настоящее изобретение в частности изображено и описано со ссылкой на свои варианты осуществления, среднему специалисту в уровне техники должно быть понятно, что в настоящее изобретение могут вноситься различные изменения в форму и подробности без отступления от сущности и объема настоящего изобретения, заданного последующей формулой изобретения.

1. Устройство Пользовательского Интерфейса (UI) в пользовательском терминале, содержащее:

сенсорный экран для отображения экрана заметки;

по меньшей мере один процессор для отображения первого приложения, исполняемого на сенсорном экране, и приема и отображения первого изображения написания от руки, соответствующего команде для исполнения второго приложения, отличающегося от первого приложения, на сенсорном экране, и отображения текста, запрашивающего дополнительную информацию о первом изображении написания от руки, на сенсорном экране в ответ на первое изображение написания от руки, и приема и отображения второго изображения написания от руки, соответствующего входным данным для исполнения второго приложения, на сенсорном экране в ответ на текст, и исполнения функции второго приложения с использованием входных данных согласно распознанным результатам первого и второго изображений написания от руки, и отображения результата исполнения функции на сенсорном экране,

причем каждое из приема и отображения первого изображения написания от руки, отображения текста, запрашивающего дополнительную информацию, и приема и отображения второго изображения написания от руки происходит последовательно на следующей открытой области сенсорного экрана.

2. Устройство UI по п. 1, причем второе приложение содержит по меньшей мере одно из приложения отправки, поискового приложения, приложения сохранения или приложения-переводчика.

3. Устройство UI по п. 1, в котором текст, запрашивающий дополнительную информацию о первом изображении написания от руки, отображается под местонахождением первого изображения написания от руки, отображаемого на сенсорном экране.

4. Устройство UI по п. 1, в котором текст, запрашивающий дополнительную информацию о первом изображении написания от руки, отображается в виде речевого облака.

5. Устройство Пользовательского Интерфейса (UI) в пользовательском терминале, содержащее:

сенсорный экран, отображающий экран заметки;

по меньшей мере один процессор для отображения первого приложения, исполняемого на сенсорном экране, и приема и отображения первого изображения написания от руки, требующего поиск, на сенсорном экране, и отображения текста, запрашивающего дополнительную информацию о первом изображении написания от руки, на сенсорном экране в ответ на первое изображение написания от руки, и приема и отображения второго изображения написания от руки, соответствующего дополнительной информации, на сенсорном экране в ответ на текст, и поиска содержимого посредством исполнения поискового приложения согласно распознанным результатам первого и второго изображений написания от руки, и отображения результата поиска на сенсорном экране,

причем каждое из приема и отображения первого изображения написания от руки, отображения текста, запрашивающего дополнительную информацию, и приема и отображения второго изображения написания от руки происходит последовательно на следующей открытой области сенсорного экрана.

6. Устройство UI по п. 5, в котором прием первого изображения написания от руки содержит:

прием выбранного пользователем слова, являющегося частью содержимого, отображаемого на экране заметки, в качестве ключевого слова поиска; и

прием команды, запрашивающей значение выбранного слова.

7. Устройство UI по п. 5, причем текст, запрашивающий дополнительную информацию о первом изображении написания от руки, отображается под местонахождением первого изображения написания от руки, отображаемого на сенсорном экране.

8. Устройство UI по п. 5, причем текст, запрашивающий дополнительную информацию о первом изображении написания от руки, отображается в виде речевого облака.

9. Устройство UI по п. 5, причем контроллер сохраняет первое изображение написания от руки и второе изображение написания от руки и текст, запрашивающий дополнительную информацию, и информацию об исполненном поисковом приложении в качестве записи.