Распознавание написанных знаков на пользовательском интерфейсе

Изобретение относится к устройствам распознавания написанных знаков. Техническим результатом является автоматическое распознавание знаков препинания с улучшенной точностью. Способ содержит этап приема написанных знаков, которые написаны на сенсорном экране, где сенсорный экран содержит по меньшей мере область написания символов и область написания пунктуации. Затем проводится этап определения соотношения написанных знаков, которые написаны в символьной области написания пунктуации, относительно области написания символов, и выполняется этап распознавания знаков препинания. Этап распознавания выполняется на написанных знаках, когда соотношение превышает пороговое значение, причем выполнение распознавания знаков препинания определяет из набора знаков препинания по меньшей мере один возможный знак препинания, напоминающий написанные знаки. 7 з.п. ф-лы, 5 ил.

 

Область техники, к которой относится изобретение

Данное изобретение относится к выполнению распознавания написанных знаков на пользовательском интерфейсе. Изобретение, в частности, полезно для выполнения автоматического распознавания знаков препинания из знаков, написанных на сенсорном экране электронного устройства, но не обязательно ограничено этим.

Уровень техники

Одна из главных областей развития экранных устройств заключается в маленьких переносных устройствах, типа мобильных телефонов, персональных цифровых ассистентов (ПЦА), навигационных систем глобальной системы определения местоположения (GPS) и т.п. В этих устройствах приняты различные способы для ввода символов или данных, например реальные или виртуальные кнопки, распознавание речи, распознавание символов и т.д. В последнем случае символ пишут вручную в области написания на устройстве отображения сенсорного экрана, и для определения, какой символ написан вручную, используется программное обеспечение распознавания символов. Способы ввода написанных вручную символов особенно полезны при вводе сложных символов типа китайских, японских или корейских иероглифов, где клавиатура или коммутационная панель слишком мала для всех символов, или их слишком много для того, чтобы пользователь мог легко находить правильную клавишу.

При написании вручную предложения на устройстве отображения сенсорного экрана пользователю требуется вставлять знаки препинания, например разделять слова на предложения и обороты. Однако из-за того, что область устройства отображения сенсорного экрана относительно маленькая (особенно для устройств ПЦА и радиотелефонов), может быть недостаточно места, чтобы выделить специальную область пунктуации многофункциональной программируемой клавиатуры для всех основных используемых обычно знаков препинания. Чтобы преодолеть проблему недостаточного пространства на сенсорном экране, знаки препинания может писать пользователь, и затем программное обеспечение распознавания символов может идентифицировать символы, как алфавитно-цифровой текст или знаки препинания. Этого можно достичь посредством обычной операции программного обеспечения распознавания в обычном режиме распознавания для алфавитно-цифровых текстовых символов и знаков препинания. Однако точность распознавания символов ухудшается при использовании такого обычного программного обеспечения распознавания. И напротив, пользователь может выбирать либо распознавание знаков препинания, либо распознавание символов, таким образом улучшая точность распознавания за счет неудобства для пользователя.

В этом описании, включая формулу изобретения, термины 'содержит', 'содержащий' или подобные термины предназначены для обозначения неисключительного включения, так что способ или устройство, которое содержит перечень элементов, не включает в себя исключительно эти элементы, а может также включать в себя другие, не перечисленные элементы.

Раскрытие изобретения

Согласно одному аспекту изобретения обеспечен способ выполнения распознавания написанных знаков на пользовательском интерфейсе электронного устройства, причем способ содержит:

прием написанных знаков, которые написаны на пользовательском интерфейсе, где пользовательский интерфейс содержит по меньшей мере область написания символов и область написания пунктуации;

определение соотношения написанных знаков, которые написаны в символьной области написания пунктуации, относительно области написания символов; и

выполнение распознавания знаков препинания на написанных знаках, когда соотношение превышает пороговое значение, где выполненное распознавание знаков препинания определяет из набора знаков препинания по меньшей мере один возможный знак препинания, напоминающий написанные знаки.

Предпочтительно, способ дополнительно включает в себя этап выполнения распознавания символов, когда соотношение не превышает пороговое значение, где выполнение распознавания символов определяет из набора символов по меньшей мере один возможный символ, похожий на написанные знаки.

Соответственно, выполнение распознавания знаков препинания производится посредством сравнивания написанных знаков только с набором образцов знаков препинания, хранящимся в памяти устройства.

Предпочтительно, выполнение распознавания символов производится посредством сравнивания написанных знаков только с набором алфавитно-цифровых образцов, хранящимся в памяти устройства.

Соотношение определяется посредством суммирования длины каждого штриха знаков в области написания символов и области написания пунктуации.

Подходящим образом, пороговое значение составляет по меньшей мере 70%.

Предпочтительно, образцы знаков препинания включают в себя представления следующих знаков: ",", "!", "?", ".", ";" и ":".

Предпочтительно, образцы знаков препинания включают в себя представления следующих знаков: "(", "[" и "{".

Краткое описание чертежей

Чтобы изобретение можно было легко понять и привести в исполнение, теперь будет сделана ссылка на предпочтительный вариант осуществления, иллюстрируемый со ссылкой на прилагаемые чертежи, на которых:

фиг.1 - блок-схема, иллюстрирующая вариант осуществления электронного устройства в соответствии с вариантом осуществления изобретения;

фиг.2 - блок-схема, иллюстрирующая способ выполнения распознавания написанных знаков на сенсорном экране устройства фиг.1;

фиг.3А и 3B дополнительно иллюстрируют способ фиг.2;

фиг.4A и 4B иллюстрируют, как в способе фиг.2 производятся этапы нормализации; и

фиг.5A и 5B иллюстрируют преобразование изогнутых линий написанных знаков, которое может быть частью способа фиг. 2.

Осуществление изобретения

На чертежах подобные ссылочные позиции на различных фигурах повсюду используются для обозначения подобных элементов. Со ссылкой на фиг.1 отметим, что там показано электронное устройство 1 в форме радиотелефона, содержащего блок 2 радиочастотной связи, подсоединенный так, что он находится в связи с процессором 3. Интерфейс ввода в форме сенсорного экрана 5 и коммутационной панели 6 также подсоединены в связи с процессором 3.

Процессор 3 включает в себя кодер/декодер 11 со связанным постоянным запоминающим устройством (ПЗУ) 12, хранящим данные для кодирования и декодирования речевых или других сигналов, которые могут передаваться или приниматься радиотелефоном 1. Процессор 3 также включает в себя микропроцессор 13, подсоединенный с помощью общей шины 17 данных и адреса к кодеру/декодеру 11 и связанным постоянному запоминающему устройству (ПЗУ) 14 символов, оперативному запоминающему устройству (ОЗУ) 4, статической программируемой памяти 16 и съемному модулю 18 SIM-карты (модулю идентификации абонента). Каждый модуль из статической программируемой памяти 16 и модуля 18 SIM-карты может хранить, среди прочего, два набора образцов, где один из наборов является набором образцов знаков препинания ОЗП, таких как ",", "!", "?", ".", "(", "[", "{", ";", ":", а другой набор является набором образцов алфавитно-цифровых знаков ОАЦЗ, содержащим буквы алфавита, числа от 1 до 10 и знаки арифметических операций "+", "-" и т.д.

Микропроцессор 13 имеет порты для подсоединения к коммутационной панели 6, экрану 5 и модулю 15 оповещения, который обычно содержит динамик, вибраторный двигатель и связанные драйверы. Постоянное запоминающее устройство 14 символов хранит код для декодирования или кодирования текстовых сообщений, которые могут приниматься блоком 2 связи, вводом через коммутационную панель 6. В этом варианте осуществления постоянное запоминающее устройство 14 символов также хранит операционный код (ОК) для микропроцессора 13 и код для выполнения способа, как описано ниже.

Блок 2 радиочастотной связи представляет собой объединенный приемник и передатчик, имеющий приемопередающую антенну 7. Блок 2 связи имеет приемопередатчик 8, подсоединенный к антенне 7 через радиочастотный усилитель 9. Приемопередатчик 8 также подсоединен к объединенному модулятору/демодулятору 10, который соединяет блок 2 связи с процессором 3.

Электронное устройство 1 может быть любым электронным устройством, включая радиотелефон, телефон обычного типа, компактный портативный компьютер или ПЦА. Если электронное устройство 1 является радиотелефоном, пользователь может выбирать приложение, проходя по меню или выбирая значки, отображенные на сенсорном экране 5.

Сенсорный экран 5 имеет включенный драйвер, который управляется микропроцессором 13. Сенсорный экран 5 представляет собой двухсторонний пользовательский интерфейс ввода для обычного обеспечения ввода данных, активизирования приложений и команд устройства, прохождения по меню, отображения текста, отображения графических символов и отображения меню. Ввод данных и другие потребности ввода пользователя на сенсорном экране 5 обычно выполняется при помощи пера и может включать в себя написание символов на сенсорном экране 5, как может быть очевидно специалистам в данной области техники.

Рассмотрим фиг.2, 3A и 3B, на которых иллюстрируется способ 20 выполнения распознавания написанных знаков на пользовательском интерфейсе в форме сенсорного экрана 5. Способ 20 имеет этапы, которые включают в себя этап 21 начала, этап 22 приема написанных знаков, которые написаны на сенсорном экране 5. Сенсорный экран 5 имеет поверхность 30 отображения с обозначенной областью 31 написания символов и обозначенной областью 32 написания пунктуации, определенной частично контуром 33 (этот контур не требуется отображать на поверхности 30 отображения). Затем предусмотрен этап 23 определения для определения соотношения написанных знаков, которые написаны в области 32 написания пунктуации, относительно области 31 написания символов. После этапа 23 на этапе 24 тестирования проводится тестирование с целью определения, превышает ли соотношение пороговое значение ПЗ, которое обычно устанавливают на 70%. Если это пороговое значение ПЗ превышено, то на этапе 25 нормализации написанные знаки нормализуются, и затем предусмотрен этап 26 выполнения для выполнения распознавания знаков препинания на написанных знаках, где выполнение производит определение только из набора образцов знаков препинания ОЗП по меньшей мере одного возможного знака препинания, напоминающего написанные знаки.

Если на этапе тестирования пороговое значение ПЗ не превышено, то на этапе 27 нормализации написанные знаки нормализуются, а затем этап 28 выполнения обеспечивает выполнение распознавания символов на написанных знаках, где выполнение производит определение только из набора алфавитно-цифровых образцов ОАЦЗ по меньшей мере одного возможного символа, похожего на написанные знаки.

После этапа 26 или этапа 28 производится этап 29 отображения и выбора, где один или более возможных знаков препинания или буквенно-цифровых знаков отображаются в области 34 отображения экрана 5. Затем пользователь может выбрать соответствующий знак препинания или алфавитно-цифровой знак, касаясь одного из отображенных символов или знаков препинания. Затем выбранный знак препинания или алфавитно-цифровой знак вставляется в текстовую строку (текстовое сообщение) в области 35 отображения сообщения, и на этапе 30 способ заканчивается.

Этап 21 начала обычно активизируется, когда перо вступает в контакт с сенсорным экраном 5, а на этапе 22 приема процессор 3 инициализирует выборочные регистраторы (Rs) в микропроцессоре 13. Когда каждый штрих знаков написан на сенсорном экране 5, микропроцессор 13 берет образцы штрихов и сохраняет их выборочную версию в выборочных регистраторах Rs, чтобы формировать выборочные знаки. Когда перо, которым пишут символ, поднимают от сенсорного экрана 5, активизируется таймер, и если перо не соприкасается снова с сенсорным экраном 5 в течение предварительно определенного интервала 0,5 секунды, полагается, что знак закончен. Однако, если перо снова соприкасается с сенсорным экраном 5 в течение 0,5 секунды, затем производится выбор следующего штриха и формируется часть выборочных знаков, сохраняемых в выборочных регистраторах Rs.

На этапах 25 или 27 нормализации выборочные знаки нормализуются, чтобы обеспечить масштабированный символ, который устанавливается в пределах определенных границ (обычно граница эффективно заключает массив 64 на 64 минимальных элемента изображения). Чтобы дополнительно проиллюстрировать этапы 25 или 27 нормализации, теперь будет сделана ссылка на фиг.4A, которая иллюстрирует рукописный символ, написанный на сенсорном экране 5. Этапы 25 или 27 нормализации основаны на интерполяции, а w и h идентифицируют соответствующие ширину и высоту введенного символа на фиг.4A. Далее n и m представляют соответствующие ширину и высоту предварительно определенного контура В (или кадра) на фиг.4B. Как будет очевидно специалистам в данной области техники, каждый введенный знак нормализуется так, чтобы он соответствовал контуру В. Таким образом, на этапе 23 нормализации переменные In_x[i] и In_y[i] устанавливаются на координаты x-y точки введенного символа фиг.4А. Также устанавливаются N_x[j] и N_y[j] как координаты x-y соответствующей точки в нормализованном изображении фиг.4B. Таким образом, приведенные ниже уравнения -(1) и -(2) определяют соотношения для нормализации.

N_x[j] = In_x[i]·n/w -(1)

N_y[j] = In_y[i]·m/h -(2)

В дополнение к вышеупомянутому многие написанные символы (и некоторые знаки препинания) содержат изогнутые линии, которые должны быть преобразованы в прямые линии для обработки способом 20. Поэтому способ 20 может включать в себя этап преобразования изогнутых линий знаков в прямые линии для использования на этапах 26 или 28, а также для использования на этапе 23 определения для определения соотношения написанных знаков, которые написаны в области 32 написания пунктуации, относительно области 31 написания символов. На фиг.5A иллюстрируется написанный символ, имеющий ввод изогнутого участка на сенсорном экране 5. Часть изогнутого участка находится между точками p1 и p3. Этот изогнутый участок преобразуется в две прямые линии p1 - p2 и p2 - p3, как иллюстрируется на фиг.5B. Соответственно, изогнутые участки разбиваются на меньшие участки, а затем аппроксимируются в прямые линии. Этот этап преобразования может быть выполнен либо до, либо после нормализации. При использовании на этапе определения каждая длина (определяемая подсчетом минимальных элементов изображения) прямых линий внутри области 32 написания пунктуации суммируется, и каждая из прямых линий в области 31 написания символов суммируется для определения соотношения написанных знаков внутри области 32 относительно области 31. Следовательно, определение эффективно выполняет суммирование длины каждого штриха, написанного на сенсорном экране, для определения соотношения написанных знаков внутри области 32. Однако можно использовать другой критерий, например можно оценивать контуры написанных знаков и использовать для определения соотношения написанных знаков внутри области 32 относительно области 31.

Предпочтительно, настоящее изобретение предусмотрено для автоматического выбора распознавания знаков препинания или распознавания символов, а следовательно, распознавания с улучшенной точностью, вероятно, не причиняя неудобство пользователю.

Подробное описание обеспечивает только предпочтительный примерный вариант осуществления и не предназначено для ограничения объема, применимости или конфигурации изобретения. Скорее, подробное описание предпочтительного примерного варианта осуществления обеспечивает специалистов в данной области техники описанием, дающим возможность реализовывать предпочтительный примерный вариант осуществления изобретения. Должно быть понятно, что в функционировании и расположении элементов могут быть сделаны различные видоизменения, не отступая при этом от сущности и объема изобретения, как сформулировано в прилагаемой формуле изобретения.

1. Способ выполнения распознавания написанных знаков на пользовательском интерфейсе электронного устройства, причем способ содержит:

прием написанных знаков, которые написаны на пользовательском интерфейсе, при этом пользовательский интерфейс содержит по меньшей мере область написания символов и область написания пунктуации,

определение соотношения написанных знаков, которые написаны в области написания пунктуации символов, относительно области написания символов и

выполнение распознавания знаков препинания на написанных знаках, когда соотношение превышает пороговое значение, причем выполнение распознавания знаков препинания определяет из набора знаков препинания по меньшей мере один возможный знак препинания, напоминающий написанный знак.

2. Способ по п.1, который также включает в себя этап выполнения распознавания символов, когда соотношение не превышает пороговое значение, причем выполнение распознавания символов определяет из набора символов по меньшей мере один возможный символ, похожий на написанный знак.

3. Способ по п.1, в котором выполнение распознавания знаков препинания производится посредством сравнивания написанных знаков только с набором образцов знаков препинания, хранящихся в памяти устройства.

4. Способ по п.2, в котором выполнение распознавания символов производится посредством сравнивания написанных знаков только с набором алфавитно-цифровых образцов, хранящихся в памяти устройства.

5. Способ по п.1, в котором соотношение определяется посредством суммирования длины каждого штриха из знаков в области написания символов и области написания пунктуации.

6. Способ по п.1, в котором пороговое значение составляет по меньшей мере 70%.

7. Способ по п.1, в котором образцы знаков препинания включают в себя представления следующих знаков:",","!","?",".",";" и ":".

8. Способ по п.1, в котором образцы знаков препинания включают в себя представления следующих знаков:"(","[" и "{".