Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет



Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет
Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети интернет

 


Владельцы патента RU 2550543:

Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) (RU)

Изобретение относится к области обработки данных, а именно к распознаванию текстовой информации. Техническим результатом является повышение производительности системы содержательной обработки электронных документов и увеличение числа анализируемых источников информации. В способе распознавания текстовой информации и оценки ее полноты в электронных документах сети Интернет электронный документ разбивают на области, предположительно содержащие абзацы и строки текста. Причем разбивку документа выполняют до получения областей, содержащих неразрывный логически связанный текст наибольшего размера. Осуществляют удаление избыточной и излишней информации. Анализируют корректность кодировки символов путем анализа текста на принадлежность букв к алфавиту и слов текста к словарю с учетом заданного языка. Вычисляют статистические характеристики частей речи и их форм. Из полученных значений статистических характеристик формируют вектор признаков рабочего словаря, который с помощью процедур компонентного анализа преобразуют в вектор главных компонент и классифицируют с помощью предварительно обученных классификаторов. Оценивают полноту текстовой информации на основе мажоритарного способа принятия решения. 5 ил.

 

Изобретение относится к области обработки данных, а именно к способам распознавания текстовой информации, полученной из электронного документа сети Интернет, и может быть использовано для автоматизированного формирования контента корпоративных информационных систем, систем мониторинга и анализа новостной информации.

Известен метод автоматизированного извлечения знаний из слабоструктурированных источников информации, активно применяемый в современных корпоративных информационных системах (Березкин Д.В. Метод автоматизированного извлечения знаний из слабоструктурированных источников и его применение для создания корпоративных информационных систем, НИС НУК ИУ МГТУ им. Н.Э. Баумана, 2007 г.).

Метод основан на анализе HTML-структуры страниц источника информации и предполагает использование механизма посредника - программы, идентифицирующей искомую информацию на веб-странице и отображающей ее в некоторый промежуточный формат данных, например XML.

На практике использование данного подхода, как правило, предполагает получение априорной информации о структуре HTML-страниц источника. Для этого, в ходе настройки системы автоматизированного извлечения, изучаются образцы всех типов страниц сайта (основной страницы, страниц разделов и всех подразделов). По результатам анализа элементов логической и визуальной разметки для каждого типа страниц на языке регулярных выражений разрабатывается так называемый шаблон разбора страницы. Физически данный шаблон представляет собой файл формата XML, загружаемый в настройки интернет-паука, программы-посредника, которая на основании регулярных выражений шаблона извлекает с заданных веб-страниц требуемые фрагменты информации. Применительно к новостным сообщениям, к таким фрагментам относятся текст новости, ее заголовок, автор, источник, дата и время публикации. Результаты извлечения информации также хранятся в файле формата XML, который в последующем, на этапе анализа полученной информации, может быть преобразован к любому другому удобному для информационного работника формату (DOC, DOCX, TXT, RTF, PDF, FB2). Общий подход к извлечению информации, ориентированный на анализ HTML-структуры сайта, поясняет схема, изображенная на фиг.2.

Недостатком данного метода является необходимость знания априорной информации о структуре веб-страницы, а также необходимость корректировать сформированные шаблоны разбора каждый раз при изменении дизайна сайта, что существенно сокращает число анализируемых источников.

Наиболее близким по своей сущности к заявляемому изобретению (прототипом) является способ распознавания текстовой информации из векторно-растрового изображения (см. патент РФ №2309456, МПК G06K 9/36, опубл. 20.06.2007), заключающийся в том, что электронный документ разбивают на области, предположительно содержащие абзацы и строки текста, причем разбивку документа выполняют до получения областей, содержащих неразрывный логически связанный текст наибольшего размера, после чего осуществляют обработку текстовых объектов удалением избыточной и излишней информации, затем проводят анализ корректности кодировки символов путем анализа текста на принадлежность букв к алфавиту и слов текста к словарю с учетом заданного языка.

Недостатком данного способа является отсутствие возможности оценивать полноту распознанной текстовой информации, таким образом, снижается производительность системы содержательной обработки электронных документов.

Задачей изобретения является способ распознавания текстовой информации и оценки ее полноты в электронных документах сети Интернет, позволяющий повысить производительности системы содержательной обработки электронных документов и увеличить число анализируемых источников информации.

Задача изобретения решается тем, что способ распознавания текстовой информации и оценки ее полноты в электронных документах сети Интернет, заключающийся в том, что электронный документ разбивают на области, предположительно содержащие абзацы и строки текста, причем разбивку документа выполняют до получения областей, содержащих неразрывный логически связанный текст наибольшего размера, после чего осуществляют обработку текстовых объектов удалением избыточной и излишней информации, затем проводят анализ корректности кодировки символов путем анализа текста на принадлежность букв к алфавиту и слов текста к словарю с учетом заданного языка, согласно изобретению дополнен тем, что после процедуры анализа корректности кодировки символов вычисляют статистические характеристики частей речи и их форм, затем из полученных значений статистических характеристик формируют вектор признаков рабочего словаря системы распознавания, который с помощью процедур компонентного анализа преобразуют в вектор главных компонент и классифицируют с помощью предварительно обученных классификаторов, после чего осуществляют процедуру оценки полноты текстовой информации на основе мажоритарного способа принятия решения.

Перечисленная новая совокупность существенных признаков позволяет повысить производительности системы содержательной обработки электронных документов и увеличить число анализируемых источников информации.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного технического решения, отсутствуют, что указывает на соответствие изобретения условию патентоспособности «новизна».

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на решение указанной задачи. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

«Промышленная применимость» способа обусловлена наличием элементной базы, на основе которой могут быть выполнены устройства, реализующие данный способ с достижением указанного в изобретении назначения.

Заявленный способ поясняется чертежами, на которых показаны:

фиг.1 - последовательность операций способа распознавания текстовой информации из электронного документа сети Интернет и оценки ее полноты:

1 - процедура разбиения электронного документа на области, предположительно содержащие абзацы и строки текста;

2 - процедура обработки текстовых объектов;

3 - процедура анализа корректности кодировки символов с учетом заданного языка;

4 - процедура вычисления статистических характеристик частей речи и их форм;

5 - процедура формирования вектора признаков рабочего словаря системы распознавания;

6 - процедура компонентного анализа;

7 - процедура классификации текстовой информации;

8 - процедура оценки полноты текстовой информации мажоритарным методом;

9 - процедура обучения классификаторов;

фиг.2 - схема реализации метода извлечения информации, основанного на анализе HTML-структуры страниц источника;

фиг.3 - статистические характеристики частей речи и их форм для английского языка;

фиг.4 - вероятности обнаружения документов при использовании различных классификаторов и предлагаемого способа;

фиг.5 - вероятности ложной тревоги при использовании различных классификаторов и предлагаемого способа.

На фиг.1 представлена последовательность операций способа распознавания текстовой информации из электронного документа сети Интернет и оценки ее полноты. Из входного информационного потока сети Интернет на вход системы распознавания поступает электронный документ, который подвергается процедуре разбиения на области, предположительно содержащие абзацы и строки текста, причем разбивка документа осуществляется до получения областей, содержащих неразрывный логически связанный текст наибольшего размера (блок 1). После выделения из документа текстовых объектов они подвергаются обработке, в результате которой из них удаляется избыточная и излишняя информация (блок 2). Обработанные таким образом текстовые объекты подвергаются анализу корректности кодировки символов путем анализа текста на принадлежность букв к алфавиту и слов текста к словарю с учетом заданного языка (блок 3). После процедуры анализа корректности кодировки символов с помощью морфоанализатора для заданного языка осуществляется процедура вычисления статистических характеристик частей речи и их форм (блок 4). Например, для английского языка, набором таких характеристик выступают характеристики, указанные на фиг.3. Далее выполняется процедура формирования вектора признаков рабочего словаря системы распознавания, элементами которого являются рассчитанные характеристики (блок 5):

Сформированный вектор признаков рабочего словаря системы распознавания с помощью математического аппарата компонентного анализа преобразуется в вектор главных компонент (блок 6). В результате данного преобразования получается вектор исходной размерности, элементами которого становятся безразмерные некоррелированные между собой величины, представляющие собой некоторую линейную комбинацию признаков исходного вектора и называемые главными компонентами:

где yij - исходное значение признака;

a ij - вес i-й компоненты в j-м признаке сформированного вектора признаков.

Полученный вектор главных компонент классифицируется тремя предварительно обученными классификаторами (блок 7). В качестве первого классификатора используются классификатор Байеса (КБ)

где Y - множество классов распознавания;

- оценка функции правдоподобия класса (плотность распределения объекта ξ, в классе y∈Y).

Значение оценки рассчитывается по гистограмме значений, как частота появления j-го признака в классе y∈Y.

В качестве второго классификатора используются линейно-дискриминантный анализ (ЛДА)

где ξ ^ ( i ) - сформированная на этапе обучения классификатора матрица объектов распознавания в i-м классе, у которой по строкам расположены координаты центрированных векторов ξ j ( i ) ξ ¯ ( i ) , j=1,…n; i=1, 2;

V - оценка ковариационной матрицы.

В качестве третьего классификатора используются метод опорных векторов с радиальной базисной функцией Гаусса (MOB)

где yj - анализируемый класс;

λj - множители Лагранжа;

K(ξj,ξ) - ядровая функция, вычисляющая оценку близости объекта ξ к опорному вектору ξj;

ω0 - скалярный порог;

β - параметр алгоритма, подбираемый экспериментально.

В результате классификации каждый из вышеперечисленных классификаторов выносит решение о том, описывает ли данный вектор признаков электронный документ, содержащий полный текст статьи о событии или явлении реального мира (например, веб-страница, содержащая новостную статью в ее полном виде), или только некоторые ее фрагменты (например, веб-страница, содержащая лишь заголовки новостных статей с их кратким описанием). Формально решение классификатора оформляется в виде значения переменной, называемой коэффициентом принадлежности

α i = { 1, + 1 } ( 1 )

при этом, когда отдельный классификатор делает вывод о том, что вектор признаков описывает электронный документ, содержащий текст статьи в полном виде, он присваивает коэффициенту значение αi=-1, в противном случае αi=+1.

После процедуры классификации на основе рассчитанных значений коэффициентов принадлежности αi, (выражение 1) вычисляется мажоритарная сумма (блок 8)

S = i = 1 N α i k з н а ч i , ( 2 )

где N - количество используемых классификаторов;

kзнач.i - значения весовых коэффициентов значимости классификаторов, рассчитываемых на этапе их обучения (блок 9) по следующей формуле:

k з н а ч . i = 1 Р л . m . i i = 1 N Р л . m . i , ( 3 )

где N - количество используемых классификаторов;

Рл.т.i - значения вероятностей ложной тревоги, допущенные классификаторами при классификации объектов из обучающей выборки на этапе обучения классификаторов.

На основе значения полученной мажоритарной суммы (выражение 2) осуществляется принятие решение по следующему правилу: если значение мажоритарной суммы S>0, то анализируемый электронный документ содержит текст статьи в полном виде, в противном случае, документ не содержит текст статьи в полном виде.

Для проверки эффективности заявляемого способа была сформирована тестовая выборка из 10000 веб-страниц (по 5000 страниц каждого класса), источниками которых стали 10 зарубежных новостных порталов, предоставляющих своим пользователям информацию прессового характера на английском языке. В качестве частных показателей эффективности способа были использованы значения вероятности обнаружения документов, содержащих текст статьи в полном виде Робн., и значения вероятности ложной тревоги Рл.т.. В результате классификации объектов тестовой выборки с помощью предварительно обученных классификаторов частные показатели эффективности составили следующие значения Робн.=0,912, Рл.т.=0,068 (фиг.4, 5). Таким образом, результаты эксперимента подтверждают, что разработанный способ позволяет повысить производительности системы содержательной обработки электронных документов и увеличить число анализируемых источников информации.

Способ распознавания текстовой информации и оценки ее полноты в электронных документах сети Интернет, заключающийся в том, что электронный документ разбивают на области, предположительно содержащие абзацы и строки текста, причем разбивку документа выполняют до получения областей, содержащих неразрывный логически связанный текст наибольшего размера, после чего осуществляют обработку текстовых объектов удалением избыточной и излишней информации, затем проводят анализ корректности кодировки символов путем анализа текста на принадлежность букв к алфавиту и слов текста к словарю с учетом заданного языка, отличающийся тем, что после процедуры анализа корректности кодировки символов вычисляют статистические характеристики частей речи и их форм, затем из полученных значений статистических характеристик формируют вектор признаков рабочего словаря системы распознавания, который с помощью процедур компонентного анализа преобразуют в вектор главных компонент и классифицируют с помощью предварительно обученных классификаторов, после чего осуществляют процедуру оценки полноты текстовой информации на основе мажоритарного способа принятия решения.



 

Похожие патенты:

Изобретение относится к системам визуализации медицинских данных. Техническим результатом является повышение точности реконструкции изображения всего визуализируемого объекта, за счет осуществления реконструкции изображения объекта, полученного посредством сбора данных визуализации от детектора, смещенного от центра вращения.

Изобретение относится к области радиотехники, в частности к методам блочного кодирования видеоданных, используемым для сжатия видеоданных, и предназначено для сканирования, используемого для преобразования в последовательную форму данных видеоблока во время процесса кодирования.

Изобретение относится к средствам для отслеживания человека с использованием видеоизображения, снятого камерой наблюдения. Техническим результатом является повышение точности отслеживания целевого человека даже тогда, когда отслеживаемый целевой человек имеет мало отличительных особенностей.

Изобретение относится к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения.

Изобретение относится способу формирования штрихкода по изображениям лиц и устройству для его осуществления. Техническим результатом является повышение стабильности кодирования изображений лиц в условиях динамики их параметров и повышение его универсальности за счет формирования стандартных штрихкодов.

Изобретение относится к области распознавания образов и может быть использовано при решении задач предварительной обработки изображения с целью определения контуров объектов, которые характеризуются монотонностью изменения интенсивности цвета.

Изобретение относится к способу автоматической генерации скетчей и системе для его осуществления. Техническим результатом является повышение быстродействия формирования исходного скетча на основе исходного изображения и возможность автоматической генерации требуемой последовательности новых скетчей для готовых скетчей.

Изобретение относится к области изучения структуры пористых тел с использованием средств оптики и вычислительной техники. Техническим результатом является обеспечение высокого качества изображений границ объектов при низких ресурсо- и энергозатратах.

Изобретение относится к компьютерной технике, а именно к системам генерирования изображения с иллюзией. Техническим результатом является автоматическое генерирование иллюзии с изображением из произвольного изображения.

Изобретение относится к средствам обработки цифровых изображений. Техническим результатом является повышение скорости обработки изображений.

Изобретение относится к области систем управления базами данных (СУБД). Техническим результатом является обеспечение автоматического формирования реляционного описания синтаксиса команды на основе метаописания синтаксиса команды.

Изобретение относится к решениям в области обработки массивов данных, в частности к решениям в области обработки структурированных массивов данных, содержащих текст на естественном языке.
Изобретение относится к области выявления программных ошибок и не декларируемых возможностей в веб-приложениях на интерпретируемых языках. Техническими результатами являются повышение числа потенциально обнаруживаемых уязвимостей веб-приложений, а также сокращение времени, необходимого для ручного анализа программных ошибок с целью определения их критичности.

Изобретение относится к области информационных технологий. Техническим результатом является ускорение процесса сравнения текстов.

Изобретение относится к области информационных технологий. Технический результат заключается в ускорении процесса сравнения текстов.

Заявленная группа изобретений относится к решениям в области систем управления базами данных (СУБД). Техническим результатом является обеспечение автоматизации и повышение точности генерирования команд СУБД и снижение объема вычислений, требуемого для генерирования команд СУБД.

Изобретение относится к области информационных технологий, а именно к индексации текста. Техническим результатом является повышение точности построения индексов текстов на естественных языках.
Изобретение относится к способам синтаксического анализа языков программирования высокого уровня и может найти применение для создания компиляторов и/или интерпретаторов языков программирования с изменяемой (расширяемой) грамматикой, предназначенных для создания проблемно-ориентированных языков.

Изобретение относится к способу обработки естественного языка с использованием системы языковой обработки, в частности, электронной системы перевода, в котором письменный или устный текст вводится в систему языковой обработки.
Изобретение относится к способу классификации документов по категориям. .

Изобретение относится к технологиям поиска. Техническим результатом является повышение точности поиска информации за счет обеспечения возможности получения пользователем только релевантных результатов поиска за счет использования семантических запросов. В способе организации поиска в корпусах электронных текстов для компьютерной системы предварительно осуществляют семантико-синтаксический анализ корпуса текстов с определением и сохранением в памяти значений лингвистических параметров предложений, включая сопоставление слов предложения некоторого множества возможных лексических значений - каждое с соответствующей оценкой вероятности вхождения этого лексического значения в предложение, и построением семантических структур предложений, составляющих тексты корпуса текстов, и их последующим индексированием и сохранением индексов. Осуществляют поиск фрагментов в предварительно проиндексированных корпусах электронных текстов, удовлетворяющих запросу. Производят оценку релевантности результатов и ранжируют результаты поиска в соответствии со степенью релевантности. 2 н. и 38 з.п. ф-лы, 25 ил.
Наверх