База знаний по обработке, анализу и распознаванию изображений

Изобретение относится к вычислительной технике и информатике. При его использовании достигается технический результат в виде построения комплекса технических средств обработки данных, обеспечивающего автоматизированное формирование и пополнение базы знаний по анализу и распознаванию изображений в виде ориентированной на поиск по различным критериям упорядоченной совокупности информационных массивов - блоков задач. База знаний по анализу и распознаванию изображений содержит центральный блок управления процессами обработки и передачи данных, пользовательский интерфейс, интерфейс внешней связи и комплексную подсистему организованного хранения знаний. Технический результат обеспечивается благодаря тому, что комплексная подсистема организованного хранения знаний включает в себя подключенные к общей информационно-управляющей магистрали модуль задач, модуль поддержки процессов планирования, управления и принятия решений, модуль алгоритмов, модуль промежуточных результатов решения задач, модуль эталонных и тестовых изображений, модуль извлечения, структурирования и записи новых знаний и модуль тезауруса, глоссария, библиографии и справочника. Внешний вход-выход интерфейса внешней связи является входом-выходом базы знаний по анализу и распознаванию изображений с возможностью подключения к системе анализа и обработки изображений. 4 з.п.ф-лы, 5 ил.

 

Изобретение относится к вычислительной технике и информатике и может быть использовано в автоматизированных системах анализа и распознавания тоновых, бинарных и цветных (фото-) изображений.

Задачи анализа и распознавания изображений широко распространены в промышленности, медицине, при автоматизации научных исследований, в экологии, геологии, прогнозировании природных катастроф и чрезвычайных ситуаций, военном деле и других отраслях знаний (см., например, RU 2163394 С2, 29.03.1999; RU 2178915 С2, 27.01.2002; ЕР 11844659 A1, 06.03.2000). Для решения задач обработки, анализа и распознавания изображений созданы алгоритмическо-программные системы, использующие современные вычислительные средства (Ю.И. Журавлев, И.Б. Гуревич, Распознавание образов и анализ изображений // Искусственный интеллект: В 3-х книгах, книга 2. Модели и методы: Справочник. М.: Радио и связь, 1990. С.149-191; Ю.И. Журавлев, И.Б. Гуревич, Методы и средства преобразования и обработки информации в задачах распознавания образов и анализа изображений // Параллельная обработка информации: В 5 т., т. 5: Проблемно-ориентированные и специализированные средства обработки информации. - Киев: Наукова думка, 1990. - С.218-318; И.Б. Гуревич, Ю.И. Журавлев, Д.М. Мурашов и др., Система автоматизации научных исследований в области анализа и понимания изображений на основе накопления и использования знаний. Ч.1 // Автометрия. - 1999. - №6. - С.23-50).

Известна экспертная система обработки изображения (OCAPI) (V. Clement, М. Thonnat, J. Van Den Elst. Supervision of Perception Tasks for Autonomous Systems: The OCAPI Approach, INRIA Rapports de Recherche N2000, 1993, 28 p.). Система содержит модуль, который вместе с драйвером интерфейса и интерфейсом пакета подпрограмм может функционировать как интегрированная среда, предназначенная для обработки изображений. Модуль содержит знания о том, как в общем контексте управления внешней программной системой обеспечить следующие возможности.

1. Разбивать основную задачу на подцели, которые представляют независимые логические блоки решения проблемы в целом.

2. Далее разделить подцели на шаги, которые соответствуют базисным методам и алгоритмам специфической прикладной области. Концептуально эти шаги находятся на том же самом уровне, как и подпрограммы рассматриваемого пакета программ. Авторы считают определяющим наличие, по крайней мере, трех иерархических уровней (цели, подцели, шаги), чтобы иметь промежуточный уровень подзадач между глобальной целью и подпрограммами.

3. Допускать решение двух или больше связанных задач без дублирования. Любая подзадача, необходимая для более чем одной из задач, будет решаться только один раз.

4. Допускать итерационный процесс управления (например, в задачах обработки изображений сглаживание может требовать ряда итераций).

5. Разрешается возврат к предыдущим шагам в случае неудовлетворительных результатов.

В этой системе эта общая стратегия решения задач реализована приблизительно в 60 правилах, некоторые из которых используют набор из 30 процедур на языке Prolog.

Принципы построения баз знаний для систем распознавания образов с использованием компьютерных технологий, в том числе с обучением, известны (US 5159667, 27.10.1992; US 5748850, 05.05.1998; US 6577757, B1, 10.06.2003), но они решают частные задачи, наполняя базы лишь новыми эталонными образами.

Известны способ и система для конструирования средств обработки изображений (WO 01/67389 A1, G 06 T 1/00, 13.09.2001 - ближайший аналог), в состав которой входит база знаний. Эта система представляет собой многофункциональное средство анализа изображений, предназначенное для разработки приложений, исследований и обучения. База знаний включает:

- ядро системы, которое состоит из модулей, вызывающих операторы, управляющие операциями ввода/вывода и переводящие объекты данных во внутренний язык системы;

- средства управления данными, которые отвечают за управление основной памятью (оптимизированной для обработки изображений), а также за создание, управление и уничтожение графических объектов и кортежей;

- средства алгоритмического наполнения - библиотеку, включающую более 750 операторов для анализа изображений и визуализации данных;

- инструментальное средство HDevelop для ускоренной разработки программ анализа изображений (Computer Aided Vision Engineering CAVE - tool);

- средства отладки;

- базу знаний операторов, которая содержит справочную информацию по каждому оператору системы (имена и количество операторов, типы параметров, предлагаемые значения параметров).

Недостаток вышеуказанных баз знаний заключается в том, что ни одна из них не ставит и не решает задачу анализа и распознавания изображений на основе автоматизации извлечения информации из изображений.

Вместе с тем, построение базы знаний по анализу и распознаванию изображений с автоматизацией извлечения информации из изображений, накапливающей и использующей знания по анализу и распознаванию изображений может значительно повысить эффективность решения задач в данной области.

Задачей настоящего изобретения является построение комплекса технических средств обработки данных, обеспечивающего автоматизированное формирование и пополнение базы знаний по анализу и распознаванию изображений в виде ориентированной на поиск по различным критериям упорядоченной совокупности информационных массивов - блоков задач. Каждый из этих блоков представляет собой структурированное описание задачи, сформированное с использованием иерархической классификации задач анализа, обработки и распознавания изображений, и тезауруса по анализу, обработке и распознаванию изображений.

Технический результат, сформулированный в задаче настоящего изобретения, достигается тем, что база знаний по анализу и распознаванию изображений содержит центральный блок управления процессами обработки и передачи данных, пользовательский интерфейс, интерфейс внешней связи и комплексную подсистему организованного хранения знаний. Комплексная подсистема организованного хранения знаний включает в себя подключенные к общей информационно-управляющей магистрали модуль задач, модуль поддержки процессов планирования, управления и принятия решений, модуль алгоритмов, модуль промежуточных результатов решения задач, модуль эталонных и тестовых изображений, модуль извлечения, структурирования и записи новых знаний и модуль тезауруса, глоссария, библиографии и справочника. К общей информационно-управляющей магистрали подключен первый вход-выход центрального блока управления процессами обработки и передачи данных, второй вход-выход которого связан с пользовательским интерфейсом, а третий - с внутренним входом-выходом интерфейса внешней связи. Внешний вход-выход интерфейса внешней связи является входом-выходом базы знаний по анализу и распознаванию изображений с возможностью подключения к системе анализа и обработки изображений.

База знаний может характеризоваться тем, что центральный блок управления процессами обработки и передачи данных содержит взаимосвязанные поисковую и управляющую подсистемы.

База знаний может характеризоваться и тем, что модули, входящие в состав комплексной подсистемы организованного хранения знаний, выполнены в виде автономных реляционных баз данных.

База знаний может также характеризоваться тем, что автономная реляционная база данных содержит по меньшей мере один блок памяти, ориентированный на хранение электронных таблиц, специализированный контроллер и блок связи с общей информационно-управляющей магистралью, первый вход-выход которого является входом-выходом модуля, а второй вход-выход соединен с общим входом-выходом контроллера, информационные и управляющие входы-выходы которого связаны соответственно с информационными и управляющими входами-выходами блока памяти.

База знаний может характеризоваться, кроме того, тем, что автономная реляционная база данных содержит: по меньшей мере один блок памяти, ориентированный на хранение электронных таблиц, специализированный контроллер, блок проверки непротиворечивости вводимых знаний и блок связи с общей информационно-управляющей магистралью, первый вход-выход которого является входом-выходом модуля, а второй вход-выход соединен с общим входом-выходом контроллера, информационные и управляющие входы-выходы которого связаны соответственно с информационными и управляющими входами-выходами блока памяти и блока проверки непротиворечивости вводимых знаний.

Существо изобретения поясняется на чертежах, где:

на фиг.1 представлена блок-схема патентуемой базы знаний;

на фиг.2, 3 - блок-схема автономной реляционной базы данных;

на фиг.4 - алгоритм поиска решений в базе знаний;

на фиг.5 - алгоритм планирования решения задачи.

База знаний по анализу и распознаванию изображений (см. фиг.1) содержит центральный блок 10 управления процессами обработки и передачи данных, по меньшей мере один пользовательский интерфейс 12, интерфейс 14 внешней связи и комплексную подсистему 20 организованного хранения знаний. Пользовательский интерфейс 12 предназначен для осуществления взаимодействия пользователя с базой знаний и служит для ввода, вывода и визуализации информации.

Подсистема 20 включает в себя подключенные к общей информационно-управляющей магистрали 22: модуль 24 задач, модуль 26 поддержки процессов планирования, управления и принятия решений, модуль 28 алгоритмов, модуль 30 промежуточных результатов решения задач, модуль 32 эталонных и тестовых изображений, модуль 34 тезауруса, глоссария, библиографии и справочника, и модуль 36 извлечения, структурирования и записи новых знаний. К общей информационно-управляющей магистрали 22 подключен первый вход-выход центральной подсистемы 10 управления, второй вход-выход 52 которой связан с пользовательским интерфейсом 12. Третий вход-выход 54 связан с внутренним входом-выходом интерфейса 14 внешней связи, внешний вход-выход 56 которого является входом-выходом базы знаний по анализу и распознаванию изображений. Этот вход-выход 56 интерфейса 14 предназначен для подключения к системам анализа и обработки изображений и осуществляет обмен данными, в частности может быть подключен к системе "Черный квадрат" по заявке RU 2003107587, 20.03.2003 или патенту RU 30206 U1, 20.03.2003.

Центральный блок 10 управления процессами обработки и передачи данных содержит взаимосвязанные поисковую 102 и управляющую 104 подсистемы.

Модуль 24 задач, модуль 26 поддержки процессов планирования, управления и принятия решений, модуль 28 алгоритмов, модуль 30 промежуточных результатов решения задач, модуль 32 эталонных и тестовых изображений и модуль 34 тезауруса, глоссария, библиографии и справочника выполнены в виде автономных реляционных баз 240-340 данных (см. фиг.2). Каждая из автономных реляционных баз 200 данных модулей 24-32 содержит один или более блоков 202 памяти, ориентированных на хранение электронных таблиц, специализированный контроллер 203 и блок 204 связи с общей информационно-управляющей магистралью 22. Первый вход-выход 205 блока 204 связи является входом-выходом модуля, а второй вход-выход 206 соединен с общим входом-выходом контроллера 203. Информационные и управляющие входы-выходы 207 контроллера 203 связаны соответственно с информационными управляющими входами-выходами 207 блоком 202 памяти.

Модуль 36 извлечения, структурирования и записи новых знаний также выполнен в виде автономной реляционной базы 360, структура которой подобна вышеописанной, показана на фиг.3. Она содержит блок 362 памяти, ориентированный на хранение электронных таблиц, специализированный контроллер 363, блок 364 связи с общей информационно-управляющей магистралью 22, блок 368 проверки непротиворечивости вводимых знаний. Первый вход-выход 365 блока 364 связи является входом-выходом модуля 360, а второй вход-выход 366 соединен с общим входом-выходом контроллера 363. Информационные и управляющие входы-выходы 367, 369 контроллера 363 связаны соответственно с информационными и управляющими входами-выходами блоков 362 и 368.

Модуль 24 задач содержит знания о классификациях задач, знания о типовых и решенных задачах в виде структурированных описаний, блоки задач.

Модуль 26 поддержки процессов планирования, управления и принятия решений содержит общие сведения о решении задач с помощью программного обеспечения ЭВМ, общие знания по обработке, анализу и распознаванию изображений, знания о прикладной области, а также решающие правила различных типов, соответствующих выбранной модели решения задач.

Модуль 28 алгоритмов содержит знания об используемой библиотеке обработки изображений: сведения об алгоритмах, их входных параметрах, результатах и способах оценки качества работы алгоритмов.

Модуль 30 промежуточных результатов решения задач служит для сохранения и последующего использования результатов работы алгоритмов обработки и распознавания.

Модуль 32 эталонных и тестовых изображений используется для тестирования алгоритмов и обучения.

Модуль 34 содержит тезаурус, глоссарий, библиографию и справочник. Тезаурус и глоссарий используются при составлении описаний задач, а также являются семантической базой используемой модели решения задач. Данный модуль 34 также выполняет функции справочника пользователя "Help".

Модуль 36 извлечения, структурирования и записи новых знаний предназначен для введения новых описаний задач в базу знаний, автоматизированного выявления зависимостей, характеристик и формализованного выражения свойств изображений, а также проверку непротиворечивости вводимых знаний с уже имеющимися в базе.

Каждый из модулей состоит из одной или группы таблиц базы знаний, управляющей подсистемы (контроллера таблиц) и может быть связан (если это функционально необходимо) с соответствующим пользовательским интерфейсом. Контроллер таблиц осуществляет обработку и обмен данными между таблицами базы знаний и управляющей подсистемой.

Принцип функционирования патентуемой базы знаний представлен алгоритмами процедур, имеющих место при решении задачи, поставленной перед пользователем. К этим процедурам относятся: поиск решения типовой или аналогичной задачи среди имеющихся в базе знаний, а также планирование решения. Обе процедуры подробно рассматриваются ниже.

А) Поиск решения типовой или аналогичной задачи по анализу, обработке или распознаванию изображений среди имеющихся в базе знаний. Алгоритм приведен на фиг.4.

Этап 1. Пользователь вводит исходные данные. Система производит анализ предъявленного изображения (изображений) и извлечение полезной информации об этом изображении, которая будет использована при постановке задачи и поиске решения (формат изображения, количество градаций яркости, пр. признаки).

Этап 2. Пользователь через пользовательский интерфейс 12 создает объект, соответствующий постановке конкретной задачи, для чего вводится максимально возможное количество данных о задаче. Учитывается информация, полученная на 1-м этапе.

Этап 3. На основе созданного объекта формируется сложный запрос. Условия запроса учитывают свойства элементов объекта постановки задачи. Для свойств элементов, отражающих смысловое содержание, из модуля 34 тезауруса предварительно производится выборка дескрипторов, которые включаются в условную часть запроса.

Этап 4. Результатом запроса является множество описаний задач (решений), содержащих алгоритмы (операторы) решения. Описания ранжируются в соответствии с выбранной мерой близости.

Этап 5. Выбирается алгоритм, соответствующий первому из ранжированных описаний.

Этап 6. Алгоритм запускается на исполнение.

Этап 7. Анализируется полученная выборка описаний задач. Если выборка не удовлетворяет пользователя (множество пустое или описаний слишком много), то в постановку задачи вносятся изменения, и делается новый запрос.

Б) Процедура планирования решения задачи включает этапы, показанные на фиг.5:

Этап 1. В поисковой подсистеме по найденному описанию типовой задачи (см. процедуру по п.А) производится формирование запроса для поиска описаний (типовых) подзадач.

Этап 2. Управляющая подсистема через контроллеры таблиц описаний задач и алгоритмов посылает запрос.

Этап 3. Для каждой из типовых подзадач формируется запрос для поиска описаний составляющих подзадач и других компонентов.

Этап 4. По результатам серии запросов формируется схема (план) решения задачи и выводится на пользовательский интерфейс 12 (на экран монитора в окно редактора). Управляющая подсистема 104 осуществляет контроль алгоритмов, включенных в схему решения, на совместимость по типам входных и выходных данных, а также назначает начальные значения параметров алгоритмов.

Этап 5. Пользователь корректирует сформированную схему решения и параметры алгоритмов. В результате формируется программа, составленная на макроязыке системы обработки и анализа изображений.

Этап 6. Пользователь компилирует и запускает программу на исполнение.

Этап 7. Пользователь оценивает результаты решения задачи, при необходимости корректирует схему решения и параметры алгоритмов. По результатам оценки пользователь осуществляет введение новых описаний задач в базу знаний и проверку непротиворечивости вводимых знаний уже имеющимся в базе.

Система включает, в частности, следующие базовые средства для обработки изображений: аффинные преобразования, преобразования Фурье, Габора, вейвлет-преобразования; матричную фильтрацию, выделение яркостных переходов и контуров, методы сегментации, морфологические операции, методы анализа текстур, алгоритмы факторного анализа, алгоритмы распознавания и принятия решений.

По технологии plug-in в систему в процессе эксплуатации могут быть добавлены новые алгоритмы обработки, преобразования, анализа и распознавания изображений, средства визуализации, расширенные средства поиска в базе данных. Это осуществляется без изменения основы системы (управляющих связей и архитектуры) с сохранением уже накопленных знаний в базах данных (их количество также может быть увеличено). Так, например, удачная последовательность алгоритмов анализа изображений может быть добавлена как новый алгоритм с описанием, указывающим рекомендуемые области компетенции.

Патентуемый объект реализован в открытой системе “Черный квадрат. Версия 1.1”, предназначенной для автоматизации научных исследований в области обработки, анализа и распознавания изображений на базе ПЭВМ.

1. База знаний по анализу и распознаванию изображений, содержащая центральный блок управления процессами обработки и передачи данных, пользовательский интерфейс, интерфейс внешней связи и комплексную подсистему организованного хранения знаний, отличающаяся тем, что комплексная подсистема организованного хранения знаний включает в себя подключенные к общей информационно-управляющей магистрали модуль задач, выполненный с возможностью накопления и хранения информации о классификациях задач, о типовых и решенных задачах в виде структурированных описаний, блоках задач, модуль поддержки процессов планирования, управления и принятия решений, выполненный с возможностью накопления и хранения общих сведений о решении задач с помощью программного обеспечения ЭВМ, знаний по обработке, анализу и распознаванию изображений, о прикладной области, а также решающих правил, соответствующих выбранной модели решения задач, модуль алгоритмов, выполненный с возможностью накопления и хранения сведений об алгоритмах, входящих в библиотеку обработки изображений, о входных параметрах, результатах и способах оценки качества работы алгоритмов, модуль промежуточных результатов решения задач, служащий для хранения и последующего использования результатов работы алгоритмов обработки и распознавания, модуль эталонных и тестовых изображений, используемых для тестирования алгоритмов и обучения, модуль извлечения, структурирования и записи новых знаний, выполненный с возможностью введения новых описаний задач в базу знаний, автоматизированного выявления зависимостей, характеристик и формализованного выражения свойств изображений, а также проверки непротиворечивости вводимых знаний с уже имеющимися в базе, модуль тезауруса, глоссария, библиографии и справочника, используемый при составлении описаний задачи и являющийся семантической базой модели решения задач, при этом к общей информационно-управляющей магистрали подключен первый вход-выход центрального блока управления процессами обработки и передачи данных, второй вход-выход которого связан с пользовательским интерфейсом, а третий - с внутренним входом-выходом интерфейса внешней связи, внешний вход-выход которого является входом-выходом базы знаний по анализу и распознаванию изображений с возможностью подключения к системе анализа и обработки изображений.

2. База знаний по п.1, отличающаяся тем, что центральный блок управления процессами обработки и передачи данных содержит взаимосвязанные поисковую и управляющую подсистемы, при этом поисковая подсистема выполнена с возможностью поиска решения типовой или аналогичной задачи, а управляющая подсистема – контроля алгоритмов, включенных в схему решения, на совместимость по типам входных и выходных данных и назначения начальных значений параметров алгоритмов.

3. База знаний по п.1 или 2, отличающаяся тем, что модули, входящие в состав комплексной подсистемы организованного хранения знаний, выполнены в виде автономных реляционных баз данных.

4. База знаний по п.3, отличающаяся тем, что автономная реляционная база данных содержит по меньшей мере один блок памяти, ориентированный на хранение электронных таблиц, специализированный контроллер и блок связи с общей информационно-управляющей магистралью, первый вход-выход которого является входом-выходом модуля, а второй вход-выход соединен с общим входом-выходом контроллера, информационные и управляющие входы-выходы которого связаны соответственно с информационными и управляющими входами-выходами блока памяти.

5. База знаний по п.3, отличающаяся тем, что автономная реляционная база данных содержит по меньшей мере один блок памяти, ориентированный на хранение электронных таблиц, специализированный контроллер, блок проверки непротиворечивости вводимых знаний и блок связи с общей информационно-управляющей магистралью, первый вход-выход которого является входом-выходом модуля, а второй вход-выход соединен с общим входом-выходом контроллера, информационные и управляющие входы-выходы которого связаны соответственно с информационными и управляющими входами-выходами блока памяти и блока проверки непротиворечивости вводимых знаний.