Способ построения системы индексирования для поиска объектов на цифровых изображениях

Изобретение относится к способу построения ситстемы индексирования для поиска объектов на цифровых изображениях и может найти широкое применение в поисковых системах управления цифровыми фотоальбомами. Техническим результатом, на достижение которого направлено данное изобретение, является повышение скорости поиска цифровых изображений, содержащих один и тот же объект или набор из нескольких объектов, а также обеспечение возможности построения поисковых запросов, использующих комбинацию графических объектов в качестве элементов запроса. В соответствии с данным изобретением все доступные системе индексирования графические файлы заносятся в список. В этот список, кроме имени и пути до файла, может автоматически заноситься информация, хранящаяся в метаданных файла, характеристики изображения, полученные после автоматического анализа файла, и набор атрибутов, определенных пользователем для данного файла вручную. Каждое изображение, хранящееся в графическом файле, анализируется на предмет нахождения на нем изображений искомых объектов. Найденные изображения объектов заносятся в список изображений объектов вместе со ссылкой на файл, содержащий изображение. Для каждой записи списка изображений объектов посредством автоматического анализа формируются характеристики изображения объекта (угол поворота объекта, угол наклона и т.п.). Здесь же хранятся добавленные вручную признаки изображения объекта. 4 з.п. ф-лы, 1 ил.

 

Изобретение используется для реализации контентно-ориентированного поиска графической информации, расположенной на локальном компьютере пользователя или на общедоступных ресурсах, в том числе в Интернете в виде файлов различных графических форматов.

Предлагаемый способ может найти широкое применение в поисковых системах, а также в системах управления цифровыми фотоальбомами.

Известны методы построения индексов для реализации поисковых систем (см., например, Патент № WO 2006/081325 А2, "Multiple index based information retrieval system"), подобные системы развиты уже довольно сильно и продолжают развиваться, в них реализуется сложный эвристический анализ индексируемой информации. Однако подобные системы ориентируются на поиск текстовой информации и не позволяют работать с цифровыми графическими изображениями.

Известны методы построения контентно-ориентированного индекса для организации поиска файлов различных форматов, в том числе и графических, в которых оценивается совпадение содержимого (см., например, Патент № WO 2005/033885 А2, 14.04.2005, "Content oriented index and search method and system"). Недостатками таких методов при анализе графических файлов является отсутствие анализа изображения как такового, из-за чего изображения одного и того же объекта, хранящиеся с разным масштабом, будут восприниматься как совершенно разные изображения.

Более перспективными представляются методы поиска, основанные на анализе цветовой палитры изображений (см., например, Патент № US 006026411 А, 15.02.2000, "Method, apparatus and computer program product for generating an image index and for internet searching and querying by image colors"). Каждое изображение масштабируется с различными коэффициентами масштабирования, для каждого уровня масштабирования производится низкочастотная фильтрация изображения, а затем типовые цвета каждого уровня сохраняются в качестве индекса. Такой метод обеспечивает анализ интегральных характеристик изображений, но не их содержимое, что не позволяет находить различные изображения одного объекта - в лучшем случае будут найдены изображения подобных объектов, сфотографированные при одинаковых условиях съемки.

Известны методы индексирования цифровых изображений, которые предполагают построение миниатюрных изображений - уменьшенных копий изображений для последующей ручной сортировки изображений пользователем (см., например, Патент GB 2404807 A, 09.02.2005 "A method and a system for indexing and tracking images"). Недостатками таких методов являются большие трудозатраты со стороны пользователя на этапе построения индекса.

Наиболее близким по технической сущности является способ построения системы индексирования для поиска объектов на цифровых изображениях, при котором из доступных файлов выбирают графические файлы, формируют список графических файлов, доступных для индексирования, выявляют на графических файлах изображения, а информацию об изображениях используют для построения индексов (Патент US 2007/0112850 А1, 17.05.2007, "System and methods for image management"). Для всех доступных сетевой файловой системе изображений автоматически или вручную (пользователем) создаются дескрипторы. Далее эти дескрипторы могут использоваться для выборки изображений, соответствующих предъявленным критериям, например, с одинаковыми значениями определенных дескрипторов. Недостатком прототипа является невозможность автоматической обработки изображений, а также анализ изображения в целом, без выделения объектов, расположенных на изображении.

Техническим результатом, на достижение которого направлено данное изобретение, является повышение скорости поиска цифровых изображений, содержащих один и тот же объект или набор из нескольких объектов, а также обеспечение возможности построения поисковых запросов, использующих комбинацию графических объектов в качестве элементов запроса.

Технический результат, на достижение которого направлено создание данного изобретения, заключается в том, что в способе построения системы индексирования для поиска объектов на цифровых изображениях, при котором из доступных файлов выбирают графические файлы, формируют список графических файлов, доступных для индексирования, информацию об изображениях, хранящуюся в графических файлах, используют для построения индексов, выявляют в изображениях, хранящихся в графических файлах изображения объектов, формируют список изображений объектов, для каждого изображения объекта автоматически выявляют информацию, относящуюся к заданным характеристикам изображения, которой снабжают каждое изображение объекта в списке изображений объектов, при этом по окончании обработки всех изображений объектов, найденных на текущем обрабатываемом графическом файле, автоматически сформированная информация об изображении объекта добавляется в список графических файлов, в процессе формирования списка изображений объектов группируют похожие изображения объектов, формируют список групп изображений объектов, из которого формируют список объектов, причем индексы для поиска объектов включают в себя данные об объектах и характеристиках изображений объектов.

Заданными характеристиками изображения является ракурс съемки, угол поворота объекта, угол наклона.

При необходимости вручную дополняют записи в списке графических файлов, списке изображений объектов и списке объектов, а также корректируют список групп.

Для корректировки списка групп вручную выбирают изображение объекта и объект в соответствующих списках, при этом перестроение группы осуществляется автоматически.

Способ основан на предварительном анализе цифрового представления изображения с целью определения наличия и расположения искомых объектов.

Все доступные системе индексирования графические файлы заносятся в список. В этот список, кроме имени и пути до файла, может автоматически заноситься информация, хранящаяся в метаданных файла, характеристики изображения, полученные после автоматического анализа файла, и набор атрибутов, определенных пользователем для данного файла вручную.

Каждое изображение, хранящееся в графическом файле, анализируется на предмет нахождения на нем изображений искомых объектов. Найденные изображения объектов заносятся в список изображений объектов вместе со ссылкой на файл, содержащий изображение. Для каждой записи списка изображений объектов посредством автоматического анализа формируются характеристики изображения объекта (угол поворота объекта, угол наклона и т.п.). Здесь же хранятся добавленные вручную признаки изображения объекта.

Список изображений объектов обрабатывается с целью объединения похожих изображений объектов в группы. Полученные группы формируют список групп.

На базе списка групп формируется список объектов, каждому элементу списка объектов может соответствовать одна или несколько групп. Для каждого элемента списка объектов может быть задан набор характеристик объекта.

Для реализации предлагаемого способа построения индекса должны быть решены следующие задачи: поиск объектов на изображении, автоматическое формирование признаков изображений объектов, автоматическое формирование групп изображений объектов.

Задача поиска изображения объекта на цифровом изображении может быть решена различными способами, например с помощью выделения замкнутого контура, максимально совпадающего с границами объекта с последующим поочередным наложением шаблонов, хранящихся в памяти компьютера (см., например, патент № RU 2250499 С1, 17.11.2003 «Способ компьютерного распознавания объектов»). Или с помощью способов, основанных на выделении замкнутых контуров (контуров одного цвета) на изображении с их последующим представлением в виде коэффициентов преобразования Фурье (см., например, US патент №6563959 B1, 13.05.2003, "Perceptual similarity image retrieval method"). В этом случае степень схожести двух объектов на разных изображениях определяется по ряду коэффициентов.

Поиск областей изображения, содержащих изображения искомых объектов, может быть, например, с помощью перевода изображения в пространство коэффициентов вейвлет-преобразования, описанного в R. Lienhart, J. Maydt "An Extended Set of Haar-like Features for Rapid Object Detection". Полученные коэффициенты вейвлет-преобразования сравниваются с набором шаблонов - нормированных по размеру изображений лиц. Если выявляется совпадение области изображения с одним из шаблонов, то это значит, что эта область, скорее всего, содержит искомый объект.

Известны способы, предусматривающие обнаружение объекта на изображении с последующей его классификацией и построения индекса распознавания (recognition signature) для организации поиска (см., например, Патент № WO 2006/122164 А2, 16.11.2006, "System and method for enacting the use of captured images through recognition").

Способ ориентируется на поиск изображений человека и заключается в последовательном выполнении для каждого изображения следующих этапов: обнаружение объектов на изображении; выполнение распознавания найденных объектов в зависимости от их типа; формирование идентификационной информации для каждого объекта. Идентификационная информация в дальнейшем может быть использована для организации групп изображений, содержащих похожие лица.

Изображения могут быть объединены в группы по дате и времени появления изображений, а также по месту появления изображений. Эта информация хранится в виде метаданных в некоторых файлах изображений, созданных с помощью современных цифровых фотоаппаратов. Подобные способы могут быть использованы для автоматического формирования признаков изображений объектов. Отличие способа заключается в том, что все графические файлы подвергаются обязательной автоматической обработке для выделения искомых объектов на изображении из графического файла с автоматическим формированием набора признаков графического файла, а также набора признаков всех найденных изображений объектов, объединения нескольких различных изображений одного и того же объекта в группу изображений и отнесении ее к одному объекту.

Предлагаемый способ иллюстрируется последовательностью операций, приведенных на чертеже, где

10 - набор всех доступных файлов;

20 - операция поиска и первичного анализа графических файлов;

30 - список графических файлов;

40 - операция поиска изображений объектов на изображении из графического файла;

45 - автоматически сформированная информация об изображении, хранящемся в графическом файле;

47 - автоматически сформированная информация об изображении объекта;

49 - сохранение информации в списке изображений объектов;

50 - список найденных изображений объектов;

60 - операция формирования групп похожих изображений объектов;

65 - сохранение информации в списке групп;

70 - список групп похожих изображений объектов;

75 - операция автоматического формирования списка объектов;

80 - список объектов:

90 - операция перегруппировки;

100 - операция дополнения свойств записей списка графических файлов пользователем;

110 - операция дополнения свойств записей списка изображений объектов пользователем;

120 - операция дополнения свойств записей списка объектов пользователем;

130 - операция корректировки списка групп пользователем;

140 - операция корректировки списка объектов пользователем.

Построение индекса начинается с формирования списка графических файлов, доступных для индексирования. Из списка всех доступных системе файлов (10) операция поиска графических файлов (20) выбирает графические файлы и сохраняет имя файла, путь до него и метаданные в списке графических файлов (30). Операция поиска изображений объектов (40) выполняется над всеми элементами списка (30). Каждое найденное изображение объекта заносится (49) в список изображений объектов (50). При этом оно снабжается автоматически сформированной информацией об объекте (47) (ракурс съемки и т.п., все, что можно определить на основании автоматического анализа изображения объекта). По окончании обработки всех изображений объектов, найденных на текущем обрабатываемом изображении из графического файла, автоматически сформированная информация об изображении объекта (45) заносится в список графических файлов (30).

Операция группировки (60) выполняется для всех вновь появляющихся изображений объектов. По ее результатам формируется список групп (70). В результате выполнения операции группировки (60) очередное изображение объекта либо добавляется в существующую группу, либо для нее создается новая группа.

Каждая группа из списка (70) сразу после появления автоматически заносится (75) в список объектов (80). В дальнейшем этот список может корректироваться пользователем с целью объединения нескольких автоматически сформированных групп в один объект (140). Кроме того, предусмотрена операция корректировки пользователем списка групп (130). Эта корректировка выполняется опосредовано путем явного указания пользователем, что изображение объекта, отнесенное к одной группе, должно, в конечном итоге, относится к другой группе. При этом пользователь не указывает группу, к которой должно относиться изображение объекта, он указывает объект, а система автоматически перестраивает группы (90) таким образом, чтобы изображение объекта, в конечном итоге, относилось к нужному объекту. Также предусмотрены операции дополнения пользователем свойств записей списка графических файлов (100), списка изображений объектов (110) и списка объектов (120).

Благодаря построению индекса, состоящего из элементов изображений и их характеристик, обеспечивается возможность группировки изображений по заданным признакам, быстрого поиска разных изображений одного и того же объекта, поиска совокупности изображений, содержащих один и тот же объект или набор из более, чем одного одинаковых объектов, а также обеспечения иных видов поисковых запросов, использующих комбинацию графических объектов в качестве элементов запроса.

1. Способ построения системы индексирования для поиска объектов на цифровых изображениях, при котором из доступных файлов выбирают графические файлы, формируют список графических файлов, доступных для индексирования, информацию об изображениях, хранящуюся в графических файлах, используют для построения индексов, отличающийся тем, что выявляют в графических файлах изображения объектов, формируют список изображений объектов, для каждого изображения объекта автоматически выявляют информацию, относящуюся к заданным характеристикам изображения, которой снабжают каждое изображение объекта в списке изображений объектов, при этом по окончании обработки всех изображений объектов, найденных на текущем обрабатываемом графическом файле, автоматически сформированная информация об изображении объекта добавляется в список графических файлов, в процессе формирования списка изображений объектов группируют похожие изображения объектов, формируют список групп изображений объектов, из которого формируют список объектов, причем индексы для поиска объектов включают в себя данные об объектах и характеристиках изображений объектов.

2. Способ по п.1, отличающийся тем, что заданными характеристиками изображения являются ракурс съемки, угол поворота объекта, угол наклона.

3. Способ по п.1, отличающийся тем, что при необходимости вручную дополняют записи в списке графических файлов, списке изображений объектов и списке объектов.

4. Способ по п.1, отличающийся тем, что при необходимости вручную корректируют список групп.

5. Способ по п.4, отличающийся тем, что для корректировки списка групп вручную выбирают изображение объекта и объект в соответствующих списках, при этом перестроение группы осуществляется автоматически.