Способ и система для обнаружения лица

Изобретение относится к области цифровой обработки изображений. Способ включает в себя выполнение следующих операций: выполняют построение карт градиентов входящего изображения; проводят поиск дуг окружностей на картах градиентов; проводят поиск локальных особенностей на входящем изображении и градиентных картах; выполняют построение набора гипотез возможных положений лиц; осуществляют верификацию построенных гипотез. Технический результат, достигаемый при реализации изобретения, состоит в повышении скорости, точности и эффективности работы в условиях различной освещенности, размеров и ориентации лица на изображении. 2 н. и 4 з.п. ф-лы, 2 ил.

 

Изобретение относится к способам обработки цифровых изображений, в частности к выявлению произвольно ориентированных лиц на цифровых изображениях.

Цифровое представление изображений используется во многих современных мультимедийных устройствах. Во многих устройствах в качестве одной из их основных или дополнительных функций требуется наличие возможности выявления и определения ориентации лиц на изображении, Это может быть связано с контекстно-зависимой выборкой из хранимых устройством изображений, со специализированной обработкой участков изображения в цифровых устройствах фотозахвата и фотопечати, с процедурой идентификации и верификации для систем охраны и видеонаблюдения, с организацией взаимодействия людей и мультимедийных компьютерных систем.

На текущий момент известно значительное разнообразие подходов к решению задачи нахождения объектов на изображениях, в частности использование технологии нейронных сетей, вейвлет-преобразований, опорных векторов (SVM) и т.д. В условиях отсутствия четкой формализации объекта поиска (лица) все эти методы так или иначе используют процесс обучения (настройки параметров), которые требуют значительного количества исходных примеров объекта поиска. Как следствие, задача обнаружения лица на произвольном изображении требует больших вычислительных затрат. Вычислительная сложность задачи возрастает на порядки в случае неопределенного положения, размера и ориентации лица на изображении.

Частично эти трудности были преодолены в решениях, которые описаны в патентах США: №7099510 [1] и №6463163 [2]. В этих патентах описаны системы и методы на основе вычислительно-эффективных алгоритмов локализации области лица с учетом масштаба и сдвига. Некоторые другие известные системы обнаружения лиц (см. патенты США: №6661907 [3] и №6816611 [4]) ориентированы на использование цветовой информации изображений, к основным недостаткам таких систем можно отнести их высокую зависимость от внешних условий, в частности повышенные требования к условиям освещения. Что касается известных способов, то они не предназначены для работы в условиях широкого диапазона углов наклона изображения, что ограничивает возможности их применения на практике.

Наиболее близкими к заявляемому изобретению признаками обладает вышеупомянутое решение [2], в котором описана система выявления лиц на изображении и способ предварительной фильтрации входящего изображения для выявления наличия на нем лица. Блок-схема решения [2] приведена на фиг.1. Основным элементом системы является селектор «подозрительного» участка входящего изображения. Такой селектор в сочетании с детектором лица и фильтром линейного совмещения, имеющим регулируемое ядро, дает возможность выявления на входящем изображении лица, если оно имеет нормальную ориентацию, т.е. без существенного наклона, например, к плечу. Таким образом, точность выявления наличия лица на входящем изображении недостаточно высокая, что неприемлемо для многих приложений, например в системах видеонаблюдения на важных объектах.

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы устранить недостатки прототипа и разработать такой способ и реализующую его систему, которая позволила бы повысить скорость, точность и эффективность работы в условиях различной освещенности, размеров и ориентации лица на изображении, т.е. разработать инструмент, инвариантный к поворотам входящего изображения.

Технический результат достигается за счет применения оригинального способа обнаружения лиц на изображениях, включающего в себя выполнение следующих операций:

- выполняют построение карт градиентов входящего изображения;

- проводят поиск дуг окружностей на картах градиентов;

- проводят поиск локальных особенностей на входящем изображении и градиентных картах;

- выполняют построение набора гипотез возможных положений лиц;

- осуществляют верификацию построенных гипотез.

Таким образом, заявляется технология, основанная на уменьшении количества гипотез, предполагаемых к проверке обучаемым классификатором, на основе параметризации и объединения найденных дуг окружностей на картах градиентов изображения.

При реализации заявляемого способа важно, чтобы геометрические параметры найденных дуг окружностей были использованы для описания возможных положений и размеров границ лица и головы на изображении.

Кроме того, важно, чтобы в качестве локальных особенностей лица на исходном изображении и карте градиентов рассматривали наиболее стабильные экстремальные участки.

Существенно также, чтобы при построении набора гипотез производили сопоставление информации с разработанной моделью лица человека, которая включает в себя данные о размере, форме как всего лица в целом, так и его структурных элементов.

При этом система, обеспечивающая реализацию заявляемого способа, включает следующие элементы:

- камера фиксации входящего двумерного изображения;

- блок регистрации (памяти) входящего изображения;

- блок построения карт градиентов входящего изображения;

- блок поиска дуг окружностей на картах градиентов;

- блок поиска локальных особенностей на входящем изображении и градиентных картах;

- блок построения набора гипотез возможных положений лиц;

- блок предобработки;

- блок-детектор лица;

- блок верификации построенных гипотез;

- дисплей.

Функционирование заявляемого изобретения поясняется далее с привлечением графических материалов.

На фиг.1 представлен алгоритм выполнения заявляемого способа.

На фиг.2 приведена блок-схема системы для реализации заявляемого способа.

Как видно из описания и чертежей, основным результатом работы заявляемой системы является определение позиции и размеров областей, содержащих лица на входящем изображении.

Изображение объекта 201 через камеру 202 передается на блок 203 регистрации изображения (память изображения), из которого изображение подается в блок 204 построения карт градиентов, результатом работы которого является вычисление изменений интенсивностей (или цветовых компонент) соседних пикселей или их групп и оценка направления наибольшего изменения в каждой точке изображения. Одной из возможных реализаций такого блока является устройство свертки матрицы исходного изображения с набором ядер фильтров Собеля (Sobel operator) по способу-прототипу [2].

Полученная карта градиентов используется блоком 205 поиска дуг окружностей, основным результатом работы которого является получение многомерной весовой карты возможных местоположений лица с учетом геометрических параметров дуг: радиусов, длины и расположения. Многомерная весовая карта формируется на основе процесса оценки условных распределений геометрических параметров окружностей при интегрировании данных градиентной карты. Реализация данного блока возможна с использованием преобразования Хафа для поиска дуг окружностей (circular Hough transform, см. http://www.scipub.org/fulltext/ajas/ajas2121606-1609.pdf) [5].

Блок 206 поиска локальных особенностей использует в качестве входной информации исходное изображение и карту градиентов. Задача этого блока состоит в выделении устойчивых связанных областей на изображении, а именно таких, что все граничные точки темнее (или светлее) искомой области. Эта задача может быть эффективно реализована с помощью метода поиска наиболее стабильных экстремальных регионов (MSER - maximally stable extremal regions, см. http://en.wikipedia.org/wiki/Maximally_stable_extremal_regions) [6]. Результатом работы блока поиска будет являться набор выделенных локальных особенностей с их геометрическими характеристиками: расположением на исходном изображении и размерами. При наличии лиц на изображении в набор этих локальных особенностей также войдут структурные элементы лиц (глаза, рот, брови и т.д.).

Входной информацией для блока 207 построения гипотез является многомерная весовая карта возможного местоположения лица и набор локальных особенностей. Данный блок выполняет сопоставление информации с разработанной моделью лица человека, которая включает в себя данные о размере, форме как всего лица в целом так и его структурных элементов (глаза, рот, нос, брови и других). Выходной информацией блока 207 служат набор гипотез, каждая из которых определяет возможное положение лица на исходном изображении, с учетом его размеров и ориентации.

Блок 208 предобработки выполняет следующую задачу: для каждой входной гипотезы создается определенного масштаба изображение, которое является копией соответствующего гипотезе участка исходного изображения с учетом ориентации гипотезы и размеров. После чего на созданных изображениях происходит выравнивание интенсивностей и контрастности. Для этого применяются методы локальной нормализации и эквализации гистограмм. Особую устойчивость к условиям освещения придает то, что выравнивание интенсивности и контрастности производится для каждого изображения, соответствующего гипотезе. Изображения с блока 208 поступают на блок 209, который выполнен с возможностью предварительного детектирования лица на полученном изображении.

Окончательное решение о наличии или отсутствии лица производится блоком 210 верификации гипотез, который предпочтительно реализуется с использованием нейронной сети.

Для контроля за процессом обнаружения лица с помощью заявляемой системы целесообразно снабдить ее дисплеем 211, показывающим результат обработки входящего изображения.

С учетом повышенной точности выявления лица на входящем изображении ожидается, что заявляемое изобретение найдет широкое применение в создании нового класса интеллектуальных систем автоматизированной охраны и видеонаблюдения.

1. Способ обнаружения лиц на изображениях, включающий в себя выполнение следующих операций:
выполняют построение карт градиентов входящего изображения;
проводят поиск дуг окружностей на картах градиентов;
проводят поиск локальных особенностей на входящем изображении и градиентных картах;
выполняют построение набора гипотез возможных положений лиц;
осуществляют верификацию построенных гипотез.

2. Способ по п.1, отличающийся тем, что геометрические параметры найденных дуг окружностей используют для описания возможных положений и размеров границ лица и головы на изображении.

3. Способ по п.1, отличающийся тем, что в качестве локальных особенностей лица на исходном изображении и карте градиентов рассматривают наиболее стабильные экстремальные участки.

4. Способ по п.1, отличающийся тем, что при построении набора гипотез производят сопоставление информации с разработанной моделью лица человека, которая включает в себя данные о размере, форме как всего лица в целом, так и его структурных элементов.

5. Система для определения местоположения лица на изображении, состоящая из следующих элементов:
камера фиксации входящего двумерного изображения;
блок регистрации (памяти) входящего изображения;
блок построения карт градиентов входящего изображения;
блок поиска дуг окружностей на картах градиентов;
блок поиска локальных особенностей на входящем изображении и градиентных картах;
блок построения набора гипотез возможных положений лиц;
блок предобработки;
блок-детектор лица;
блок верификации построенных гипотез.

6. Система по п.5, отличающаяся тем, что на ее выходе установлен блок отображения результатов в виде дисплея.