Устройство улучшения качества изображений лиц людей в видеопоследовательностях

Изобретение относится к средствам видеонаблюдения. Техническим результатом является повышение качества движущихся и неподвижных областей изображения за счет повышения пространственного разрешения. Технической задачей изобретения является повышение качества изображений лиц людей, содержащихся в кадрах входной видеопоследовательности, а также повышение качества движущихся и неподвижных областей изображения за счет повышения пространственного разрешения изображения и уменьшения влияния эффекта размытия, возникающего за счет относительного движения устройства получения изображения и снимаемой сцены. Устройство содержит входной объектив (ВО), блок памяти (БП), шину (Ш), видеосенсор (ВС), модуль оценки движения (МОД), модуль делителя частоты и выбора разрешения видеосенсора (МДЧ), модуль одношагового улучшения всего кадра (МУК), модуль генератора тактовой частоты (МГТЧ), модуль выделения лиц людей (МВЛ), модуль итеративного улучшения лиц людей (МУЛ), модуль комбинирования изображения (МКИ), арбитр (АБ). 2 ил.

 

Изобретение относится к технике обработки видеопоследовательностей, более конкретно, к технике получения изображений лиц людей повышенного качества из кадров видеопоследовательности. Изобретение может быть использовано в системах видеонаблюдения в условиях сигнала низкого качества.

Известно устройство (пат. № US 7688363 В2), улучшающее качество получаемых изображений и состоящее из вспышки, поляризационного фильтра, электропривода, блока получения изображения, модуля памяти и процессора.

Недостатками данного устройства являются: ошибки, возникающие в случае изменения условий съемки вследствие эффекта «привыкания» базы данных к определенным условиям съемки, необходимость постоянного использования вспышки для получения качественных изображений, а также невозможность обработки видеопоследовательностей.

Наиболее близким к предлагаемому является устройство (пат. РФ № RU 2408156 C1), предназначенное для получения изображений повышенного разрешения, включающее в себя следующие блоки: входной объектив, фотоприемное устройство, блок исходных уставок, дисплей, блок памяти, первый блок расширения изображения, второй блок расширения изображения, блок интерполяции, первый блок селекции, первый блок суперпозиции, первый блок накопления, блок реставрации изображения и блок формирования опорного фрагмента изображения, включающий второй блок селекции, второй блок суперпозиции, второй блок накопления.

Недостатками данного устройства являются следующие факты. Для проведения операции обратной свертки, при помощи которой предполагается производить увеличение разрешения, необходимо знать априорную функцию рассеяния точки. Данное условие не позволяет одновременно обрабатывать несколько движущихся объектов в видеопоследовательности, так как каждый из объектов может иметь свою меняющуюся во времени функцию рассеяния точки. Также к недостаткам можно отнести необходимость операторской работы для ввода исходных уставок размеров и положения исходного опорного фрагмента, которая исключает автоматическую обработку видеопоследовательностей.

Технической задачей изобретения является повышение качества изображений лиц людей, содержащихся в кадрах входной видеопоследовательности, а также повышение качества движущихся и неподвижных областей изображения за счет повышения пространственного разрешения изображения и уменьшения влияния эффекта размытия, возникающего вследствие относительного движения устройства получения изображения и снимаемой сцены.

Задача изобретения решается тем, что в известное устройство, содержащее входной объектив (ВО), блок памяти (БП), были введены видеосенсор с переменным размером пикселя (ВС), шина (Ш), модуль оценки движения (МОД), модуль делителя частоты и выбора разрешения видеосенсора (МДЧ), модуль генератора тактовой частоты (МГТЧ), модуль одношагового улучшения всего кадра (МУК), модуль выделения лиц людей (МВЛ), модуль итеративного улучшения лиц людей (МУЛ), модуль комбинирования изображения (МКИ), арбитр (АБ), причем ВО связан с ВС оптически, вход ВС подключен к выходу МДЧ, первый выход ВС подключен ко второму входу Ш, первый вход БП подключен к седьмому выходу Ш, первый выход БП подключен к седьмому входу Ш, первый выход МОД подключен к третьему входу Ш, второй выход МОД подключен к первому входу МДЧ, первый вход МОД подключен к третьему выходу Ш, второй вход МДЧ является выходом МГТЧ, первый вход МУК подключен к пятому выходу Ш, первый выход МУК подключен к пятому входу Ш, первый вход МВЛ подключен к четвертому выходу Ш, первый выход МВЛ подключен к четвертому входу Ш, первый вход МУЛ подключен к шестому выходу Ш, первый выход МУЛ подключен к шестому входу Ш, вход МКИ подключен ко второму выходу Ш, выход МКИ используется для подключения по протоколу USB внешнего устройства для дальнейшей обработки или вывода изображений, вход АБ подключен к первому выходу Ш, выход АБ подключен к первому входу Ш.

Изобретение может быть использовано в качестве устройства наблюдения за окружающими людьми, в частности для более четкого отображения лиц людей, и соответствует критерию «промышленная применимость».

Сущность изобретения поясняется чертежами, где на фиг.1 показана структурная схема устройства улучшения качества изображений лиц в видеопоследовательности.

Устройство содержит (фиг.1): ВО 1, ВС 2, Ш 3, БП 4, МОД 5, МДЧ 6, МГТЧ 7, МУК 8, МВЛ 9, МУЛ 10, МКИ 11, АБ 12, причем ВО 1 связан с ВС 2 оптически, вход ВС 2 подключен к выходу МДЧ 6, выход ВС 2 подключен ко 2 входу Ш 3, вход БП 4 подключен к 7 выходу Ш 3, выход БП 4 подключен к 7 входу Ш 3, выход МОД 5 подключен к 3 входу Ш 3, 2 выход МОД 5 подключен к 1 входу МДЧ 6, вход МОД 5 подключен к 3 выходу Ш 3, 2 вход МДЧ 6 является выходом МГТЧ 7, вход МУК 8 подключен к 5 выходу Ш 3, выход МУК 8 подключен к 5 входу Ш 3, вход МВЛ 9 подключен к 4 выходу Ш 3, выход МВЛ 9 подключен к 4 входу Ш 3, вход МУЛ 10 подключен к 6 выходу Ш 3, выход МУЛ 10 подключен к 6 входу Ш 3, вход МКИ 11 подключен ко 2 выходу Ш 3, выход МКИ 11 используется для подключения по протоколу USB внешнего устройства для дальнейшей обработки или вывода изображений, вход АБ 12 подключен к 1 выходу Ш 3, выход АБ 12 подключен к 1 входу Ш 3.

Входной объектив 1 предназначен для обеспечения хорошего качества оптического сигнала, поступающего для аналого-цифрового преобразования на видеосенсор 2.

Шина 3 является средой передачи данных блоков и модулей устройства.

БП 4 устроен по принципу регистра и хранит промежуточные результаты обработки кадров видеопоследовательности.

Модуль 5 оценки движения определяет наличие движения в кадре по методу Predictive Search Block Matching (PSBM) [Kumar, V.A Fast Predictive Algorithm and Architecture for Block Matching Motion Estimation / V.S. Kumar Reddy, Somnath Sengupta // ICGST-GVIP Journal, Volume 8, Issue 1, June 2008] и контролирует коэффициент деления в модуль делителя частоты 6, который, получая тактовые импульсы из модуля генератора тактовой частоты 7 с постоянной частотой, изменяет частоту и посылает импульсы на входной объектив 1.

Модуль 8 одношагового улучшения всего кадра производит первоначальную обработку кадров с целью улучшения качества, хранящихся в БП 4 по алгоритму Incremental Super-Resolution (ISR) [Callico, G.M. Real-Time and Low-Cost Incremental Super-Resolution over a Video Encoder IP Block / G.M. Callico, A. Nunez, R.P. Llopis, R. Sethuraman // Quality Electronic Design, 2003. Proceedings. Fourth International Symposium on, pp.79-84, 2003].

Модуль 9 выделения лиц людей по методу Boosted Cascade of Simple Features (BCSF) [Viola, P. Rapid Object Detection using a Boosted Cascade of Simple Features / P. Viola, M. Jones // Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR 2001, Volume: 1, Issue: C, Publisher: IEEE Comput. Soc, Pages: 1-511-1-518, 2001] определяет зоны кадра, содержащие лица людей, и сохраняет их координаты в памяти.

Модуль 10 итеративного улучшения лиц людей производит обработку зон, содержащих лица людей, по алгоритму Spatially Adaptive Block-Matching Filtering (SABMF) [Danielyan, A. Image Upsampling via Spatially Adaptive Block-Matching Filtering / A. Danielyan, R. Foi, V. Katkovnik, K. Egiazarian // 16th European Signal Processing Conference (EUSIPCO 2008), Lausanne, Switzerland, August 25-29, 2008].

Модуль 11 комбинирования изображения встраивает улучшенные изображения лиц людей в кадры, арбитр 12 производит управление работой шины 3 по передаче информации между модулями.

Устройство позволяет получать видеопоследовательности повышенного разрешения в стандартных условиях освещения полностью в автоматическом режиме, без участия оператора. Обеспечивается возможность одновременной обработки нескольких движущихся объектов. Для ускорения обработки видеопоследовательности применяется конвейерная схема работы, состоящая из 5 шагов, выполняющихся последовательно для одного набора данных. Набор данных представляет собой один кадр и промежуточные результаты обработки (координаты областей кадра, содержащие лица людей, обработанные фрагменты кадра). Алгоритм работы устройства представлен в виде блок-схемы на фиг.2.

Первый шаг. Входной объектив 1 фокусирует световой сигнал на видеосенсоре 2. Видеосенсор 2 в зависимости от типа сигнала на первом входе (блок 4 алгоритма) работает в одном из двух режимов. При одинарном сигнале видеосенсор 2 снимает данные с разрешением 640×480 пикселей (блок 5 алгоритма), при двойном сигнале видеосенсор 2 снимает данные с разрешением 800×600 пикселей (блок 6 алгоритма). Понижение разрешения при наличии движения в кадре позволит уменьшить время экспозиции, что значительно уменьшит эффект размытия движущихся объектов. Дальнейшая обработка на 3 и 4 шагах скомпенсирует это понижение.

С выхода видеосенсора 2 данные поступают на 2 вход шины 3. С 7 выхода шины 3 данные поступают на вход БП 4 и записываются в память (блок 7 алгоритма). Поступивший кадр становится текущим и при заполнении памяти занимает место самого старого кадра.

Второй шаг. Из БП 4 через шину 3 текущий кадр поступает в модуль 5 оценки движения, модуль 8 одношагового улучшения всего кадра, модуль 9 выделения лиц людей. В модуле 5 оценки движения кадр проходит обработку по методу PSBM, выявляющему движение в кадре на основе информации о нескольких предыдущих кадрах (блок 8 алгоритма). В процессе анализа кадров видеопоследовательности делается предположение о принадлежности смещения движущегося объекта к «короткому» или «длинному» движению на основе сравнения расчетного коэффициента СР и порогового коэффициента C_th. Пороговый коэффициент подбирается опытным путем, а расчетный вычисляется по формуле:

$$CP={\displaystyle \sum _{-1s{u}_1,u_2\le 1}C\left(u_1,u_2\right)}$$ ,

где C - бинарное количество, определяемое формулой:

$$C\left(u_1,u_2\right)=\{\begin{array}{l}1,еслиSAD\left(u_1,u_2\right)<SA{D}_{a\nu }\\ 0,впротивномслучае\end{array}$$

SAD_aν - усредненное значение SAD, являющегося распределением блоков-кандидатов в области поиска R.

Промежуточные результаты вычислений, используемые в обработке нескольких кадров видеопоследовательности, сохраняются в модуле 5 оценки движения.

С выхода блока модуля 5 оценки движения данные о наличии движения в кадре поступают на вход модуля делителя частоты 6. В модуле делителя частоты 6 производится обработка синхроимпульсов, генерирующихся в модуле генератора тактовой частоты 7. При наличии движения одинарные импульсы с частотой 20 Гц передаются на 1 вход видеосенсора 2, а при отсутствии движения на 1 вход видеосенсора 2 передаются двойные импульсы с частотой 10 Гц.

В модуле 8 одношагового улучшения всего кадра производится обработка изображения по алгоритму ISR, позволяющему за один проход повысить разрешение кадра изображения с использованием информации о предыдущих кадрах (блок 9 алгоритма). Повышение разрешения производится по формуле:

$$SR\left(i,j\right)=N\frac{{\sum }_{fr=1}^{N}Motion\_Compensate\left(Upsample\_Holes\left(LR\_I\left[fr\right]\right)\right)}{{\sum }_{fr=1}^{N}Motion\_Compensate\left(contributions\left[fr\right]\right)}$$ ,

где LR_I - изображения низкого разрешения, fr - индекс массива изображений низкого разрешения, N - количество изображений низкого разрешения, Upsample_Holes - процесс перестроения изображения, Motion_Compensate - процесс компенсации движения.

Обработанный кадр (И1) с выхода модуля 8 одношагового улучшения всего кадра передается на 5 вход шины 3. Затем, с 7 выхода шины 3 доставляется на вход БП 4 для сохранения. Обработанный кадр является копией текущего, с повышенным пространственным разрешением.

В модуле 9 выделения лиц людей происходит обработка текущего кадра по быстрому методу Boosted Cascade of Simple Features (BCSF) с целью обнаружения в текущем кадре лиц людей (блок 10 алгоритма). Данный алгоритм использует обученный набор простых классификаторов для определения лиц на изображениях. Результаты обучения хранятся в базе данных, расположенной в модуле.

Третий шаг. С выхода модуля 9 выделения лиц людей текущий кадр и координаты областей, содержащие лица людей, передаются на 4 вход шины 3. Затем с выхода 6 шины 3 передаются в модуль 10 итеративного улучшения лиц людей, где происходит обработка изображения по алгоритму SABMF (блок 11 алгоритма).

Данный алгоритм обеспечивает высокое качество обработки изображения благодаря итеративному способу работы. Обработка осуществляется по формуле:

$$\{\begin{array}{l}{\stackrel{\wedge }{y}}_0=y_{low}\hfill \\ {\stackrel{\wedge }{y}}_j^0=W_1^{-1}\left(2U_1\left\{{\stackrel{\wedge }{y}}_j-1\right\}\right),\hfill \\ {\stackrel{\wedge }{y}}_j^{\left(k\right)}=W_1^{-1}\left(2^j{U}_j\left\{y_{low}\right\}+W_j\left(Ф\left({\stackrel{\wedge }{y}}_j^{\left(k-1\right)},{\sigma }_k\right)\right)\left(1-\chi \Omega \right)\right)\hfill \end{array}$$ ,

где y_low - изображения низкого разрешения, поступающие в модуль,

$${\stackrel{\wedge }{y}}_j^{\left(k\right)}$$ - результат обработки изображения на k-ом шаге.

Результатом работы модуля является изображение, состоящее из последовательно расположенных улучшенных изображений лиц людей с координатами их расположения в текущем кадре (И2).

Четвертый шаг. С выхода БП 4 изображение И1 передается на вход 7 шины 3. Затем с выхода 2 шины 3 И1 попадает на вход модуля 11 комбинирования изображения (блок 12 алгоритма). С выхода модуля 10 итеративного улучшения лиц людей И2, а также координаты расположения лиц людей в текущем кадре передаются на вход 6 шины 3. Затем с выхода 2 шины 3 И2 и координаты расположения лиц людей в текущем кадре попадают на вход модуля 11 комбинирования изображения, где производится совмещение изображений И1 и И2 таким образом, что улучшенные изображения лиц людей встраиваются в И1 на те же позиции, на которых располагались оригинальные изображения лиц людей.

Пятый шаг. С выхода модуля 11 комбинирования изображения готовое изображение передается на выход для дальнейшей обработки или вывода (блок 13 алгоритма).

Изобретение позволяет повысить качество изображений лиц людей, содержащихся в видеопоследовательностях.

Устройство улучшения качества изображений лиц людей в видеопоследовательностях, содержащее входной объектив (ВО), блок памяти (БП), были введены видеосенсор с переменным размером пикселя (ВС), шина (Ш), модуль оценки движения (МОД), модуль делителя частоты и выбора разрешения видеосенсора (МДЧ), модуль генератора тактовой частоты (МГТЧ), модуль одношагового улучшения всего кадра (МУК), модуль выделения лиц людей (МВЛ), модуль итеративного улучшения лиц людей (МУЛ), модуль комбинирования изображения (МКИ), арбитр (АБ), причем ВО связан с ВС оптически, вход ВС подключен к выходу МДЧ, первый выход ВС подключен ко второму входу Ш, первый вход БП подключен к седьмому выходу Ш, первый выход БП подключен к седьмому входу Ш, первый выход МОД подключен к третьему входу Ш, второй выход МОД подключен к первому входу МДЧ, первый вход МОД подключен к третьему выходу Ш, второй вход МДЧ является выходом МГТЧ, первый вход МУК подключен к пятому выходу Ш, первый выход МУК подключен к пятому входу Ш, первый вход МВЛ подключен к четвертому выходу Ш, первый выход МВЛ подключен к четвертому входу Ш, первый вход МУЛ подключен к шестому выходу Ш, первый выход МУЛ подключен к шестому входу Ш, вход МКИ подключен ко второму выходу Ш, выход МКИ используется для подключения по протоколу USB внешнего устройства для дальнейшей обработки или вывода изображений, вход АБ подключен к первому выходу Ш, выход АБ подключен к первому входу Ш.