Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений

Изобретение относится к средствам обработки цифровых изображений. Техническим результатом является обеспечение выделения объекта со сложным контуром на произвольном текстурированном фоне цифрового изображения. Устройство содержит блок формирования матрицы Лапласиана (4); блок диагональной матрицы (5); блоки задержки (14), (15); блок управления (13), блоки децимации (1), (2), (3); блоки умножителя (6), (8), (11); умножитель (9); блок сумматора (7); блок обратной матрицы (10); блок задержки (16); блок линейной интерполяции (12); генератор тактовых импульсов (17). 1 ил.

 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных системах позиционирования и наблюдения.

Упрощенная математическая модель изображения I_z(x, y) определяется для пикселя z как комбинация изображения переднего плана F_z и изображения фона B_z, разделенные с помощью альфа-канала α_z

$$I_z={\alpha }_z{F}_z+\left(1-{\alpha }_z\right)B_z,\left(1\right)$$

где α_z может принимать любое значение на интервале (0, 1). Для изображения все три величины α_z, F_z и B_z являются неизвестными для каждого пикселя изображения.

Основная решаемая задача - выделение объекта со сложным контуром на произвольном текстурированном фоне.

Из-за несовершенства светочувствительной матрицы цифровой камеры, ошибок съемки широкое развитие получили программные комплексы цифровой обработки изображений, реализующие от простейших методов масштабирования и цветокоррекции, до фильтрации и ретуширования. В современных фотокамерах уже реализованы простейшие методы цифровой обработки изображений в автоматическом режиме. Задачи морфологического анализа изображения, сегментации, реконструкции требуют более глубокого анализа изображения. Одной из задач системы вторичной обработки, когда композиция на цифровой фотографии сформирована и не может быть воспроизведена снова, является сегментация, анализ контуров - классификация множеств точек объектов. Целью их решения является изучение структурных свойств объектов, представленных на изображении, и их взаимодействия.

Упрощенно способы выделения контуров объекта на изображении можно разделить на следующие группы.

1) Способы на основе решения дифференциальных уравнений в частных производных.

2) Способы на основе построения плотности распределения вероятности для множества точек объекта и фона.

3) Способы на основе линейной комбинации цветов переднего плана и фона.

Анализ существующих способов обработки показывает, что область их использования в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов выделения контуров объекта на изображении на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность выделять сложные контуры объекта на изображении без дополнительной априорной информации ограничивает область использования данных способов, которые в основном применимы для выделения сглаженных контуров объекта на изображении. Для использования способов на основе построения плотности распределения вероятности для множества точек объекта и фона требуется априорная информация для плотности распределения вероятности цвета фона и объекта переднего плана (глубокая сегментация). Также следует отметить, что распределения цвета объекта и фона не должны пересекаться. Применение способов на основе линейной комбинации цветов переднего плана и фона требует больших вычислительных затрат из-за решения больших систем линейных уравнений.

Известен способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине [патент №2426172, МПК G06K 9/34]. Изобретение относится к области распознавания и сегментации изображений и, в частности, к способу и системе для выделения целевого объекта из фонового изображения и изображения объекта путем создания маски, используемой для выделения целевого объекта. Техническим результатом является создание усовершенствованного способа выделения данных об изображении объекта, используя данные о глубине изображения. Указанный технический результат достигается тем, что создают скалярное изображение разности изображения объекта и фона на основе разности освещенности, а в областях, где разность освещенности ниже заранее установленного порогового значения, на основе разности цвета; инициализируют маску по результатам, полученным из предыдущего видеокадра, где скалярное изображение разности меньше заранее установленного порога, если эти результаты доступны, при этом маску объекта заполняют нулями и единицами, где единица означает, что соответствующий пиксель принадлежит объекту, и нуль в ином случае; кластеризуют скалярное изображение разности и данные по глубине на основе нескольких кластеров; создают маску для каждого положения пикселя видеокадра, используя центры тяжести кластеров скалярной разности и данные по глубине для текущего положения пикселя; компенсируют изменения фона сцены во времени путем обновления изображения фона на основе использования созданной маски и изображения разности.

Признаки способа и системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение целевого объекта из фонового изображения.

Недостатки известного способа и системы: использование двух видеокамер приводит к большим вычислительным затратам при получении альфа-канала выделяемого объекта.

Известен способ выделения объекта на изображении на основе решения уравнений Пуассона (Poisson matting for images) [Patent USA №7636128]. Способ основан на решении системы уравнений Пуассона с граничными условиями для изображения, сегментированного на три области: передний план, фон, неизвестная область, разделяющая передний план и фон. Для нахождения альфа-канала решают уравнение Пуассона вида:

$${\alpha }^{\ast }=\arg \underset{\alpha }{\min }{\displaystyle \iint {}_{z\in \Omega }{\Vert \nabla {\alpha }_z-\frac{1}{F_z-B_z}\nabla I_z\Vert }^{2}dz\left(2\right)}$$

с граничным условием Дирихле

$$\alpha {\left|{}_{\partial \Omega }=\overline{\alpha }\right|}_{\partial \Omega },\left(3\right)$$

$${\overline{\alpha }|}_{\partial \Omega }=\{\begin{array}{l}\mathrm{1,}p\in {\Omega }_F\\ \mathrm{0,}p\in {\Omega }_B\end{array}\left(4\right)$$ .

Найденное решение системы уравнений Пуассона является альфа-каналом изображения, для уточнения которого применяют локальные фильтры, позволяющие вручную исправить окончательный результат с помощью решения локальных уравнений Пуассона.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение объекта из фонового изображения.

Недостатками известного способа являются: применение локальных фильтров, исправляющих вручную окончательный результат с помощью решения локальных уравнений Пуассона, что не позволяет получить эффективной автоматизированной системы обработки.

Известен способ выделения объекта на изображении на основе метода Байеса [Chuang Y., Curless В., Salesin D., Szeliski R. A Bayesian Approach to Digital Matting, Proc. of IEEE CVPR, 2001, pp.264-271]. Для использования метода Байеса необходима сегментации входного изображения на три области: передний план, фон и неизвестная область. Альфа-канал оценивается построением плотности распределения вероятности для множества точек объекта и фона [Ruzon М.A. and Tomasi С. Alpha estimation in natural images. In CVPR 2000, pp.18-25]. Используется непрерывно скользящее окно, в котором на каждом шаге обрабатываются пиксели вдоль границы неизвестной области.

Цветовые выборки формируются по окрестности обрабатываемого пикселя и кластеризуются. Каждый кластер представляет собой неориентированный гауссиан. Для каждой пары цветовых гауссианов объекта и фона вычисляются оптимальные значения F, B и α.

В качестве F и B выбираются точки, максимизирующие условную вероятность P(F,B,α|C). Для оценки этой вероятности используется формула Байеса:

$$P\left(F,B,\alpha |C\right)=\frac{P(C|F,B,\alpha )P(F)P(B)P(\alpha )}{P(C)},\left(5\right)$$

где P(C|F,B,α) оценивается через расстояние между цветом C и смесью F, B с коэффициентом α (1); P(F), Р(B) оцениваются через плотность вероятности для гауссианов цветов объекта и фона; Р(α) игнорируется; Р(C) - константа относительно параметров максимизации также игнорируется.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение объекта из фонового изображения.

Недостатки известного способа: построение плотности распределения вероятности для множества точек объекта и фона требует глубокую сегментацию исходного изображения; неизвестная область должна содержать только смешанные пиксели.

Известно устройство выделения контуров объектов на изображении [патент №2362210, МПК G06K 9/36, G06K 9/62, A61B 5/04]. Изобретение относится к области распознавания образов и может быть использовано в системах технического зрения при решении задач предварительной обработки изображения. Техническим результатом является повышение быстродействия выделения контуров объектов на изображении. В устройство выделения контуров объектов, содержащее датчик изображения, блок выделения кадрового и строчного импульсов, аналого-цифровой преобразователь, генератор, цифровой сигнальный процессор, оперативное запоминающее устройство, введены селектор, блок фильтрации, блок пространственного дифференцирования, буферная память блока фильтрации, буферная память блока пространственного дифференцирования, соединенные между собой так, как указано в формуле изобретения. Повышение быстродействия достигается за счет аппаратной реализации операции фильтрации и пространственного дифференцирования в соответствующих блоках устройства.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение контуров объекта на изображении.

Недостатками известного устройства являются: использование двух датчиков изображения приводит к большим вычислительным затратам при получении альфа-канала выделяемого объекта.

Наиболее близкими к изобретению являются способ и устройство определения альфа-канала в канонической форме (Closed form method and system for matting a foreground object in an image having a background) [Patent USA №7692664]. Метод классификации множества точек объекта и фона на изображении с помощью определения альфа-канала в канонической форме основан на предположении о том, что цвета пикселей в малых фрагментах изображений F и B лежат примерно на одной прямой в пространстве RGB (являются линейной комбинацией двух цветов), альфа-канал α_z считается линейно зависимым от цвета в локальной области изображения:

где c - канал цвета, ,

Используя четырехмерную линейную модель (6) получают целевую функцию для цветного изображения:

Значения a и b могут быть исключены из (7):

$$J\left(\alpha \right)={\alpha }^{T}L\alpha ,\left(8\right)$$

где L - матрица размером N×N, (i,j)-элемент которой равен:

$${\displaystyle \sum _{K|i,j\in w_k}\left({\delta }_{ij}-\frac{1}{\left|w_k\right|}(1+(I_i-{\mu }_k){({\Sigma }_k+\frac{\epsilon }{\left|w_k\right|}{I}_3)}^{-1}(I_i-{\mu }_k))\right),\left(9\right)}$$

где Σ_k - ковариационная матрица 3×3, µ_k - вектор 3×1 средних цветов в окне;

w_k и I₃ - идентичная матрица 3×3.

Рассматриваемое устройство-прототип предполагает:

1) определение веса для всех ребер соседних пикселов на изображении;

2) построение матрицы Лапласа L с весами;

3) решение уравнения:

$$\alpha =\arg \min {\alpha }^{T}L\alpha ,\left(10\right)$$

α_i=s_i, ∀i∈S, S - группа выделенных пикселей, s_i - значение выделенных пикселей;

4) решение уравнения (1) для F и B с дополнительными предположениями о гладкости F и B;

5) композиция выделенного объекта переднего плана с выбранным фоном.

Признаки способа-прототипа, совпадающие с признаками заявляемого технического решения, следующие: обработка двумерного цифрового сигнала, выделение объекта со сложным контуром на произвольном текстурированном фоне.

Недостатками известного способа и устройства, его реализующего, являются:

1. требование двух входных изображений для начала обработки: исходное изображение и размеченное на две области исходное изображение;

2. требование больших вычислительных затрат на обработку разреженных матриц.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит блок хранения изображения, блок весов, блок матрицы Лапласа, блок вычислений, блок композиции, блок отображения.

Предлагаемое устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений позволяет выделять объект со сложным контуром на произвольном текстурированном фоне. Устройство реализует следующий алгоритм. На первом шаге исходное изображение I, на котором представлен некоторый объект на произвольном фоне, двумерный массив M, содержащий маркеры фона и выделяемого объекта, двумерный массив V, содержащий маркеры только выделяемого объекта, децимируются на 2. На втором шаге для изображения mI с уменьшенным разрешением и двумерного массива mM с уменьшенной размерностью строится разреженная матрица Лапласа L размерностью N×N:

$$N=h\cdot w,\left(11\right)$$

где h - высота изображения, w - ширина изображения, (i, j) - элемент которой определяется по формуле (9). На третьем шаге для двумерного массива M с уменьшенной размерностью строится диагональная матрица D, диагональные элементы которой равны единице для маркированных пикселей и равны 0 для всех остальных. На четвертом шаге из двумерного массива mV с уменьшенной размерностью $$\frac{h}{2}$$ , $$\frac{w}{2}$$ формируется вектор-столбец b размерностью 1, $$\frac{h}{2}\cdot \frac{w}{2}$$ , с поэлементным возведением в квадрат. Полученный вектор-столбец b и диагональная матрица D умножаются на константу λ. На пятом шаге формируется разреженная матрица K:

$$K=\left(L+\lambda D\right)\left(12\right)$$ .

Для полученной разреженной матрицы K находят обратную матрицу K^-1. На шестом шаге формируется альфа-канал для изображения с уменьшенным размером:

$${\alpha }^{\ast }=K^{-1}\cdot \lambda b\left(13\right)$$ .

На седьмом шаге с помощью исходного изображения I, уменьшенного изображения mI альфа-канал α^* уменьшенного изображения mI интерполируется в 2 раза на основе линейных коэффициентов по формуле (6).

Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений (фиг.1) содержит блок децимации 1, блок задержки 14, блок управления 13, входы которых являются информационным входом устройства. Выход блока децимации 1 подключен к первому входу блока формирования матрицы Лапласиана 4 и входу блока задержки 15. Первый выход блока управления 13 подключен к входу блока децимации 2, выход которого подключен ко второму входу блока формирования матрицы Лапласиана 4 и входу блока диагональной матрицы 5. Второй выход блока управления 13 подключен к входу блока децимации 3, выход которого подключен к первому и второму входу блока умножителя 6. Выход блока умножителя 6 подключен к первому входу умножителя 9, третий выход блока управления 13 подключен ко второму входу блока умножителя 9 и второму входу блока умножителя 8. Выход блока диагональной матрицы 5 подключен к первому входу блока умножителя 8, выход которого подключен ко второму входу блока сумматора 7. Выход блока формирования матрицы Лапласиана 4 подключен к первому входу блока сумматора 7, выход которого подключен к входу блока обратной матрицы 10, выход которого подключен к первому входу блока умножителя 11. Выход блока умножителя 9 подключен к входу блока задержки 16, выход которого подключен ко второму входу умножителя 11, выход которого подключен к первому входу блока линейной интерполяции 12. Выход блока задержки 14 подключен ко второму входу блока линейной интерполяции 12, выход блока задержки 15 подключен к третьему входу блока линейной интерполяции 12, выход которого является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 17.

Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений работает следующим образом. Одновременно на вход блока децимации 1, блок задержки 14 и блок управления 13 поступает исходное изображение, на котором представлен некоторый объект на произвольном фоне. С помощью блока управления 13 задается два двумерных массива. Первый массив содержит маркеры фона и выделяемого объекта, размер которого соответствует размеру одного из каналов обрабатываемого изображения (яркостному или одному из каналов цветности). Массив маркеров представляет собой матрицу, содержащую значения двух типов. Первый тип значений относится к маркерам фона и располагается в элементах массива, координаты которых соответствуют области координат пикселей фона на исходном изображении. Второй тип значений относится к маркерам объекта и располагается в элементах массива, координаты которых соответствуют области координат пикселей объекта на исходном изображении. Маркеры фона и объекта лишь частично помечают соответствующие области исходного изображения. Остальные значения элементов массива маркеров равны нулю (неразмеченные области). Второй массив содержит только маркеры объекта, размер которого соответствует размеру одного из каналов обрабатываемого изображения (яркостному или одному из каналов цветности). Массив маркеров представляет собой матрицу, содержащую значения, относящихся к маркерам объекта и располагающихся в элементах массива, координаты которых соответствуют области координат пикселей фона на исходном изображении. Маркеры объекта лишь частично помечают соответствующую область исходного изображения. Остальные значения элементов массива маркеров равны нулю (неразмеченные области). Массив, содержащий маркеры фона и выделяемого объекта, поступает с первого выхода блока управления 13 на вход блока децимации 2. Массив, содержащий маркеры выделяемого объекта, поступает со второго выхода блока управления 13 на вход блока децимации 3, в котором происходит уменьшение размерности массива, содержащего маркеры выделяемого объекта в два раза. В блоке децимации 2 происходит уменьшение размерности массива, содержащего маркеры фона и выделяемого объекта в два раза. В блоке децимации 1 происходит уменьшение разрешения исходного изображения в два раза. Одновременно на первый вход блока формирования матрицы Лапласиана 4 и вход блока задержки 15 подается уменьшенное в два раза исходное изображение с выхода блока децимации 1. На второй вход блока формирования матрицы Лапласиана 4 подается уменьшенный в два раза массив, содержащий маркеры фона и выделяемого объекта с выхода блока децимации 2. В блоке формирования матрицы Лапласиана 4 формируется разреженная матрица Лапласиана. На вход блока диагональной матрицы 5 подается уменьшенный в два раза массив, содержащий маркеры выделяемого объекта с выхода блока децимации 2, на выходе которого из уменьшенного в два раза массива, содержащего маркеры фона и выделяемого объекта, формируется разреженная диагональная матрица. Одновременно на первый вход блока умножителя 8 подается диагональная матрица с выхода блока диагональной матрицы 5, а на второй вход подается значение константы с третьего выхода блока управления 13. Результат перемножения с выхода блока умножителя 8 поступает на второй вход блока сумматора 7, на первый вход которого поступает разреженная матрица Лапласиана с выхода блока формирования матрицы Лапласиана 4. В блоке сумматора 7 происходит матричное суммирование матрицы Лапласиана и диагональной матрицы. Результат суммирования с выхода блока сумматора 7 подается на вход блока обратной матрицы 10, где происходит обращение входной матрицы значений. На входы блока умножителя 6 подается уменьшенный в два раза массив, содержащий маркеры выделяемого объекта с выхода блока децимации 3, на выходе которого формируется вектор, каждый элемент которого возведен в квадрат. Результат перемножения с выхода блока умножителя 6 поступает на первый вход блока умножителя 9, на второй вход которого подается значение константы с третьего выхода блока управления 13. Результат умножения с выхода блока умножителя 9 поступает на вход блока задержки 16, с выхода которого поступает на второй вход блока умножителя 11, на первый вход которого поступает обратная матрица с выхода блока обратной матрицы 10. Величина задержки блока задержки 16 задается таким образом, чтобы обеспечить синхронность поступления данных с выхода блока умножителя 9 и выхода блока обратной матрицы 10. В блоке умножителя 11 осуществляется матричное умножение разреженной матрицы на вектор-столбец значений маркеров. Одновременно результат умножения (альфа-канал уменьшенного в два раза исходного изображения) с выхода блока умножителя 11 поступает на первый вход блока линейной интерполяции 12. Исходное изображение с выхода блока задержки 14 поступает на второй вход блока линейной интерполяции 12, на третий вход которого поступает уменьшенное в два раза исходное изображение с выхода блока задержки 15. Величина задержки блоков задержки 14 и 15 задается таким образом, чтобы обеспечить синхронность поступления данных на первый, второй и третий входы блока линейной интерполяции 12. В блоке линейной интерполяции разрешение изображения альфа-канала, представляющего собой маску выделения объекта со сложным контуром на произвольном текстурированном фоне, увеличивается в два раза путем интерполирования на основе линейных коэффициентов. Выход блока линейной интерполяции 12 является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 17.

Технический результат - выделение объекта со сложным контуром на произвольном текстурированном фоне.

Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений, содержащее блок формирования матрицы Лапласиана (4), блок диагональной матрицы (5), отличающееся тем, что информационным входом устройства являются блок задержки (14), блок управления (13), блок децимации (1), выход которого подключен к первому входу блока формирования матрицы Лапласиана (4) и входу блока задержки (15); первый выход блока управления (13) подключен к входу блока децимации (2), выход которого подключен ко второму входу блока формирования матрицы Лапласиана (4) и входу блока диагональной матрицы (5), второй выход блока управления (13) подключен к входу блока децимации (3), выход которого подключен к первому и второму входу блока умножителя (6), выход которого подключен к первому входу умножителя (9); третий выход блока управления (13) подключен ко второму входу блока умножителя (9) и второму входу блока умножителя (8); выход блока диагональной матрицы (5) подключен к первому входу блока умножителя (8), выход которого подключен ко второму входу блока сумматора (7); выход блока формирования матрицы Лапласиана (4) подключен к первому входу блока сумматора (7), выход которого подключен к входу блока обратной матрицы (10), выход которого подключен к первому входу блока умножителя (11); выход блока умножителя (9) подключен к входу блока задержки (16), выход которого подключен ко второму входу умножителя (11), выход которого подключен к первому входу блока линейной интерполяции (12); выход блока задержки (14) подключен ко второму входу блока линейной интерполяции (12), выход блока задержки (15) подключен к третьему входу блока линейной интерполяции (12), выход которого является информационным выходом устройства, синхронность работы устройства обеспечивается генератором тактовых импульсов (17).