Устройство восстановления карты глубины сцены

Изобретение относится к вычислительной технике, а именно к системам обработки изображений. Техническим результатом является уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора. Предложено устройство восстановления карты глубины сцены. Устройство содержит блок хранения входной реализации, блок хранения цветного изображения, блок определения участков квазистационарности, блок формирования маски, поэлементный умножитель, блок вычисления медианной оценки, блок хранения оценки полезной составляющей, счетчик текущей строки, счетчик текущего столбца, четыре блока задержки, блок хранения карты глубины, блок формирования маски карты глубины, блок восстановления карты глубины, генератор тактовых импульсов. 9 ил.

 

Предлагаемое изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления, получения и обработки стереоизображений и карт глубин.

В общем случае, упрощенная математическая модель двумерного сигнала (изображения) представляет собой двумерную дискретную последовательность вида:

где S_i,j - полезная составляющая; η_i,j - аддитивная шумовая составляющая, распределенная по гауссовскому закону с нулевым математическим) ожиданием и постоянной дисперсией; N - количество строк; М - количество столбцов двумерного массива изображения.

Карта глубины представляет собой двумерное одноканальное изображение, содержащее информацию о расстоянии от плоскости сенсора до объектов сцены. Она создается с помощью активных 3D сканеров, например, системой Microsoft Kinect®, которая состоит из инфракрасного проектора, RGB камеры и датчика глубины. Оценка расстояния до различных точек сцены производится с помощью измерения относительного смещения точек, проецируемых проектором на изображении с инфракрасной камеры [Франц В.А. Первичная обработка карты глубины изображения. «Успехи современной радиоэлектроники», №6, 2013]. В ряде случаев спроецированные точки могут быть не найдены, что приводит к появлению дефектов, - это могут быть потерянные и искаженные значения глубины, случайный шум, неравномерные края и поверхности объектов, а также неверно измеренные значения глубины для некоторых материалов с зеркальными или мелкозернистыми поверхностями [Shen S. Layer Depth Denoising and Completion for Structured-Light RGB-D Cameras. Computer Vision and Pattern Recognition (CVPR), 2013].

Существует множество методов обработки карты глубины, которые можно разделить на две группы: предварительная и постобработка карты глубины.

К основным недостаткам методов предварительной обработки можно отнести неточное восстановление информации о глубине и недостаточное улучшение границ объектов, что влияет на дальнейшее использование этой информации. Поэтому важно, чтобы информация о глубине, получаемая с различных датчиков, была верной для последующей обработки. Это повышает качество и быстродействие работы различных приложений.

Основная решаемая задача - уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора с помощью обработки изображения карты глубины с подавлением шума, улучшением границ объектов и восстановлением потерянных областей карты глубин.

Подобная задача может возникнуть: 1) в системах получения 3D моделей; 2) в радиотехнике при обработке сигналов; 3) в системах цифровой обработки анализа изображений; 4) в робототехнике при позиционировании и определении расстояния до объектов.

Известные методы фильтрации можно применять и к изображениям карт глубин для уменьшения влияния шума.

Известен способ скользящего среднего [Гонсалес, Р. Цифровая обработка изображений/ Р. Гонсалес, Р. Вудс. - М.: Техносфера. - 2005. - 1072 с]. Для его использования достаточно одной реализации Y_i,j, , исходного сигнала.

Для исходного изображения определяется размер маски сглаживающего фильтра m, т.е. натуральное число m<N. Способ скользящего среднего предполагает запоминание исходного изображения Y_i,j, , , определение размера маски фильтра m (ширины «скользящего окна»), для которого производится вычисление среднего арифметического, , замену центрального из значений Y_i,j, , найденным средним , сдвиг «скользящего окна» на одно значение вправо, вычисление среднего арифметического выбранных значений реализации и так до тех пор, пока маска фильтра не переместится по всему изображению.

Ширину “окна” выбирают нечетной, т.к. сглаженное значение рассчитывается для центрального значения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание дискретного сигнала, выделение временных отрезков, нахождение среднего арифметического значения сигнала, попавших в выделенные отрезки времени, замена исходной двумерной дискретной реализации' результатов измерений сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- способ скользящего среднего вызывает автокорреляцию остатков, даже если она отсутствовала в исходной полезной составляющей (эффект Слуцкого-Юла).

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если ширина “окна” сглаживания равна 2p+1, то первые р последние р значений исходной реализации результатов измерений не, подвергаются обработке;

- поскольку центральное значение “окна” сглаживания вычисляется как среднее арифметическое соседних, то значения оценки полезной составляющей становятся зависимыми.

В качестве нелинейных фильтров используются фильтры, основанные на порядковых статистиках [Гонсалес, Р. Цифровая обработка изображений/ Р. Гонсалес, Р. Вудс. - М.: Техносфера. - 2005. - 1072 с]. Отклик такого фильтра определяется предварительным упорядочиванием (ранжированием) значений пикселей, покрываемых маской фильтра, и последующим выбором значения, находящегося на определенной позиции упорядоченной последовательности (т.е. имеющего определенный ранг). Фильтрация сводится к замещению исходного значения (в центре маски) на полученное значение отклика фильтра. Наиболее известен медианный фильтр, который заменяет центральное значение маски фильтра на значение медианы распределения всех значений результатов измерений, принадлежащих области маски фильтра. Чтобы выполнить медианную, фильтрацию для элемента изображения, необходимо сначала упорядочить по возрастанию значения пикселей внутри маски, затем найти значение медианы, и присвоить полученное значение обрабатываемому элементу.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание входного двумерного сигнала, выделение временных отрезков, замена входной реализации результатов измерения сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- вследствие нелинейности способа обработки, нельзя строго разграничить влияние медианной фильтрации на сигнал и шум;

- медианное сглаживание можно рассматривать только как эффективный способ предварительной обработки входной реализации результатов измерений в случае импульсных помех.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- медианная фильтрация является нелинейным способом обработки;

- зависимость эффективности сглаживания результатов измерений от формы полезной и шумовой составляющей.

Структурная схема устройства, реализующего рассмотренный способ, содержит генератор таковых импульсов, коммутатор, блок управления, регистр хранения, блок ранжирования, блок выбора среднего значения, выходной регистр, где хранится оценка исходной дискретной реализации результатов измерений.

Известен способ и устройство для обработки карты глубины [Method and device for processing a Depth-map, US 20100215251 А1]. Данное изобретение используется для обработки карты глубины, причем способ включает восстановление карты глубины на основе сжатой с потерями карты глубины, при этом карта глубины включает в себя подробную информацию сцены из точки зрения сцены, содержащую объект. Устройство позволяет восстанавливать карту глубину при перекрытии объектами части фона.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание входного двумерного сигнала, обработка карты глубины, сохранения результата обработки.

Недостатки известного устройства являются:

- большая погрешность при восстановлении контуров и границ объектов на карте глубины;

- априорная информация при выборе параметров метода при устранении артефактов сжатия.

Структурная схема устройства для обработки карты глубины, содержит блок устранения артефактов сжатия, блок восстановления карты глубины при перекрытии объектами, блок хранения оценки.

Известно устройство генерирования карты глубины по двум изображениям из разных точек зрения [Generating a depth map from а two-dimensional source image for stereoscopic and multiview imaging, US 20130009952 А1]. Карта глубины восстанавливается из моноскопических исходных изображений и асимметрично сглаживается. Карта глубины содержит значения глубины сосредоточены на краях локальных областей в исходном изображении. Каждое ребро определяется на заданном изображении, параметр, имеющий расчетное значение, превышает заданный порог. Глубина данной величины основана на соответствующих расчетных значениях параметров изображения. Карта глубины используется для обработки исходного изображения по глубине изображения на основе алгоритма рендеринга для создания одного изображения, которое образует с исходным изображением набора моноскопических изображений. По крайней мере, одна пара стереоскопических изображений выбирается из такого набора для использования в создании различных точек зрения, в том числе для неподвижных и движущихся изображений.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание входного двумерного сигнала, сглаживание карты глубины, сохранения результата обработки.

Недостатками известного устройства являются:

- априорная информация при выборе параметров при расчете границ объектов на изображения;

- восстановление карты глубины только для границ объектов на¹ изображении.

Структурная схема устройства для обработки карты глубины содержит блок хранения изображения, блок анализа границ, блок синтезирования карты глубины, блок сглаживания границ, блок сглаживания карты глубины, блок рендеринга 3D изображения, блок отображения 3D изображения.

Наиболее близким к изобретению является устройство предобработки карты глубины стереоизображения (фиг. 8) [Пат. №2535183 Российская Федерация; МПК G06F 17/00, G06T 15/00. 2013135016/08(052462); Заяв. 25.07.2013; Опубл. 10.12.2014 Бюл. №34].

Рассматриваемое устройство-прототип предполагает:

- запись значений входного двумерного сигнала Y_i,j, , ;

- к каждому кадру видеопоследовательности применяется операция дилатации для удаления областей с потерянными и искаженными пикселями, которая является морфологической операцией и увеличивает область изображения, расширяя его пиксели и тем самым способствуя объединению областей изображения, которые были разделены шумом;

- для уменьшения влияния шума применяется подход, реализованный адаптивным двумерным способом размножения оценок. В данном случае изображение карты глубины разделяется на локальные области однородных значений яркости, которые в дальнейшем аппроксимируются поверхностью первого порядка методом МНК.

Для направлений на изображении для одномерных реализаций, полученных из значений пикселей по вертикальным и диагональным направлениям от центрального пикселя исходного изображения, определяются интервалы квазистационарности с помощью способа инверсий. Данные границы позволяют получить интервалы с монотонным изменением яркости сигнала. Далее, все восемь полученных секторов объединяются в одну область Ω. Таким образом, для каждого пикселя формируется окрестность пикселей, близких по значению яркости.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область Ω и аппроксимируются поверхностью первого порядка вида , где ω_i,j, , значения бинарной маски, которая принимает значения, равные:

.

Значения коэффициентов A, B и C определяются с помощью двумерного способа наименьших квадратов [Патент №2362207 Российская Федерация, C2, МПК G06F 17/17. 2007127727/09; Заяв. 19.07.2007; Опубл. 20.07.2009 Бюл. №20], для нахождения которых минимизируется целевая функция вида:

.

Процедура получения области Ω и вычисление оценки повторяется для каждого значения пикселя Y_i,j, , , при этом формируется весовая функция W_i,j, , , значения которой равны количеству размноженных оценок для каждого пикселя.

Результирующая оценка изображения определяется как среднее арифметическое размноженных адаптивных оценок: .

- на последнем этапе используется несколько сглаженных оценок карт глубин для последовательности кадров, для которых вычисляется медиана. Данная операция позволяет скорректировать оценку контуров объектов и сделать их более гладкими.

Недостатками известного устройства-прототипа являются:

- невозможность обнаруживать и восстанавливать большие области с потерянными значениями пикселей;

- большая погрешность восстановления карты глубины.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- данное устройство предназначено только для уменьшения влияния аддитивной шумовой составляющей.

Устройство предобработки карты глубины стереоизображения (фиг. 8) содержит блок хранения входной реализации, блок дилатации, блок определения участков квазистационарности, блок формирования маски, поэлементный умножитель, блок аппроксимации, блок хранения оценок, блок усреднения оценок, блок хранения оценки полезной составляющей, счетчик текущей строки, генератор сигнала усреднения, счетчик текущего столбца, первый блок задержки, второй блок задержки, третий блок задержки, четвертый блок задержки, пятый блок задержки, шестой блок задержки, седьмой блок задержки, восьмой блок задержки, блок получения медианной оценки, генератор тактовых импульсов.

Суть предлагаемого устройства восстановления карты глубины сцены состоит в следующем.

Упрощенная математическая модель входного двумерного сигнала представляется в соответствии с выражением (1). Алгоритм, реализующий работу устройства (фиг. 1), состоит из следующих этапов:

1) На вход устройства поступает цветное изображение и карта глубины одной сцены;

2) Обнаружение поврежденных участков происходит с помощью порогового обнаружения, таким образом, создается маска поврежденных участков;

3) Реконструкция поврежденных областей происходит методом восстановления изображения [Патент №2450342 Российская Федерация, С1, МПК G06F 17/17. 2011132449/08; Заяв. 1.08.2011; Опубл. 10.05.2012 Бюл. №13];

4) Фильтрация изображения глубины с помощью адаптивного двумерного способа размножения оценок с использованием информации о цвете и глубине;

5) Запись результата восстановления.

Изображение проходит обработку в двух каналах. В первом выполняется реконструкция и заполнение областей искаженных значений пикселей карты глубины, а во втором - формирование областей близкой градации яркости с использованием яркостного канала.

Для обнаружения поврежденных областей используется априорная информация о том, что на карте глубины дефекты находятся в диапазоне черного цвета (значения в RGB [000]).

Для реконструкции пикселей карты глубины вычисляется значение приоритета Р(δS_i,j) для каждого значения пикселя границы, который состоит из двух множителей (фиг. 2):

,

где: δS_i,j - текущий пиксель на границе доступных пикселей; С(δS_i,j) - коэффициент доверия; D(δS_i,j) - коэффициент градиента; - квадратный блок пикселей с центром в пикселе δS_i,j; - количество пикселей квадратного блока, вектор, ортогональный градиенту в точке δS_i,j; - вектор, ортогональный границе δS в точке δS_i,j; α - нормированный множитель, который для восьмибитных изображений равен 255.

Вначале предполагается, что значение коэффициента доверия С для пикселей из области S_i,j, , равно 1, а для области η равно 0.

Вычисление приоритета с помощью выражения (2) позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия C(δS_i,j) позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области S_i,j, , .

На втором шаге, для пикселя p∈(i,j) с максимальным значением приоритета max(Р(δS_i,j)) на границе δS с помощью способа инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.

Для пикселя границы смежного с пикселем p∈(i,j), имеющего большее значение , также определяется адаптивно область с помощью способа инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (фиг. 3), таким образом, определяется область Ψ_р с адаптивными размерами и перепадом яркости.

Определяется пиксель р∈(i,j) с максимальным значением приоритета max(Р(δS_i,j)) на границе δS и выбирается адаптивная область Ψ_p, принадлежащая данному пикселю. Использование, которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения. Далее количество блоков, полученных из исходного изображения с доступными пикселями, увеличивается путем их поворота на 90, 180, 270 градусов. Данный подход позволяет уменьшить погрешность восстановления изображения за счет увеличения количества блоков и увеличения вероятности нахождения более похожего блока по евклидовой метрике (фиг. 4)

На третьем шаге, находятся блоки , в области доступных пикселей S_i,j, для которых евклидова метрика минимальна (фиг. 5):

,

при этом h обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.

Количество блоков подобия R определяется с помощью доверительного интервала:

,

где: ; α - уровень значимости.

Значения пикселей в области η, смежные к пикселю с максимальным приоритетом p, восстанавливаются путем усреднения соответствующих пикселей найденных областей из области доступных пикселей S_i,j:

.

Коэффициент доверия С для восстановленных пикселей присваивается равным текущему значению С(р). После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

Для формирования адаптивных областей двумерного сигнала для каждого значения пикселя задаются восемь направлений (фиг. 6), в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины τ, равной сумме числа инверсий значений пикселей в каждом их восьми направлений двумерного сигнала Y_i,j, , .

Например, сумма числа инверсий для направления 5 равна:

,

где i = const, j = const; Y_i,j - текущее значение пикселя изображения с координатами (i,j); Y_i+l,j, l=i+1…d - последующие значения пикселей изображения по j-ому столбцу (движение в направлении 5), d≤R, R - максимальная длина интервала квазистационарности.

Количество сочетаний, для которых вычисляется сумма инверсий, составляет:

.

Первая альтернатива (убывающий сигнал) принимается, если:

I.

Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид:

.

Гипотеза о стационарности сигнала принимается, если с₂<τ_d<с₁, где α - априорно задаваемое значение ошибки первого рода.

По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 формируются области квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:

,

где (i₁,j₁) - координаты границы направления h, (i₂,j₂) - координаты границы направления h+1.

Для направлений на изображении для одномерных реализаций, полученных из значений пикселей по вертикальным и диагональным направлениям от центрального пикселя исходного изображения определяются интервалы квазистационарности с помощью способа инверсий. Данные границы позволяют получить интервалы с монотонным изменением яркости сигнала. Далее, все восемь полученных секторов объединяются в одну область Ω. Таким образом, для каждого пикселя формируется окрестность пикселей, близких по значению яркости.

Для восстановления границ поврежденных участков, снижения уровня шума и повышения качества изображения глубины используется медианная фильтрация карты глубины после этапа реконструкции в адаптивных комбинациях окон, составленных на основе цветного изображения.

Медианная фильтрация применяется в каждой комбинированной адаптивной области Ω_i,j для всех пикселей карты глубины по формуле:

С помощью выполнения медианной фильтрации в комбинированных адаптированных областях (фиг. 7) достигается сглаживание и выравнивание краев, а также ослабление шума.

Устройство восстановления карты глубины сцены (фиг. 9) содержит блок хранения входной реализации 1, вход которого является информационным входом устройства, первый выход которого подключен к входу блока хранения цветного изображения 2, выход которого подключен к первому входу поэлементного умножителя 5 и первому входу блока определения участков квазистационарности 3, к выходу которого подключен вход блока формирования маски 4, к выходу которого подключен второй вход поэлементного умножителя 5, к выходу которого подключен первый вход блока вычисления медианной оценки 10, выход которого подключен к входу блока хранения оценки полезной составляющей 11, чей выход является информационным выходом устройства; выход счетчика текущей строки 6.1 подключен ко второму входу блока определения участков квазистационарности 3 и входу блока задержки 6.2, к выходу которого подключены четвертый вход поэлементного умножителя 5 и вход блока задержки 6.3; выход счетчика текущего столбца 6.4 подключен к третьему входу блока определения участков квазистационарности 3 и входу блока задержки 6.5, к выходу которого подключены третий вход поэлементного умножителя 5 и вход блока задержки 6.6; второй выход блока входной реализации 1 подключен к входу блока хранения карты глубины 7, выход которого подключен к входу блока формирования маски для карты глубины 8, выход которого подключен к входу блока восстановления карты глубины 9, выход которого подключен ко второму входу блока вычисления медианной оценки 10; синхронность работы устройства обеспечивается генератором тактовых импульсов 12.

Устройство восстановления карты глубины сцены реализуется следующим образом. На вход устройства поступает карта глубины и цветное изображение одной сцены, которые далее обрабатываются в двух каналах. В первом выполняется реконструкция и заполнение областей искаженных значений пикселей карты глубины, а во втором - формирование областей близкой градации яркости с использованием яркостного канала.

В каждый момент времени выбирается одна из точек исходного цветного изображения. Для нее находится область с пикселями близкой яркости с помощью способа инверсий.

Далее для восстановления поврежденных участков, снижения уровня шума и повышения качества изображения глубины используется медианная фильтрация в адаптивных комбинациях окон на основе правила пересечения доверительных интервалов, составленных с помощью цветного изображения. Медианная фильтрация применяется в каждой комбинированной адаптивной области для всех пикселей карты глубины.

Технический результат - уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора с помощью обработки изображения карты глубины с подавлением шума и восстановлением утраченных участков карты глубин.

Устройство восстановления карты глубины сцены, содержащее блок хранения входной реализации, вход которого является информационным входом устройства; блок определения участков квазистационарности, к выходу которого подключен вход блока формирования маски, к выходу которого подключен второй вход поэлементного умножителя; выход блока вычисления медианной оценки подключен к входу блока хранения оценки полезной составляющей, чей выход является информационным выходом устройства; выход счетчика текущей строки подключен ко второму входу блока определения участков квазистационарности и входу блока задержки, к выходу которого подключены четвертый вход поэлементного умножителя и вход блока задержки; выход счетчика текущего столбца подключен к третьему входу блока определения участков квазистационарности и входу блока задержки, к выходу которого подключены третий вход поэлементного умножителя и вход блока задержки; синхронность работы устройства обеспечивается генератором тактовых импульсов, отличающееся тем, что первый выход блока хранения входной реализации подключен к входу блока хранения цветного изображения, выход которого подключен к первому входу блока определения участков квазистационарности и первому входу поэлементного умножителя, выход которого подключен к первому входу блока вычисления медианной оценки; второй выход блока хранения входной реализации подключен к входу блока хранения карты глубины, выход которого подключен к входу блока формирования маски карты глубины, выход которого подключен к входу блока восстановления карты глубины, выход которого подключен ко второму входу блока вычисления медианной оценки.