Способ и устройство для захвата изображения и одновременного извлечения глубины

Изобретение относится к устройству и способу вычислительной фотосъемки, более конкретно к устройству и способу захвата в световом поле и обработки изображения. Техническим результатом является увеличение световой эффективности. Система содержит блок формирования изображений, содержащий систему линз, апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы, и датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и блок обработки данных, содержащий блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки, блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки, блок восстановления изображения и блок преобразования диспаратности в глубину. 4 н. и 36 з.п. ф-лы, 8 ил.

 

Область техники, к которой относится изобретение

Данное изобретение относится к устройству и способу вычислительной фотосъемки. Более конкретно оно относится к устройству и способу захвата в световом поле и обработки изображения. Одним из основных применений фотосъемки в световом поле является извлечение глубины сцены, т. е. вычисление расстояний до точек сцены, которые соответствуют пикселям (i,j) на изображении. Имеются различные системы для захвата изображения в световом поле и способы для дополнительного извлечения глубины: стереоскопическая камера, пленоптическая камера (камера светового поля), камеры с двоично-кодированной апертурой и/или апертурой с цветовым кодированием. К сожалению, имеет место недостаток решений, подходящих для реализации в мобильных устройствах, имеющих миниатюрную оптическую систему камеры.

Описание предшествующего уровня техники

Стереоскопическая камера обычно требует два модуля камеры (US 20130141541). Это требует дополнительного пространства и увеличивает стоимость камеры. Имеются современные способы стереосогласования («Robust stereo matching with fast normalized cross-correlation over shape-adaptive regions», K. Zhang et al., 2009), которые обеспечивают подходящее качество глубины и позволяют осуществить извлечение глубины с приемлемой вычислительной сложностью.

Количество камер может быть увеличено, что приводит к подходу матрицы камер. US 8514491 B2 (Pelican imaging) описывает камеру с матрицей 55 линз (объективов), которая может захватывать изображения в различных цветовых спектрах и со слегка различающимися положениями одновременно. Этот подход снижает разрешение и требует технологий сверхвысокого разрешения. Требуется восстановление цветного изображения из одноцветных фрагментов изображения, захваченных из различных точек.

US 8395696 и WO 2010121637 описывают пленоптические камеры, которые захватывают световое поле с использованием основной линзы с матрицей микролинз и восстанавливают исходное цветное изображение вычислительно из набора микроизображений. Это ведет к значительному уменьшению разрешения изображения (в 10-90 раз) по сравнению с исходным разрешением датчика, который регистрирует падающее световое поле. Пленоптическая камера захватывает несколько видов сцены одновременно. Это достигается помещением матрицы микролинз в общепринятую систему формирования изображений перед датчиком изображения. С использованием захваченного в световом поле изображения выполняются реконструкция захваченного в световом поле изображения и извлечение диспаратности. Пленоптическая камера требует значительной модификации аппаратного обеспечения, что также ведет к дополнительным издержкам и пространству. Эти камеры могут обеспечивать подходящее качество глубины в случае использования различных типов линз, что приводит к резкому росту стоимости. Пленоптическая камера не может достичь размера, подходящего для компоновки смартфона вследствие недостатков производства матриц микролинз.

Решения предшествующего уровня техники используют оптические системы с вставленной двоично-кодированной апертурой («Image and Depth from a Conventional Camera with a Coded Aperture», Levin et al., 2007) или апертурой с цветовым кодированием (US 20090284627). Обычно оценка глубины для двоично-кодированной апертуры основана на глубине из принципа дефокусировки. Он оценивает PSF для каждого пикселя изображения посредством применения операции обращения свертки для каждого слоя глубины. Процедура обращения свертки является некорректно поставленной задачей и требует систему линейных уравнений высокой сложности с количеством уравнений, равным количеству пикселей в обрабатываемом изображении. Кроме того, использование двоично-кодированной апертуры требует вычислительно дорогих алгоритмов и налагает строгое ограничение на размер линзы из-за дифракционных эффектов. Это делает невозможным применение этих способов для малой оптической системы.

US 20090284627 и US 20120093399 описывают способы обработки изображения и устройство с апертурой с цветовым кодированием для извлечения глубины и дополнительной обработки изображения. Эти системы основаны на принципе захвата многочисленных видов при помощи устройств, захватывающих единственное изображение, с использованием цветных фильтров («Single-eye range estimation by using displaced apertures with color filters», Amari, Y., Adelson, E. H., 1992). Цветные линии предварительно в малой прямоугольной области (часто называемой локальным движущимся окном) вокруг пикселя используются для оценки глубины (Color lines: image specific color representation, Omer I., Werman M., 2004). Малое локальное движущееся окно ведет к искажениям глубины в областях сцены с низкой текстурой. Большое движущееся окно ведет к уменьшению способности к различению глубины. Итоговое разрешение карты глубины является ограниченным вследствие способа извлечения глубины и обычно не превышает 10-20 уровней глубины. Другими недостатками этой системы являются низкая световая эффективность (~15% от эффективности общепринятой системы) и деградация качества цветного изображения.

Сущность изобретения

Задачей данного изобретения является устранение вышеупомянутых недостатков, присущих решениям, известным из предшествующего уровня техники.

Технические результаты, достигаемые при использовании настоящего изобретения, состоят в: (1) увеличении световой эффективности вследствие новых конструкций апертуры со спектральным кодированием; (2) улучшении разрешения и качества глубины вследствие субпиксельной технологии оценки, разреженного движущегося окна для вычисления статистических данных и распространения стоимости согласования спектральных каналов через объединенный двусторонний фильтр.

В одном аспекте данное изобретение обеспечивает систему для захвата изображения и извлечения глубины, причем система содержит блок формирования изображений, содержащий систему линз; апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы и датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и блок обработки данных, содержащий блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки; блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки; блок восстановления изображения и блок преобразования диспаратности в глубину.

В одном варианте осуществления данного изобретения набор по меньшей мере двух областей с различными спектральными ширинами полосы апертуры со спектральным кодированием формирует базис апертуры со спектральным кодированием. Базис обработки может отличаться от базиса датчика и базиса апертуры со спектральным кодированием.

В другом варианте осуществления апертура со спектральным кодированием имеет три области: прозрачную область в центре и две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету, где базис обработки может состоять из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьему вектору, перпендикулярному упомянутым первому и второму векторам.

В дополнительном варианте осуществления апертура со спектральным кодированием имеет две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету, где базис обработки может состоять из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьему вектору, перпендикулярному упомянутым первому и второму векторам.

В одном варианте осуществления апертура со спектральным кодированием имеет три конгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету, где базис обработки может состоять из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.

В другом варианте осуществления апертура со спектральным кодированием имеет три неконгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету, где базис обработки может состоять из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.

В дополнительных вариантах осуществления апертура со спектральным кодированием может быть зафиксирована в системе линз. Альтернативно апертура со спектральным кодированием является не фиксированной в системе линз и выдвигается из оптической системы, чтобы не участвовать в формировании изображения.

Захваченное изображение может быть изображением, выбранным из последовательности видеоизображений.

В дополнительных вариантах осуществления апертура со спектральным кодированием может быть вставлена в систему линз для получения выборочных изображений из последовательности видеоизображений; она может быть вставлена в апертурную диафрагму системы линз. Если система линз состоит из единственной линзы, то апертура со спектральным кодированием может быть расположена на упомянутой линзе. Апертура со спектральным кодированием может быть модифицирована относительно предыдущего изображения из последовательности видеоизображений, захваченной датчиком.

В вариантах осуществления данного изобретения апертура со спектральным кодированием может быть сформирована с любой комбинацией непрозрачных областей и конгруэнтных или неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы: ультрафиолетовой или инфракрасной или полосах различных видимых цветов. Кроме того, апертура со спектральным кодированием может быть реализована как пространственный модулятор света.

В другом аспекте данное изобретение обеспечивает способ для захвата изображения и извлечения глубины, причем этот способ содержит регистрацию по меньшей мере двух сдвинутых спектральных каналов светового поля для формирования захваченного изображения или последовательности видеоизображений; преобразование захваченного изображения в изображение в базисе обработки; оценку диспаратности на основе взаимосвязи между пикселями в спектральных каналах в базисе обработки для извлечения карты диспаратности; восстановление захваченного изображения на основе извлеченной карты диспаратности; преобразование карты диспаратности в карту глубины.

В одном варианте осуществления оценка диспаратности содержит генерацию кандидатных изображений с относительными сдвигами в спектральных каналах; вычисление стоимости согласования для упомянутых кандидатных изображений в спектральных каналах, распространение стоимости согласования в области с низкой текстурой и оценку стоимости согласования для кандидатных изображений с субпиксельной точностью.

В дополнительных вариантах осуществления взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, может быть вычислена с использованием метрики взаимной корреляции в разреженном движущемся окне, или может быть вычислена с использованием по меньшей мере одного алгоритма стереосогласования, выбранного из алгоритма Sum of Absolute Differences (суммы абсолютных разностей) (SAD) или алгоритма Normalized Cross Correlation (нормированной взаимной корреляции) (NCC) или алгоритма Laplasian Image Contrast (повышения контраста изображения с использованием лапласиана) (LIC). Метрика взаимной корреляции может быть эффективно вычислена с использованием быстрого преобразования Фурье или рекурсивного экспоненциального фильтра.

В вариантах осуществления данного изобретения восстановление захваченного изображения может включать в себя устранение размытости изображения и/или выравнивание спектрального канала в базисе обработки.

В еще одном другом аспекте данное изобретение обеспечивает мобильное устройство с модулем камеры для захвата изображения и извлечения глубины, работающее в ультрафиолетовом, видимом или инфракрасном спектре, содержащее систему линз; по меньшей мере одну апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с разными спектральными ширинами полосы, датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и фиксацию кодированной апертуры, позволяющую осуществить перемещение по меньшей мере одной апертуры со спектральным кодированием относительно системы линз; и блок обработки данных, содержащий: блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки; блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки; блок восстановления изображения и блок преобразования диспаратности в глубину.

В одном варианте осуществления фиксация кодированной апертуры выполняется с возможностью замены по меньшей мере двумя апертурами со спектральным кодированием друг друга в оптической системе. В другом варианте осуществления фиксация кодированной апертуры выполняется с возможностью удаления всех апертур со спектральным кодированием из оптической системы. Апертура со спектральным кодированием может быть вставлена в апертурную диафрагму блока формирования изображения.

В еще одном другом аспекте данное изобретение обеспечивает систему формирования изображения для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, причем эта система содержит блок формирования изображения, содержащий систему линз; апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с разными спектральными ширинами полосы, и датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и блок обработки данных, содержащий блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки; блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки; блок восстановления изображения и блок преобразования диспаратности в глубину.

Как отмечалось выше, заявленное изобретение решает некоторое количество проблем, каждая из которых является важной для реализации компактной оптической системы. Имеются улучшения как способа, так и устройства для захвата изображения и одновременного извлечения глубины.

Например, в противоположность US 20090284627 и US 20120093399, где система кодированной апертуры требует соответствия цветных фильтров на матрице фотодетекторов фильтрам, использованным в плоскости апертуры, данное изобретение не вводит ограничения на соответствие фильтров фотодетектора апертурным фильтрам. Предложенное изобретение обычно не использует спектральный базис спектральных фильтров (т. е. базис апертуры со спектральным кодированием) для процедуры извлечения глубины, но, следовательно, в частных случаях они могут соответствовать специальному базису обработки. Это позволяет использовать апертурные фильтры со спектральными характеристиками, отличающимися от спектральных характеристик цветных фильтров на фотодетекторе. Такое свойство данного изобретения позволяет создать конструкцию цветовой апертуры, пропускающую в 2-3 раза больше света, чем конструкция кодированной апертуры на основе RGB фильтров.

Вторым улучшением является способ извлечения диспаратности. Известный способ извлечения диспаратности, описанный в US 20090284627, использует априорную информацию о цветных линиях для вычисления метрической стоимости, где цветные линии накладывают ограничения на максимальный поддерживаемый размер окна. Этот факт ограничивает выполнение извлечения глубины в областях сцены с низкой текстурой. Искажения глубины в областях с низкой текстурой заставляют изобретателей использовать алгоритм разреза графов для очистки глубины от искажений со сложностью, в наихудшем случае пропорциональной квадрату количества пикселей изображения («Graph Cut Algorithms in Vision, Graphics and Machine Learning», S. Sinha, 2004). В противоположность этому данное изобретение обеспечивает следующие улучшения качества карты диспаратности: взаимную корреляцию каналов изображения как стоимости согласования между различными каналами изображения; разреженное локальное окно для вычисления статистических данных, которые естественно содержат априорную информацию о разреженном градиенте изображения; субпиксельную оценку, которая дает непрерывное разрешение карты глубины по оси Z посредством сдвига спектральных каналов в пространстве спектра Фурье или посредством подбора параболы и т. д.; объединенную двустороннюю фильтрацию для регуляризации стоимости согласования и распространения глубины в областях с низкой текстурой; технологию полной вариации как для субпиксельной оценки, так и для регуляризации стоимости.

Третье улучшение снижает время вычисления вследствие использования технологии рекурсивной объединенной двусторонней фильтрации для регуляризации стоимости согласования и свертки в частотной области для вычисления стоимости согласования. Вычислительная сложность способов извлечения глубины значительно снижается в случае конструкции кодированной апертуры с меньшим количеством спектральных фильтров.

В общем, результаты, описанные выше, являются осуществимыми посредством предложенной камеры светового поля на основе устройства формирования изображения с вставленной апертурой со спектральным кодированием. Апертура со спектральным кодированием состоит из некоторого количества областей, закрытых спектральными фильтрами, или прозрачных областей. Каждая область кодированной апертуры может рассматриваться как камера с точечной диафрагмой, которая наблюдает сцену из конкретной точки наблюдения. Более того, каждая область кодированной апертуры видит сцену в конкретном видимом/IR/UV спектре, предопределенном характеристиками полосы пропускания области. Световая матрица (датчик) регистрирует свет, прошедший через апертуру со спектральным кодированием. В результате зарегистрированное световой матрицей двумерное изображение является кодированным посредством формы апертуры, размера апертуры и конфигурации сцены. Однако трехмерная информация не является потерянной и может быть восстановлена посредством анализа сдвигов между спектральными каналами изображения, сформированными кодированной апертурой и зарегистрированными фотодетектором.

Процесс захвата сцены при помощи кодированной апертуры, по существу, может быть описан следующим образом:

- во-первых, захват изображения сцены через апертуру со спектральным кодированием.

- Во-вторых, преобразование данных изображения в базис обработки и разделение изображения в каналах, соответствующих различным областям апертуры со спектральным кодированием и вспомогательным каналам.

- В-третьих, определение метрической стоимости как функции относительного сдвига каналов.

- В-четвертых, выполняется метрическая очистка от искажений для распространения стоимости из областей с высокой текстурой в области с низкой текстурой и оценка стоимости субпикселей вдоль оси сдвига.

- В-пятых, выбор величины сдвига с лучшей метрической величиной сдвига для каждого пикселя. Это сформирует аппроксимацию двумерной карты диспаратности.

- В-шестых, восстановление захваченного изображения на основе извлеченной карты диспаратности.

- Наконец, карта диспаратности преобразуется в карту глубины (расстояния) в отношении параметров оптической системы.

Благодаря апертуре со спектральным кодированием, изображение, захваченное световой матрицей, имеет сдвиги каналов со спектральным кодированием, которые наблюдаются как эффект побочного изображения (ghost effect) на расфокусированных объектах. Таким образом, необходима процедура восстановления, которая компенсирует сдвиги полосы частот.

Краткое описание чертежей

Фиг. 1 - схематичная диаграмма датчика глубины и устройства восстановления изображения.

Фиг. 2 - примеры конструкций апертуры со спектральным кодированием.

Фиг. 3 - примеры видов, иллюстрирующих сдвиги каналов.

Фиг. 4 - высокоуровневая диаграмма извлечения глубины для способа восстановления изображения.

Фиг. 5 - примеры извлеченных карт диспаратности согласно первому варианту осуществления.

Фиг. 6 - примеры извлеченных карт диспаратности согласно второму варианту осуществления.

Фиг. 7 - пример вида, иллюстрирующего подбор параболы.

Фиг. 8 - примеры вариантов осуществления данного изобретения.

Подробное описание вариантов осуществления

В дальнейшем в этом документе реализация данного изобретения подробно описывается со ссылкой на сопутствующие чертежи. Однако объем данного изобретения не ограничивается этим описанием и может быть реализован в разных формах. Подробности, изложенные в этом описании, являются только примерами, обеспеченными для раскрытия и помощи специалистам в данной области техники для полного понимания данного изобретения.

Фиг. 1 показывает схематичную диаграмму извлечения глубины и устройство 101 восстановления изображения. Устройство состоит из системы 102 формирования изображения и системы 103 обработки данных. Система 102 формирования изображения состоит из линзовой оптической системы 104 (объектива), апертуры 105 со спектральным кодированием, которую можно вставлять в оптическую систему (плоскость диафрагмы предпочтительна), и датчика 106, который может различать различные спектральные ширины полос, например, датчика, перекрытого мозаичной матрицей цветных/спектральных фильтров, или датчика из пакетированных по цвету фотодиодов. Система 103 обработки данных получает необработанное изображение 107, захваченное системой 102 формирования изображения. В блоке 108 предварительной обработки захваченное изображение транслируется из базиса датчика в базис обработки (который обычно может не быть базисом фильтров апертуры со спектральным кодированием). Во-вторых, выполняется оценка (109) диспаратности. В-третьих, выполняется восстановление (110) изображения. Наконец, выполняется преобразование (111) диспаратности в глубину в отношении параметров оптической системы.

Апертура 105 со спектральным кодированием является апертурой, разделенной на подобласти, каждая из которых имеет свою собственную ширину полосы. Количество подобластей, конфигурация и спектральные ширины полос зависят от требований к применению в терминах световой эффективности, карты глубины и качества восстановления цветного изображения. Некоторые из них представлены на фиг. 2.

Фиг. 2 демонстрирует варианты конструкций апертуры со спектральным кодированием, имеющие компромисс между световой эффективностью, картой глубины и качеством восстановления цвета. Можно использовать любые спектральные фильтры f₁, f₂, … для кодирования светового поля (цветные фильтры видимого диапазона, ультрафиолетовые и инфракрасные фильтры, многопроходные фильтры, которые имеют две или более ширины полосы и т. д.) на основе возможности применения.

Ключевыми характеристиками апертуры со спектральным кодированием являются световая эффективность, способность к различению глубины и качество восстановления цветного изображения. Наивысшая оценка различения глубины достигается для конфигураций апертуры со спектральным кодированием, имеющих наибольшее расстояние между центроидами апертурных подобластей, которые соответствуют различным спектральным областям («Analyzing depth from coded aperture sets», A. Levin, 2010). Это требование приводит к конструкции апертуры, имеющей малый размер фильтра для подобластей, в то же время имеющей большое расстояние между ними (см. фиг. 2а). В результате непрозрачная область кодированной апертуры увеличивается, приводя к снижению световой эффективности этой оптической системы. Эффективный по пропусканию света вариант конструкции апертуры (см. фиг. 2b) обычно приводит к потерям точности извлеченной диспаратности.

Для конкретных применений следует находить компромисс между световой эффективностью и различением глубины. Например, при f₁=f_Cyan и f₂=f_Yellow конструкция с половинами апертуры (см. конфигурацию апертуры на фиг. 2с) имеет лучшие карты глубины, чем при f₁=f_Cyan и f₃=f_Yellow с f₂ в качестве прозрачной подобласти и f₄=f_Green (см. конфигурацию апертуры на фиг. 2d), но последняя является более эффективной по пропусканию света. Желтый цветной фильтр имеет ширину полосы, которая включает в себя зеленый и красный световые спектры. Бирюзовый цветной фильтр имеет ширину полосы, которая включает в себя зеленый и синий световые спектры. Прозрачная область не фильтрует падающий свет. Следует отметить, что зеленый канал не искажается теми фильтрами и может быть использован в качестве опоры в процедуре восстановления изображения. В случае избытка света может быть использована апертура, содержащая круглые фильтры и непрозрачную область (см. фиг. 2а), для наилучшего качества карты глубины. Конструкция с ультрафиолетовой и инфракрасной половинами (см. фиг. 3с) теоретически имеет такую же световую эффективность, как полностью открытая общепринятая апертура, и хороший потенциал для извлечения глубины, но требует дополнительной обработки для восстановления изображения и/или модификации световой матрицы. Являются возможными апертура со спектральным кодированием с более чем тремя спектральными подобластями (см. фиг. 2е) и/или плавное изменение ширины полосы по всей области апертуры (см. фиг. 2f).

Световое поле, модифицированное апертурой 105 со спектральным кодированием, поступает к датчику 106 изображения, который формирует необработанное захваченное изображение 107.

Световое поле, прошедшее через апертуру 105 со спектральным кодированием, является кодированным, что означает, что различные части спектра приходят из известных соответствующих подобластей апертуры. Таким образом, можно извлекать различные виды одной и той же сцены из единственного захваченного изображения делением ее в спектральных каналах, соответственно апертуре со спектральным кодированием.

Фиг. 3а показывает захваченное изображение 107 в случае апертуры со спектральным кодированием, показанной на фиг. 2b, и датчик, способный различить соответствующие спектральные ширины полосы. Вследствие присутствия апертуры со спектральным кодированием в оптической системе положение дефокусированного объекта (302 на фиг. 3а) относительно объекта в фокусе (301 на Фиг. 3а) меняется в отношении положения соответствующего спектрального фильтра (см. фиг. 3d, 3e, 3f). Эти виды используются для извлечения карты диспаратности и восстановления исходного изображения. Результаты устранения размытости изображения для каждого спектрального канала показаны на фиг. 3g, 3h, 3i. Цветное изображение с устраненной размытостью показано на фиг. 3b. Цветное изображение с устраненной размытостью и выровненными спектральными каналами (восстановленное изображение) показано на фиг. 3с.

Фиг. 4 показывает высокоуровневую диаграмму системы 103 обработки данных. Системным вводом является необработанное изображение 107, захваченное системой 102. На первой стадии (108) захваченное изображение {I_S1, I_S2, …} предварительно обрабатывается при помощи любых методов шумоподавления и устранения мозаичности и транслируется из спектрального базиса датчика в базис обработки (который обычно может не быть базисом спектральных фильтров), где I_Si - цветные каналы изображения, захваченные датчиком оптической системы. Для выполнения этого преобразования сначала оценивается матрица Π преобразования. Дополнительная конструкция апертуры, показанная на фиг. 2с с f₁, f₂, соответствующими бирюзовому и желтому фильтрам; и красная, зеленая, синяя мозаичная матрица цветных фильтров рассматривается для простоты. w_Cyan, w_Yellow являются цветовыми векторами, представляющими бирюзовый и желтый фильтры в цветовом пространстве RGB, соответственно. Для составления невырожденной обратимой матрицы преобразования с хорошим числом обусловленности третий базисный вектор w_X полагается равным векторному произведению w_Cyanw_Yellow. e_r, e_g и e_b являются красно-зелено-синим базисом в датчике камеры. В спектральном базисе датчика мы имеем:

Вспомогательная матрица Π строится:

С использованием матрицы Π любой наблюдаемый цвет w может быть разложен на отклики апертурных фильтров:

где w_filter является представлением интенсивности канала в базисе спектральных фильтров (бирюзовый, Х, желтый). Заметим, что матрица Π должна быть обратимой. {If_Cyan, If_X, If_Yellow} указывает на каналы захваченного изображения в базисе обработки. В случае различного количества основных векторов в базисе датчика и базисе обработки может быть использована псевдообратная матрица (левая обратная или правая обратная матрицы).

На второй стадии (109) диспаратность disp(i,j) оценивается для каждого пикселя изображения. Используется общепринятая метрика взаимной корреляции сдвинутых спектральных каналов corr(If^d _Cyan,If^d _Yellow) в качестве стоимости согласования для оценки диспаратности:

Обобщенная метрика взаимной корреляции используется в 109 для обработки произвольного количества спектральных каналов. {I_i}ⁿ ₁ представляет набор из n захваченных видов в n захваченных спектральных каналах одной и той же сцены из слегка отличающихся точек наблюдения, где I_i является кадром MN. Общепринятые матрицы M_d корреляции формируются для набора {I_i}ⁿ ₁ и значений диспаратности d:

где верхний индекс (*)^d означает параллельный сдвиг в соответствующем канале.

Определитель матрицы M_d является хорошей мерой {I_i}ⁿ ₁ взаимной корреляции. Действительно, когда все каналы являются полностью коррелированными, матрица становится особенной (вырожденной) и имеет нулевой определитель. С другой стороны, когда данные являются полностью некоррелированными, определитель равен единице. Для извлечения карты глубины с использованием этой метрики значение диспаратности d, соответствующее наименьшему значению det(M_d), следует найти для каждого пикселя изображения.

Другие метрики для вычисления стоимости согласования являются возможными, например общепринятые метрики стереосогласования, метрика повышения контраста изображения с использованием лапласиана или метрика на основе признаков.

Вычисление всех статистических данных использует общепринятое локальное движущееся окно. Тем не менее, в данном изобретении используют экспоненциальное движущееся окно, так как оно, естественно, удовлетворяет информации предшествующего уровня техники о разреженном градиенте изображения и распространяет стоимость согласования в области с низкой текстурой. Более того, фильтрация с экспоненциальным ядром может быть эффективно вычислена через умножение в спектральной области или с использованием рекурсивной О(1) свертки:

где S является результатом свертки изображения I в n-ом пикселе и  выражается уравнением:

где _spatial является коэффициентом экспоненциального затухания, который означает необходимую меру подобия изображения в пространственной области.

Это уравнение может также быть использовано для эффективной аппроксимации объединенного двустороннего фильтра, используемого для распространения информации о диспаратности к областям с низкой текстурой от их границ:

где Disp_n является диспаратностью в n-ом пикселе и α(n) является функцией меры подобия цвета изображения:

и (I_n,I_n-1) является мерой подобия между цветными изображениями в домене диапазона.

Субпиксельная оценка выполняется с использованием алгоритма подбора параболы (см. фиг. 7). Рассмотрим общепринятую подгонку параболы по трем данным точкам. Пусть d_k=argmax_d det(M_d) и d_k-1, d_k+1 являются предыдущим и последующим значением аргумента соответственно. Аргумент максимального значения параболы, однозначно подогнанной к {d_k-1,det(M_dk-1)}, {d_k,det(M_dk)} и {d_k,det(M_dk)}, может быть найден аналитически с помощью следующей формулы:

где a=0,5(d_k+1+d_k-1)-d_k, b=0,5(d_k+1-dk_-1).

Следующая стадия (110) является предварительным восстановлением Ir(x,y) изображения на основе оценки диспаратности. Во-первых, устраняется размытость (фиг. 3b) захваченного изображения (фиг. 3а). Во-вторых, выполняется выравнивание цвета изображения с устраненной размытостью (фиг. 3с). Фиг. 3а иллюстрирует схематичный пример сцены, захваченной системой. Конфигурация апертуры со спектральным кодированием показана на фиг. 2b. Система сфокусирована на объект 301, а объект 302 находится не в фокусе. Захват дефокусированного объекта 302 системой ведет к разориентации спектральных каналов световой матрицы, также как и размытости изображения, естественной для общепринятых систем 305, 306, 307 формирования изображения (фиг. 3d, 3e, 3f). Устранение размытости изображения основывается на общепринятой технологии обратной свертки и проводится отдельно для областей изображения, соответствующих различным значениям диспаратности. Например, сфокусированный объект 301 не нуждается в устранении размытости, но изображения 305, 306, 307 дефокусированного объекта 302 в каждом спектральном канале подвергаются устранению размытости в отношении их уровня диспаратности. Изображение с устраненной размытостью на фиг. 3b все еще имеет рассогласование его спектральных каналов (фиг. 3g, 3h, 3i). Векторы рассогласования , , , соответствующие спектральным каналам f₁, f₂, f₃, оцениваются в каждой точке захваченного изображения 302. На основе этих векторов получается восстановленное изображение (304) с выровненными спектральными каналами:

где i является номером спектрального канала и s_ix, s_iy являются проекциями вектора на ось X и ось Y соответственно.

Наконец, изображение преобразуется из базиса спектральных фильтров {If₁,If₂,…} в базис блока отображения {I₁,I₂,…}.

Любая система формирования изображения страдает от эффекта виньетирования, который проявляется в снижении яркости на периферии изображения по сравнению с центром изображения. В этих системах этот эффект ослабляется численно посредством следующей формулы:

где I_i,j и I_i,j ^restored являются захваченным и восстановленным изображениями в (i,j)-пикселе, соответственно, U_i,j - коэффициенты уменьшения виньетирования, которые могут быть вычислены предварительно только один раз во время калибровки оптической системы:

где I_i,j и I_i,j ^ideal являются захваченным и свободным от виньетирования изображениями известной тестовой сцены в (i,j)-пикселе соответственно.

В случае присутствия кодированной апертуры коэффициенты уменьшения виньетирования U_i,j следует вычислять для каждого спектрального канала индивидуально. Эта процедура выполняется в блоке 110 восстановления изображения.

Окончательная процедура очистки изображения от искажений применяется для уменьшения искажений, вызванных некорректной оценкой диспаратности. Применяются технологии на основе человеческого визуального восприятия (например, двусторонняя фильтрация, медианная фильтрация и т. д.) или информации предшествующего уровня техники о естественном изображении (например, информация предшествующего уровня техники о разреженном градиенте, информация предшествующего уровня техники о цветных линиях и т. д.).

Для оптических систем с единственной линзой диспаратность disp(i,j) преобразуется (111) в карту d(i,j) (114) глубины с использованием параметров 112 оптической системы, обобщенных формулой тонкой линзы:

где f является фокусным расстоянием линзы, z₁ и z₂ являются расстояниями от линзы до плоскости объекта и плоскости изображения соответственно.

Для составных объективов эта формула зависит от архитектуры оптической системы.

Устройство захвата изображения, описанное выше, может быть распространено на выполнение временного и спектрального кодирования. Временное кодирование выполняется через движение апертуры со спектральным кодированием относительно устройства захвата изображения. Это распространение позволяет осуществить удаление размытости из-за движения, также как и размытости из-за дефокусировки, благодаря известному движению кодированной апертуры.

Устройство захвата изображения, описанное выше, может извлекать глубину из фотографии, также как и из потока видеоданных, должным образом кодированных кодированной апертурой и зарегистрированных матрицей детекторов. Дополнительно апертуры со спектральным кодированием могут быть переключаемыми, что позволяет объединять данные об изображении и глубине для изображений, захваченных в присутствии и в отсутствие апертуры со спектральным кодированием. Например, процедура извлечения карты глубины может быть выполнена только для ключевых кадров (например, каждый N-ый кадр) последовательности видеоизображений и может быть восстановлена для других кадров с использованием данных об изображении и карт глубины ключевых кадров. Это повышает временную эффективность и качество изображения системы.

Кроме того, тип и конфигурация апертуры со спектральным кодированием могут автоматически меняться в отношении изображения, захваченного матрицей детекторов. Например, в условиях избыточного освещения могут быть использованы апертура, содержащая круглые фильтры, и непрозрачная область (см. фиг. 2а) вместо сокращения времени экспозиции или увеличения f-числа оптической системы.

Данное изобретение позволяет осуществить различные возможные варианты осуществления, которые целесообразны для компактных оптических камер, включающих в себя, но не ограниченных ими, камеры мобильных телефонов и устройства с Web-камерами.

Первый вариант осуществления является апертурой с цветовым кодированием, которая постоянно зафиксирована (фиг. 8а) в оптической системе камеры. Цветное изображение ухудшается, так как свет должен пройти через зафиксированную апертуру цветного фильтра. Каждый цветовой диапазон проецируется на различные места световой матрицы, приводя к эффекту побочного изображения. Извлечение глубины и восстановление цветного изображения выполняется посредством способа извлечения глубины, описанного в данном изобретении.

Второй вариант осуществления является апертурой (фиг. 8b) с цветовым кодированием, которая может вдвигаться в оптическую систему и выдвигаться из оптической системы посредством механического или электромеханического средства. В трехмерном режиме апертура с цветовым кодированием присутствует в оптической системе, позволяя получить информацию о глубине сцены и вычислительно восстановленное цветное изображение. В двумерном режиме апертура с цветовым кодированием не присутствует в оптической системе, приводя к свободному от искажений захвату двумерного изображения.

Третий вариант осуществления является апертурой со спектральным кодированием, сделанной с помощью пространственного модулятора света (SLM) (фиг. 8с), который может менять во времени спектральную ширину полосы частей апертуры с цветовым кодированием. Он может работать в двух режимах двумерном и трехмерном, как было описано во втором варианте осуществления.

Кроме того, второй и третий варианты осуществления позволяют осуществить захват чередующихся видеокадров. Один кадр захватывается в двумерном режиме, и один кадр захватывается в трехмерном режиме посредством смены апертуры немедленно перед записью кадра. В результате система может захватить два потока видеоданных. Один поток видеоданных содержит исходные цветные кадры, захваченные в двумерном режиме. Второй поток видеоданных содержит кадры, подходящие для извлечения глубины.

Четвертым вариантом осуществления является присоединяемая к смартфону линза с апертурой со спектральным кодированием (фиг. 8d). Вследствие большего размера оптической системы это решение имеет лучшее качество карт глубины, так же как и световую эффективность и качество изображения, по сравнению с встроенным решением.

Пятый вариант осуществления является комбинацией апертуры с фильтрацией спектра и датчика с цветовыми/спектральными пространствами, включающими в себя, но не ограниченными ими, RGB, RGBW, CMY, CMYG, RGB(IR) и т. д.

Данное изобретение может быть применено к любой цифровой камере, включая камеру мобильного телефона, для получения карты диспаратности/глубины с меньшими модификациями аппаратного обеспечения и недорогим алгоритмом. Полученная карта диспаратности может быть использована для сегментации изображения, цифровой пост-перефокусировки с пользовательским типом искажений (bokeh), вычислительного сдвига точки наблюдения, фильтрации изображения и других специальных эффектов.

Технический эффект данного изобретения демонстрировался на DSLR прототипе (см. результаты на фиг. 5) и прототипе мобильного смартфона с компактной оптической системой (см. результаты на фиг. 6). Оба прототипа используют апертуру со спектральным кодированием, показанную на фиг. 2с с желтым и бирюзовым спектральными фильтрами.

1. Система для захвата изображения и извлечения глубины, содержащая:
блок формирования изображений, содержащий:
систему линз;
апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы и
датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и
блок обработки данных, содержащий:
блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;
блок оценки диспаратности для извлечения карты диспаратности из изображения в базисе обработки;
блок восстановления изображения для восстановления изображения на основе извлеченной карты диспаратности; и
блок преобразования карты диспаратности в карту глубины.

2. Система по п. 1, в которой набор спектральных ширин полос, соответствующий упомянутому набору из по меньшей мере двух областей апертуры со спектральным кодированием, формирует базис апертуры со спектральным кодированием.

3. Система по п. 2, в которой базис обработки отличается от базиса датчика и базиса апертуры со спектральным кодированием.

4. Система по п. 1, в которой апертура со спектральным кодированием имеет три области: прозрачную область в центре и две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.

5. Система по п. 4, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.

6. Система по п. 1, в которой апертура со спектральным кодированием имеет две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.

7. Система по п. 6, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.

8. Система по п. 1, в которой апертура со спектральным кодированием имеет три конгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету.

9. Система по п. 8, в которой базис обработки состоит из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.

10. Система по п. 1, в которой апертура со спектральным кодированием имеет три неконгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету.

11. Система по п. 10, в которой базис обработки состоит из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.

12. Система по п. 1, в которой апертура со спектральным кодированием имеет плавное изменение ширины полосы по всей области апертуры.

13. Система по п. 1, в которой апертура со спектральным кодированием зафиксирована в системе линз.

14. Система по п. 1, в которой апертура со спектральным кодированием является не фиксированной в системе линз.

15. Система по п. 14, в которой апертура со спектральным кодированием выдвигается из оптической системы, чтобы не участвовать в формировании изображения.

16. Система по п. 1, в которой захваченное изображение может быть изображением, выбранным из последовательности видеоизображений.

17. Система по п. 1, в которой апертура со спектральным кодированием вставляется в систему линз для получения выборочных изображений из последовательности видеоизображений.

18. Система по п. 1, в которой апертура со спектральным кодированием вставляется в апертурную диафрагму системы линз.

19. Система по п. 1, в которой система линз состоит из единственной линзы и апертура со спектральным кодированием может быть расположена на упомянутой линзе.

20. Система по п. 1, в которой апертура со спектральным кодированием модифицируется относительно предыдущего видеоизображения из последовательности видеоизображений, захваченной датчиком.

21. Система по п. 1, в которой апертура со спектральным кодированием формируется с любой комбинацией непрозрачных областей и конгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы: ультрафиолетовой или инфракрасной или полосах различных видимых цветов.

22. Система по п. 1, в которой апертура со спектральным кодированием формируется с любой комбинацией непрозрачных областей и неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы: ультрафиолетовой или инфракрасной или полосах различных видимых цветов.

23. Система по п. 1, в которой апертура со спектральным кодированием является пространственным модулятором света.

24. Способ для захвата изображения и извлечения глубины, причем этот способ содержит:
регистрацию по меньшей мере двух сдвинутых спектральных каналов светового поля для формирования захваченного изображения или последовательности видеоизображений;
преобразование захваченного изображения в изображение в базисе обработки;
оценку диспаратности на основе взаимосвязи между пикселями в спектральных каналах в базисе обработки для извлечения карты диспаратности;
восстановление захваченного изображения на основе извлеченной карты диспаратности;
преобразование карты диспаратности в карту глубины.

25. Способ по п. 24, в котором упомянутая оценка диспаратности содержит:
генерацию кандидатных изображений с относительными сдвигами в спектральных каналах;
вычисление стоимости согласования для упомянутых кандидатных изображений в спектральных каналах;
распространение стоимости согласования в области с низкой текстурой, и
оценку стоимости согласования для кандидатных изображений с субпиксельной точностью.

26. Способ по п. 24, в котором взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, включает в себя метрику взаимной корреляции, вычисленную в разреженном движущемся окне.

27. Способ по п. 24, в котором взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, вычисляется с использованием по меньшей мере одного алгоритма стереосогласования.

28. Способ по п. 27, в котором упомянутый алгоритм стереосогласования выбирается из алгоритма суммы абсолютных разностей (SAD), или алгоритма нормированной взаимной корреляции (NCC), или алгоритма повышения контраста изображения с использованием лапласиана (LIC).

29. Способ по п. 26, в котором упомянутая метрика взаимной корреляции вычисляется с использованием быстрого преобразования Фурье.

30. Способ по п. 26, в котором упомянутая метрика взаимной корреляции вычисляется с использованием рекурсивного экспоненциального фильтра.

31. Способ по п. 24, в котором упомянутое восстановление захваченного изображения включает в себя устранение размытости изображения.

32. Способ по п. 24, в котором упомянутое восстановление захваченного изображения включает в себя выравнивание спектрального канала в базисе обработки.

33. Мобильное устройство с модулем камеры для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, содержащее:
блок формирования изображения, содержащий:
систему линз;
по меньшей мере одну апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с разными спектральными ширинами полосы;
датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и
фиксацию кодированной апертуры, позволяющую осуществить перемещение по меньшей мере одной апертуры со спектральным кодированием относительно системы линз; и
блок обработки данных, содержащий:
блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;
блок оценки диспаратности для извлечения карты диспаратности из изображения в базисе обработки;
блок восстановления изображения для восстановления изображения на основе извлеченной карты диспаратности; и
блок преобразования карты диспаратности в карту глубины.

34. Мобильное устройство по п. 33, в котором упомянутая фиксация кодированной апертуры выполнена с возможностью замены по меньшей мере двумя апертурами со спектральным кодированием друг друга в оптической системе.

35. Мобильное устройство по п. 33, в котором упомянутая фиксация кодированной апертуры выполнена с возможностью удаления всех апертур со спектральным кодированием из оптической системы.

36. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием вставлена в апертурную диафрагму системы линз.

37. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием сформирована с любой комбинацией непрозрачных областей и конгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы: ультрафиолетовой или инфракрасной или полосах различных видимых цветов.

38. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием сформирована с любой комбинацией непрозрачных областей и неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы: ультрафиолетовой или инфракрасной или полосах различных видимых цветов.

39. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием является пространственным модулятором света.

40. Система формирования изображения для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, содержащая:
блок формирования изображений, содержащий:
систему линз;
апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы; и
датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и
блок обработки данных, содержащий:
блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;
блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки; и
блок преобразования диспаратности в глубину.