Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах получения трехмерных моделей физических объектов. Техническим результатом является повышение качества сканирования сцены с неламбертовыми эффектами освещения. Предложено устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения. Устройство содержит блок получения изображения, блок управления, блок вычисления маски глобального освещения, блок извлечения шаблона, блок генерации адаптивных шаблонов, блок поиска пересечений, блок проецирования, блок получения информации, блок ассоциации шаблонов, блок вычисления трехмерной формы, блок тактовой частоты. 1 ил.

 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах получения трехмерных моделей физических объектов, включая: инспекцию промышленных изделий, системы быстрого прототипирования, системы построение трехмерных моделей для виртуальной реальности и медицины.

Задача трехмерной реконструкции состоит в построении математического представления геометрической информации о сцене. В большинстве существующих подходов к трехмерной реконструкции явно или неявно предполагается ламбертов закон отражающей способности каждого объекта сцены.

На практике закон отражающей способности объектов сцены отличается от закона ламберта. Особый интерес представляют объекты с сильно неламбертовым законом рассеяния: полупрозрачные, прозрачные, зеркальные, с подповерхностными эффектами рассеяния. Отклонение от закона ламберта может быть вызвано наличием глобальных эффектов освещения внутри сцены. Яркость каждой точки сцены, воспринятой сенсором, складывается из двух составляющих освещения: прямой и глобальной. Под прямой составляющей освещения понимают свет, отразившийся от сцены лишь один раз. Глобальную составляющую освещения формирует свет, претерпевающий множественные переотражения внутри сцены.

Основная решаемая задача - построение трехмерной модели сцены с неламбертовыми эффектами освещения.

Решение задачи сканирования сцены с неламбертовыми эффектами освещения может быть обеспечено разделением прямой и глобальной составляющих освещения сцены и использованием шаблонов структурированного света, учитывающих особенности сканируемой сцены.

Упрощенно способы трехмерной реконструкции сцен с неламбертовыми эффектами освещения можно разделить на следующие группы:

1) способы на основе покрытия объектов с неламбертовой отражающей способностью веществом с диффузным законом отражения;

2) способы на основе использования шаблонов высокой частоты;

3) способы на основе постобработки полученных данных сканирования.

Анализ существующих способов трехмерной реконструкции показывает, что область их использования ограничена, в условиях малого объема информации о сцене. Способы на основе покрытия объектов с неламбертовой отражающей способностью веществом с диффузным законом отражения часто неприменимы ввиду значительного влияния на сканируемый объект. Живые объекты или произведения искусства не могут быть покрыты диффузным веществом без нарушения их целостности. Способы на основе использования шаблонов высокой частоты не позволяют бороться с локальными и глобальными эффектами освещения одновременно. Таким образом, может быть устранено влияние либо локальных эффектов освещения (таких как подповерхностное рассеяние), либо глобальных (вызванных многократным переотражением света внутри сцены). Способы на основе постобработки полученных данных накладывают ограничения на свойства сканируемой сцены и принципиально не позволяют восстановить утраченную в результате влияния неламбертовых эффектов освещения информацию.

Известен способ использования структурированного света для трехмерной реконструкции объектов, подверженных эффектам глобального освещения (Structured light for 3d shape reconstruction subject to global illumination) [Patent USA № US 8811767 B2 Aug. 19, 2014]. Изобретение относится к области построения трехмерных моделей физических объектов, и в частности к способу и системе сканирования сцен, подверженных глобальным эффектам освещения. Техническим результатом является создание усовершенствованного способа сканирования сцены с использованием структурированного света. Указанный технический результат достигается за счет того, что информация о глубине сцены получается путем проецирования множества шаблонов структурированного света на сцену. Каждый из шаблонов обладает собственной пространственной частотой, что достигается использованием различных функций кодирования; получают набор изображений сцены, содержащий одно изображение для каждой пространственной частоты; значение глубины для каждого пикселя вычисляется путем декодирования полученных наборов изображений; полученные значения глубины каждого пикселя анализируются и сохраняются, если значения глубины для различных шаблонов структурированного света совпадают; в противном случае, значение глубины будет помечено как ошибочное; анализируются ошибки, связанные с различными эффектами глобального освещения; на основе анализа определяются свойства, которыми должен обладать шаблон структурированного света, чтобы быть устойчивым к ошибкам данного рода. Эти свойства влияют на пространственную частоту шаблона, проецируемого на сцену; каждые строка и столбец пикселей проектора кодируется уникальным пространственным или временным кодом, с целью формирования шаблона структурированного света; для каждого пикселя датчика камеры соответствующие строка и столбец проектора определяются посредством декодирования измеренных значений интенсивности; дальномерная информация получается путем триангуляции лучей камеры и проектора.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа являются: использование нескольких шаблонов освещения увеличивает общее время сканирования; для правильного декодирования необходимо, чтобы каждый пиксель камеры регистрировал свет лишь от одного пикселя проектора, чего сложно достичь на практике.

Известен способ распознавания трехмерной формы объектов [Патент №2491503, МПК G01B 11/24б МПК G02B 27/22]. Способ включает освещение поверхности объекта оптическим излучением, прием и регистрацию яркости отраженного оптического излучения элементов его поверхности, преобразование оптического излучения в электрический сигнал с последующим его запоминанием и анализом. В способе используют освещение поверхности объекта коллимированными пучками оптического излучения с двух взаимно перпендикулярных направлений. Форму объекта определяют по выражениям, включающим величины видеосигналов в изображении элементов поверхности объекта с двух взаимно ортогональных направлений и наблюдении с направления, совпадающего с одним из направлений освещения; номера строк и элементов строки, для которых измеряется третья координата в изображении поверхности объекта, шаг сканирования поверхности объекта соответственно вдоль координат OY и OZ.

Технический результат - устойчивость к различиям типам покрытия за счет распознавания объектов как с диффузным, так и с направленно-рассеивающим покрытием, и расширение информативности каналов оптических и оптико-электронных систем распознавания.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа являются: невозможность построения высокодетализованной модели трехмерной сцены; вычислительная сложность.

Известен способ измерения формы поверхности трехмерного объекта [Патент №2472108, МПК G01B 9/02, G01B 11/03, G01B 5/012].

Изобретение относится к измерительной технике, а именно к профилометрии, топографии. Способ измерения формы поверхности трехмерного объекта заключается в использовании матрицы зондов, содержащих в верхней части жестко закрепленные светоотражательные элементы, размещенных в обойме с множеством параллельных направляющих, расположенных в узлах двумерной сетки с известными координатами Xi, Yi точек контакта каждого зонда относительно центра обоймы, позволяющих каждому зонду свободно двигаться вдоль оси Z, перпендикулярной измеряемой поверхности. Предварительно осуществляют калибровку матрицы зондов по высоте путем измерения координат Zi каждого зонда в положении контакта всех зондов с эталонной плоской гладкой поверхностью, нормаль к которой совпадает с Z направлением. При взаимном перемещении исходного трехмерного объекта и обоймы с матрицей зондов в плоскости XY измеряют координаты Xo, Yo центра обоймы и координат Zoi каждого зонда в положении контакта всех зондов с объектом, формы поверхности вычисляют на основании данных о разности указанных выше координат Xo-Xi, Yo-Yi, Zoi-Zi и повторяют измерения при необходимости. Технический результат заключается в обеспечении возможности измерения формы поверхности динамических объектов, в повышении точности измерений высоты трехмерных объектов и в уменьшении времени сканирования.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа являются: использование сложной оптической системы приводит к высокой сложности производства и обслуживания устройства; использование жестко закрепленных светоотражательных элементов приводит к невозможности изменения рабочего объема устройства.

Наиболее близким к изобретению является способ и устройство измерения формы объекта с использованием кодированного структурированного света (Optical acquisition of object shape from coded structured light) [Patent EU № ЕР 2372648 А3]. Метод измерения формы объекта с использованием кодированного структурированного света основан на проецировании структурированного света в виде множества измерительных и одной опорной линий на объекты сцены; измерение формы объекта производится по интервалам между точками пересечений; производится захват изображения объекта с проекцией структурированного света, сгенерированного на основе данных шаблона; производится извлечение точек пересечения на захваченном изображении; производится извлечение информации о форме объекта по промежуткам между точками пересечения опорной и измерительных линий.

Признаки способа и устройства его реализующего - прототипа, совпадающие с признаками заявляемого технического решения, следующие: позволяет построить трехмерную модель сканируемой сцены.

Недостатками известного способа и устройства, его реализующего, являются: невозможность работы со сценами с глобальными эффектами освещения; невозможность работы с неламбертовыми сценами: зеркальными, полупрозрачными, испытывающими эффекты подповерхностного рассеяния.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит: блок проецирования световых шаблонов, блок генерации световых шаблонов, блок получения изображений сцены, блок извлечения шаблона из изображения сцены, блок ассоциации шаблонов, блок поиска пересекающихся областей, блок извлечения информации, блок вычисления трехмерной формы.

Предлагаемое устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения позволяет получать трехмерные модели сцены в виде облака точек. Устройство реализует следующий алгоритм.

На первом шаге выполняется калибровка системы камера-проектор. Калибровка позволяет учесть искажения вносимые оптикой камеры и проектора. Калибровка камеры сводится к получению внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ей. Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.

Для представления 2D-координат точки на плоскости используется вектор-столбец вида [ u v 1 ] T , а для задания положения 3D-точки в мировых координатах - [ x w y w z w 1 ] T . Для проецирования точек трехмерного пространства на плоскость изображения используется матрица, имеющая следующий вид:

Параметры внутренней калибровки

Матрица внутренней калибровки А содержит 5 значимых параметров. Эти параметры соответствуют фокусному расстоянию, углу наклона пикселей и положению принципиальной точки оптической системы. В частности, αх и αy соответствуют фокусному расстоянию, измеренному в ширине и высоте пикселя, u0 и v0 - координатам принципиальной точки, а y=αy*tanφ, где φ - угол наклона пикселя.

Параметры внешней калибровки R, T (где R - вектор 3×1 или матрица 3×3 поворота, Т - вектор 3×1 переноса) - параметры внешней калибровки, определяющие преобразование координат, переводящее координаты точек сцены из мировой системы координат в систему координат, связанную с камерой.

На втором шаге производится определение оптических свойств сканируемой сцены путем разделения прямой и глобальной компонент освещения с использованием шаблонов высокой частоты. Разделение прямой и глобальной компонент освещения позволяет получить важную информацию о материалах сцены, а также улучшить эффективность методов реконструкции на основе структурированного света. Яркость It(ρ) пикселя ρ∈(x,y) в момент времени t представляет собой комбинацию прямой I d t и глобальной I g t компонент. Если бинарный шаблон освещает сцену - прямая компонента освещенности модулируется шаблоном. Если шаблон состоит из равного количества светлых и темных пикселей и имеет высокую пространственную частоту в сравнении с I g t , вклад глобальной компоненты в яркость пикселя составляет 1 2 I g t . Таким образом, имеем:

Здесь st∈{0,1} - значение шаблона, спроецированного на пиксель камеры х. Положение камеры и проектора в пространстве, а также их внутренние параметры калибровки фиксированы и не зависят от геометрии сцены.

На третьем шаге производится генерация набора шаблонов структурированного света, структура которых зависит от оптических свойств сканируемой сцены. Используется временная кодировка с шаблонами переменной частоты. Двоичная кодировка состоит из последовательности двоичных образов, в которых каждый кадр представляет собой одну из битовых плоскостей двоичного представления целочисленных индексов столбцов проектора.

На четвертом шаге производится сканирование сцены с использованием сгенерированных шаблонов структурированного света.

На пятом шаге производится построение трехмерной модели сцены путем триангуляции лучей камеры и проектора.

Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения (фиг. 1) содержит блок получения изображения, 1, первый вход которого является информационным входом устройства, выход которого подключен к входу блока вычисления маски глобального освещения 3 и первому входу блока извлечения шаблона 4, выход которого к первому входу блока ассоциации шаблонов 9, второму входу блока получения информации 8 и входу блока поиска пересечений 7, выход подключен к первому входу блока получения информации 8, выход которого подключен к третьему входу блока ассоциации шаблонов 9, выход которого подключен к первому входу блока вычисления трехмерной формы 10, выход которого подключен к первому входу блока хранения 12, выход которого является информационным выходом устройства; первый выход блока управления 2 подключен к второму входу блока получения изображения 1, второй выход блока управления 2 подключен к второму входу блока извлечения шаблона 4 и второму входу блока генерации адаптивных шаблонов 5, третий выход блока управления 2 подключен к второму входу блока вычисления трехмерной формы 10; выход блока вычисления маски глобального освещения 3 подключен к первому входу блока генерации адаптивных шаблонов 5, выход которого подключен к второму входу блока ассоциации шаблонов 9 и входу блока проецирования 6, выход которого подключен к второму входу блока храненения 12; синхронность работы устройства обеспечивается генератором тактовых импульсов 11.

Устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения работает следующим образом. С помощью блока управления 2 генерируется управляющий сигнал, поступающий на второй вход блока генерации адаптивных шаблонов 5, на выходе которого формируется шаблон для разделения локальной и глобальной составляющих освещения, поступающий на блок проецирования 6. С помощью устройства управления 2 генерируется управляющий сигнал, поступающий на второй вход блока получения изображения 1, на выходе которого формируется изображение сцены с наложенным шаблоном для разделения локальной и глобальной составляющих освещения, который поступает на блок вычисления маски глобального освещения 3, на выходе которого формируется маска глобального освещения, которая поступает на первый вход блока генерации адаптивных шаблонов 5. С помощью блока управления 3 формируется управляющий сигнал, который поступает на вход блока вычисления трехмерной формы 10, второй вход блока извлечения шаблона 4 и второй вход блока генерации адаптивных шаблонов 5. На выходе блока генерации адаптивных шаблонов 5 формируется последовательность шаблонов, полученных на основе маски глобального освещения. Сформированная последовательность шаблонов подается на вход блока проецирования 9. Осуществляется проецирование последовательности шаблонов на сцену. На вход блока получения изображений 1 поступает последовательность изображений сцены с наложенными шаблонами структурированного света. С выхода получения изображений 1 последовательность изображений сцены передается на вход блока извлечения шаблона 4, где происходит извлечение шаблонов, наложенных на сцену. На вход блока поиска пересечений и второй вход блока получения информации 8 подается результат извлечения шаблонов. В блоке поиска пересечений 7 формируется маска пересечений, которая подается на первый вход блока получения информации 8. В блоке получения информации 8 производится извлечение дальномерной информации о сцене, которая подается на третий вход блока ассоциации шаблонов 9. С выхода блока генерации адаптивных шаблонов 5 последовательность сгенерированных шаблонов поступает на второй вход блока ассоциации шаблонов 9. Извлеченные шаблоны с выхода блока извлечения шаблона 4 поступают на первый вход блока ассоциации шаблонов 9, в котором производится постобработка дальномерной информации о сцене. Результат постобработки поступает на первый вход блока вычисления трехмерной формы 10. Данные с выходов блока проецирования 6 и блока вычисления трехмерной формы 10 поступают на входы блока хранения 12, выход которого является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 11.

Технический результат - получение высококачественной модели трехмерной сцены с неламбертовыми эффектами освещения.

Устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения, содержащее блок получения изображения, блок проецирования, блок извлечения шаблона, блок поиска пересечений, блок получения информации, блок ассоциации шаблонов, блок вычисления трехмерной формы, отличающееся тем, что информационным входом устройства являет первый вход блока получения изображения; выход блока получения изображения подключен ко входу блока вычисления маски глобального освещения и к первому входу блока извлечения шаблона; ко второму входу блока получения изображения подключен первый выход блока управления; ко второму выходу блока управления подключен второй вход блока извлечения шаблона и второй вход блока генерации адаптивных шаблонов; к третьему выходу блока управления подключен второй вход блока вычисления трехмерной формы; к выходу блока вычисления маски глобального освещения подключен первый вход блока генерации адаптивных шаблонов; выход блока извлечения шаблона подключен к первому входу блока ассоциации шаблонов, входу блока поиска пересечений и второму входу блока получения информации; выход блока поиска пересечений подключен к первому входу блока получения информации, выход которого подключен к третьему входу блока ассоциации шаблонов; выход блока генерации адаптивных шаблонов подключен к входу блока проецирования и второму входу блока ассоциации шаблонов; выход блока ассоциации шаблонов подключен к первому входу блока вычисления трехмерной формы; выходы блоков проецирования и блока вычисления трехмерной формы подключены к входам блока хранения, выход которого является информационным выходом устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов.



 

Похожие патенты:

Изобретение относится к идентификации нарушений анатомических структур. Техническим результатом является повышение точности диагностирования анатомических структур пациента.

Изобретение относится к системам определения цвета цветового образца по изображению цветового образца. Техническим результатом является устранение искажения изображения известных калибровочных цветов за счет применения преобразования перспективы в зависимости от местоположения идентифицированных точек на изображении.

Группа изобретений относится к вариантам выполнения устройства обнаружения трехмерных объектов. Устройство содержит: модуль 41 задания областей обнаружения для задания области обнаружения позади с правой стороны и с левой стороны от транспортного средства; модули 33, 37 обнаружения трехмерных объектов для обнаружения трехмерного объекта, который присутствует в правосторонней области A1 обнаружения или левосторонней области A2 обнаружения позади транспортного средства, на основе информации изображений из камеры 10 сзади транспортного средства; модуль 34 оценки трехмерных объектов для определения того, представляет или нет обнаруженный трехмерный объект собой другое транспортное средство VX, которое присутствует в правосторонней области A1 обнаружения или левосторонней области A2 обнаружения.

Изобретение относится к области сегментации текущих диагностических изображений. Техническим результатом является повышение точности сегментации диагностических изображений.

Изобретение относится к навигации интервенционного устройства. Техническим результатом является повышение точности навигации интервенционного устройства внутри трубчатой структуры объекта.

Изобретение относится к области техники медицинской диагностики методом визуализации. Техническим результатом является повышение точности регистрации двумерных/трехмерных изображений.

Изобретение относится к области техники выравнивания упорядоченного стека изображений разрезанного образца. Техническим результатом является повышение точности выравнивания каждого изображения образца, разделенного на части.

Изобретение относится к области планирования лучевой терапии. Техническим результатом является снижение лучевой нагрузки на здоровую ткань за счет того, что к идентифицированному контуру поверхности добавляют непостоянную граничную область.

Изобретение относится к способу автоматической сегментации структур мозга. Техническим результатом является повышение точности и надежности идентификации структурной атрофии после черепно-мозговой травмы.

Изобретение относится к области обработки информации посредством использования результатов распознавания. Технический результат - обеспечение вывода нового результата распознавания, используя возможность повторного использования результатов вывода, полученных от множества механизмов распознавания.

Измерительное приспособление для автоматического трехмерного обмера помещения содержит съемочный аппарат, выполненный с возможностью получения видеоизображений низкого разрешения.

Изобретение относится к области планирования лучевой терапии. Технический результат заключается в минимизации не являющейся необходимой дозы облучения для пациента.

Проявляющий картридж, выполненный с возможностью съемной установки в основной узел электрофотографического устройства формирования изображения, включает в себя электрофотографический светочувствительный барабан; проявляющий валик для проявления электростатического скрытого изображения, сформированного указанным электрофотографическим светочувствительным барабаном; раму барабана, поддерживающую указанный электрофотографический светочувствительный барабан; проявляющую раму, поддерживающую указанный проявляющий валик, причем указанная проявляющая рама выполнена с возможностью перемещения относительно указанной рамы барабана и способна принимать контактирующее положение, в котором указанный проявляющий валик контактирует с указанным электрофотографическим светочувствительным барабаном, и отстоящее положение, в котором указанный проявляющий валик отстоит от указанного электрофотографического светочувствительного барабана; и устройство, воспринимающее силу, которое включает в себя первый участок, воспринимающий силу, для восприятия первой внешней силы, и второй участок, воспринимающий силу, для восприятия второй внешней силы, причем указанный второй участок, воспринимающий силу, выполнен с возможностью перемещения относительно указанной проявляющей рамы, при этом указанный второй участок, воспринимающий силу, помещен в положение готовности, в которое он отведен из рабочего положения указанным первым участком, воспринимающим силу, воспринимающим первую внешнюю силу, и выполнен с возможностью перемещения из положения готовности в рабочее положение для перемещения указанной проявляющей рамы из контактирующего положения в отстоящее положение, причем расстояние, на которое перемещается указанный второй участок, воспринимающий силу, из положения готовности в рабочее положение, больше расстояния, на которое перемещается первый участок, воспринимающий силу, под действием первой внешней силы.

Изобретение относится к области сейсмической разведки. Техническим результатом является повышение точности определения акустического импеданса для данных сейсморазведки.

Изобретение относится к области обработки и отображения пространственной информации для построения топографических карт. Технический результат - обеспечение отображения пространственной информации посредством определения точных значений геометрических параметров отображения объектов.

Изобретение относится к устройствам обнаружения трехмерных объектов. Техническим результатом является повышение точности оценки естественных трехмерных объектов.

Изобретение относится к средству создания цифровых моделей геологических пластов. Техническим результатом является обеспечение точного отображения неоднородности геологического строения пласта в трехмерной сетке при наименьшем количестве слоев.

Изобретение относится к области машиностроения. В процессе проектирования задают технические требования к характеристикам насоса и устанавливают набор параметров, характеризующих геометрию элементов насоса.

Изобретение относится к способу определения объемов и площадей поверхностей клеток диатомовых водорослей, предусматривающему отбор и фотографирование водорослей, компьютерное построение трехмерных геометрических моделей путем создания каркаса, покрываемого полигональной поверхностью, расчеты объемов и площадей водорослей по полученным моделям.

Изобретение относится к области акустики и предназначено для создания акустических волн в газовой среде. Способ генерирования акустических волн осуществляется путем образования колебательного тела из облака ионизированного газа в электростатическом поле с последующим моделированием колебательного тела высокочастотным электрическим полем, при этом в качестве электростатического поля используется переменное электрическое поле.

Изобретение относится к компьютерным системам визуализации пористых пород. Техническим результатом является повышение точности сегментации данных при построении модели образца пористой среды. Предложен способ построения модели образца пористой среды. Способ включает в себя этап приема данных изображения низкого разрешения, сгенерированных с использованием измерения с более низким разрешением, выполненного на первом образце пористой среды. Далее, согласно способу осуществляют прием данных изображения высокого разрешения, представляющих характеристики аспектов малого второго образца пористой среды, причем данные высокого разрешения сгенерированы с использованием измерения с более высоким разрешением, выполненного на малом втором образце. 3 н. и 29 з.п. ф-лы, 9 ил.

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах получения трехмерных моделей физических объектов. Техническим результатом является повышение качества сканирования сцены с неламбертовыми эффектами освещения. Предложено устройство трехмерной реконструкции сцен с неламбертовыми эффектами освещения. Устройство содержит блок получения изображения, блок управления, блок вычисления маски глобального освещения, блок извлечения шаблона, блок генерации адаптивных шаблонов, блок поиска пересечений, блок проецирования, блок получения информации, блок ассоциации шаблонов, блок вычисления трехмерной формы, блок тактовой частоты. 1 ил.

Наверх