Автоматическое построение 3d модели лица по серии 2d изображений или по видеофильму

Изобретение относится к распознаванию личности человека по изображению. Технический результат - повышение точности трехмерной реконструкции лица. Способ автоматического построения 3D модели лица человека содержит этапы: получение по меньшей мере двух 2D изображений первого вида, определение области лица человека на каждом из упомянутых 2D изображениях первого вида; построение по меньшей мере одной промежуточной 3D модели области лица на основании по меньшей мере одного упомянутого 2D изображения первого вида; определение ракурса лица человека на по меньшей мере одной промежуточной 3D модели; изменение ракурса области лица на упомянутой промежуточной 3D модели; преобразование полученной по меньшей мере одной 3D модели области лица в по меньшей мере одно 2D изображение второго вида; определение области лица человека на по меньшей мере одном 2D изображении второго вида; определение координат сопряженных точек областей лица на по меньшей мере двух 2D изображениях, из которых по меньшей мере одно является 2D изображением второго вида; осуществление преобразования упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида; вычисление из полученных координат сопряженных точек положения и матрицы калибровки источника на по меньшей мере одном 2D изображении первого вида области лица в трехмерной системе координат и реконструирование двумерных координат сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц. 3 н. и 6 з.п. ф-лы, 16 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области распознавания образов, а именно к задаче распознавания личности человека по изображению, с помощью способа, устройства и машиночитаемого носителя для автоматического построения 3D модели лица по серии 2D изображений.

УРОВЕНЬ ТЕХНИКИ

Известен способ построения трехмерной модели лица с помощью стереокамеры в целях автоматического распознавания лица человека (RU 2012101848, от 19.01.2012), в котором две или более стереокамер располагают на некотором расстоянии между собой, при этом каждая из стереокамер реконструирует свое трехмерное изображение части лица, потом отдельные части совмещают в одно общее трехмерное изображение, по которому производится распознавание человека.

Недостатками указанного способа является техническая сложность его воплощения, причем кадры должны быть сняты в один и тот же момент времени, а также невозможность работы с уже готовыми изображениями или последовательностью кадров, например, видеофильмом.

Известны способы построения трехмерной модели лица лишь по одной или нескольким 2Б изображениям лица. В этих способах получение двумерного изображения может осуществляться всего одной видеокамерой, однако, при этом увеличивается сложность и уменьшается точность построения трехмерной модели лица, которая негативно может повлиять на точность дальнейшего распознавания или идентификации лица человека.

Среди упомянутых способов известны способы построения трехмерной формы лица человека по одному или более 2Б изображениям, в котором используется трехмерная деформируемая модель лица (US 20070080967 A1, US 7853085 B2, US 7643685 B2, US 7643683 B2, US 7643671 B2, ANIMETRICS INC.). В известных способах на вход устройства поступает изображение лица, а параметры и положения трехмерной модели лица подбираются таким образом, чтобы проекция модели наиболее точно совпадала с изображением лица на серии 2Б изображений.

Недостатками известных способов являются:

- ограниченная точность реконструкции, так как трехмерная форма лица описывается некоторой моделью с конечным числом параметров. Поэтому восстановленная форма лица лишь примерно совпадает с исходным лицом. Простая модель может давать ухудшение результатов при изменении расы или возраста человека,

- точность построения зависит от точности определения на двумерном изображении координат некоторых выбранных точек в уголках губ, глаз и других основных элементов лица, называемых антропометрическими точками. В этих точках осуществляется контроль совпадения проекции трехмерной модели с исходным изображением лица;

- первоначальной информацией для построения трехмерной модели являются двумерные координаты антропометрических точек, получаемая трехмерная модель не содержит в себе дополнительной информации, кроме уже присутствующей в двумерном изображении, поэтому может не давать преимущества при распознавании с помощью трехмерного алгоритма сравнения лиц;

- возникает сложность в восстановлении мимических искажений формы лица, так как модель не может быть обучена для повтора всех существующих мимических выражений;

- чем точнее трехмерная модель может аппроксимировать различные формы лица человека, тем дольше время подбора параметров модели для нахождения трехмерной формы лица данного человека.

Другим из возможных способов является известный метод реконструкции трехмерной сцены, по серии изображений под разными углами зрения в случае, когда элемент реконструированной сцены является жестким объектом. Хотя лишь с некоторым приближением можно считать форму лица человека неизменяемой, такой способ тоже представляет интерес. В типичных условиях камеру устанавливают неподвижно, лицо человека перемещается в пространстве в зоне контроля. В системе координат, связанной с лицом, лицо является неподвижным, а камера перемещается относительно предмета, поэтому задачу сводят к реконструкции трехмерной сцены несколькими камерами, взаимное расположение которых заранее неизвестно (см. Д. Форсайт, Ж. Понс, «Компьютерное зрение. Современный подход», Пер. с англ, М.: Издательский дом «Вильяме», 2004 г.). Данную задачу решают поиском сопряженных точек на разных проекциях изображения трехмерной сцены, которые соответствуют одинаковым точкам трехмерной сцены. Эти точки на разных проекциях связаны соотношением Лонгета-Хиггинса (см. Д. Форсайт, Ж. Понс, «Компьютерное зрение. Современный подход», Пер. с англ, М.: Издательский дом «Вильяме», 2004 г., стр. 312) через фундаментальную матрицу, которая содержит в себе информацию о взаимном положении камер. За исключением некоторых вырожденных случаев, которые в общем случае для рассматриваемого изобретения не представляют интереса, фундаментальная матрица может быть рассчитана из двумерных координат сопряженных точек. Факторизация фундаментальной матрицы приводит к матрицам калибровки внутренних и внешних параметров камеры в разных положениях относительно предмета трехмерной сцены. Такая процедура хорошо известна и реализована, например, в библиотеке компьютерного зрения OpenCV. После того, как матрицы калибровки определены для каждого положения камеры, реконструкцию всех точек сцены выполняют стандартными алгоритмами, основанными на триангуляции лучей, выходящих из сопряженных точек на разных проекциях.

Указанный способ является прототипом настоящего изобретения.

Недостатками известного способа являются высокая чувствительность погрешностей реконструкции к точности определения двумерных сопряженных точек, что приводит к искажению трехмерной реконструкции, а также сложность использования указанного способа, в применении к реконструкции формы лица человека, поскольку необходимо учитывать следующие факторы:

1) трехмерная сцена должна быть сегментирована на лицо и задний план, так как реконструкция возможна лишь для жесткого тела, у которого относительные размеры не меняются, а когда человек перемещается в пространстве, то лицо человека и задний план не являются одновременно жестким телом;

2) в типичных условиях эксплуатации камера видеонаблюдения охватывает большую площадь, и на изображении камеры лицо человека занимает небольшую площадь, при этом углы зрения на различные сопряженные точки, найденные на лице на разных кадрах, достаточно малы. Например, типичными условиями является распознавание лица, имеющего характерные размеры между точками лица порядка 10 см, как в глубину, так и в ширину, с расстояний до камеры несколько метров. В этом случае небольшие погрешности в определении координат сопряженных точек на разных кадрах приводят к большим погрешностям в определении положений камеры относительно лица в разные моменты времени, что вносит ошибку в точность трехмерной реконструкции;

3) для использования указанного способа изображения лица должны быть получены на различных кадрах в различных положениях: чем больше расстояние между различными положениями лица, тем больше стереобаза и лучше точность триангуляции (см. Д. Форсайт, Ж. Понс, «Компьютерное зрение. Современный подход», Пер. с англ, М.: Издательский дом «Вильяме», 2004 г.), в то же время, чем больше перемещение лица, тем больше время между кадрами и больше вероятность того, что изображение лица будет получено с существенным изменением ракурса, причем изменение ракурса негативно влияет на точность вычисления координат антропометрических точек.

Известен также способ, основанный на использовании метода Ransac (https://ru.wikipedia.org/wiki/RANSAC), в котором среди всех найденных сопряженных точек итеративно отбрасываются точки, вносящие наибольшую ошибку в результат. Однако даже использование указанного способа в случае недостаточно высокой точности определения большинства сопряженных точек, зачастую бывает недостаточным для получения качественной реконструированной трехмерного изображения формы лица.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей настоящего изобретения является создание способа получения качественной трехмерной модели лица человека, в целях повышения точности распознавания лиц на основе сравнения трехмерных форм лиц, позволяющего определить большое количество сопряженных точек на двумерном изображении лица, захваченного с помощью только одного источника, такого как видеокамера, фотокамера, последовательность кадров и т.п.

Техническим результатом является повышение точности трехмерной реконструкции лица.

Заявленный технический результат достигается за счет способа автоматического построения 3D модели лица человека, содержащего этапы, на которых:

- получают от источника данных, информацию содержащую, по меньшей мере, два 2D изображения первого вида, содержащие отображение лица человека;

- определяют область лица человека на каждом из упомянутых 2D изображений первого вида;

отличающегося тем, что

- строят, по меньшей мере, одну промежуточную 3D модель области лица, на основании, по меньшей мере, одного упомянутого 2D изображения первого вида;

- определяют ракурс лица человека на, по меньшей мере, одной промежуточной 3D модели;

- изменяют ракурс области лица на упомянутой промежуточной 3D модели;

- преобразовывают полученную, по меньшей мере, одну 3D модель области лица в, по меньшей мере, одно 2D изображение второго вида;

- определяют область лица человека на, по меньшей мере, одном 2D изображении второго вида;

- определяют координаты сопряженных точек областей лица на, по меньшей мере, двух 2D изображениях, из которых, по меньшей мере, одно является 2D изображением второго вида;

- осуществляют преобразование упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида;

- из полученных координат сопряженных точек вычисляют положение и матрицы калибровки источника на, по меньшей мере, одном 2D изображении первого вида области лица в трехмерной системе координат,

и реконструируют двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц.

В частном варианте осуществления изобретения источником данных является видеокамера, или фотокамера, или стереокамера, или последовательность кадров.

В частном варианте осуществления изобретения последовательность кадров представляет собой видеофайл.

В частном варианте осуществления изобретения выполняют поворот промежуточной 3D модели для изменения ракурса.

В частном варианте осуществления изобретения осуществляют определение координат антропометрических точек лица человека на, по меньшей мере, одном 2D изображении первого вида, которые используют для изменения ракурса 3D модели.

В частном варианте осуществления изобретения промежуточная трехмерная модель является деформируемой трехмерной моделью лица, форму и ориентацию которой в трехмерном пространстве подбирают таким образом, чтобы антропометрические точки на трехмерной модели имели проекции на различные 2D изображения первого вида, максимально близкие к координатам двумерных антропометрических точек, определенных на этих 2D изображениях.

В частном варианте осуществления изобретения координаты двумерных антропометрических точек определяют с помощью двумерного алгоритма поиска.

Так же, настоящее изобретение реализуется с помощью устройства и машиночитаемого носителя, которые будут раскрыты далее в настоящих материалах заявки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На Фиг. 1 изображена общая последовательность этапов способа автоматического построения 3D модели лица.

На Фиг. 2-3 представлены изображения лица человека, снятые одной камерой под разными углами зрения.

На Фиг. 4-8 изображена промежуточная трехмерная модель области лица.

На Фиг. 9-10 представлены выровненные по ракурсу изображения лица, на которых вычислены сопряженные точки.

На Фиг. 11-12 представлены сопряженные точки на исходных изображениях, вычисленные по координатам сопряженных точек, выровненных по ракурсу изображений лица.

На Фиг. 13-15 представлена трехмерная реконструкция видимой части лица.

На Фиг. 16 представлен общий вид устройства, реализующего заявленный способ.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Для устранения недостатков способа, описанного в прототипе, в настоящем изобретении предлагается использовать предварительное преобразование изображений лица человека, полученных из серии 2D изображений, или из последовательности кадров, например, видеозапись (видеофильм). В настоящем способе применяется метод изменения ракурса области лица человека на исходных изображениях, для чего осуществляется построение промежуточной трехмерной модели лица человека и ее последующее преобразование до необходимого ракурса.

В этом случае поиск сопряженных точек осуществляют предварительно на выровненных по ракурсу изображениях лица на каждом из кадров 2D изображения. В данном способе важна обратимость и непрерывность функции преобразования по выравниванию ракурса. В случае использования трехмерной модели лица для ее поворота, можно указать взаимно однозначное обратимое соответствие между исходными точками на изображении лица на исходных кадрах и точками на выровненном изображении лица, при условии видимости указанных точек на изображениях. Обратимость и непрерывность выравнивания не является тривиальной в общем случае для произвольного способа выравнивания к нужному ракурсу.

Последнее обстоятельство означает, что сопряженные точки могут быть первоначально получены не на исходных изображениях, а на выровненных по ракурсу, и после этого пересчитаны достаточно точно на исходные изображения. Действительно, проективное преобразование и преобразование поворота и пространственного переноса системы координат трехмерной модели лица являются непрерывными функциями, поэтому справедливо соотношение:

lim(ε′)=0 при ε→0,

где ε - погрешность определения сопряженной точки на выровненном изображении лица, ε′ - погрешность определения сопряженной точки на исходном изображении лица.

На Фиг. 1 приведена последовательность этапов заявленного способа (100) автоматического построения 3D модели лица, которые выполняются в предпочтительном варианте осуществления заявленного изобретения.

На этапе (101) получают от источника данных информацию, содержащую, по меньшей мере, два 2D изображения первого вида, содержащие отображение лица человека. Исходные изображения - изображения первого вида, получают от источника данных, такого как: фотокамера, видеокамера, стереокамера или уже готовая последовательность кадров/изображений, например, видеофильм. На Фиг. 2-3 представлены полученные от источника данных снимки, представляющие собой 2D изображения, снятые одной камерой под разными углами зрения.

Далее на этапе (102) определяют область лица человека на каждом из полученных от источника 2D изображений.

На этапе (103) выполняют построение, по меньшей мере, одной промежуточной 3D модели области лица человека, которая строится по исходным изображениям, причем упомянутая промежуточная модель может быть построена по, по меньшей мере, одному 2D изображению, полученному от источника. На Фиг. 4-8 показан процесс построения 3D модели области лица по исходным 2D изображениям. Полученная модель позволяет свободно оперировать ее положением в пространстве независимо от ракурса исходных 2D изображений.

Затем на этапе (104) определяют ракурс лица человека на полученной промежуточной 3D модели, причем может использоваться как одна, так и множество промежуточных 3D моделей. Если ракурс упомянутой промежуточной 3D модели сильно отличается от ракурса области лица человека, то осуществляют его изменение на этапе (105), для чего выполняют поворот модели области лица до необходимого положения. На Фиг. 9-10 показаны выровненные по ракурсу исходные изображения с камеры с помощью трехмерной модели лица, и на них определены сопряженные точки.

На этапе (106) выполняют преобразование полученной, по меньшей мере, одной 3D модели области лица в, по меньшей мере, одно 2D изображение - изображение второго вида, которое будет иметь необходимый ракурс отображения области лица человека. Далее на этапе (107) определяют область лица человека на, по меньшей мере, одном 2D изображении второго вида и на этапе (108) определяют координаты сопряженных точек областей лица. Для этого используются, по меньшей мере, два 2D изображения, из которых, по меньшей мере, одно является 2D изображением второго вида. Ракурс необходимо изменить таким образом, чтобы получалась группа из, по меньшей мере, двух 2D изображений со схожими ракурсами, по которым можно с высокой степенью точности определить сопряженные точки, причем в упомянутую группу могут входить как только 2D изображения второго вида, так и одно 2D изображение первого вида и одно или более 2D изображений второго вида.

На этапе (109) осуществляют преобразование упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида, что показано на Фиг. 11-12. Затем на этапе (110) из полученных координат сопряженных точек вычисляют положение и матрицы калибровки источника на, по меньшей мере, одном 2D изображении первого вида области лица в трехмерной системе координат. На этапе (111) реконструируют двумерные координаты сопряженных точек областей лица на, по меньшей мере, одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц. Результат построения модели, которая имеет правильные пропорции и глубину, показан на Фиг. 13-15.

В частном варианте осуществления заявленного изобретения для выполнения поворота 3D модели области лица осуществляют определение координат антропометрических точек лица человека на, по меньшей мере, одном 2D изображении первого вида, которые используют для осуществления упомянутого поворота 2D изображения первого вида. Промежуточная трехмерная модель лица может представлять деформируемую трехмерную модель, форму и ориентацию которой в трехмерном пространстве подбирают таким образом, чтобы антропометрические точки на трехмерной модели имели проекции на различные 2D изображения первого вида, максимально близкие к координатам двумерных антропометрических точек, определенных на этих 2D изображениях. Координаты двумерных антропометрических точек определяют с помощью двумерного алгоритма поиска, например, описанного в работе: Wibowo, Moh Edi & Tjondronegoro, Dian W., «Gradual training of cascaded shape regression for facial landmark localization and pose estimation», In International Conference on Multimedia and Expo 2013, 15-19 July 2013, San Jose, CA.

На Фиг. 16 представлен общий вид устройства (200) для автоматического построения 3D модели лица человека. Устройством (200) может являться различный вид программно-аппаратных комплексов, пригодных для осуществления задач автоматического построения 3D модели лица человека, содержащих средство обработки в виде одного или более процессоров (210) и память (220) для хранения машиночитаемых инструкций для автоматического построения 3D-модели лица человека, выполняемых, по меньшей мере, одним процессором (210), и при выполнении которых выполняются вышеуказанные шаги способа автоматического построения 3D модели лица человека, раскрытого в настоящих материалах заявки.

В качестве устройства (200) может использоваться, например, один или более стационарных и/или мобильных компьютеров, объединенных посредством сети передачи данных проводного и/или беспроводного типа, карманный компьютер (КПК), планшет, смартфон, фаблет, мейнфрейм и т.п. Память (220) в зависимости от типа устройства (200) может представлять собой, но не ограничиваться: оперативное запоминающее устройство (ОЗУ; RAM), постоянное запоминающее устройство (ПЗУ; ROM), кэш-память, флэш-память, жесткий диск, твердотельный накопитель или любой другой подходящий компонент памяти.

Заявленное изобретение так же воплощено на машиночитаемом носителе данных, который содержит машиночитаемые инструкции для автоматического построения 3D модели лица человека, которые при их обработке одним или более процессором выполняют вышеуказанные шаги способа автоматического построения 3D модели лица человека. Носитель данных может быть пригодным для применения в вышеупомянутом устройстве автоматического построения 3D модели лица человека, и может представлять собой, но не ограничиваться: USB-флэш карту, SD-, Micro SD -, Mini SD-, XD-, MMC-карту памяти, CD-, DVD-, BlueRay-диск, HDD-, SSD - жесткий диск или любой другой пригодный носитель данных.

Изложенные в настоящих материалах заявки сведения об осуществлении заявленного изобретения не должны трактоваться как сведения, ограничивающие иные, частные варианты осуществления заявленного изобретения, не выходящие за пределы раскрытия информации заявки, и которые должны являться очевидными для специалиста в данной области техники, имеющего обычную квалификацию, на которых рассчитано заявленное техническое решение.

Предложенный способ рекомендован к использованию в аэропортах, вокзалах, метрополитене для использования в системах идентификации личностей, статистического анализа, контроля попыток безбилетного прохождения турникетов, в правоохранительных органах для поиска правонарушителей в потоке людей, для идентификации пользователей компьютера, а также для идентификации личностей на предприятиях с пропускным режимом.

1. Способ автоматического построения 3D модели лица человека, содержащий этапы, на которых:
- получают от источника данных информацию, содержащую по меньшей мере два 2D изображения первого вида, содержащие отображение лица человека;
- определяют область лица человека на каждом из упомянутых 2D изображений первого вида;
отличающийся тем, что
- строят по меньшей мере одну промежуточную 3D модель области лица на основании по меньшей мере одного упомянутого 2D изображения первого вида;
- определяют ракурс лица человека на по меньшей мере одной промежуточной 3D модели;
- изменяют ракурс области лица на упомянутой промежуточной 3D модели;
- преобразовывают полученную по меньшей мере одну 3D модель области лица в по меньшей мере одно 2D изображение второго вида;
- определяют область лица человека на по меньшей мере одном 2D изображении второго вида;
- определяют координаты сопряженных точек областей лица на по меньшей мере двух 2D изображениях, из которых по меньшей мере одно является 2D изображением второго вида;
- осуществляют преобразование упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида;
- из полученных координат сопряженных точек вычисляют положение и матрицы калибровки источника на по меньшей мере одном 2D изображении первого вида области лица в трехмерной системе координат
и реконструируют двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц.

2. Способ по п. 1, отличающийся тем, что источником данных является видеокамера, или фотокамера, или стереокамера, или последовательность кадров.

3. Способ по п. 2, отличающийся тем, что последовательность кадров представляет собой видеофайл.

4. Способ по п. 1, отличающийся тем, что выполняют поворот промежуточной 3D модели для изменения ракурса.

5. Способ по п. 4, отличающийся тем, что осуществляют определение координат антропометрических точек лица человека на по меньшей мере одном 2D изображении первого вида, которые используют для изменения ракурса 3D модели.

6. Способ по п. 5, отличающийся тем, что промежуточная трехмерная модель является деформируемой трехмерной моделью лица, форму и ориентацию которой в трехмерном пространстве подбирают таким образом, чтобы антропометрические точки на трехмерной модели имели проекции на различные 2D изображения первого вида, максимально близкие к координатам двумерных антропометрических точек, определенных на этих 2D изображениях.

7. Способ по п. 6, отличающийся тем, что координаты двумерных антропометрических точек определяют с помощью двумерного алгоритма поиска.

8. Устройство для автоматического построения 3D модели лица человека, содержащее:
- один или более процессоров;
- память для хранения машиночитаемых инструкций;
причем упомянутые инструкции при их выполнении по меньшей мере одним процессором реализуют способ по любому из пп. 1-7.

9. Машиночитаемый носитель данных, содержащий машиночитаемые инструкции для автоматического построения 3D модели лица человека, которые при их обработке одним или более процессором выполняют способ по любому из пп. 1-7.



 

Похожие патенты:

Изобретение относится к вычислительной технике, а именно к системам обработки изображений. Техническим результатом является уменьшение погрешности определения расстояния от объектов сцены до камеры сенсора.

Изобретение относится к области обработки данных трехмерного изображения. Технический результат - обеспечение улучшения визуализации данных 3D-изображения без снижения качества изображения.

Изобретение относится к средствам обнаружения препятствий при движении транспортного средства. Техническим результатом является повышение точности обнаружения движущегося объекта при движении транспортного средства.

Изобретение относится к средствам обнаружения препятствий при движении транспортного средства. Техническим результатом является повышение точности обнаружения движущегося объекта при движении транспортного средства.

Изобретение относится к области геофизики и может быть использовано для обработки сейсмических данных. Согласно заявленному решению сейсмограммы общего угла отражения, или сейсмограммы общего азимута, или сейсмограммы, включающие и общие углы отражения, и общие азимутальные углы, создаются по мере миграции данных.

Изобретение относится к системам обработки видеосигнала. Техническим результатом является обеспечение автоматизированного перехода между 3D и 2D форматами посредством оценки показателей форматов путем сравнения подкадров 3D с заранее заданным пороговым значением.

Данное изобретение относится к области генерации и обработки трехмерного (3D) видеосигнала. Технический результат - обеспечение одновременного отображения 3D видеосигнала и 2D видеосигнала на 3D дисплее.

Изобретение относится к трехмерному визуальному представлению изображений и, более конкретно, к морфологическому сглаживанию (МС) при повторном проецировании одного или более двухмерных изображений.

Изобретение относится к области авиации и может быть использовано для проведения мероприятий по скрытию летательных аппаратов (ЛА) военного назначения от средств радиолокационной разведки.

Изобретение относится к обработке видео для временного полуавтоматического дополнения видео, такого как назначение информации глубины для преобразования монокулярной видеопоследовательности в стерео или назначение цветовой информации для преобразования полутонового видео в цветное.

Изобретение относится к технологиям обработки и генерации данных изображения, визуализации трехмерного (3D) изображения. Техническим результатом является обеспечение возможности отображать на видимом изображении реальную текстуру фото или видеоизображения объекта. Предложен способ отображения объекта. Согласно способу формируют 3D модель, получают фотоизображения или видеоизображения объекта, визуализируют 3D модель. Сохраняют в памяти устройства отображения 3D модель вместе с эталонным образом, а также координаты участков текстурирования, соответствующие полигонам 3D модели. Получают, по меньшей мере, один кадр фотоизображения или видеоизображения объекта, на основе эталонного образа осуществляют распознавание объекта на кадре. При наличии более одного кадра осуществляют выбор из них с точки зрения качества изображения, формируют матрицу преобразования координат фотоизображения в собственные координаты, окрашивают элементы 3D модели в цвета соответствующих элементов фотоизображения путем формирования текстуры области считывания изображения с использованием матрицы преобразования координат и интерполяции данных с последующим назначением текстуры 3D модели. 2 н. и 14 з.п. ф-лы, 4 ил.

Изобретение относится к технологиям обработки трехмерной видеоинформации. Техническим результатом является обеспечение улучшения визуализации трехмерной видеоинформации за счет двойной передачи вспомогательных данных. Предложен способ обработки трехмерной [3D] видеоинформации для генерирования транспортного потока данных для передачи 3D видеоинформации, совместимой с заранее заданной 2D цепочкой распределения видео. Трехмерная видеоинформация содержит 3D видеоданные и вспомогательные данные. 3D видеоданные содержат, по меньшей мере, левое изображение и правое изображение, которые должны быть отображены для соответственных глаз зрителя для создания 3D эффекта. Вспомогательные данные размещены для отображения в области наложения на 3D видеоданные. Согласно способу размещают 3D видеоданные левого изображения и правого изображения в 2D кадре для основных видеоданных в основном размещении. 4 н. и 10 з.п. ф-лы, 12 ил.

Изобретение относится к трехмерному дисплею, в частности, но не исключительно, к трехмерному дисплею, допускающему взаимодействие с пользователем. Технический результат - создание трехмерного интерактивного дисплея, допускающего взаимодействие с пользователем. Трехмерная система отображения содержит корпус дисплея и несколько проекторов для одновременного проецирования составляющих двухмерного изображения в объем трехмерного дисплея, включающий облако частиц, причем каждый проектор содержит приспособление для регулирования расстояния проецируемого изображения от проектора, и каждый проектор установлен на корпусе дисплея с возможностью поворота для регулирования горизонтального и вертикального положения проецируемой составляющей двухмерного изображения относительно проектора, при этом составляющие двухмерного изображения комбинируются для формирования изображения трехмерного объекта, имеющего по меньшей мере одну внешнюю поверхность, причем каждая составляющая изображения формирует область внешней поверхности. 4 н. и 14 з.п. ф-лы, 32 ил.

Изобретение относится к способу передачи данных трехмерного изображения. Технический результат - расширение арсенала технических средств. Предложено устройство-источник 3D для вывода сигнала трехмерного изображения, причем сигнал трехмерного изображения содержит данные многоракурсного изображения, причем устройство-источник 3D содержит вход для приема данных изображения; формирователь, выполненный с возможностью формирования сигнала трехмерного изображения на основе данных изображения, причем сигнал трехмерного изображения содержит первый компонент, содержащий множество 2D-изображений для использования в стереоскопическом визуальном отображении, второй компонент, содержащий данные наложения, и третий компонент, определяющий информацию, сигнализирующую о диспаратности, для использования в наложении данных изображения поверх соответствующих данных множества 2D-изображений. Новая информация, сигнализирующая о диспаратности, в дополнительном третьем компоненте аннулирует информацию, сигнализирующую о диспаратности, в третьем компоненте. 5 н. и 7 з.п. ф-лы, 6 табл., 9 ил.

Изобретение относится к области отображения геопространственной информации для создания трехмерных цифровых моделей объектов и территорий. Технический результат - обеспечение повышения оперативности доступа к актуальной информации на конкретную территорию. Способ получения, обработки и отображения геопространственных данных в формате 3D с применением технологии лазерного сканирования, при котором с помощью лазерного сканера выполняют сканирование заданной территории, определяют пространственные координаты X, Y, Z точек отраженного лазерного луча от объектов заданной территории, создают интерфейсную подсистему подготовки и постоянного обновления геопространственных данных в формате 3D и передают в нее результаты сканирования, получают цифровую метрическую точечную модель заданной территории в формате 3D, создают административную подсистему в виде сервера геопространственных данных в формате 3D и передают в нее вышеуказанную модель, создают систему поиска нужного фрагмента территории и доступа к нему, получают нужный фрагмент территории в виде цифровой метрической точечной модели заданной территории в формате 3D. 1ил.

Изобретение относится к устройству и способу вычислительной фотосъемки, более конкретно к устройству и способу захвата в световом поле и обработки изображения. Техническим результатом является увеличение световой эффективности. Система содержит блок формирования изображений, содержащий систему линз, апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы, и датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и блок обработки данных, содержащий блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки, блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки, блок восстановления изображения и блок преобразования диспаратности в глубину. 4 н. и 36 з.п. ф-лы, 8 ил.

Изобретение относится к технологиям предоставления стереоскопического меню на трехмерных дисплеях. Техническим результатом является обеспечение улучшенного управления внешним видом стереоскопического меню, путем воздействия на внешний вид меню во время воспроизведения видеоданных. Предложен способ управления внешним видом стереоскопического меню во время воспроизведения видеоданных. Стереоскопическое меню содержит два или более графических элементов, причем данные элементы расположены на соответствующих глубинах. Способ включает в себя этап, на котором осуществляют проверку, запрещено ли управление внешним видом стереоскопического меню. В случае если управление внешним видом стереоскопического меню не запрещено, осуществляют прием, по меньшей мере, одного входного сигнала, указывающего, следует ли увеличить или уменьшить глубину стереоскопического меню и на какую величину. 2 н. и 6 з.п. ф-лы, 7 ил.

Изобретение относится к технологиям визуализации объемных данных. Техническим результатом является улучшение визуализации объема за счет того, что пиксельное значение проекции основано на взвешенном значении элемента изображения. Предложена система для генерации двумерной проекции набора данных объемного изображения. Система содержит детектор особенностей для детектирования особенности в наборе данных объемного изображения. Система также содержит подсистему вычисления расстояния для вычисления расстояния от особенности до элемента изображения набора данных объемного изображения. Кроме того, в состав системы входит подсистема взвешивания для взвешивания значения элемента изображения на основании расстояния для получения взвешенного значения элемента изображения. 5 н. и 8 з.п. ф-лы, 10 ил.

Изобретение относится к медицине, лучевой диагностике и может применяться в рамках персонализации в планировании хирургического приема у больных с периферическими объемными образованиями легких (ООЛ). Способ трехмерной реконструкции бронхососудистых структур у больных с ООЛ на основе КТ-ангиопульмонографии включает проведение КТ в режиме двухфазного спирального сканирования. Скан болюс-трекинга устанавливают на уровне, соответствующем нижнему контуру дуги аорты. Выделяют фрагмент аксиальной томограммы (ROI), где будут отслеживать плотность в режиме реального времени, в области просвета верхней полой вены, на уровне ее максимального диаметра, с сохранением автоматического старта сканирования во время первой фазы при достижении внутри ROI значений коэффициента ослабления рентгеновского излучения (КО) +140HU. При локализации ООЛ в верхних отделах легких сканирование производят в краниокаудальном направлении, при локализации в нижних отделах - в каудокраниальном. При этом получают максимальную разницу диапазонов КО просветов легочных артерий (ЛА) и вен (ЛВ). Вторую фазу сканирования начинают через 10 с после окончания первой, направление сканирования - обратное предыдущей фазе. Полученные для каждой фазы данные в виде первой и второй постконтрастных серий аксиальных томограмм реконструируют с толщиной реконструкции 1 мм и инкрементом 0,8 с использованием гибридного фильтра реконструкции. Далее производят анатомическую синхронизацию данных обеих постконтрастных серий, в окне первой серии создают маску порогового значения, включающую в себя ЛА, ЛВ, бронхи и ООЛ, с использованием верхнего и нижнего порогов диапазона КО, соответствующих законтрастированной крови в просветах ЛА, с последующим трехмерным заполнением области, соответствующей ЛА. Затем процедуру создания маски повторяют для второй серии томограмм с использованием верхнего и нижнего порогов диапазона КО, соответствующих законтрастированной крови в просветах ЛВ, с заполнением области, соответствующей ЛВ. Далее область, соответствующую ЛА, переносят в окно второй серии и осуществляют трехмерное заполнение бронхиального дерева и ООЛ. В завершение постпроцессорной обработки с учетом сегментарного строения производят присуждение цветов для ветвей ЛА, ЛВ, бронхиального дерева, ООЛ с представлением полученных результатов в виде трехмерной модели. Способ обеспечивает получение диагностических изображений с большой разницей интервалов ослаблений рентгеновского излучения от просветов ЛА и ЛВ и высококачественных трехмерных реконструкций с цветовым картированием ЛА, ЛВ, бронхов и ООЛ, получение данных от всей области интереса вне зависимости от расстояния между объектами и без проведения предварительного тест-болюса, что ускоряет процедуру. 2 ил.

Изобретение относится к технологиям обработки, генерации данных изображения, анализу изображения, в том числе текстуры, визуализации трехмерного изображения. Техническим результатом является обеспечение ограничения доступа пользователю к формированию среды дополненной реальности за счет осуществления проверки действительности кода активации. Предложен способ формирования среды дополненной реальности с помощью пользовательского устройства. Способ содержит этап, на котором получают данные от датчиков пользовательского устройства, связанные с объектом, осуществляют распознавание объекта и генерирование виртуального объекта. Далее согласно способу осуществляют проверку подлинности идентифицирующего набора рисунков, содержащих объекты, кода активации, для чего его направляют на сервер, где в случае положительного результата проверки формируют команду активации процесса формирования среды дополненной реальности и передают ее на пользовательское устройство. Далее получают данные, связанные с объектом, в виде по меньшей мере одного кадра фото- или видеоизображения объекта. 9 з.п. ф-лы, 3 ил.

Изобретение относится к распознаванию личности человека по изображению. Технический результат - повышение точности трехмерной реконструкции лица. Способ автоматического построения 3D модели лица человека содержит этапы: получение по меньшей мере двух 2D изображений первого вида, определение области лица человека на каждом из упомянутых 2D изображениях первого вида; построение по меньшей мере одной промежуточной 3D модели области лица на основании по меньшей мере одного упомянутого 2D изображения первого вида; определение ракурса лица человека на по меньшей мере одной промежуточной 3D модели; изменение ракурса области лица на упомянутой промежуточной 3D модели; преобразование полученной по меньшей мере одной 3D модели области лица в по меньшей мере одно 2D изображение второго вида; определение области лица человека на по меньшей мере одном 2D изображении второго вида; определение координат сопряженных точек областей лица на по меньшей мере двух 2D изображениях, из которых по меньшей мере одно является 2D изображением второго вида; осуществление преобразования упомянутых координат сопряженных точек областей лица в двумерные координаты сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида; вычисление из полученных координат сопряженных точек положения и матрицы калибровки источника на по меньшей мере одном 2D изображении первого вида области лица в трехмерной системе координат и реконструирование двумерных координат сопряженных точек областей лица на по меньшей мере одном 2D изображении первого вида в трехмерную модель лица с помощью упомянутых матриц. 3 н. и 6 з.п. ф-лы, 16 ил.

Наверх