Патенты автора Лемпицкий Виктор Сергеевич (RU)
Быстрый двухслойный нейросетевой синтез реалистичных изображений нейронного аватара по одному снимку // 2764144
Изобретение относится к области компьютерной графики и может быть использовано для синтеза говорящей головы, анимации лица. Техническим результатом является повышение разрешения и повышение быстродействия. Предложенная система создает нейронные аватары по одной фотографии. Согласно предложенному подходу внешний вид человека моделируется путем разложения его на два слоя. Первый слой - это зависящее от позы грубое изображение, которое синтезируется относительно малой нейросетью. Второй слой определяется независимым от позы текстурным изображением, содержащим высокочастотные детали. Текстурное изображение создается в автономном режиме и искажается, а затем добавляется к грубому изображению, чтобы обеспечить высокое эффективное разрешение синтезированных видов головы. 9 з.п. ф-лы, 2 ил.
Изобретение относится к средствам создания двумерных изображений трехмерной сцены, видимых из различных точек обзора. Технический результат заключается в синтезировании из облаков точек двумерного изображения сцены, просматриваемой с требуемой точки обзора, с высоким качеством и низкими вычислительными затратами. Принимают трехмерное облако точек, полученное из множества двумерных изображений одной и той же сцены, причем каждую точку облака задают трехмерными координатами в мировой системе координат и векторным представлением точки. Задают точку обзора как камеру, имеющую внутренние параметры и внешние параметры. Преобразуют трехмерные координаты каждой точки в двумерные координаты и глубину каждой точки в системе координат экранного пространства камеры, используя внутренние параметры и внешние параметры; задают множество лучей, расходящихся от точки обзора, причем лучи заданы координатами экранного пространства и внутренними параметрами и внешними параметрами. Группируют точки в наборы точек, ассоциированные с лучами, причем каждый набор точек содержит точки, через которые проходит один луч, и в каждом наборе точек точки располагаются в порядке уменьшения их глубины относительно точки обзора. Вычисляют для каждого луча векторное представление луча путем агрегирования векторных представлений точек и глубин соответствующего набора точек с помощью обученного предиктора машинного обучения. Проецируют векторные представления лучей на плоскость изображения, причем предыдущие этапы выполняют для заданного множества масштабов. Осуществляют слияние плоскостей изображения во множестве масштабов с помощью обученного предиктора машинного обучения в двумерное изображение. 2 н. и 4 з.п. ф-лы, 5 ил.
НЕЙРОННАЯ ТОЧЕЧНАЯ ГРАФИКА // 2729166
Изобретение относится к компьютерной графике. Технический результат заключается в повышении рендеринга. Способ рендеринга изображений на дисплее, заключающийся в том, что: получают облако точек с нейронными дескрипторами D для каждой точки и параметрами C камеры для облака точек в качестве входных данных; оценивают направления точек наблюдения по входным данным с помощью программного обеспечения для оценки положения и геометрии камеры; растеризуют точки облака точек посредством алгоритма z-буфера с использованием нейронных дескрипторов, объединенных с направлениями точек наблюдения, в качестве псевдоцветов; пропускают растеризованные точки через нейронную рендерную сеть для получения конечного изображения, обучая при этом нейронные дескрипторы каждой точки и нейронную сеть; осуществляют рендеринг с применением функции потерь конечного изображения на дисплее как эталона. Изобретение может быть реализовано в любой системе, где применяется компьютерная графика (игры, VR, AR), настольном компьютере, ноутбуке, мобильном телефоне. 2 н. и 12 з.п. ф-лы, 1 табл., 7 ил.
Изобретение относится к системам мобильной виртуальной реальности, в частности к системам мобильной виртуальной реальности, осуществляющим отслеживание положения пользователя с 6 степенями свободы с помощью камеры смартфона в качестве единственного устройства формирования изображения. Технический результат заключается в обеспечении более простой, эффективной, точной и надежной оценки положения для усиления погружения в виртуальную реальность. Такой результат достигается благодаря тому, что оценка положения пользователя осуществляется, когда пользователь держит голову в естественном положении, смотря прямо перед собой в горизонтальном направлении. Маркерная система отслеживания положения пользователя для виртуальной реальности включает в себя: установленную на пользователе камеру и напольный маркер, при этом перед камерой может быть установлено наклонное зеркало так, что поле обзора камеры перенаправлено вниз. 8 з.п. ф-лы, 2 ил.
Изобретение относится к области обработки цифровых данных. Технический результат заключается в повышение скорости поиска схожих объектов по облакам точек. Заявленный результат достигается за счет получения облака точек размера N=2D, описывающего объект, где D - параметр глубины; формирования kd-дерева Т глубины D для полученного облака точек, причем дерево содержит корневой узел, листовые узлы и нелистовые узлы; генерирования для каждой точки облака вектора признаков, описывающего упомянутую точку; рекуррентного вычисления вектора параметров признаков, описывающих нелистовые узлы дерева, причем каждый вектор параметров вычисляется путем композиции поэлементного нелинейного преобразования и мультипликативного преобразования векторов признаков дочерних узлов с матрицей и свободным членом, определяемыми глубиной узла и направлением разбиения, соответствующим узлу в kd-дереве; вычисляют вектор признаков, описывающий корневой узел дерева; применения к вычисленному вектору признаков линейного или нелинейного финального классификатора, предсказывающего вектор вероятностей отнесения объекта к тому или иному семантическому классу. 3 н. и 1 з.п. ф-лы, 3 ил.
Группа изобретений относится к вычислительной области техники, в частности к визуальным маркерам и способам их продуцирования, которые могут использоваться в робототехнике, виртуальной и дополненной реальности. Техническим результатом является повышение точности распознавания и локализации визуальных маркеров. Способ содержит этапы, на которых: формируют синтезирующую нейронную сеть, переводящую последовательность бит в изображения визуальных маркеров; формируют рендерную нейронную сеть, преобразующую входные изображения визуальных маркеров в изображения, содержащие визуальные маркеры; формируют распознающую нейронную сеть, переводящую изображения, содержащие визуальные маркеры, в последовательности бит; обучают совместно синтезирующую, рендерную и распознающую нейронную сеть путем минимизации функции потери, отражающей вероятность правильного распознавания случайных битовых последовательностей; синтезируют визуальные маркеры путем пропускания битовых последовательностей через обученную синтезирующую нейронную сеть; получают набор изображений визуальных маркеров из источника видеоданных; извлекают из полученного набора изображений визуальных маркеров закодированные битовые последовательности посредством распознающей нейронной сети. 3 н. и 18 з.п. ф-лы, 11 ил.
Изобретение относится к вычислительным системам, основанным на биологических моделях, а именно к обучению глубоких нейронных сетей на основе распределений попарных мер схожести. Технический результат - повышение точности обучения и уменьшение временных затрат для настройки параметров обучения глубоких представлений входных данных. Способ обучения глубоких нейронных сетей на основе распределений попарных мер схожести заключается в том, что получают размеченную обучающую выборку, где каждый элемент обучающей выборки имеет метку класса, к которому он принадлежит; формируют набор непересекающихся случайных подмножеств обучающей выборки входных данных для глубокой нейронной сети таким образом, что при объединении они представляют собой обучающую выборку; передают каждое сформированное подмножество обучающей выборки на вход глубокой нейронной сети, получая на выходе глубокое представление данного подмножества обучающей выборки; определяют все попарные меры схожести между полученными на предыдущем шаге глубокими представлениями элементов каждого подмножества; определенные на предыдущем шаге меры схожести между элементами, которые имеют одинаковые метки классов, относят к мерам схожести положительных пар, а меры схожести между элементами, которые имеют разные метки классов, относят к мерам схожести отрицательных пар; определяют вероятностное распределение значений мер схожести для положительных пар и вероятностное распределение значений мер схожести для отрицательных пар посредством использования гистограммы; формируют функцию потерь на основе определенных на предыдущем шаге вероятностных распределений мер схожести для положительных пар и отрицательных пар; минимизируют сформированную функцию на предыдущем шаге потерь с помощью метода обратного распространения ошибки. 9 з.п. ф-лы, 7 ил.
СПОСОБ КОРРЕКЦИИ ИЗОБРАЖЕНИЯ ГЛАЗ С ИСПОЛЬЗОВАНИЕМ МАШИННОГО ОБУЧЕНИЯ И СПОСОБ МАШИННОГО ОБУЧЕНИЯ // 2596062
Группа изобретений относится к медицинской технике, а именно к средствам обработки изображений и видеоданных изображения глаз собеседников во время проведения видеочатов, видеоконференций. Способ машинного обучения предиктора для коррекции ориентации взгляда на изображении состоит в том, что получают множество пар изображений, содержащих внутри каждой пары изображения одного и того же человека, определяют положения глаз на каждой паре изображений, обучают предиктор, выдающий корректирующий вектор смещения, так чтобы для каждой пары изображений при замене цветовых компонент каждого пикселя первого изображения из пары на цветовые компоненты другого пикселя первого изображения из пары, смещенного согласно предсказанию предиктора, получилось изображение, максимально похожее на второе изображение пары и сохраняют предиктор. Способ коррекции изображения глаз характеризуется тем, что загружают предиктор, получают, по крайней мере, один кадр лица человека, определяют положения глаз человека на изображении и формируют две прямоугольные области, близко описанные вокруг глаз, заменяют цветовые компоненты каждого пикселя в области глаз на цветовые компоненты пикселя, смещенного согласно предсказанию предиктора машинного обучения. Техническим результатом изобретений является повышение точности коррекции изображения глаз при уменьшении ресурсоемкости процесса обработки видеоизображения. 2 н. и 11 з.п. ф-лы, 4 ил.
