Способ воздействия на виртуальные объекты дополненной реальности



Способ воздействия на виртуальные объекты дополненной реальности
Способ воздействия на виртуальные объекты дополненной реальности

 

G06F3/048 - Вводные устройства для передачи данных, подлежащих преобразованию в форму, пригодную для обработки в вычислительной машине; выводные устройства для передачи данных из устройств обработки в устройства вывода, например интерфейсы (пишущие машинки B41J; преобразование физических переменных величин F15B 5/00,G01; получение изображений G06T 1/00,G06T 9/00; кодирование, декодирование или преобразование кодов вообще H03M; передача цифровой информации H04L)

Владельцы патента RU 2617557:

Аверьянов Виталий Витальевич (RU)
Комиссаров Андрей Валерьевич (RU)

Изобретение относится к области воздействия на виртуальные объекты дополненной реальности. Техническим результатом является повышение точности, а также скорости описывания движения видеокамеры. Способ характеризуется тем, что определяют координаты устройства для создания и просмотра дополненной реальности, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени при помощи кватернионов, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени. 6 з.п. ф-лы, 2 ил.

 

Область техники, к которой относится изобретение

Данное изобретение относится к способам воздействия на виртуальные объекты дополненной реальности, при которых определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

В данной работе используются следующие термины.

Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.

Точка интереса (характерная точка) - точка изображения, обладающая высокой локальной информативностью. В качестве численной меры информативности предлагаются различные формальные критерии, называемые операторами интереса. Оператор интереса должен обеспечивать достаточно точное позиционирование точки в плоскости снимка. Необходимо также, чтобы положение точки интереса обладало достаточной устойчивостью к фотометрическим и геометрическим искажениям изображения, включающим неравномерные изменения яркости, сдвиг, поворот, изменение масштаба, ракурсные искажения.

Фильтр Калмана - эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений.

Пирамиды изображений - это коллекция изображений, получаемая из исходного изображения путем его последовательного сжимания, пока не достигнута точка останова (естественно, конечной точкой может быть один пиксель).

(англ. smartphone - умный телефон) - телефон, дополненный функциональностью карманного персонального компьютера.

Уровень техники

В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров.

Известен способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, см. описание к патенту РФ на изобретение №2451982 от 27.05.2012.

Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения как способа.

Недостатком этого прототипа является то, что взаимодействие с виртуальными объектами производится при помощи отдельного устройства, именно оно и определяет положение в пространстве пользователя и необходимость реагирования путем на изменение положения пользователя. А простое изменение положения в пространстве устройства для создания и просмотра дополненной реальности не приводит к изменению виртуального объекта, кроме изменения его ориентации на дисплее устройства.

Раскрытие изобретения

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ воздействия на виртуальные объекты дополненной реальности, при котором определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности, формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства, определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат, задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат, выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства, что и является поставленной технический задачей.

Для достижения этой цели определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства, располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности, вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени, формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

Благодаря данным выгодным характеристикам появляется возможность обеспечения дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства. Это происходит вследствие того, что становится возможным точное определение положения устройства для создания и просмотра дополненной реальности, включая направление, в котором оно находится. И именно в этом направлении и становится возможным выполнять заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

Отметим, что вектор может быть задан любым образом, не только направлением, а также и тремя координатами, одной или несколькими координатами и одним или несколькими углами, полярными координатами, углами Эйлера, кватернионами.

Существует вариант изобретения, в котором формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.

Благодаря данной выгодной характеристике появляется возможность рассчитывать направление, в котором находится устройство для создания и просмотра дополненной реальности в режиме реального времени и в каждый следующий момент времени рассчитывать поправки к предыдущему расчетному положению.

Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.

Благодаря данной выгодной характеристике появляется возможность использовать специализированные методы поиска точек интереса, а именно:

1. Метод SIFT (Scale Invariant Feature Transform) обнаруживает и описывает локальные особенности изображения. Получаемые с помощью него признаки инвариантны относительно масштаба и поворота, устойчивы к ряду аффинных преобразований, шуму. Он заключается в использования пирамиды Гаусса, которая строится для изображения. Далее изображения приводятся к одному размеру, и вычисляется их разность. Причем в качестве кандидатов точек интереса выбираются только те пиксели, которые сильно отличаются от остальных, это делается, например, путем сравнения каждого пикселя изображения с несколькими соседними данного масштаба, с несколькими соответствующими соседями в большем и меньшем масштабе. Пиксель выбирается как точка интереса только в том случае, если его яркость является экстремумом.

2. PCA-SIFT (РСА, Principal Component Analysis - анализ главных компонент) дескриптор - одна из вариаций SIFT, в которой уменьшается размерность дескриптора с помощью анализа главных компонент. Это достигается с помощью нахождения пространства собственных векторов, на которое впоследствии проецируются вектора признаков.

3. SURF (Speeded Up Robust Features), который в несколько раз быстрее SIFT. В данном подходе для ускорения поиска точек интереса используются интегральные изображения. Значение в каждой точке интегрального изображения вычисляется как сумма значений в данной точке и значений всех точек, которые находятся выше и левее данной. С помощью интегральных изображений за константное время вычисляются так называемые прямоугольные фильтры, которые состоят из нескольких прямоугольных областей.

4. MSER и LLD методы наиболее инвариантные к аффинным преобразованиям и изменению масштаба. Оба метода нормализуют 6 параметров аффинных искажений. Более подробней остановимся на MSER. «Экстремальные области» - такое название метод получил из-за сортировки особых точек по интенсивности (в нижних и верхних уровнях). Строится пирамида, у которой на начальном уровне, соответствующем минимальному значению интенсивности, находится белое изображение, а на последнем уровне, отвечающем максимальному значению интенсивности, - черное.

5. Harris-Affine нормализует параметры аффинных преобразований. Harris, в качестве особых областей использует углы, и выявляет ключевые моменты в масштабном пространстве, используя подход, предложенный Линденбергом. Аффинная нормализация осуществляется путем повторяющейся процедуры, чтобы оценить параметры эллиптической области и нормализовать их. При каждом повторении эллиптической области происходит оценка параметров: минимизируется разница между собственными моментами матриц второго порядка выбранной области; эллиптическая область нормализуется на круговую; осуществляется оценка ключевой точки, ее масштаб в масштабе пространства.

6. Hessian-Affine использует в качестве особой области блобы вместо углов. Определитель локальных максимумов матрицы Гессе используется в качестве базовых точек. Оставшаяся часть метод такая же как Harris-Affine.

7. ASIFT - идея объединения и нормализации основных частей метода SIFT. SIFT детектор нормализует вращение, перемещение и моделирует все удаленные от поиска и запроса изображения.

8. GLOH (Gradient location-orientation histogram) является модификацией SIFT-дескриптора, который построен с целью повышения надежности. По факту вычисляется SIFT дескриптор, но используется полярная сетка разбиения окрестности на бины

9. DAISY изначально вводится для решения задачи сопоставления изображений (matching) в случае значительных внешних изменений, т.е. данный дескриптор в отличие от ранее рассмотренных работает на плотном множестве пикселей всего изображения.

10. BRIEF-дескриптор (Binary Robust Independent Elementary Features) обеспечивает распознавание одинаковых участков изображения, которые были сняты с разных точек зрения. При этом ставилась задача максимально уменьшить количество выполняемых вычислений. Алгоритм распознавания сводится к построению случайного леса (randomize classification trees) или наивного Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений.

Существует также вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.

Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».

Благодаря данной выгодной характеристике появляется возможность производить анализ неполных и зашумленных изображений, для чего можно использовать эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Идея Калмана при этом состоит в том, чтобы получить наилучшее приближение к истинным координатам изображений по неточным измерениям камеры и предсказаным положениям границ изображения. Точность фильтра зависит от времени его применения, что означает все более стабильный вывод изображения на последующих кадрах.

Существует вариант изобретения, в котором анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».

Благодаря данной выгодной характеристике появляется возможность сокращения времени обработки изображений и определения более точных начальных приближений для обработки нижних уровней по результатам обработки верхних уровней.

Краткое описание чертежей.

Другие отличительные признаки и преимущества данной группы изобретений ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 изображает схему устройства для взаимодействия с виртуальными объектами согласно изобретению,

- фигура 2 схематично изображает этапы способа взаимодействия с виртуальными объектами согласно изобретению.

Маркер объекта обозначен как 1. Устройство для создания и просмотра дополненной реальности - 2, в нем изображена видеокамера 21 и дисплей 22.

В качестве устройства для создания и просмотра дополненной реальности может быть использованы такие устройства как смартфон, компьютерный планшет или устройства типа очков добавленной реальности.

Изображение, полученное от видеокамеры устройства для создания и просмотра дополненной реальности, показано как 23.

С маркером связана физическая базовая система координат, обозначена условно как OmXmYmZm.

Координаты устройства 2 для создания и просмотра дополненной реальности относительно базовой системы координат, при этом само устройство 2 имеет свою систему координат OnXnYnZn.

Вектор, соответствующий направлению от маркера 1 к виртуальной камере 21, обозначен как R.

Осуществление изобретения

Устройство для взаимодействия с виртуальными объектами работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.

Согласно фигуре 2:

Этап А1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы.

Этап А2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства.

Этап A3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат.

Этап А4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.

Этап А41. Для этого располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности.

Этап А42. Вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени.

Этап А43. Формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

Этап А44. Или же формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.

Этап А5. Вышеперечисленные действия повторяют на каждой итерации работы вычислительного модуля устройства для создания и просмотра дополненной реальности. Совокупностью полученных направлений за каждую итерацию формируют информацию о всех перемещениях камеры относительно маркера - повороте, приближении, наклоне и т.п.

Этап А6. Выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействия с виртуальными объектами. Примерами таких операций могут быть:

- расчет движения в пространстве положения устройства для создания и просмотра дополненной реальности с применением поправок, компенсирующих вибрацию клиентского устройства пользователя. Например, компенсацию вибрации клиентского устройства пользователя производят с использованием фильтра Калмана.

- при расчете движения в пространстве устройства для создания и просмотра дополненной реальности применяют модель искусственных нейронных сетей.

Пример 1. Созданный в качестве объекта дополненной реальности персонаж (человек или животное) может следить глазами в направлении расположения устройства для создания и просмотра дополненной реальности, создавая у пользователя иллюзию того, что этот человек или животное наблюдает за ним так, как это делало бы реальный человек или животное. При попытке обойти персонаж со спины, он может реагировать соответствующим образом, разворачивая корпус в сторону наблюдателя.

Пример 2. Интерактивная игра, в которой на маркере в роли контента дополненной реальности расположен условный противник, стреляющий в направлении пользователя снарядами, движущимися с небольшой скоростью. Чтобы победить в игре, пользователь должен "уклоняться" от снарядов, смещая камеру устройства для создания и просмотра дополненной реальности с их траектории.

Промышленная применимость

Предлагаемый способ взаимодействия с виртуальными объектами может быть осуществлен специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлен опытный образец устройства для взаимодействия с виртуальными объектами, выполненный в виде компьютерного планшета, имеющего дисплей и видеокамеру.

Испытания опытного образца системы показали, что она обеспечивает возможность:

- определения маркеров реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности,

- формирования физической базовой системы координат, привязанной к пространственному положению маркеров реального трехмерного пространства,

- определения координат устройства для создания и просмотра дополненной реальности относительно базовой системы координат;

- задания координат трехмерных виртуальных объектов дополненной реальности в базовой системе координат;

- определения координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа изображения с камеры устройства,

- расположения виртуальной камеры в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,

- вычисления вектора, соответствующего направлению от маркера к виртуальной камере в режиме реального времени,

- формирования информации обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

- выполнения при помощи движения пользователя заданных действий по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности.

Таким образом, в данном изобретении достигнута поставленная задача - обеспечение дополнительной возможности взаимодействия с виртуальными объектами с помощью изменения положения устройства для создания и просмотра дополненной реальности, связанной с дополнительными реакциями виртуального объекта, кроме простого изменения ориентации виртуального объекта на дисплее устройства.

1. Способ воздействия на виртуальные объекты дополненной реальности, при котором:

- определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности;

- формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства;

- определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат;

- задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системе координат;

- выполняют при помощи движения пользователя заданные действия по модификации виртуальных объектов для всех или части объектов из сформированной совокупности виртуальных объектов дополненной реальности,

отличающийся тем, что

- определяют координаты устройства для создания и просмотра дополненной реальности относительно реального физического маркера посредством анализа видеоизображения с камеры устройства,

- располагают виртуальную камеру в вычисленных координатах устройства для создания и просмотра добавленной реальности относительно физической базовой системы координат так, чтобы маркер, видимый виртуальной камерой, был расположен в ее поле зрения так же, как расположен физический маркер в поле зрения камеры устройства для создания и просмотра дополненной реальности,

- вычисляют вектор, соответствующий направлению от маркера к виртуальной камере в режиме реального времени при помощи кватернионов,

- формируют информацию обо всех перемещениях камеры относительно маркера - повороте, приближении, наклоне, путем последовательной итерации в режиме реального времени.

2. Способ по п. 1, отличающийся тем, что вычисляют кватернионы вектора, соответствующего направлению от маркера к виртуальной камере по крайней мере при помощи одной или нескольких координат и одного или нескольких углов, и/или полярных координат, и/или методом «Углов Эйлера».

3. Способ по п. 1, отличающийся тем, что формируют информацию обо всех перемещениях камеры относительно маркера посредством анализа видеопотока, полученного с устройства для создания и просмотра дополненной реальности.

4. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма поиска точек интереса.

5. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма классификатора изображений.

6. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Фильтр Калмана».

7. Способ по п. 1, отличающийся тем, что анализ изображения с камеры устройства производят посредством алгоритма «Пирамиды изображений».



 

Похожие патенты:

Изобретение относится к устройству для отображения динамической пиктограммы. Технический результат заключается в обеспечении возможности отображения динамической пиктограммы программы посредством получения пакета ресурсов пиктограммы от программы с учетом обновлений, примененных к этому пакету.

Изобретение относится к гибкому устройству отображения. Технический результат – обеспечение обратной связи с предупреждением о степени изгиба для исключения повреждения гибкого устройства.

Изобретение относится к пользовательскому интерфейсу. Технический результат заключается в обеспечении возможности активации различных функций мобильного терминала, используя графический объект, без использования отдельных команд меню или клавиш, посредством дифференцированного интерфейса пользователя.

Изобретение относится к приборам электронной промышленности. Технический результат заключается в обеспечении возможности нахождения цифр от 0 до 9, не глядя на клавиатуру без использования направляющих стрелок и возможности использовать внутреннее пространство для размещения кнопки ввода.

Изобретение относится к медицинским диагностическим системам ультразвуковой визуализации. Система содержит соединитель ультразвукового зонда с системой для использования при визуализации, экран дисплея изображений и пользовательскую панель управления, содержащую гладкую верхнюю поверхность, сформированную листом прозрачного вещества, множество графических элементов управления, расположенных на нижней стороне листа в фиксированных положениях, которые соответствуют пользовательским элементам управления, при этом графические элементы управления окружены темным непрозрачным цветом, барьерный слой на нижней стороне листа, который содержит множество углублений ниже графических элементов управления, задающих области освещения, ограниченные фиксированными положениями пользовательских элементов управления, причем области освещения содержат выборочно светящиеся источники света, и контроллер освещения, соединенный с источниками света.

Изобретение относится к области видеосвязи. Технический результат заключается в обеспечении видеосвязи с дополнительным отображением данных, требуемых одновременно с видеосвязью.

Изобретение относится к технологиям поворота отображаемого на электронном устройстве изображения. Техническим результатом является управление поворотом отображаемого на устройстве изображения, с дальнейшей корректировкой яркости экрана устройства на основании освещенности вокруг устройства, в ответ на определение того, что устройство повернуто.

Изобретение относится к работе терминала c трехмерным (3D) дисплеем. Технический результат заключается в обеспечении управления терминалом c трехмерным (3D) дисплеем.

Изобретение относится к технологиям обнаружения прямых линий и геометрических форм с помощью электронных устройств. Техническим результатом является повышение точности обнаружения прямой линии за счет определения возможного варианта направления прямой линии, с учетом вычисления совпадающего расстояния, отражающего степень близости.

Изобретение относится к области отображения сообщений. Технический результат – обеспечение возможности обработки сообщений для пользователя.

Изобретение относится к гибкому устройству отображения. Технический результат – эффективное управление гибким устройством отображения. Гибкое устройство отображения, содержащее дисплей, датчик, сконфигурированный с возможностью регистрации деформации гибкого устройства, и контроллер, сконфигурированный с возможностью управления дисплеем для отображения множества объектов и множества интерактивных руководств, соответствующих множеству объектов, и в ответ на деформацию, соответствующую зарегистрированному интерактивному руководству, выполнения операции, связанной с объектом, соответствующим зарегистрированному интерактивному руководству, причем каждый из множества объектов соответствует каждому соответствующему интерактивному руководству из множества интерактивных руководств, при этом каждое из множества интерактивных руководств отображается в соответствующем объекте и интерактивные руководства множества интерактивных руководств отличаются друг от друга. 2 н. и 18 з.п. ф-лы, 47 ил.

Изобретение относится к сенсорной перчатке (4) для генерации тактильного отклика на пальце при взаимодействии этого пальца с элементом взаимодействия на инфракрасном сенсорном экране (7). Технический результат заключается в повышении эффективности ввода. Такой результат достигается тем, что сенсорная перчатка (4) содержит приемные элементы (4а) для приема пальцев оператора, а также средство (2) для формирования тактильного отклика, причем для формирования тактильного отклика на приемных элементах (4а) пальца размещены раздражители (2), предусмотрены средства (1, 3) для идентификации взаимодействующего с инфракрасным сенсорным экраном (7) пальца, и предусмотрен генератор (5а) сигналов для возбуждения раздражителя (2) взаимодействующего пальца при успешном приведении в действие элемента взаимодействия на инфракрасном сенсорном экране (7). 2 н. и 7 з.п. ф-лы, 2 ил.

Изобретение относится к устройству отображения и способу управления этим устройством. Технический результат – повышение точности распознавания информации, введенной пользователем. Устройство отображения включает блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и блок отображения для отображения изображения, соответствующего интерактивному режиму. Дополнительно выполняется многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, тем самым выполняя более расширенный интерактивный режим и точно определяя команду пользователя. В результате функции выполняются должным образом, тем самым улучшая удобство для пользователя. 2 н. и 12 з.п. ф-лы, 20 ил.

Изобретение относится к системам проецирования изображений. Технический результат – уменьшение помехи сигнала синхронизации с другим проектором посредством изменения интенсивности сигнала синхронизации. Интерактивная система, содержащая: передатчик, сконфигурированный для передачи оптического сигнала; и проектор, причем проектор включает в себя: блок установки интенсивности сигнала, в котором установлена информация интенсивности сигнала синхронизации; блок управления интенсивностью сигнала, сконфигурированный для управления интенсивностью сигнала синхронизации на основе установки параметров блока установки интенсивности сигнала; блок передачи сигнала синхронизации, сконфигурированный для передачи сигнала синхронизации; и блок захвата изображения, сконфигурированный для захвата изображения оптического сигнала, переданного от передатчика, и передатчик включает в себя: блок приема, сконфигурированный для приема сигнала синхронизации; и блок передачи оптического сигнала, сконфигурированный для передачи оптического сигнала синхронно с сигналом синхронизации, принятым блоком приема, при этом проектор дополнительно включает в себя блок приема сигнала синхронизации, сконфигурированный для приема сигнала синхронизации, и когда блок приема сигнала синхронизации принимает второй сигнал синхронизации от другого проектора, блок передачи сигнала синхронизации передает сигнал синхронизации синхронно со вторым сигналом синхронизации. 3 н. и 4 з.п. ф-лы, 6 ил.

Изобретение относится к устройству формирования изображения, хост-устройству и соответствующему способу выполнения задания формирования изображения. Техническим результатом является снижение энергопотребления устройства формирования изображения. Устройство формирования изображения включает память, интерфейс для приема данных изображения для выполнения задания формирования изображения и контроллер. Контроллер посылает информацию о времени касательно второго времени резервирования для переключения устройства формирования изображения из энергосберегающего режима в нормальный режим на внешнее устройство формирования изображения. Когда данные изображения вводятся в энергосберегающем режиме устройства, контроллер посылает данные изображения на внешнее устройство формирования изображения. Когда устройство переключается в нормальный режим, контроллер управляет устройством для выполнения задания формирования изображения с использованием данных изображения, принятых от внешнего устройства формирования изображения на основании посланной информации о времени. Причем второе время резервирования вводится пользователем отдельно от любого задания формирования изображения. 2 н. и 13 з.п. ф-лы, 29 ил.

Изобретение относится к устройствам отображения. Технический результат заключается в возможности одновременного отображения файлов захваченного видео и фотографии. Устройство содержит блок управления отображением для отображения первого контента в первой области экрана отображения и второго контента так, чтобы он занимал вторую область экрана отображения, блок восприятия пользовательского ввода для восприятия ввода касанием и перетаскиванием во второй области, причем блок управления отображением расширяет вторую область в направлении перетаскивания так, чтобы она имела расширенный размер, в соответствии с воспринимаемым вводом касанием и перетаскиванием, и отображает множество третьих контентов, которое взаимосвязано со вторым контентом, так, чтобы оно занимало расширенную вторую область. 2 н. и 17 з.п. ф-лы, 28 ил.

Изобретение относится к области мобильных терминалов. Техническим результатом является эффективное отображение рабочего стола. Компьютерно-реализуемый способ отображения рабочего стола содержит этапы, на которых: получают, в соответствии с географическим местоположением, предустановленным посредством терминала, информацию о погоде, соответствующую этому географическому местоположению, или получают, в соответствии с географическим местоположением, где терминал находится в настоящее время, информацию о погоде, соответствующую этому географическому местоположению; получают тематический файл, соответствующий информации о погоде, из предварительно загруженного тематического пакета в соответствии с полученной информацией о погоде, при этом тематический файл содержит по меньшей мере файл фона рабочего стола и по меньшей мере один файл пиктограммы, приспособленный для использования при визуализации пиктограмм на рабочем столе, причем файл фона рабочего стола содержит множество ресурсов и траектории движения и динамические эффекты отображения этих ресурсов, при этом упомянутый файл пиктограммы содержит по меньшей мере первый файл пиктограммы для пиктограмм в неактивном состоянии; и визуализируют фон рабочего стола терминала в соответствии с упомянутыми множеством ресурсов и траекториями движения и динамическими эффектами отображения ресурсов, так чтобы ресурсы представляли эффекты отображения, соответствующие информации о погоде, такие как падающий дождь или снег, и визуализируют пиктограммы поверх визуализируемого фона рабочего стола, при этом пиктограммы визуализируются таким же образом и с теми же динамическими эффектами отображения или отличающимся образом с другими динамическими эффектами отображения по отношению к визуализации фона рабочего стола, при этом этап визуализации содержит этап, на котором: когда пиктограмма находится в неактивном состоянии, визуализируют данную пиктограмму в соответствии с первым файлом пиктограммы, или когда обнаружена инструкция активировать неактивную пиктограмму, отменяют эффект отображения этой пиктограммы в неактивном состоянии и запускают приложение, соответствующее данной пиктограмме. 3 н. и 10 з.п. ф-лы, 6 ил.

Изобретение относится к технологиям бесконтактного человеко-машинного взаимодействия. Техническим результатом является повышение робастности слежения за перемещением головы пользователя путем повышения производительности работы с системой и снижения уровня ошибок выделения объектов. Предложен способ бесконтактного управления курсором мыши. Согласно способу, определяют местоположение области интереса на выпуклой форме. Выпуклая форма представляет собой голову человека, область интереса представляет собой область лица человека между бровями и нижней губой. Оцифрованное изображение указанной выпуклой формы получают с помощью видеокамеры. После того как указанный сохраненный паттерн яркости области интереса сохраняют в виде матрицы, определяют местоположение пяти опорных точек в пределах указанного сохраненного паттерна яркости области интереса, а затем регистрируют множество оцифрованных видеоизображений. По результатам сравнения матрицы сохраненного паттерна яркости области интереса и матрицы зарегистрированного паттерна яркости области интереса определяют двумерные координаты указанных опорных точек в каждом из указанного множества видеоизображений, а затем используют двумерные координаты указанных опорных точек для управления курсором мыши. 2 з.п. ф-лы, 1 табл., 7 ил.

Изобретение относится к области управления доступом к пользовательскому интерфейсу. Технический результат – обеспечение управления доступом к пользовательским интерфейсам, каждый из которых обеспечивает разный уровень управления окружающей средой. Система для управления доступом к пользовательскому интерфейсу для управления окружающей средой при помощи системы создания окружающей среды содержит: несколько пользовательских интерфейсов; несколько кодов управления доступом, при этом каждый код управления доступом назначен одному из нескольких пользовательских интерфейсов; средство управления доступом к пользовательскому интерфейсу, приспособленное для приема кода управления доступом из нескольких кодов управления доступом и осуществления доступа к пользовательскому интерфейсу, назначенному принятому коду управления доступом; при этом каждый пользовательский интерфейс приспособлен для обеспечения степени управляемости, связанной с принятым кодом управления доступом для системы создания окружающей среды, предлагая большее или меньшее количество выбираемых настроек окружающей среды и средств управления для создания и регулирования различных окружающих сред. 6 н. и 8 з.п. ф-лы, 2 ил.

Изобретение относится к вычислительной технике, а именно к отображению информации. Технический результат – повышение эффективности поиска. Способ отображения информации терминала, соединенного с сервером, согласно которому принимают посредством терминала запрос на запуск браузера, получают посредством терминала быстрые ссылки и веб-приложения, которые кэшированы в локальной базе данных терминала, отображают посредством терминала полученные быстрые ссылки посредством сочетаний иконок веб-страниц и заголовков веб-страниц в дисплейном интерфейсе среднего экрана начальной страницы браузера, принимают посредством терминала запрос на переключение дисплейных интерфейсов начальной страницы браузера и переключают посредством терминала дисплейный интерфейс с отображенных быстрых ссылок в дисплейном интерфейсе среднего экрана начальной страницы браузера на поле для поиска в начальной странице браузера или полученные веб-приложения посредством сочетаний иконок приложений и заголовков приложений в начальной странице браузера. 2 н. и 18 з.п. ф-лы, 9 ил.
Наверх