Устройство, способ и система обеспечения увеличенного дисплея с использованием шлема-дисплея

Шлем-дисплей содержит логику формирования, прозрачный дисплей и модуль презентации. Прозрачный дисплей выполнен с возможностью предоставления пользователю шлема-дисплея просматривать по меньшей мере один виртуальный дисплей и физический дисплей в сцене реального мира. Указанный по меньшей мере один виртуальный дисплей представлен на прозрачном дисплее в качестве дополнительного объекта в сцене реального мира, и указанный по меньшей мере один виртуальный дисплей используется в соединении с физическим дисплеем для представления сформированной компьютером информации на расширенном рабочем столе с визуальной точки зрения пользователя. Технический результат заключается в обеспечении мобильности развертывания одного или более дисплеев для портативных устройств для вывода на экран сформированной компьютером информации в соединении с физическим дисплеем вычислительной системы. 3 н. и 15 з.п. ф-лы, 5 ил.

 

Область техники, к которой относится изобретение

Описанные здесь варианты осуществления относятся к отображению информации с помощью мультидисплейной системы и, более конкретно, к отображению информации с помощью мультидисплейной системы, состоящей из шлема-дисплея, который должен использоваться вместе с физическим дисплеем системы.

Уровень техники

Создаваемая компьютером информация относится к информации, которая формируется или обрабатывается или формируется и обрабатывается настольной или портативной компьютерной системой. Физический дисплей является физической выходной поверхностью компьютера и проекционным механизмом, показывающим пользователю компьютерной системы формируемую компьютером информацию, такую как текст, видео и графические изображения, используя электронно-лучевую трубку (CRT), жидкокристаллический дисплей (LCD), светодиод, газовую плазму или другие технологии проецирования изображений.

Мультидисплейная система является системой, использующей по меньшей мере два физических дисплея для показа пользователю сформированной компьютером информации. В частности, мультидисплейная система заставляет многочисленные физические дисплеи работать совместно, чтобы имитировать единый физический дисплей, называемый расширенным рабочим столом. Мультидисплейная система может показывать пользователю больше сформированной компьютером информации, чем традиционная однодисплейная система, предлагая увеличенную площадь отображения. К преимуществам мультидисплейных систем относятся предоставление пользователям возможности повышения их рабочей эффективности за счет увеличенной площади отображения, которая уменьшает помехи и улучшает работу в многозадачном режиме.

Обычно использование мультидисплейных систем ограничивается небольшим поднабором фиксированных местоположений, поскольку два или более физических дисплеев не могут легко переноситься или транспортироваться. Существуют несколько мультидисплейных систем с двумя или более физическими дисплеями, предлагающих пользователям мобильность, однако, их мобильность остается недостаточно оптимальной. Кроме того, некоторые мультидисплейные системы требуют от пользователей большого расхода объема ресурсов. Например, использование мультидисплейных систем с многочисленными физическими дисплеями (например, в диапазоне от десятков до тысяч 15-тидюймовых LCD) требует большого объема помещений и энергии.

Пользователи настольных компьютерных систем, а также пользователи, работающие на портативных компьютерных системах, таких как переносные компьютеры, ноутбуки, портативные устройства и мобильные телефоны, имеют несколько вариантов, позволяющих развертывание одного или более дисплеев. Тем не менее, недостаточная мобильность, описанная выше, а также огромные затраты, связанные с использованием мультидисплейных систем, продолжают присутствовать.

Краткое описание чертежей

Настоящее изобретение иллюстрируется в качестве примера и не ограничивается сопроводительными чертежами, где схожие ссылочные позиции указывают схожие элементы и где:

фиг. 1 - примерная мультидисплейная система по меньшей мере с одним физическим дисплеем и по меньшей мере одним виртуальным дисплеем, который обеспечивается шлемом-дисплеем;

фиг. 2 - упрощенное схематичное изображение примерной мультидисплейной системы для реализации показа пользователю сформированной компьютером информации с помощью по меньшей мере одного физического дисплея и по меньшей мере одного виртуального дисплея, обеспечиваемого виртуальным шлемом-дисплеем;

фиг. 3А - блок-схема последовательности выполнения операций примерного способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, содержащей по меньшей мере один физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем;

фиг. 3В - блок-схема последовательности выполнения операций для дополнительных признаков способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, содержащей по меньшей мере один физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем;

фиг. 4 - примерная мультидисплейная система по меньшей мере с одним физическим дисплеем и по меньшей мере одним виртуальным дисплеем, обеспечиваемым шлемом-дисплеем; и

фиг. 5 - блок-схема примерной системы обработки для реализации способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, содержащей по меньшей мере один физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем.

Подробное описание

Описанные здесь варианты осуществления показывают пользователю сформированную компьютером информацию, используя мультидисплейную систему, содержащую физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем.

В примерном варианте осуществления обеспечивается шлем-дисплей для отображения сформированной компьютером информации совместно с физическим дисплеем компьютерной системы. Шлем-дисплей содержит логику формирования, прозрачный дисплей и блок презентации. Логика формирования используется для формирования по меньшей мере одного виртуального изображения. Блок презентации используется для представления по меньшей мере одного виртуального изображения на прозрачном дисплее. Прозрачный дисплей выполнен с возможностью просмотра пользователем по меньшей мере одного виртуального изображения и физического изображения в реальной сцене. По меньшей мере одно виртуальное изображение представляется на прозрачном дисплее в качестве дополнительного объекта в реальной сцене и по меньшей мере один виртуальный дисплей используется вместе с физическим дисплеем, чтобы представлять сформированную компьютером информацию на расширенном рабочем столе с визуальной точки зрения пользователя.

Преимуществом одного или более вариантов осуществления мультидисплейной системы, содержащей физический дисплей и по меньшей мере один виртуальный дисплей, обеспечиваемый шлемом-дисплеем, является решение проблемы снижения мобильности и повышенного потребления ресурсов, свойственной традиционным мультидисплейным системам, использующим два и более физических дисплеев.

Термин "сформированная компьютером информация", как он используется здесь, относится к информации, которая формируется и/или обрабатывается компьютерной системой.

Термин "рабочий стол", как он используется здесь, относится к среде взаимодействия "человек-интерфейс", через которую пользователи могут запускать, взаимодействовать и управлять приложениями, настройками и/или данными и т.д. Рабочие столы используются для представления пользователям сформированной компьютером информации. Термин "расширенный рабочий стол", как он используется здесь, относится к единому рабочему столу, на котором просматривается более одного физического дисплея/виртуального дисплея.

Термин "физический дисплей", как он используется здесь, относится к компьютерному устройству вывода и проекционному механизму, который показывает сформированную компьютером информацию, такую как текст, видео и графические изображения, используя электронно-лучевую трубку (CRT), жидкокристаллический дисплей (LCD), светодиод (LED), органический светодиод (OLED), дисплей с жидкокристаллическим слоем на кремниевой подложке (LCOS), газовую плазму, ретинальную проекцию или другую проекционную технологию.

Термин "виртуальный дисплей", как он используется здесь, относится к виртуальному объекту, выполненному с помощью компьютерной графики, который имитирует внешний вид и поведение физического дисплея. Виртуальный дисплей действует как рабочий стол, с которой конечный пользователь может взаимодействовать, используя программное обеспечение и/или аппаратурное обеспечение компьютерной системы и/или шлема-дисплея.

Термин "прозрачный дисплей", как он используется здесь, содержит ссылку на физический дисплей, который позволяет пользователю видеть то, что показывается на дисплее, в то же время позволяя пользователю продолжать смотреть сквозь дисплей. Прозрачный дисплей может быть прозрачным или полупрозрачным дисплеем, использующим технологию проекции изображения, такую как CRT, LCD, LED, OLED, LCOS, газовая плазма, технологию ретинальной проекции или другую технологию проекции изображения. Термин "прозрачный дисплей", как он используется здесь, может также относиться к линзе или куску стекла, пластика или другого прозрачного вещества, который помещается непосредственно на человеческий глаз или перед ним и используется для фокусировки, модификации, проекции или рассеивания световых лучей. Термин "прозрачный дисплей", как он используется здесь, может также относиться к линзам или куску стекла, пластика или другого прозрачного вещества, который помещается непосредственно на человеческий глаз или перед ним, который содержит сочетания и/или различные вариации прозрачных или полупрозрачных дисплеев (описанных выше), которые используют технологию проекции изображения.

Термин "шлем-дисплей" относится к носимому устройству, обладающему способностью представления пользователю сформированной компьютером информации (такой как изображения или видео), а также возможностью для пользователя смотреть через него. Шлемы-дисплеи используются для представления пользователям виртуальных объектов, в то же время предоставляя пользователю возможность видеть сцены реального мира. Шлемы-дисплеи представляют пользователям сформированную компьютером информацию по меньшей мере тремя различными способами. Один из типов шлема-дисплея содержит проектор, проецирующий сформированную компьютером информацию на одну или две полупрозрачные линзы, расположенные перед глазами пользователя. Второй тип шлема-дисплея содержит одну или две линзы, расположенные перед глазами пользователя и содержат полупрозрачные физические дисплеи в линзах для представления пользователю сформированной компьютером информации. Полупрозрачные физические дисплеи, входящие в этот тип шлема-дисплея, выполнены по технологии CRT, LCD, LED, OLED, LCOS, газовой плазмы или другой технологии проекции изображения. Другие типы шлемов-дисплеев содержат шлемы-дисплеи, представляющие сформированную компьютером информацию, используя по меньшей мере технологию прямой ретинальной проекции, увеличитель или оптический вторичный объектив, в зависимости от конфигурации оптической системы.

Шлемы-дисплеи можно носить на голове пользователя или как часть головного убора, носимого пользователем. Шлемы-дисплеи, имеющие дисплейную оптику перед одним глазом, известны как монокулярные шлемы-дисплеи, а шлемы-дисплеи, имеющие дисплейную оптику перед каждым глазом, называют бинокулярными шлемами-дисплеями. Шлемы-дисплеи позволяют накладывать виртуальные объекты на сцены реального мира. Это иногда упоминается как скорректированная реальность или смешанная реальность. Объединение видения пользователем реального мира с виртуальными объектами в реальном времени может делаться, представляя виртуальные объекты через полупрозрачные физические дисплеи, позволяющие пользователю видеть виртуальные объекты и реальный мир одновременно. Этот способ часто называют Optical See-Through (сквозным оптическим) и типы шлемов-дисплеев, использующих этот способ, называют оптическими шлемами-дисплеями. Объединение видения пользователем реального мира с виртуальными объектами в реальном времени может также делаться электронно, получая видео от камеры и смешивая его электронным способом с виртуальными объектами. Этот способ часто называют Video See-Through (сквозное видео) и типы шлемов-дисплеев, использующих этот способ, называют видеошлемами-дисплеями

На фиг. 1 представлена мультидисплейная система 100 с физическим дисплеем 103 и по меньшей мере одним виртуальным дисплеем 107А-В. Шлем-дисплей 105 пользователь надевает на себя и использует совместно с компьютерной системой 101. Более конкретно, физический дисплей 103 подключается к компьютерной системе 101 и используется для представления пользователю сформированной компьютером информации в сочетании с шлемом-дисплеем 105. Шлем-дисплей 105 обеспечивает по меньшей мере один виртуальный дисплей 107А-В, который работает вместе с физическим дисплеем 103, чтобы представлять пользователю сформированную компьютером информацию на расширенном рабочем столе. В частности, шлем-дисплей 105 содержит корпус 109 логической схемы, прозрачный дисплей 111 и раму 113. Корпус 109 логической схемы и прозрачный дисплей 111 используются для формирования и представления по меньшей мере одного виртуального дисплея 107А-В, соответственно. Рама 113 может быть использоваться для поддержки сквозного дисплея 111 и корпуса 109 логической схемы. Рама 113 может быть изготовлена из любого материала, обеспечивающего электрические и магнитные соединения между прозрачным дисплеем 111 и корпусом 109 логической схемы.

В корпусе 109 логической схемы, показанном на фиг. 1, располагаются несколько логических блоков, используемых для формирования, конфигурации и представления по меньшей мере одного виртуального дисплея 107А-В, используемого в сочетании с физическим дисплеем 103, для представления пользователю шлемом-дисплеем 105 сформированной компьютером информации. Корпус 109 логической схемы содержит логику формирования (не показана) и блок презентации (не показан).

Логика формирования, находящаяся в корпусе 109 логической схемы, может быть блоком обработки графики (GPU) или другой схемой, которая выполняет и исполняет формирование изображения графики. Например, но не для создания ограничения, логика формирования внутри корпуса 109 логической схемы является блоком GPU, который использует позиционную информацию (описывается ниже), площадь экрана (описывается ниже) и положение поверхности (описывается ниже) физического дисплея 103, чтобы формировать изображение и создавать по меньшей мере один виртуальный дисплей 107А-В. Сформированные виртуальные дисплеи 107А-В являются сформированными компьютером графическими презентациями трехмерного физического дисплея 103. В одном из вариантов осуществления виртуальные дисплеи 107А-В формируются логикой формирования, заключенной внутри корпуса 109 логической схемы, основываясь на позиционной информации, площади экрана и положении поверхности физического дисплея, определенных вычислительной логикой, которая также может присутствовать внутри корпуса 109 логической схемы (описывается ниже).

Прозрачный дисплей 111, показанный на фиг. 1, используется совместно с блоком презентации посредством шлема-дисплея 105, чтобы представлять пользователю шлемом-дисплеем 105 по меньшей мере один виртуальный дисплей 107А-В, который формируется логикой формирования внутри корпуса 109 логической схемы. Прозрачный дисплей 111 представляет пользователю по меньшей мере один виртуальный дисплей 107А-В, в то же время позволяя пользователю видеть физический дисплей 103. По меньшей мере один из виртуальных дисплеев 107А-В действует совместно с физическим дисплеем 103, чтобы представлять сформированную компьютером информацию компьютерной системы 101 на рабочем столе. Этот расширенный рабочий стол является единым рабочим столом, на котором просматриваются виртуальные дисплеи 107А-В и физический дисплей 103.

Как обсуждалось выше, корпус 109 логической схемы, показанный на фиг. 1, также содержит блок презентации. Блок презентации может быть аппаратурным, программным или их сочетанием. Блок презентации или корпус 109 логической схемы совместно используют все данные от других логических блоков, присутствующих в корпусе 109 логической схемы и создают окончательное визуальное представление по меньшей мере одного из виртуальных дисплеев 107А-В и сформированной компьютером информации, полученной из совместных данных. Окончательное визуальное представление виртуальных дисплеев 107А-В и сформированной компьютером информации, которое создается блоком презентации, представляется пользователю шлемом-дисплеем 105 на прозрачном дисплее 111.

Например, и не для целей создания ограничения блок презентации корпуса 109 логической схемы может быть проектором, проецирующим по меньшей мере один визуальный дисплей 107А-В на прозрачный дисплей 111, изготовленный из линзы или куска стекла, пластика или другого прозрачного вещества, которые помещаются на человеческий глаз или перед ним и используются для фокусировки, модификации, проецирования или рассеивания световых лучей. В этом примере спроецированные виртуальные дисплеи 107А-В формируются логикой формирования внутри корпуса 109 логической схемы.

В качестве дополнительного, не создающего ограничений примера блок презентации корпуса 109 логической схемы может быть контроллером дисплея, обрабатывающим по меньшей мере один из виртуальных дисплеев, сформированных логикой формирования корпуса 109 логической схемы, и выводит обработанные результаты, используя прозрачный дисплей 111, такой как виртуальный ретинальный дисплей (VRD), ретинальный сканирующий дисплей (RSD) или ретинальный проектор (RP), чтобы отображать по меньшей мере один из сформированных виртуальных дисплеев непосредственно на сетчатку глаза пользователя шлемом-дисплеем 105.

В качестве другого примера, не создающего ограничений, блок презентации может быть контроллером видеодисплея (VDC), который обрабатывает сформированные виртуальные дисплеи 107А-В логики формирования, расположенной в корпусе 109 логической схемы, и использует обработанные результаты для вывода кадровых буферов на прозрачный дисплей, так чтобы пользователю шлемом-дисплеем 105 предоставлялось видеопрезентация виртуальных дисплеев 107А-В. В качестве еще одного примера, не создающего ограничений, блок презентации может быть видеодисплейным процессором (VDP), который обрабатывает по меньшей мере один из сформированных виртуальных дисплеев 107А-В логики формирования, содержащейся в корпусе 109 логической схемы, и использует эту обработанную информацию для вывода визуальной презентации по меньшей мере одного из визуальных дисплеев 107А-В, который должен показываться пользователю шлемом-дисплеем 105 на прозрачном дисплее 111. В качестве альтернативного примера, блок презентации в корпусе 109 логической схемы может быть формирователем видеосигнала, который выводит визуальную презентацию по меньшей мере одного из виртуальных дисплеев 107А-В на прозрачный дисплей 111 для предоставления пользователю шлемом-дисплеем 105 сформированной компьютером информации.

В некоторых вариантах осуществления по меньшей мере один виртуальный дисплей 107А-В представляется на прозрачном дисплее 111 пользователю, носящему шлем-дисплей 105, в качестве дополнительного объекта с визуальной точки зрения пользователя в сцене реального мира, наблюдаемой пользователем. Для этих вариантов осуществления физический дисплей 103 располагается в сцене реального мира, наблюдаемой пользователем. Например, по меньшей мере один виртуальный дисплей 107А-В может быть представлен на прозрачном дисплее 111 в качестве дополнительного объекта, расположенного по соседству с физическим дисплеем 103 в сцене реального мира с визуальной точки зрения пользователя. Альтернативно, по меньшей мере один виртуальный дисплей 107А-В может быть представлен на прозрачном дисплее 111 в качестве дополнительного объекта, который накладывается на физический дисплей 103 в сцене реального мира с визуальной точки зрения пользователя.

В некоторых вариантах осуществления сформированная компьютером информация показывается пользователю на расширенном дисплее, по меньшей мере на одном виртуальном дисплее 107А-В и на физическом дисплее 103, причем только в то время, когда физический дисплей 103 находится в поле зрения шлема-дисплея 105. Для этих вариантов осуществления поле зрения шлема-дисплея 105 может определяться, по меньшей мере, акселерометром, цифровым компасом, визуальной камерой, инфракрасной камерой или другим физическим датчиком, пригодным для сбора данных и/или изменения параметров, связанных с физической манипуляцией или ориентацией шлема-дисплея 105 или физического дисплея 103. В других вариантах осуществления физический дисплей 103 будет определяться как находящийся в поле зрения шлема-дисплея 105 после того, как посредством вычислительной логики (описывается дальше) будут определены позиционная информация, местоположение поверхности и площадь экрана физического дисплея 103.

На фиг. 2 схематично показана примерная мультидисплейная система 200 для осуществления показа пользователю сформированной компьютером информации с помощью по меньшей мере одного физического дисплея и по меньшей мере одного виртуального дисплея, что обеспечивается шлемом-дисплеем 220.

Мультидисплейная система 200 содержит шлем-дисплей 220 и компьютерную систему 222. Компьютерная система 222, показанная на фиг. 2, содержит физический дисплей 202. С целью упрощения, другие элементы компьютерной системы не показаны. Физический дисплей 202 является физическим дисплеем, используемым для представления сформированной компьютером информации компьютерной системы 222.

Шлем-дисплей 220, показанный на фиг. 2, содержит вычислительную логику 204 для определения положения шлема-дисплея 220, определения местоположения физического дисплея, основываясь, по меньшей мере, на определенном положении шлема-дисплея 220, определении положения поверхности и площади экрана физического дисплея 202 основываясь, по меньшей мере, на определенном местоположении физического дисплея 202, и для обеспечения подачи на логику 206 формирования определенного положения шлема-дисплея 220, определенного местоположения физического дисплея 202, определенного положения поверхности физического дисплея 202 и определенной площади экрана физического дисплея 202.

Шлем-дисплей 220 также содержит логику 206 формирования, перспективную логику 208, логику 210 ассоциации, блок 218 презентации, прозрачный дисплей 212, память 214 и датчик 216. В некоторых вариантах осуществления корпус 109 логической схемы, показанный на фиг. 1, используется для размещения в нем, по меньшей мере, вычислительной логики 204, логики 206 формирования, перспективой логики 208, логики 210 ассоциации, блока 218 презентации, прозрачного дисплея 212, памяти 214 или датчика 216.

Возвращаясь к вычислительной логике 204, показанной на фиг. 2, положение шлема-дисплея 220 и местоположение, положение поверхности и площадь экрана физического дисплея 202 определяются, используя данные и/или параметры, полученные от датчика 216. В варианте осуществления датчик 216 может быть по меньшей мере акселерометром, цифровым компасом, визуальной камерой, инфракрасной камерой или другим физическим датчиком, пригодным для сбора данных и/или измерения параметров, связанных с физической манипуляцией и/или ориентацией шлема-дисплея 220 и/или физического дисплея 202.

В одном из вариантов осуществления датчик 216 определяет положение шлема-дисплея 220 и местоположение физического дисплея 202, определяя позиционную информацию шлема-дисплея 220 и определяя позиционная информацию физического дисплея 202. Определение позиционной информации содержит определение положения шлема-дисплея 220, определение ориентации точки зрения шлема-дисплея 220, что определяется визуальной точкой зрения пользователя шлемом-дисплеем 220, определение множества вершин физического дисплея, используя определенное положение шлема-дисплея 220 и определенную ориентацию точки зрения шлема-дисплея 220, определение всех расстояний между шлемом-дисплеем 220 и каждой из множества вершин, используя определенное множество вершин физического дисплея, определенное положение шлема-дисплея 220 и определенную ориентацию точки зрения шлема-дисплея 220. В других вариантах осуществления определение позиционной информации шлема-дисплея 220 также содержит определение местоположения физического дисплея 202 со ссылкой на определенное положение шлема-дисплея 220.

В варианте осуществления датчик 216 содержит датчик положения и ориентации, который используется для измерения положения шлема-дисплея 220, ориентации точки зрения шлема-дисплея 220 и местоположения физического дисплея 202, когда шлем-дисплей 220 надет на пользователя. Датчик положения и ориентации содержит по меньшей мере гироскопический датчик, датчик ускорения или магнитный датчик.

Гироскопический датчик обнаруживает вращения в трех направлениях X, Y и Z шлема-дисплея 220 и/или физического дисплея 202, измеряемых в плоской системе координат, приближенной к реальному миру. Датчик ускорения обнаруживает переходные операции в трех направлениях X, Y и Z шлема-дисплея 220 и/или физического дисплея 202, а магнитный датчик обнаруживает трехмерные позиционные координаты и ориентации точки зрения шлема-дисплея 220 и/или физического дисплея 202, используя направления X, Y и Z шлема-дисплея 220. В некоторых вариантах осуществления эти датчики выводят свои результаты измерений на датчик 216, который передает информацию на вычислительную логику 204. В этих вариантах осуществления вычислительная логика использует результаты измерений, полученные датчиком 216, чтобы определить положение и ориентацию точки зрения шлема-дисплея 220, а также вершины местоположения физического дисплея 202.

В других вариантах осуществления вычислительная логика использует информацию, полученную датчиком 216, для вычисления всех расстояний между каждой вершиной физического дисплея 202 и шлемом-дисплеем 220.

В некоторых вариантах осуществления позиционная информация шлема-дисплея 220 и физического дисплея 202, определенная датчиком 216, направляется на вычислительную логику 204 шлема-дисплея 220. В другом варианте осуществления датчик 216, в дополнение к определению позиционной информации шлема-дисплея 220 и физического дисплея 202, может также определять все углы между всеми вершинами физического дисплея 202. В этом варианте осуществления датчик 216, в дополнение к позиционной информации шлема-дисплея 220 и физического дисплея 202, направляет каждый угол между вершинами физического дисплея 202 на вычислительную логику 204. Вычислительная логика 204 использует определенные углы между каждой вершиной физического дисплея 202, чтобы модифицировать каждое из расстояний, определенных датчиком 216.

В дополнение к направлению позиционной информации шлема-дисплея 220 и физического дисплея 202 на вычислительную логику, датчик 216 также направляет собранные данные и/или параметры в память 214 для хранения. Память будет описана ниже более подробно.

Возвращаясь к вычислительной логике 204, показанной на фиг. 2, позиционная информация шлема-дисплея 220 и физического дисплея 202 используется вычислительной логикой 204, чтобы вычислять положение поверхности и площадь экрана физического дисплея 202. В варианте осуществления датчик 216 направляет углы между каждой вершиной физического дисплея 202 в дополнение к позиционной информации шлема-дисплея 220 и физического дисплея 202, на вычислительную логику 204. В этом варианте осуществления вычислительная логика 204 использует углы между всеми вершинами физического дисплея 202, чтобы модифицировать по меньшей мере одно положение поверхности и площадь экрана, которые вычисляются вычислительной логикой 204.

Положение поверхности относится к плоскости, в которой расположен физический дисплей 202. Эта плоскость является двумерным аналогом трехмерной сцены реального, мира, как его видит пользователь с надетым шлемом-дисплеем 220. В варианте осуществления положение на поверхности, вычисление вычислительной логикой 204, основано, по меньшей мере, на одном из следующего: евклидово пространство, двумерная прямоугольная система координат или трехмерная прямоугольная система координат.

Площадь экрана относится к величине, выражающей размер физического дисплея 202 на плоскости, являющейся двумерным аналогом трехмерной сцены реального мира, которую видит пользователь через надетый шлем-дисплей 220. В одном из вариантов осуществления площадь экрана вычисляется, основываясь по меньшей мере на одной трехмерной формуле для определения площади обычных форм; двумерной формуле для определения площади обычных форм и делении физического дисплея 202 на единичные квадраты или единичные треугольники для определения его площади. В еще одном варианте осуществления, если физический дисплей 202 имеет изогнутую границу, площадь экрана вычисляется, основываясь на делении физического дисплея 202 на единичные окружности. Следует понимать, что вычисление площади экрана и положения поверхности физического дисплея 202 хорошо известно специалистам в данной области техники и не ограничивается описанными здесь способами.

Позиционная информация шлема-дисплея 220 и физического дисплея 202, а также положение на поверхности и площадь экрана физического дисплея 202 направляются вычислительной логикой 204 на логику 206 формирования. Дополнительно к направлению позиционной информации шлема-дисплея 220 и физического дисплея 220, а также положения на поверхности и площади экрана физического дисплея 202 на логику 206 формирования, вычислительная логика 204 также направляет собранные и/или обработанные данные в память 214 для хранения. Память 214 будет более подробно описана ниже.

По меньшей мере один виртуальный дисплей (такой как виртуальные дисплеи 107А-В на фиг. 1) формируется логикой 206 формирования, используя данные, принятые от вычислительной логики 204.

Логика 206 формирования может быть блоком обработки графики (GPU) или другой схемой, выполняющей и осуществляющей представление графики. В одном из вариантов осуществления логика 206 формирования использует позиционную информацию шлема-дисплея 220 и физического дисплея 202, а также площадь экрана и положение поверхности физического дисплея, чтобы выполнять сложные математические и геометрические вычисления, необходимые для представления графики. Дополнительно, логика 206 формирования использует результаты своих вычислений для представления по меньшей мере одного виртуального дисплея (такого как виртуальные дисплеи 107А-В на фиг. 1). Например, но не для создания ограничений, логика 206 формирования является GPU, использующим позиционная информацию, площадь экрана и положение поверхности физического дисплея 202 для формирования и создания изображения по меньшей мере одного виртуального дисплея, который является созданным компьютером представлением графики физического дисплея 202.

В одном из вариантов осуществления виртуальный дисплей, сформированный логикой 206 формирования, основывается исключительно на позиционной информации шлема-дисплея 220 и физического дисплея 202, которая определяется датчиком 216 и вычислительной логикой 204 (описывается выше). В других вариантах осуществления блок 206 формирования содержит датчики слежения за глазами (не показаны), чтобы измерять и отслеживать движения глаз пользователя, так чтобы его визуальная точка зрения могла быть определена. Данные, полученные от датчиков слежения за глазами, могут использоваться логикой 206 формирования совместно с данными, собранными и/или обработанными вычислительным блоком 204, чтобы сформировать по меньшей мере один виртуальный дисплей, который будет предоставляться пользователю шлемом-дисплеем 220, основываясь на индивидуальной визуальной точке зрения пользователя. Датчики слежения за глазами могут быть датчиками слежении за глазами, такими как специальные контактные линзы со встроенным зеркалом или датчик магнитного поля или быть оптическими датчиками слежения за глазами, такими как датчик на основе технологии роговичного отражения от центра зрачка. Следует заметить, что способы вычисления и/или слежения за движением глаз пользователя, чтобы определить, какова визуальная точка зрения пользователя, хорошо известны специалистам в данной области техники и, таким образом, не ограничиваются описанными здесь способами.

В некоторых вариантах осуществления логика 206 формирования формирует виртуальный дисплей, имеющий площадь экрана, кратную площади экрана физического дисплея 202, основываясь на результатах измерений датчиков слежения за глазами и данных, собранных и/или отработанных вычислительным блоком 204. На фиг. 4 показано примерное представление виртуального дисплея, имеющего площадь экрана, кратную площади экрана физического дисплея, который был сформирован логикой формирования (такой как логика 206 формирования на фиг. 2).

На фиг. 4 показана примерная мультидисплейная система 400 с одним физическим дисплеем 413 и одним виртуальным дисплеем 411, обеспечиваемым шлемом-дисплеем 403. Мультидисплейная система 400 содержит компьютерную систему 409, имеющую физический дисплей 413 и шлем-дисплей 403, представляющий виртуальный дисплей 411. Пользователь, смотрящий на физический дисплей компьютерной системы 409, когда на него надет шлем-дисплей 403, рассматривается как имеющий виртуальный дисплей 411. Виртуальный дисплей 411 предоставляется пользователю, на которого надет шлем-дисплей, блоком презентации (не показан) на прозрачном дисплее 405 шлема-дисплея 403 после того, как логика 413 формирования сформирует виртуальный дисплей 411. Виртуальный дисплей 411 формируется блоком 405 формирования, основываясь на данных полученных вычислительным блоком (не показан) и по меньшей мере одним датчиком (не показан). Виртуальный дисплей 411 формируется логикой 405 формирования, основываясь на данных, полученных вычислительным блоком (не показан). В одном из вариантов осуществления вычислительный блок и по меньшей мере датчик определяют все четыре расстояние 407A-D между шлемом-дисплеем 403 и физическим дисплеем 413. Вычислительный блок и по меньшей мере один датчик используют расстояния 407A-D для вычисления положения шлема-дисплея 403, местоположения физического дисплея 413 и площади экрана физического дисплея 413. В других вариантах осуществления сформированный виртуальный дисплей 411 формируется блоком 413 формирования, используя по меньшей мере один из фрагментов данных, собранных и/или вычисленных вычислительным блоком и по меньшей мере одним датчиком, как описано выше. Например, но не для ограничения, если площадь экрана физического дисплея 413 равна 540 квадратных сантиметров или 83,7 квадратных дюймов, то виртуальный дисплей 411 будет формироваться блоком 413 формирования, чтобы иметь площадь экрана 1080 кв. см или 167,4 кв. дюймов (что достигается умножением примерной площади экрана физического дисплея 413 на множитель 2).

Как показано на фиг. 2, сформированный виртуальный дисплей логики 206 формирования передается перспективной логике 208. В дополнение к направлению сформированного виртуального дисплея шлема-дисплея 220 перспективной логике 208, логика 206 формирования также направляет сформированный виртуальный дисплей в память 214 для хранения. Память 214 ниже будет описана более подробно.

Перспективная логика 208 определяет требуемую относительную ориентацию дисплея между первым и вторым участками расширенного рабочего стола, которая должна быть назначена физическому дисплею 202 и сформированному виртуальному дисплею. Требуемая относительная ориентация расширенного рабочего стола определяется по мере того, как пользователь с надетым шлемом-дисплеем будет перемещать голову или изменять свое местоположение.

Эта относительная ориентация дисплея может позволять пользователю мультисистемы 200 с удобством просматривать сформированную компьютером информацию на расширенном рабочем столе физического дисплея 202 и по меньшей мере на одном виртуальном дисплее. В одном из вариантов осуществления относительная ориентация дисплея определяется перспективной логикой 208, используя позиционную информацию шлема-дисплея 220, позиционную информацию физического дисплея 202 и площадь экрана физического дисплея 202, определенных датчиком 216 и вычислительной логикой 204 (описана выше). Относительная ориентация дисплея используется для определения местоположения физического дисплея 202 в реальном мире относительно местоположения в реальном мире по меньшей мере одного виртуального дисплея, сформированного логикой 206 формирования. Эта относительная ориентация дисплея позволяет шлему-дисплею 220 и физическому дисплею 202 представлять пользователю сформированную компьютером информацию, используя расширенный рабочий стол.

В других вариантах осуществления перспективная логика 208 содержит физический датчик, например, акселерометр, цифровой компас, визуальная камера, инфракрасная камера или другой физический датчик, пригодный для сбора данных и/или измерения параметров, связанных с физической манипуляцией и/или ориентацией шлема-дисплея 220 и/или физического дисплея 202. В этих вариантах осуществления физический датчик используется для обеспечения индикации желаемой относительной ориентации дисплея между первым и вторым участками расширенного рабочего стола, который должен быть назначен физическому дисплею 202 и сформированному виртуальному дисплею. Индикация основывается на данных, собранных физическим датчиком в ответ по меньшей мере на наклон, перемещение или вращение шлема-дисплея 220 и/или физического дисплея 202.

Перспективная логика 208 направляет требуемую относительную ориентацию дисплея логике 210 ассоциации. В дополнение к направлению требуемой относительной ориентации дисплея логике 210 ассоциации, перспективная логика 208 также направляет требуемую относительную ориентацию дисплея в память 214 для хранения. Ниже память 214 будет описана более подробно.

Логика 210 ассоциации конфигурирует первый и второй участки расширенного рабочего стола таким образом, чтобы он представлялся на физическом дисплее 202 и по меньшей мере на одном виртуальном дисплее, сформированном логикой 206 формирования. В одном из вариантов осуществления конфигурация содержит желаемую относительную ориентацию дисплея и расширенный рабочий стол совместно обеспечивается на физическом дисплее 202 и на сформированном виртуальном дисплее логики 206 формирования одновременно. В другом варианте осуществления расширенный рабочий стол обеспечивается сначала на физическом дисплее 202 и затем в расширенном виде на сформированном виртуальном дисплее логики 206 формирования.

После конфигурации расширенного дисплея на физическом дисплее 202 и сформированного логикой 210 ассоциации виртуального дисплея, все данные и/или параметры, которые были собраны и/или обработаны вычислительной логикой 204, логикой 206 формирования, перспективной логикой 208 и логикой 210 ассоциации, направляются на блок 218 презентации и в память 214 для хранения. Память 214 ниже будет описана более подробно.

Блок 218 презентации может быть аппаратурным, программным или их сочетанием. Блок 218 презентации используется для объединения данных, собранных и/или полученных другими логическими блоками, показаниями на фиг. 2, и для создания окончательной визуальной презентации виртуального дисплея(-ев) и информации, сформированной компьютером из объединенных данных. Окончательная визуальная презентация виртуального дисплея(-ев) и сформированной компьютером информации, которая создается блоком 218 презентации, представляется пользователю шлемом-дисплеем 105 на прозрачном дисплее 220.

Например, но не для создания ограничения, блок 218 презентации может быть проектором, проецирующим по меньшей мере один визуальный дисплей на прозрачный дисплей 212, изготовленный из линзы или куска стекла, пластика или другого прозрачного вещества, который помещается непосредственно на человеческий глаз или перед человеческим глазом и используется для фокусировки, модификации, проецирования или рассеивания световых лучей. В предыдущем примере проецируемый виртуальный дисплей формируется логикой 206 формирования и конфигурируется с помощью относительной ориентации дисплея перспективной логикой 208 и логикой 210 ассоциации.

В дополнительном примере, не создающем ограничений, блок 218 презентации может быть контроллером дисплея, обрабатывающим по меньшей мере один из виртуальных дисплеев, сформированных логикой 206 формирования, и выводящим обработанные результаты, используя прозрачный дисплей 212, такой как виртуальный ретинальный дисплей (VRD), ретинальный сканирующий дисплей (RSD) или ретинальный проектор (RP), чтобы представлять по меньшей мере один из сформированных дисплеев логики 206 формирования непосредственно на сетчатке глаза пользователя шлемом-дисплеем 220.

В качестве другого примера, не создающего ограничений, блок 218 презентации может быть видеодисплейным контроллером (VDC), который обрабатывает сформированные виртуальные дисплеи логики 206 формирования, а также относительную ориентацию изображения перспективной логики 208 и логики 210 ассоциации, и использует обработанные результаты для вывода кадровых буферов на прозрачный дисплей 212, так чтобы пользователю шлемом-дисплеем 220 представлялась визуальная презентация виртуальных дисплеев и сформированной компьютером информации. В другом примере, не создающем ограничений, блок 218 презентации может быть процессором видеодисплея (VDP), который обрабатывает сформированные виртуальные дисплеи логики 206 формирования, а также относительную ориентацию изображения перспективной логики 208 и логики 210 ассоциации, и использует обработанные результаты для вывода визуальной презентации визуальных изображений и сформированной компьютером информации, которые должны показываться пользователю шлемом-дисплеем 220 на прозрачном дисплее 212. В качестве альтернативного примера блок 218 презентации может быть генератором видеосигнала, который выводит визуальное представление по меньшей мере одного из виртуальных дисплеев, который был сформирован и обработан по меньшей мере логикой 206 формирования, перспективной логикой 208 и логикой 210 ассоциации, на прозрачный дисплей 212 для представления пользователю шлемом-дисплеем 220 по меньшей мере одного виртуального дисплея и сформированной компьютером информации.

Выходной сигнал блока 218 презентации направляется на прозрачный дисплей 212 для представления пользователю шлемом-дисплеем 220 по меньшей мере одного виртуального дисплея, сформированного логикой 206 формирования. Дополнительно, выходной сигнал блока 218 презентации также направляется в память 214 для хранения. Память 214 ниже будет описана более подробно.

Выходной сигнал блока 218 презентации, представленный на прозрачном дисплее 212, показывает по меньшей мере один из виртуальных дисплеев, сформированных логикой 206 формирования. В некоторых вариантах осуществления по меньшей мере один из виртуальных дисплеев, сформированных логикой 206 формирования, выполнен с возможностью представления совместно с физическим дисплеем 202 в качестве расширенного рабочего стола. В одном из вариантов осуществления по меньшей мере один из виртуальных дисплеев, сформированных логикой 206 формирования, представляется блоком 218 презентации на прозрачном дисплее 212, основываясь на конфигурированной относительной ориентации первого и второго участков расширенного рабочего стола, которые были определены перспективной логикой 208 и логикой 210 ассоциации, соответственно.

В некоторых вариантах осуществления по меньшей мере один из виртуальных дисплеев, сформированных блоком 206 формирования, представляется блоком 218 презентации на прозрачном дисплее 212 пользователю с надетым шлемом-дисплеем в качестве дополнительного объекта в сцене реального мира, воспринимаемой пользователем. Например, виртуальный дисплей, сформированный логикой 206 формирования, может быть представлен блоком 218 презентации на прозрачном блоке 212 в качестве дополнительного объекта в сцене реального мира, располагаясь по соседству с физическим дисплеем 202. Альтернативно виртуальный дисплей, сформированный логикой 206 формирования, может быть представлен блоком 218 презентации на прозрачном дисплее 212 в качестве дополнительного объекта, в сцене реального мира накладывающегося поверх физического дисплея 202. В других дополнительных вариантах осуществления сформированная компьютером информация показывается на расширенном рабочем столе, который соединяет виртуальный дисплей, сформированный логикой 206 формирования, и физический дисплей 202, только когда физический дисплей 202 находится в поле зрения шлема-дисплея 220, как описано выше.

В варианте осуществления память 214 используется для хранения всех данных, собранных и/или обработанных датчиком 216, вычислительной логикой 204, логикой 206 формирования, перспективной логикой 208, логикой 210 ассоциации и прозрачным дисплеем 212.

В другом варианте осуществления сформированная компьютером информация, которая показывается пользователю на расширенном рабочем столе, сохраняется в памяти 214 шлема-дисплея 220. Сформированная компьютером информация, хранящаяся в памяти 214, представляется блоком 218 презентации исключительно по меньшей мере на одном виртуальном дисплее, который сформирован логикой 206 формирования, (таком как виртуальные дисплеи 107А-В на фиг. 1), только если физический дисплей 202 не находится в поле зрения шлема-дисплея 220, как описано выше. Например, но не для создания ограничений, если пользователь шлемом-дисплеем 220 смотрит на расширенный рабочий стол, образованный физическим дисплеем 220, и виртуальный дисплей представляется на прозрачном дисплее 212, то при движении головы пользователя таким образом, что физический дисплей 202 больше не находится в его поле зрения, что определяется по меньшей мере одним физическим датчиком, информация, хранящаяся в памяти 214 будет тогда представляться блоком 218 презентации только на виртуальном дисплее, представляемом на прозрачном дисплее 212. Преимущество памяти 214 заключается в том, что она позволяет пользователю, использующему шлем-дисплей 220, продолжать видеть сформированную компьютером информацию на расширенном рабочем столе даже после выхода физического дисплея 202 из поля зрения шлема-дисплея 220.

Вычислительная логика 204 шлема-дисплея 220, как вариант, может переопределять позиционную информацию шлема-дисплея 220, позиционную информацию физического дисплея 202, положение поверхности физического дисплея 202 и площадь экрана физического дисплея 202. Переопределение может выполняться в ответ по меньшей мере на одно из следующего: физическое перемещение физического дисплея 202, физическое перемещение шлема-дисплея 220 или время, прошедшее по меньшей мере после одного из следующего: предшествующего определения позиционной информации шлема-дисплея 220, предшествующего определения местоположения физического дисплея 202, предшествующего определения положения поверхности физического дисплея 202 или предшествующего определения площади экрана физического дисплея 202.

В некоторых вариантах осуществления физическое перемещение шлема-дисплея 220 и/или физического дисплея 202 содержит по меньшей мере наклон, вращение или перемещение шлема-дисплея 220 и/или физического дисплея 202. Для этих вариантов осуществления определение физического движения по меньшей мере физического дисплея 202 или шлема-дисплея 220 может основываться на определении по меньшей мере одним из таких устройств, как акселерометр, цифровой компас, визуальная камера, инфракрасная камера, гироскопический датчик, магнитный датчик или датчик ускорения или другой физический датчик, пригодный для сбора данных и/или измерения параметров, относящихся к физическому манипулированию и/или ориентации шлема-дисплея 220 и/или физического дисплея 202. В некоторых вариантах осуществления переопределение позиционной информации шлема-дисплея 220 и физического дисплея 202, положения поверхности физического дисплея 202 и площади экрана физического дисплея 202 может основываться на данных и/или параметрах, измеренных датчиком 216, как описано выше. Для этого варианта осуществления датчик 216 может переопределить положение шлема-дисплея 220 и расположение физического дисплея 202, основываясь на переопределении позиционной информации шлема-дисплея 220, переопределяя позиционную информацию шлема-дисплея 220 и переопределяя позиционную информацию физического дисплея 202.

Переопределение позиционной информации содержит переопределение положения шлема-дисплея 220, переопределение ориентации точки зрения шлема-дисплея 220, как она определяется визуальной точкой зрения пользователя шлемом-дисплеем 220, переопределение множество вершин физического дисплея, используя переопределенное положение шлема-дисплея 220 и ориентацию точки зрения шлема-дисплея 220, переопределение всех расстояний между шлемом-дисплеем 220 и каждой из множества вершин, используя переопределенное множество вершин физического дисплея, переопределенное положение шлема-дисплея 220 и переопределенную ориентацию точки зрения шлема-дисплея 220. Для других дополнительных вариантов осуществления переопределение позиционной информации шлема-дисплея 220 также содержит переопределение местоположения физического дисплея 202 относительно переопределенного положения шлема-дисплея 220.

На фиг. 3А и 3В представлен способ 300 показа пользователю сформированной компьютером информации с помощью мультидисплейной системы (такой как мультидисплейная система 100 на фиг. 1), содержащей по меньшей мере один физический дисплей (такой как физический дисплей 103 на фиг. 1) и по меньшей мере один виртуальный дисплей (такой как виртуальный дисплей 107А-В на фиг. 1), обеспечиваемый шлемом-дисплеем (таким как шлем-дисплей 105 на фиг. 1). Например, сформированная компьютером информация предоставляется пользователю, использующему физический дисплей 103 и виртуальные дисплеи 107А-В, действующие совместно в качестве расширенного рабочего стола. Показанная сформированная компьютером информация может быть аудио- или визуальной выходной информацией (например, звуком, текстом, графикой, видео и т.д.) или любыми другими типами информации, которая может быть предоставлена пользователям на компьютерных системах, с которыми пользователь может взаимодействовать.

На фиг. 3А на этапе 302 шлем-дисплей 105 определяет позиционную информацию шлема-дисплея 105 и позиционную информацию физического дисплея 103. В варианте осуществления определение позиционной информации шлема-дисплея 105 и физического дисплея 103 выполняется датчиком 216 и вычислительной логикой 204, показанной на фиг. 2, как описано выше.

На этапе 304 на фиг. 3А шлем-дисплей 105 вычисляет местоположение, положение поверхности и площадь экрана физического дисплея 103. В одном из вариантов осуществления вычисление местоположения, положения поверхности и площади экрана физического дисплея 103 выполняется датчиком 216 и вычислительной логикой 204, показанными на фиг. 2, как описано выше.

На этапе 306, показанном на фиг. 3А, шлем-дисплей 105 дополнительно определяет каждый угол между каждой из вершин физического дисплея 103. В варианте осуществления определение углов физического дисплея 103 выполняется датчиком 216, показанным на фиг. 2, как описано выше.

На этапе 308, показанном на фиг. 3А, шлем-дисплей 105 дополнительно модифицирует положение поверхности и/или площади экрана, которые были вычислены на этапе 304, используя те углы, которые были определены на этапе 306. Например, углы могут служить множителями или другим весовым коэффициентом для каждого из соответствующих значений расстояния между каждой вершиной физического дисплея 103 и шлемом-дисплеем 105. Модификация проводится, чтобы создать модифицированные значения расстояния для представления каждого из расстояний между каждой вершиной физического дисплея 103 и шлемом-дисплеем 105. Эти модифицированные значения расстояния затем используются для вычисления модифицированной площади экрана и/или модифицированного положения поверхности физического дисплея 103 в сочетании с каждой из вершин физического дисплея 103. В одном из вариантов осуществления модификация по меньшей мере положения поверхности или площади экрана физического дисплея 103 выполняется вычислительной логикой 204, показанной на фиг. 2, как описано выше.

На этапе 310, показанном на фиг. 3А, шлем-дисплей 105 формирует по меньшей мере один виртуальный дисплей 107А-В, который должен показываться пользователю на шлеме-дисплее 105. В варианте осуществления виртуальные дисплеи 107А-В формируются, основываясь на позиционной информации шлема-дисплея 105, позиционной информации физического дисплея 103, положении поверхности физического дисплея 103 и площади экрана физического дисплея 103, определенных на этапах 302-308, показанных на фиг. 3А.

В другом варианте осуществления виртуальные дисплеи 107А-В формируются шлемом-дисплеем 105, основываясь на данных, полученных от датчиков слежения за глазами, в сочетании с данными, собранными и/или обработанными на этапах 302-308, показанных на фиг. 3А. Преимущество формирования виртуальных дисплеев 107А-В, основываясь, по меньшей мере, на некоторых данных слежения за глазами, состоит в том, что это позволяет представлять пользователю шлемом-дисплеем 105 по меньшей мере один виртуальный дисплей 107А-В, основываясь на визуальной точке зрения этого индивидуального пользователя. Датчики слежения за глазами могут быть основаны на средстве слежения, прикрепленном к глазу, таком как специальная контактная линза со встроенным зеркалом или датчиком магнитного поля, или на оптическом средстве слежения за глазом, основанном, например, на технологии роговичного отражения от центра зрачка. Следует понимать, что технологии вычисления и/или слежения за движением глаз пользователя, чтобы определить, эту визуальную точку зрения пользователя, хорошо известны специалистам в данной области техники и, таким образом, не ограничиваются описанными здесь способами.

В других примерных вариантах осуществления виртуальные дисплеи 107А-В имеют площадь экрана, кратную площади экрана физического дисплея 103, и положение поверхности кратно положению поверхности физического дисплея 103. В некоторых вариантах осуществления формирование виртуальных 35 дисплеев 107А-В выполняется логикой 206 формирования, показанной на фиг. 2, как описано выше.

На этапе 312 шлем-дисплей 105 определяет требуемую относительную ориентацию дисплея между первым и вторым участками расширенного рабочего стола, которая должна быть назначена физическому дисплею 103 и формируется виртуальным дисплеем 107А-В. В одном из вариантов осуществления требуемая относительная ориентация дисплея основывается на позиционной информации шлема-дисплея 105, позиционной информации физического дисплея 103, положении поверхности физического дисплея 103 и площади экрана физического дисплея 103, определенных на этапах 302-308 на фиг. 3А. В другом варианте осуществления требуемая относительная ориентация дисплея определяется перспективной логикой 208, показанной на фиг. 2, как описано выше.

На этапе 314, показанном на фиг. 3А, шлем-дисплей 105 конфигурирует расширенный рабочий стол с помощью требуемой относительной ориентацией дисплея, определенной на этапе 312 на фиг. 3А. В одном из вариантов осуществления конфигурация выполняется автоматически в ответ на определение требуемой относительной ориентации дисплея. В других вариантах осуществления расширенный рабочий стол выполняется с возможностью совместного представления сформированной компьютером информации по физическом дисплее 103 и виртуальных дисплеях 107А-В одновременно. Конфигурация расширенного рабочего стола на физическом дисплее 103 и виртуальных дисплеях 107А-В может быть выполнена, например, логикой 210 ассоциации, показанной на фиг. 2, как описано выше.

Шлем-дисплей 105 на этапе 316 фиг. 3А представляет пользователю, надевшему шлем-дисплей 105, по меньшей мере один виртуальный дисплей 107А-В. Виртуальные дисплеи 107А-В представляются на прозрачном дисплее шлема-дисплея 105 как дополнительные объекты в сцене реального мира, которую видит пользователь, надевший шлем-дисплей 105. Дополнительно, на этапе 316 на фиг. 3А шлем-дисплей 105 также представляет сформированную компьютером информацию на расширенном рабочем столе, который был определен и конфигурирован на этапах 312 и 314, соответственно. В варианте осуществления виртуальные дисплеи 107А-В представляются пользователю замешанными в сцену реального мира, которую видит пользователь, когда смотрит через прозрачный дисплей шлема-дисплея 105. В другом варианте осуществления виртуальные дисплеи 107А-В представляются пользователю расположенными по соседству с физическим дисплеем 103 в сцене реального мира. Например, виртуальные дисплеи, 107А-В представляются пользователю как экраны, расположенные слева от физического дисплея 103. В другом примере виртуальные дисплеи 107А-В представляются пользователю как экраны, расположенные справа от физического дисплея 103. В еще одном примере виртуальные дисплеи 107А-В представляются пользователю как экраны, расположенные снизу от физического дисплея 103. В еще одном примере виртуальные дисплеи 107А-В представляются пользователю как экраны, расположенные сверху от физического дисплея 103. В дополнительном примере виртуальные дисплеи 107А-В представляются пользователю как экраны, расположенные, по меньшей мере, с левой стороны от физического дисплея 103 или с правой стороны от физического дисплея 103 или сверху от физического дисплея 103 или снизу от физического дисплея 103 и в любой другой их комбинации или вариации.

В других вариантах осуществления виртуальные дисплеи 107А-В представляются пользователю как наложенные на физический дисплей 103, так что информация на виртуальных дисплеях 107А-В и физическом дисплее 103 видна пользователю одновременно. Например, виртуальные дисплеи 107А-В представляются пользователю как экраны, наложенные на физический дисплей 103. На фиг. 4 (описанном выше) представлен примерный вариант осуществления, который показывает виртуальный дисплей (такой как виртуальный дисплей 411), наложенный на физический дисплей (такой как физический дисплей 413). В некоторых вариантах осуществления представление по меньшей мере одного виртуального дисплея 107А-В пользователю шлемом-дисплеем 105 может быть выполнено, например, используя прозрачный дисплей 212, показанный на фиг. 2, как описано выше.

Возвращаясь к фиг. 3А, на этапе 318 шлем-дисплей 105 определяет, находится ли физический дисплей 103 в поле зрения шлема-дисплея 105. Если физический дисплей 103 не находится в поле зрения шлема-дисплея 105, способ 300 переходит к этапу 324 на фиг. 3В (описанному ниже). Если физический дисплей 103 находится в поле зрения шлема-дисплея 105, на этапе 320 шлем-дисплей 105 определяет, подвергался ли по меньшей мере шлем-дисплей 105 или физический дисплей 103 физическому перемещению. В некоторых вариантах осуществления определение физического перемещения по меньшей мере физического дисплея 103 или шлем-дисплей 105 может основываться на определении по меньшей мере акселерометром, цифровым компасом, визуальной камерой, инфракрасной камерой, гироскопическим датчиком, магнитным датчиком или датчиком ускорения или другим физическим датчиком, пригодным для сбора данных и/или измерения параметров, относящихся к физическому манипулированию и/или ориентации шлема-дисплея 105 и/или физического дисплея 103. В других вариантах осуществления определение, что физическое перемещение по меньшей мере физического дисплея 103 или шлема-дисплея 105 произошло, может быть основано на данных, собранных датчиком 216, показанным на фиг. 2, как описано выше.

Если на этапе 320 на фиг. 3А способ 300 определяет, что физическое перемещение по меньшей мере физического дисплея 103 или шлема-дисплея 105 произошло, то способ 300 переходит к этапу 302, чтобы переопределить позиционную информацию физического дисплея 103 и шлема-дисплея 105, как описано выше. В некоторых вариантах осуществления переопределение позиционной информации выполняется датчиком 216 и вычислительной логикой 204, показанными на фиг. 2, как описано выше. Если на этапе 320 на фиг. 3А способ 300 определяет, что никакого физического перемещения физического дисплея 103 или шлема-дисплея 105 не было, способ 300 переходит к этапу 322 на фиг. 3А (описан ниже).

На этапе 322 на фиг. 3А шлем-дисплей 105 определяет, прошло ли заданное время после предшествующего определения по меньшей мере позиционной информации физического дисплея 103 или позиционной информации шлема-дисплея 105. Если заданное время прошло, то способ 300 возвращается к этапу 302 на фиг. 3, чтобы переопределить позиционную информацию физического дисплея 103 и шлема-дисплея 105, как описано выше. В некоторых вариантах осуществления переопределение позиционной информации выполняется датчиком 216 и вычислительной логикой 204, показанными на фиг. 2, как описано выше. В других вариантах осуществления шлем-дисплей 105 может содержать логику таймера (не показана), которая используется для хранения заданного периода времени и чтобы заставить вычислительную логику (такую как вычислительная логика 204 на фиг. 2) переопределить позиционную информацию физического дисплея 103 и шлем-дисплей 105, как описано выше.

Если на этапе 322 на фиг. 3А заданное время не прошло, то способ 300 возвращается к этапу 316 на фиг. 3А, чтобы продолжить представлять сформированную компьютером информацию на расширенном рабочем столе, используя по меньшей мере один виртуальный дисплей 107А-В и по меньшей мере один физический дисплей 103, как описано выше.

Как упомянуто выше, если физический дисплей 103 не находится в поле зрения шлема-дисплея 105, способ 300 переходит к этапу 324 на фиг. 3В. На этапе 324 шлем-дисплей 105 определяет, хранится ли в памяти (такой как память 214 на фиг. 2) сформированная компьютером информация, которая представлена на расширенном рабочем столе.

Если сформированная компьютером информация, показываемая на расширенном рабочем столе, хранится в памяти, способ 300 может дополнительно перейти к этапу 326 на фиг. 3В. На этапе 326 шлем-дисплей 105 представляет хранящуюся информацию исключительно на виртуальных дисплеях 107А-В шлема-дисплея 105.

Если сформированная компьютером информация, показываемая на расширенном рабочем столе, не хранится в памяти или если шлем-дисплей 105 отображает хранящуюся информацию исключительно на виртуальных дисплеях 107А-В, то способ 300 возвращается к этапу 302 на фиг. 3А, чтобы начать определение позиционной информации физического дисплея 103 и шлема-дисплея 105, как описано выше.

На фиг. 5 в форме блок-схемы показана примерная система обработки для осуществления способа показа пользователю сформированной компьютером информации с помощью мультидисплейной системы, которая содержит по меньшей мере один физический дисплей или по меньшей мере один виртуальный дисплей.

Система 500 обработки данных содержит память 510, связанную с микропроцессором(-ами) 505. Память 510 может использоваться для хранения данных, метаданных и программ для выполнения микропроцессором(-ами) 505. Память 510 может содержать одну или более энергозависимых и энергонезависимых памятей, таких как RAM, ROM, SSD, Flash, PCM или другие типы запоминающих устройств для данных. Память 510 может быть внутренней или распределенной памятью.

Система 500 обработки данных содержит интерфейсы 515 сети и портов, такие как порт, док-модуль или соединитель для интерфейса USB, FireWire, Thunderbolt, Ethernet, Fibre Channel и т.д., для соединения системы 500 с другим устройством, внешним компонентом или сетью. Примерные интерфейсы сети и портов 515 также содержат беспроводные приемопередатчики, такие как приемопередатчик по IEEE 802.11, инфракрасный приемопередатчик, приемопередатчик Bluetooth, беспроводной сотовый телефонный приемопередатчик (например, 2G, 3G, 4G и т.д.) или по другому беспроводному протоколу, чтобы соединить 500 систему обработки данных с другим устройством, внешним компонентом или сетью и принимать хранящиеся команды, данные, маркеры и т.д.

Система 500 обработки данных также содержит контроллер дисплея и устройство 520 дисплея и одно или более устройств ввода или вывода (I/O) и интерфейсов 525. Контроллер дисплея и устройство 520 дисплея предоставляют пользователю визуальный интерфейс пользователя. Устройства 525 ввода-вывода 525 позволяют пользователю обеспечивать ввод, принимать вывод и как-либо иначе передавать данные к системе и от системы. Устройства 525 ввода-вывода могут содержать мышь, клавиатуру или дополнительную клавиатуру, сенсорную панель или панель мультисенсорного ввода, камеру, оптический сканер, устройство аудиоввода/вывода (например, микрофон и/или громкоговоритель), другие известные устройства ввода-вывода или совокупность таких устройств ввода-вывода. Следует понимать, что для межсоединения различных компонент, показанных на фиг. 5, могут использоваться одна или более шин.

Система обработки данных 500 является примерным представлением одной или более мультидисплейных систем, которая предоставляет пользователю расширенный рабочий стол по меньшей мере с одним физическим дисплеем и по меньшей мере с одним виртуальным дисплеем. Примерная система 500 обработки данных является мультидисплейной системой 100, показанной на фиг. 1, или мультидисплейной системой 400, показанной на фиг. 4, компьютерной системой 101, показанной на фиг. 1, компьютерной системой 409, показанной на фиг. 4, шлемом-дисплеем 105, показанным на фиг. 1, и шлемом-дисплеем 403, показанным на фиг. 4. Система 500 обработки данных может быть видеошлемом-дисплеем, оптическим шлемом-дисплеем, настольным компьютером, персональным компьютером, планшетным устройством, персональным цифровым секретарем (PDA), мобильным телефоном с функциональными возможностями PDA, телефоном на базе Wi-Fi, карманным компьютером, содержащим мобильный телефон, медиаплеер, систему развлечений или устройства, объединяющие в себе возможности или функции этих устройств, такие как медиаплеер, объединенный с PDA и мобильным телефоном в одном устройстве. В других вариантах осуществления система 500 обработки данных может быть сетевым компьютером, сервером или встроенным устройством обработки внутри другого устройства или потребительского электронного изделия. Термины "компьютер", "устройство", "система", "система обработки", "устройство обработки", компьютерная система и устройство, как они используются здесь, содержат устройства обработки, которые могут использоваться взаимозаменяемо с системой 500 обработки данных и содержать перечисленные выше примерные варианты осуществления.

Дополнительные компоненты, которые не показаны, также могут быть частью системы 500 обработки данных и в определенных вариантах осуществления в системе 500 обработки данных может также использоваться меньшее количество компонентов, чем то, которое показано на фиг. 5. Из настоящего описания очевидно, что варианты изобретения могут быть реализованы, по меньшей мере частично, в программном обеспечении. То есть, реализованный посредством компьютера способ 300 может выполняться в компьютерной системе или другой системе 500 обработки данных в ответ на исполнение ее процессором или системой 505 обработки последовательностей команд, содержащихся в памяти, такой как память 510 или другой непередаваемый машиночитаемый носитель. Программное обеспечение может дополнительно передаваться или приниматься по сети (не показана) через сетевое интерфейсное устройство 515. В различных вариантах осуществления схема с проводным соединением аппаратуры может использоваться в сочетании с командами программного обеспечения, чтобы реализовывать настоящие варианты осуществления. Таким образом, технологии не ограничиваются никакой определенной комбинацией аппаратурных средств и программного обеспечения, или каким-либо конкретным источником этих инструкций, выполняемых системой 500 обработки данных.

Изготовленное изделие может использоваться для хранения управляющей программы, обеспечивающей, по меньшей мере, часть функциональных возможностей описанных выше вариантов осуществления. Дополнительно, изготовленное изделие может использоваться для хранения управляющей программы, созданной, используя, по меньшей мере, часть функциональных возможностей описанных выше вариантов осуществления. Изготовленное изделие, хранящее управляющую программу, не создавая ограничений, может быть реализовано как одна или более памятей (например, одна или более флэш-памятей, оперативные памяти - статическая, динамическая или другие), оптические диски, CD-ROM, DVD-ROM, EPROM, EEPROM, магнитные или оптические карты или другой тип непереносимых машиночитаемых носителей, пригодных для хранения электронных команд. Дополнительно, варианты осуществления изобретения, не создавая ограничений, могут быть реализованы посредством аппаратурного обеспечения или встроенного микропрограммного обеспечения, использующего FPGA, ASIC, процессор, компьютер или компьютерную систему, содержащую сеть. Модули и компоненты реализации аппаратурного обеспечения или программного обеспечения могут разделяться или объединяться без значительного изменения вариантов осуществления изобретения.

В приведенном выше описании делалась ссылка на конкретные варианты осуществления системы и способ обеспечения расширенного дисплея с помощью шлема-дисплея. Приведенное выше описание и чертежи являются иллюстрацией системы и способа обеспечения расширенного дисплея с шлемом-дисплеем и не должны рассматриваться как ограничение системы и способа обеспечения расширенного дисплея с использованием шлема-дисплея. Очевидно, что в них могут делаться различные модификации, не отступая от более широких сущности и объема системы и способа обеспечения расширенного дисплея с использованием шлема-дисплея.

1. Шлем-дисплей (HMD), содержащий:

логику формирования для формирования по меньшей мере одного виртуального дисплея;

прозрачный дисплей;

блок презентации для представления по меньшей мере одного виртуального дисплея на прозрачном дисплее,

при этом прозрачный дисплей выполнен с возможностью предоставления пользователю возможности просмотра указанного по меньшей мере одного виртуального дисплея и физического дисплея в сцене реального мира,

указанный по меньшей мере один виртуальный дисплей представлен на прозрачном дисплее в качестве дополнительного объекта в сцене реального мира, и

указанный по меньшей мере один виртуальный дисплей используется в сочетании с физическим дисплеем для представления сформированной компьютером информации на расширенном рабочем столе с визуальной точки зрения пользователя; и

вычислительную логику для

определения положения шлема-дисплея;

определения местоположения физического дисплея на основании по меньшей мере определенного положения шлема-дисплея;

определения положения поверхности и площади экрана физического дисплея на основании по меньшей мере определенного местоположения физического дисплея; и

предоставления определенного положения шлема-дисплея, определенного местоположения физического дисплея, определенного положения поверхности физического дисплея и определенной площади экрана физического дисплея в логику формирования.

2. HMD по п. 1, в котором сформированная компьютером информация представлена на расширенном рабочем столе, только если физический дисплей находится в поле зрения HMD.

3. HMD по п. 1, дополнительно содержащий:

память для хранения сформированной компьютером информации, представляемой на расширенном рабочем столе,

при этом хранящаяся сформированная компьютером информация представлена исключительно на виртуальном дисплее, только если физический дисплей не находится в поле зрения HMD.

4. HMD по п. 1, дополнительно содержащий:

вычислительную логику для переопределения положения шлема-дисплея, местоположения физического дисплея, положения поверхности физического дисплея и площади экрана физического дисплея в ответ по меньшей мере на одно из следующего:

физическое перемещение физического дисплея,

физическое перемещение HMD, и

время, прошедшее после предшествующего определения положения HMD, и/или предшествующего определения местоположения физического дисплея, и/или предшествующего определения положения поверхности физического дисплея, и/или предшествующего определения площади экрана физического дисплея.

5. HMD по п. 1, в котором логика формирования выполнена с возможностью формирования указанного по меньшей мере одного виртуального дисплея с площадью экрана, кратной площади экрана физического дисплея, причем данные слежения за глазами собираются по меньшей мере одним датчиком слежения за глазами и логика формирования выполнена с возможностью формирования указанного по меньшей мере одного виртуального дисплея на основании по меньшей мере одного из следующего:

собранные данные слежения за глазами,

определенное положение шлема-дисплея,

определенное местоположение физического дисплея,

определенное положение поверхности физического дисплея, и

определенная площадь экрана физического дисплея.

6. HMD по п. 1, дополнительно содержащий:

перспективную логику для определения требуемой относительной ориентации дисплея между первым участком и вторым участком расширенного рабочего стола, подлежащего назначению физическому дисплею и указанному по меньшей мере одному виртуальному дисплею; и

ассоциативную логику для конфигурирования первого и второго участков расширенного рабочего стола с требуемой относительной ориентацией дисплея, при этом указанный по меньшей мере один виртуальный дисплей используется в сочетании с физическим дисплеем для представления конфигурированных первого и второго участков расширенного рабочего стола с визуальной точки зрения пользователя.

7. HMD по п. 1, в котором указанный по меньшей мере один виртуальный дисплей представлен на прозрачном дисплее в качестве дополнительного объекта, расположенного рядом с физическим дисплеем в сцене реального мира с визуальной точки зрения пользователя.

8. HMD по п. 1, в котором по меньшей мере один виртуальный дисплей представлен на прозрачном дисплее в качестве дополнительного объекта, наложенного на физический дисплей в сцене реального мира с визуальной точки зрения пользователя.

9. Осуществляемый компьютером способ, содержащий этапы, на которых: формируют с помощью шлема-дисплея (HMD) по меньшей мере один виртуальный дисплей; и

представляют указанный по меньшей мере один виртуальный дисплей на HMD,

при этом HMD выполнен с возможностью предоставления пользователю возможности просмотра указанного по меньшей мере одного виртуального дисплея и физического дисплея в сцене реального мира,

по меньшей мере один виртуальный дисплей представлен на HMD как дополнительный объект в сцене реального мира, и

указанный по меньшей мере один виртуальный дисплей используется в сочетании с физическим дисплеем для представления сформированной компьютером информации на расширенном рабочем столе с визуальной точки зрения пользователя,

при этом способ дополнительно содержит этапы, на которых:

определяют положение шлема-дисплея;

определяют местоположение физического дисплея на основании по меньшей мере определенного положения шлема-дисплея;

определяют положение поверхности и площадь экрана физического дисплея на основании по меньшей мере определенного местоположения физического дисплея; и

предоставляют HMD определенное положение шлема-дисплея, определенное местоположение физического дисплея, определенное положение поверхности физического дисплея и определенную площадь экрана физического дисплея.

10. Осуществляемый компьютером способ по п. 9, в котором сформированную компьютером информацию представляют на расширенном рабочем столе, только если физический дисплей находится в поле зрения HMD.

11. Осуществляемый компьютером способ по п. 9, дополнительно содержащий этап, на котором:

сохраняют сформированную компьютером информацию, представляемую на расширенном рабочем столе,

при этом хранящуюся сформированную компьютером информацию представляют исключительно на виртуальном дисплее, только если физический дисплей не находится в поле зрения HMD.

12. Осуществляемый компьютером способ по п. 9, дополнительно содержащий этап, на котором:

переопределяют положение шлема-дисплея, местоположение физического дисплея, положение поверхности физического дисплея и площадь экрана физического дисплея в ответ по меньшей мере на одно из следующего:

физическое перемещение физического дисплея,

физическое перемещение HMD, и

время, прошедшее после предшествующего определения положения HMD, и/или предшествующего определения местоположения физического дисплея, и/или предшествующего определения положения поверхности физического дисплея, и/или предшествующего определения площади экрана физического дисплея.

13. Осуществляемый компьютером способ по п. 9, в котором на этапе определения местоположения физического дисплея дополнительно определяют каждый угол между каждой вершиной физического дисплея, при этом положение поверхности и/или площадь экрана физического дисплея модифицируют с использованием определенных углов.

14. Осуществляемый компьютером способ по п. 9, в котором на этапе формирования формируют указанный по меньшей мере один виртуальный дисплей с площадью экрана, кратной площади экрана физического дисплея, при этом на этапе формирования собирают данные слежения за глазами и на этапе формирования формируют указанный по меньшей мере один виртуальный дисплей на основании по меньшей мере одного из следующего:

собранные данные слежения за глазами,

определенное положение шлема-дисплея,

определенное местоположение физического дисплея,

определенное положение поверхности физического дисплея, и

определенная площадь экрана физического дисплея.

15. Осуществляемый компьютером способ по п. 9, дополнительно содержащий этапы, на которых:

определяют требуемую относительную ориентацию дисплея между первым участком и вторым участком расширенного рабочего стола, подлежащего назначению физическому дисплею и указанному по меньшей мере одному виртуальному дисплею; и

конфигурируют первый и второй участки расширенного рабочего стола с требуемой относительной ориентацией дисплея, причем указанный по меньшей мере один виртуальный дисплей используется в сочетании с физическим дисплеем для представления конфигурированных первого и второго участков расширенного рабочего стола с визуальной точки зрения пользователя.

16. Осуществляемый компьютером способ по п. 9, в котором указанный по

меньшей мере один виртуальный дисплей представлен на HMD в качестве дополнительного объекта, расположенного рядом с физическим дисплеем в сцене реального мира с визуальной точки зрения пользователя.

17. Осуществляемый компьютером способ по п. 9, в котором указанный по меньшей мере один виртуальный дисплей представлен на HMD в качестве дополнительного объекта, наложенного на физический дисплей в сцене реального мира с визуальной точки зрения пользователя.

18. Мультидисплейная система, содержащая:

физический дисплей, используемый для представления пользователю сформированной компьютером информации;

логику формирования для формирования виртуального дисплея;

шлем-дисплей (HMD), содержащий:

прозрачный дисплей;

блок презентации для представления по меньшей мере одного виртуального дисплея на прозрачном дисплее,

при этом прозрачный дисплей выполнен с возможностью предоставления пользователю возможности просмотра указанного по меньшей мере одного виртуального дисплея и физического дисплея в сцене реального мира,

указанный по меньшей мере один виртуальный дисплей представлен на прозрачном дисплее в качестве дополнительного объекта в сцене реального мира, и

указанный по меньшей мере один виртуальный дисплей используется в сочетании с физическим дисплеем для представления сформированной компьютером информации на расширенном рабочем столе с визуальной точки зрения пользователя; и

вычислительную логику для

определения положения шлема-дисплея;

определения местоположения физического дисплея на основании по меньшей мере определенного положения шлема-дисплея;

определения положения поверхности и площади экрана физического дисплея на основании по меньшей мере определенного местоположения физического дисплея; и

предоставления определенного положения шлема-дисплея, определенного местоположения физического дисплея, определенного положения поверхности физического дисплея и определенной площади экрана физического дисплея в логику формирования.