Способ представления виртуального пространства пользователю и система для осуществления способа

 

Способ представления виртуального пространства пользователю с учетом его движения в реальном пространстве определяет параметры перемещения частей тела пользователя. При реализации способа преобразуют полученные данные в требуемую форму их представления, обрабатывают совокупности преобразованных данных для определения области виртуального пространства, отображаемой пользователю в соответствии с его положением и ориентацией с учетом взаимодействия с объектами виртуального пространства, при этом закрепляют у каждого из основных сочленений сегментов опорно-двигательной системы пользователя средство определения по меньшей мере одного угла между сегментами, примыкающими к соответствующему сочленению, задают линейные размеры сегментов опорно-двигательной системы пользователя, размещают по меньшей мере на одном из сегментов опорно-двигательной системы пользователя средство определения опорных направлений, определяют ориентацию по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений, относительно упомянутых опорных направлений, определяют углы между сегментами, примыкающими к упомянутым основным сочленениям, определяют ориентацию и положение пользователя в целом в пространстве на основе полученных значений углов и ориентации упомянутого по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений, определяют опорный сегмент или сегменты опорно-двигательной системы пользователя, позиционируют упомянутый опорный сегмент или сегменты относительно опоры в отображаемом виртуальном пространстве, определяют положение и ориентацию головы пользователя в виртуальном пространстве для определения его поля зрения в виртуальном пространстве, формируют и представляют пользователю область виртуального пространства, соответствующую его полю зрения. Предложена система для осуществления способа. 2 с. и 20 з.п. ф-лы, 2 ил.

Изобретение относится к средствам учебного или тренировочного назначения, а также к спорту, играм и развлечениям и может быть использовано при создании имитаторов и тренажеров спортивного и военного назначения, интерактивных компьютерных игр и систем виртуальной реальности.

Известен способ и реализующая его система представления виртуальной реальности пользователю, содержащая узел подвижной платформы, имеющий шесть степеней свободы и выполненный в виде сферической оболочки, внутри которой размещен пользователь; средство определения положения сферической платформы, данные о котором вводятся в компьютер, находящийся внутри указанной оболочки (см. патент США N 5490784, кл.434-55, кл. G 09 B 9/00, опубл. 13.02.96). Информация о положении платформы передается передатчиком в приемник, который в свою очередь передает полученные данные об угловом положении сферической платформы с пользователем в главный компьютер, находящийся вне платформы. Сферическая платформа, установленная на поворотных опорах, также опирается на штанги изменяемой длины, управляемые для обеспечения линейных перемещений пользователя вместе с платформой по трем линейным координатам. Информация о линейных перемещениях поворотной платформы направляется в главный компьютер. Нашлемный дисплей подстраивает отображаемое пользователю изображение виртуальной реальности в соответствии с полученной информацией о перемещениях платформы с пользователем.

К недостаткам данного известного технического решения следует отнести сложность системы, а также то, что пользователь ограничен в своих движениях, в результате чего снижается степень достоверности моделирования виртуального пространства и его восприятия пользователем.

Наиболее близкими к изобретению являются способ и реализующая его система представления пользователю комбинированного изображения реальной и виртуальной среды, содержащая средство визуального отображения для представления пользователю составного изображения; датчик направления для формирования сигнала, индицирующего направление поля зрения пользователя; видеокамеру для формирования последовательности видеосигналов, которые в комбинации представляют его поле зрения; средство для установки видеокамеры таким образом, чтобы поле зрения видеокамеры совпадало с полем зрения пользователя и отслеживало его перемещения; средство генерирования изображений, реагирующее на сигнал направления, для формирования синтезированных сигналов, характеризующих генерируемую компьютером часть полного изображения; средство селекции и комбинирования изображений, реагирующее на видеокамеру, на средство генерирования изображения и на датчик направления, для формирования выходного сигнала для средства визуального отображения, для анализа видеосигналов и выбора видеосигналов или синтезированных компьютером сигналов для формирования составного видеосигнала и подачи его на устройство отображения (см. патент США N 5349517, кл.395-129, кл. G 06 F 15/20, опубл. 14.10.92).

Данному известному техническому решению также свойственны отмеченные выше недостатки, в частности, не обеспечивается возможность представления пользователю изображения виртуальной среды в соответствии с изменениями положения и ориентации пользователя в реальном пространстве.

Задачей изобретения является создание способа представления виртуального пространства пользователю и системы для осуществления способа, позволяющих преодолеть недостатки, свойственные вышеуказанным известным решениям, известным из предшествующего уровня техники.

Достигаемым техническим результатом является снижение затрат на изготовление и эксплуатацию, обеспечение удобства и естественности движений пользователя без каких-либо ограничений его перемещения по пространству, в том числе при взаимодействии пользователя с объектами реальной или виртуальной среды, а также повышение точности и достоверности представления пользователю изображения виртуальной среды в полном соответствии с изменениями положения и ориентации пользователя в реальном пространстве.

Указанный результат достигается тем, что в способе представления виртуального пространства пользователю с учетом его движения в реальном пространстве, при котором определяют параметры перемещения частей тела пользователя, преобразуют полученные данные в требуемую форму их представления, обрабатывают совокупности преобразованных данных для определения области виртуального пространства, отображаемой пользователю в соответствии с его положением и ориентацией с учетом взаимодействия с объектами виртуального пространства, в соответствии с изобретением а) закрепляют у каждого из основных сочленений сегментов опорно-двигательной системы пользователя средство определения по меньшей мере одного угла между сегментами, примыкающими к соответствующему сочленению; б) задают линейные размеры сегментов опорно-двигательной системы пользователя; в) размещают по меньшей мере на одном из сегментов опорно- двигательной системы пользователя средство определения опорных направлений; г) определяют ориентацию по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений, относительно упомянутых опорных направлений; д) определяют углы между сегментами, примыкающими к упомянутым основным сочленениям; е) определяют ориентацию и положение пользователя в целом в пространстве на основе полученных значений углов и ориентации упомянутого по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений; ж) определяют опорный сегмент или сегменты опорно-двигательной системы пользователя; з) позиционируют упомянутый опорный сегмент или сегменты относительно опоры в отображаемом виртуальном пространстве; и) определяют положение и ориентацию головы пользователя в виртуальном пространстве для определения его поля зрения в виртуальном пространстве;
к) формируют и представляют пользователю область виртуального пространства, соответствующую его полю зрения.

При этом операции с (г) по (к) повторяют для отображения изменений виртуального пространства в реальном времени в соответствии с движениями пользователя и взаимодействия с объектами виртуального пространства.

Кроме того, последовательности данных положений и ориентаций пользователя могут регистрировать для последующего использования.

Предпочтительным является то, что в качестве опорных направлений используют направления "север - юг" датчика геомагнитного поля и направление датчика местной вертикали, либо направления "север - юг", "запад - восток", либо направления, формируемые гиростабилизированными датчиками опорных направлений, либо направления, формируемые внешним источником опорных направлений, либо направления, формируемые по меньшей мере одной парой пространственно разнесенных датчиков абсолютных координат, размещаемой по меньшей мере на одном из сегментов опорно- двигательной системы пользователя.

Также предпочтительно, что линейные размеры сегментов опорно-двигательной системы пользователя задают на основе известных пропорций тела человека с использованием данных роста пользователя и масштабируют значение линейных размеров сегментов для соответствующего изменения его размеров относительно отображаемого пространства.

Кроме того, предпочтительно, что при использовании манипулятора для взаимодействия пользователя с объектами отображаемого виртуального пространства положение манипулятора определяют по положению удерживающей его руки пользователя, а точную ориентацию манипулятора определяют с помощью размещаемого на нем дополнительного средства определения опорных направлений.

При этом в качестве основных сочленений между сегментами опорно-двигательной системы пользователя предпочтительно выбирают тазобедренный сустав, коленные суставы, голеностопные суставы, плечевые суставы, локтевые суставы, кистевые суставы, сочленение головы и плеч и сочленение грудного и поясничного отделов позвоночника, а также, дополнительно, суставы стопы и пальцев кисти рук.

Указанный выше результат также достигается тем, что в системе представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, содержащей средство отображения изображения виртуального пространства, средство формирования сигнала, индицирующего направление поля зрения пользователя, средство формирования сигналов изображения виртуального пространства, соответствующего полю зрения пользователя, вход которого соединен с выходом средства формирования сигнала, индицирующего направление поля зрения пользователя, а выход - с входом средства отображения изображения виртуального пространства, согласно изобретению, средство формирования сигнала, индицирующего направление поля зрения пользователя, содержит средство определения по меньшей мере одного угла между сегментами опорно-двигательной системы пользователя, примыкающими к соответствующему сочленению упомянутых сегментов; средство определения опорных направлений, размещенное по меньшей мере на одном из сегментов опорно-двигательной системы пользователя; средство аналого-цифрового преобразования, входы которого соединены с выходами средств определения углов между сегментами опорно-двигательной системы пользователя и средства определения опорных направлений; блок построения математической модели трехмерного пространства и пользователя в этом пространстве, вход которого соединен с выходом средства аналого-цифрового преобразования; и блок определения поля зрения пользователя, вход которого соединен с выходом блока построения математической модели трехмерного пространства и пользователя, а выход - с входом средства формирования сигналов изображения виртуального пространства соответствующего полю зрения пользователя; при этом второй вход средства формирования сигналов изображения виртуального пространства, соответствующего полю зрения пользователя, соединен с вторым выходом блока построения математической модели трехмерного пространства и пользователя в этом пространстве.

При этом датчик относительного угла поворота предпочтительно может быть выполнен в виде тензодатчика или оптиковолоконного датчика.

Также предпочтительным является то, что средство определения опорных направлений содержит датчик геомагнитного поля и датчик местной вертикали, либо гиростабилизированный датчик опорных направлений, либо датчик сигнала внешнего источника опорных направлений.

Кроме того, предпочтительно, что при использовании манипулятора для взаимодействия пользователя с объектами отображаемого реального или виртуального пространства использовалось дополнительное средство определения опорных направлений, размещенное на манипуляторе, при этом выход дополнительного средства определения опорных направлений через первый блок опроса соединен с входом средства аналого-цифрового преобразования.

И, наконец, целесообразно использовать блок долговременной памяти, соединенный с выходом средства аналого-цифрового преобразования.

Изобретение поясняется на примерах его осуществления, иллюстрируемых чертежами, на которых представлено следующее:
Фиг. 1 - условное изображение пользователя, иллюстрирующее расположение средств определения углов между сегментами опорно-двигательной системы пользователя и средств определения опорных направлений системы, соответствующей изобретению;
Фиг. 2 - обобщенная блок-схема системы представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, выполненная в соответствии с изобретением.

На фиг.1 схематически изображен пользователь 1, спорно- двигательная система которого состоит из сегментов 2 с сочленениями 3 шарнирного типа. Сочленения 3 шарнирного типа сегментов 2 имитируют соединения костей суставами. Шарниры, так же как и суставы человека, животного, имеют разную степень свободы. Например, соединения предплечья и плеча, голени и бедра могут имитироваться простым шарниром с одной степенью свободы, а для имитирования соединения плеча в плечевом суставе с лопаткой, тазобедренного сустава необходимо шарнирное соединение с большим количеством степеней свободы.

Средства определения углов между сегментами 2 представляют собой датчики 4 для отслеживания положения сегментов и их частей относительно друг друга, размещаемые в местах сочленений 3 сегментов 2 и на самих сегментах 2. Они предназначены для точного отслеживания движений пользователя, в том числе для измерения углов поворота некоторых сегментов относительно своей оси, например одного конца локтевого сегмента относительно другого его конца. Вышеупомянутый локтевой сегмент состоит из двух лучевых костей, способных двигаться относительно друг друга, позволяя одному концу сегмента поворачиваться относительно другого вдоль своей оси. Такого рода сегментов, способных частично поворачиваться вокруг своей оси, не изменяя при этом угол между ним и смежным сегментом, несколько. К ним относятся, например, голова с шеей, поворачиваемые относительно плеч; грудная часть тела, поворачиваемая относительно тазовой части. Датчики 4 могут представлять собой оптико-волоконные датчики, тензодатчики. В одном из вариантов осуществления изобретения датчик 4 может представлять собой датчик для измерения угловых и линейных перемещений, состоящий из передающей и приемной частей, основанный на изменении ЭДС, наводимой в контуре приемника, изменяющейся при изменении угла между сегментами.

Средство 5 определения опорных направлений размещено на одном из сегментов 2 и предназначено для определения ориентации данного сегмента относительно опорных направлений. Средство 5 выгоднее располагать на частях тела, которые являются наиболее стабильными при таких стандартных движениях пользователя, как ходьба и бег. Рекомендуется размещать это средство на тазовой части. При погружении пользователя в виртуальную реальность для более быстрого и точного отслеживания ориентации головы целесообразно использовать дополнительное средство определения опорных направлений, закрепляемое на голове. В одном из вариантов осуществления средства определения опорных направлений могут быть размещены на смежных сегментах и обеспечивать определение их угловых положений на основе их ориентаций по отношению к опорным направлениям.

Средство 6 отображения виртуального пространства пользователю размещается на голове пользователя перед его глазами.

Как показано на фиг. 2, система представления пользователю виртуального пространства в соответствии с его положением и ориентацией в одном из вариантов осуществления содержит блок 7 опроса, содержащий задающий генератор, определяющий частоту опроса n датчиков 4, m средств 5 определения опорных направлений, k дополнительных устройств 8 для взаимодействия с объектами виртуального пространства (манипуляторы, джойстики, имитаторы оружия и т.п.). Выходы блока 7 опроса соединены с аналого-цифровым преобразователем (АЦП) 9, предназначенным для преобразования аналоговых данных с датчиков 4, дополнительных устройств 8 и средств 5 определения опорных направлений в цифровые, например, с восьмибайтовым значением. Выход АЦП 9 соединен с входом блока накопителя 10 с количеством ячеек памяти не менее, чем n+m+k. Блок накопителя 10 через блок 11 опроса связан с блоком 12 долговременной памяти и с блоком 13 подготовки данных. Блок 12 долговременной памяти предназначен для хранения данных о положении и ориентации пользователя, изменяющихся во времени в зависимости от его действий, для последующего использования в самых разных целях. При этом выход блока 12 долговременной памяти может соединяться с входом блока 13. Блок 13 подготовки данных предназначен для сглаживания полученных данных, исключения случайных погрешностей и представления их в виде, приемлемом для построения математической модели пользователя. В одном из вариантов осуществления вход блока долговременной памяти может быть соединен с выходом АЦП, что определяется непосредственным исполнением АЦП. Для учета обоих вышеуказанных вариантов элементы 9, 7, 10, 11 могут быть обобщены как средство аналого-цифрового преобразования.

Выход блока 13 подготовки данных соединен с входом блока 14 построения математической модели трехмерного пространства, представляемого пользователю, и математической модели пользователя в этом пространстве. Блок 15 ввода дополнительных данных, при помощи которого задается дополнительная информация о пользователе, отображаемом пространстве, временных соотношениях между движениями пользователя и динамикой изменения отображаемого пространства, подключен к блоку 14. Эта информация может представлять собой такие дополнительные сведения о пользователе^ как рост, вес, пол, возраст и другие. Если дополнительная информация отсутствует или не требуется, то математическая модель пользователя обсчитывается для среднего человека со стандартными пропорциями. Блок 14 содержит следующие блоки: блок 16 определения ориентации основного сегмента, на котором размещено средство 5 определения опорных направлений, по отношению к опорным направлениям; блок 17 построения модели пользователя в целом; блок 18 определения опорного сегмента (сегментов) пользователя; блок 19 позиционирования пользователя относительно опоры в смоделированном пространстве, рассчитываемом компьютером.

С выходом блока 14 соединены вход блока 20 определения поля зрения пользователя и вход блока 21 формирования сигналов изображения виртуального пространства, соответствующих полю зрения пользователя. Выход блока 20 также соединен с входом блока 21 формирования сигналов изображения виртуального пространства. С выходом блока 21 соединен вход блока 22 отображения пользователю виртуального пространства, в которое он погружен, в соответствии с его положением и ориентацией в этом пространстве.

Система представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, работает следующим образом.

Датчики 4 и средства 5 определения опорных направлений в предпочтительном варианте крепятся на специальной одежде типа комбиневона или непосредственно на пользователе в местах сочленений 3 сегментов 2 и на самих сегментах 2. Одежда с системой датчиков 4 и средств 5 должна быть легкой, без труда надеваться и сниматься, не должна стеснять движения пользователя. Датчики 4 на этой одежде крепятся таким образом, чтобы при движении пользователя, то есть изменении углов между сегментами 2 или поворота одного конца сегмента относительно другого конца вдоль оси сегмента, в них изменялись некие физические параметры, например сопротивление электрической цепи с тензодатчиком, количества пропускаемого света в оптико-волоконном датчике или изменения магнитной индукции. Эти физические параметры должны изменяться в определенных пределах в соответствии с изменениями углов между смежными сегментами 2 от одного крайнего положения до другого.

Система может включать основное и дополнительные средства 5 определения опорных направлений, обеспечивающие определение угла между сегментом, на котором размещено соответствующее средство 5, и опорными направлениями. Основное средство 5 определения опорных направлений размещают на сегменте, принимаемом за основной сегмент. Целесообразно основной сегмент выбирать таким образом, чтобы он был ближе к геометрическому центру пользователя и был наиболее стабильным при типовых движениях человека: беге и ходьбе. Этим требованиям лучше всего удовлетворяет тазовый сегмент человека. При погружении пользователя в виртуальную реальность для более быстрого и точного отслеживания наклонов и поворотов головы целесообразно использовать дополнительное средство 5 определения опорных направлений, закрепленное на голове.

Информация с датчиков 4, средств 5 определения опорных направлений и дополнительных устройств 8 взаимодействия с объектами виртуального пространства снимается на АЦП 9 и обновляется в соответствии с сигналом опроса, формируемым задающим генератором блока) 7 опроса. С АЦП 9 информация поступает в соответствующие ячейки памяти блока накопителя 10.

Блок 11 опроса опрашивает ячейки памяти блока накопителя 10 и формирует последовательность данных, характеризующую положение и ориентацию пользователя, включая данные с дополнительных устройств 8, относящиеся к конкретному (текущему) моменту времени, и передает их в блок 12 долговременной памяти для долговременного хранения. Этими данными можно воспользоваться в любое время, для чего их необходимо подать в блок 13 подготовки данных для последующей обработки. При использовании в режиме реального времени данные с блока 11 опроса непосредственно поступают на блок 13 подготовки данных. Блок 13 сглаживает полученные данные, исключает случайные погрешности, формирует необходимую последовательность данных и представляет их в необходимом виде для построения математической модели пользователя в блок 14.

В блоке 14 строится математическая модель трехмерного пространства, отображаемого пользователю, и математическая модель пользователя в этом пространстве. С помощью блока 15 ввода дополнительных данных в блок 14 вводят дополнительную информацию о пользователе, об отображаемом пространстве, временные соотношения между движениями пользователя и динамикой изменения отображаемого пространства. Эта информация может представлять собой такие дополнительные сведения о пользователе, как рост, вес, пол, возраст и другие. Если дополнительная информация отсутствует или не требуется, то математическая модель рассчитывается для среднего человека со стандартными пропорциями. Если необходимо создать эффект "Гулливера", когда объекты отображаемого пространства неестественно большие или маленькие, то изменяют вводимые данные о пропорциях Между линейными размерами пространства и объектами в нем и линейными размерами пользователя.

Блок 16 построения и ориентации основного сегмента вычисляет и строит по поступающим данным положение и ориентацию основного сегмента, на котором размещено основное средство определения опорных направлений по отношению к опорным направлениям. В качестве опорных направлений целесообразно использовать направления, связанные с геомагнитным полем Земли, "Север-Юг" и "Запад-Восток", или местную вертикаль, определяемую на основе гравитационного поля Земли, и направление "Север-Юг". Эти поля существуют практически везде и не зависят от пользователя. С помощью специального средства типа электромагнитного компаса, компаса и гравитационного датчика горизонтали или вертикали можно определить ориентацию пользователя и, в частности, того сегмента опорно-двигательной системы пользователя, на котором закреплено это средство. В местах, где существуют сильные помехи или магнитное поле земли экранировано, с помощью специального внешнего средства можно создать искусственное поле опорных направлений. Важно при этом, что необходимо будет только определить ориентацию пользователя в этом поле и не требуется определять абсолютное расстояние до этих средств с помощью алгоритмов триангуляции, требующих интенсивных вычислений.

В блоке 17 построения модели пользователя в целом к построенному основному сегменту пристраивают смежные сегменты по намеренным данным об углах между ними, а к построенным смежным сегментам - следующие смежные сегменты и так вплоть до конечных сегментов.

В блоке 18 определяют опорный сегмент или опорные сегменты пользователя. Например, если пользователь движется по горизонтальной плоской поверхности, опорным будет сегмент, находящийся ниже всех по отношению к местной вертикали, а "точкой" опоры - самая нижняя часть этого сегмента.

В блоке 19 позиционируют пользователя относительно опоры в пространстве, рассчитываемом компьютером. Для этого в самом простом случае совмещают сориентированную модель пользователя и опору пользователя в моделируемом пространстве таким образом, чтобы совместились опорная часть опорного сегмента пользователя и та часть моделируемого пространства, которая является опорой для пользователя в данный момент. В случае, когда пользователь находится в движении, например в прыжке, то есть какое-то время в "полете", пользователя позиционируют по отношению к опоре с использованием ближайшей предыдущей информации о динамике движения. Следует иметь в виду, что, имея полную информацию об изменении углов между сегментами в динамике, можно рассчитать даже импульс пользователя и силу, с которой он оттолкнулся от опоры. Это позволит смоделировать движения пользователя в отображаемом пространстве, практически идентичные реальным. При этом, в соответствии с изменяющимся положением и ориентацией сегментов пользователя в динамике, отслеживается изменяющееся положение пользователя (координаты) и ориентация пользователя в целом в пространстве. То есть по отображенному изображению движений пользователя можно будет увидеть, например, что пользователь сделал десять шагов по направлению на "Север", повернулся и побежал на "Юго-Восток" и так далее.

С выхода блока 14 информацию о построенной модели пользователя в моделируемом пространстве передают на вход блока 20 определения поля зрения пользователя и вход блока 21 формирования изображения виртуального пространства. В блоке 20 по информации с блока 14 определяют поле зрения пользователя в виртуальном пространстве, т. е. определяют, какую часть виртуального пространства мог бы видеть пользователь в данный момент. С выхода блока 20 информация об угле зрения пользователя поступает в блок 21 формирования изображения виртуального пространства. В блоке 21 в соответствии с полем Зрения пользователя и моделью виртуального пространства формируется изображение той части виртуального пространства, которую может видеть пользователь в соответствии со своим положением и ориентацией в виртуальном пространстве, рассчитываемыми в соответствии с движениями в реальном пространстве. С выхода блока 21 сигналы поступают на вход блока 22 отображения пользователю виртуального пространства, в которое он погружен, в соответствии с его положением и ориентацией в этом пространстве. В качестве блока 22 может использоваться любое средство для отображения виртуального пространства: монитор, виртуальные шлем или очки, в том числе средство 6 (фиг.1).

Как отмечено выше при характеристике предшествующего уровня техники, в большинстве известных систем формирование модели пользователя производится по абсолютным координатам, определяемым с помощью датчиков, расположенных на пользователе. При этом автоматически определяется положение пользователя в целом в пространстве. В динамике абсолютные координаты дадут траекторию его перемещении. При этом пространство чаще всего ограничено рамками внешних датчиков или излучателей, расставленных по периметру активной зоны действий пользователя. В отличие от этого, в способе и системе, согласно изобретению, активная зона передвижения пользователя практически не ограничена, т. к. все, что нужно для определения положения и ориентации пользователя, находится на самом пользователе. При этом важно только наличие поля для работы средств определения опорных направлений, а перемещение пользователя в пространстве рассчитывается с помощью компьютера, в соответствии с информацией об изменении углов между сегментами и ориентации относительно опорных направлений. Изменение в пространстве может рассчитываться через количество, размер и направление шагов пользователя. Для определения размера шага необходимо знать углы между опорными сегментами пользователя в момент совершения шага и их линейные размеры. Более конкретно, для определения шага человека необходимо знать угол между бедренными костями правой и левой ноги, угол между бедренной костью и голенью для каждой ноги и линейные размеры голени и бедра. В некоторых случаях может быть также выгодно измерять углы между стопой и голенью, а также между стопой и пальцами ног.

Для упрощения критерия определения опорных сегментов через ориентацию сегментов относительно плоскости можно использовать датчики, устанавливаемые на подошве пользователя. Например, если нога в какой то момент является опорной, на датчике замыкается контакт, а если нога поднята и находится на весу, контакт, наоборот, размыкается. Датчик также может давать информацию о степени нагрузки на каждую ногу. Через степень нагрузки на ногу в динамике и вес пользователя можно рассчитать получаемый им импульс и рассчитать траекторию движения пользователя даже для прыжка. Необходимые данные для расчета траектории движения, физических характеристик движений пользователя можно рассчитать также через динамику изменения углов между сегментами.

Способ и система, соответствующие настоящему изобретению, дают ряд совершенно новых возможностей, которые были нереализуемы до этого, в частности, возможностей проведения тестирования и конкурсов со всякого рода движениями: спортивными, танцевальными, для оценки правильности реагирования на предлагаемую ситуацию, в поединках. Такие конкурсы можно будет проводить с разделением во времени, снимая данные, например, с одного и того же пользователя в разное время. Затем эти данные могут оцениваться, сравниваться, как с помощью компьютера, так и человеком, после визуализации этих движений для сравнения. Можно проводить конкурсы среди множества пользователей единовременно. Для этого в режиме реального времени с нескольких пользователей снимают данные и сравнивают на правильность исполнения, правильное реагирование на ситуацию, на быстроту реакции, на оригинальность движений. Такие конкурсы можно проводить между пользователями заявленной системы, подключенными к сети Интернет (Internet) или какой-либо специализированной сети, причем эти пользователи могут находиться друг от друга на значительном удалении.

Данные о положении и ориентации пользователя, записываемые в память, могут дополнительно архивироваться. Возможно создание библиотеки данных о типовых движениях человека, любых хордовых животных и уникальных движениях, записываемых с известных спортсменов, танцоров.

Одно из важных преимуществ настоящего изобретения обусловлено тем, что вся система датчиков находится на пользователе. Нет необходимости определять абсолютные расстояния до опорных точек, определяемых в известных системах позициями расположения внешних датчиков. Изобретение дает возможность определять положение и ориентацию пользователя практически в неограниченном пространстве, где только существует поле опорных направлений, относительно которого можно сориентировать пользователя. Определение опорных направлений предполагает, как описано выше, определение ориентации сегмента, на котором расположено средство определения опорных направлений, относительно опорных направлений. В качестве опорных направлений выгоднее всего использовать направления векторов естественных полей Земли, которые присутствуют независимо от нас практически везде. В качестве двух опорных направлений (третье строится ортогонально к двум предыдущим) предложено использовать направления "север-юг" и "восток-запад" магнитного поля Земли или, например, "север-юг" и местную вертикаль, определяемую гравитационным полем Земли. При нахождении пользователя в помещении, экранированном от внешних полей, можно установить излучатели искусственных полей опорных направлений. В этом случае, как и прежде, необходимо определять ориентацию пользователя в поле опорных направлений, а не абсолютные расстояния до внешних излучателей. При этом определяются углы между вектором сегмента, на котором находится средство определения опорных направлений, и опорными направлениями.

С помощью представления виртуального пространства пользователю, согласно изобретению, возможно реализовать почти всю атрибутику "машины времени" в рамках запротоколированной истории действий пользователя. Пользователь может в любой момент времени своих запротоколированных действий или действий любого другого героя вернуться на любой отрезок времени в рамках его истории. Это может быть полезно в компьютерных играх, для того чтобы игрок мог вернуться и изменить свое поведение на более результативное. С учетом того, что могут записываться несколько параллельных линий поведения, пользователь для продолжения действий может выбрать любую, на его взгляд, более удачную. При использовании протоколов изменения положения и ориентации пользователя в динамике можно реализовать четырехмерное пространство, определяемое тремя пространственными измерениями и временем. В отличие от движений в реальной жизни, где движение во времени осуществляется только в одном направлении к будущему, можно с помощью Записанных данных осуществить функцию непрерывного или дискретного движения во времени в разные стороны так же легко и свободно, как и в пространстве, в рамках предварительно записанных в память данных.

Настоящее изобретение, позволяющее отслеживать движения пользователя и представлять ему виртуальное пространство без сложных внешних устройств, приведет к расширению возможностей существующих компьютерных систем и к созданию новых областей применения. Можно будет установить стандарт описания отслеживаемых движений пользователя для использования в различных системах. Такой стандарт описания движений пользователя мог бы стать, например, частью VRML(языка моделирования виртуальной реальности), использоваться в анимации и для создания специализированных библиотек. Большинство компьютерных применений в будущем будут использовать эти стандарты, с учетом возможности управления программой посредством естественных движений пользователя, отслеживаемых способом, соответствующим настоящему изобретению. Для того чтобы весь парк современных компьютерных применений, в котором движения пользователя реализуются клавиатурой, "мышью", джойстиком, можно было бы использовать с применением системы согласно изобретению, необходимо создание связывающих драйверов, т.е. программ, распознающих движения пользователя и преобразующих их в сигналы средств управления играми и имитации подобных движений.

Одно из важных применений настоящего изобретения связано с обучением пользователя образцовым движениям, например танцевальным, спортивным, при оздоровлении, обучении профессиональным движениям. Для этого отображают пользователю образцовые движения. Для достижения лучшего результата для обучаемого необходимо предусмотреть возможность повторов, выбора любого ракурса, динамики исполнения, масштаба. После этого пользователь должен стремиться повторять движения как можно точнее, при этом для последующего контроля его движения должны записываться, протоколироваться, после чего они могут сравниваться с образцовыми. Сравнение образцовых движений с движениями пользователя может производиться разными способами, в том числе самим пользователем визуально, при одновременном отображении теперь уже одновременно образцовых движений и ранее записанных движений пользователя. Более интересной и перспективной может быть оценка правильности движений пользователя компьютером или специалистом. Компьютер в соответствии с заложенной программой, сравнив движения пользователя, отслеживаемые через положение и ориентацию пользователя, может выдать замечания и рекомендации. Пользователь вносит коррективы в свои движения до достижения необходимых умения и точности. Этот процесс подобен обучению у тренера-мастера, однако не требует соответствующих финансовых затрат и согласовывания своего графика с расписанием мастера. Такая программа с обратной связью, созданная лучшими мастерами, может быть растиражирована в миллионах экземплярах, и каждый сможет ею пользоваться в удобное для него время.

Настоящее изобретение также может быть использовано для контроля дозированных физических нагрузок пользователя. Например, для конкретного человека задается нагрузка в соответствии с рекомендациями врача или тренера. Если таких индивидуальных рекомендаций нет и нет общих противопоказаний, компьютер может сам вычислить и рекомендовать систему нагрузок на какой-то период времени. Для определения нагрузок могут быть использованы данные о перенесенных и хронических болезнях, вес, рост, пол, возраст, цель тренировок, степень физических и эмоциональных нагрузок в течение дня. Можно проводить специализированные предварительные тесты, контролируя реакцию организма, например степень изменения пульса при дозированных нагрузках.

После определения нагрузки компьютер может выдать оптимальные рекомендации на определенный срок. Пользователь приступает к занятиям, используя систему датчиков, наиболее полно отслеживающих движения пользователя и данные о нагрузках на отдельные части тела, легко рассчитываемые по информации о движениях. При таких занятиях полезно использование данных с датчиков пульса пользователя, а при необходимости и других физиологических показателей.

Если пользователь погружен в виртуальную реальность и использует тренажер, позволяющий совершать неограниченные движения, то физическую и эмоциональную нагрузку на него можно регулировать с помощью загружаемой программы, меняя сюжет, динамику и условия окружающей пользователя обстановки. В игре такой контроль может осуществляться дозированием количества появляющихся противников, напряженностью сюжета, необходимостью с достаточной скоростью преследования противника или ухода от опасных мест. Путем такого регулирования, осуществляемого незаметно для пользователя, можно поддерживать, например, пульс в определенных пределах в течение заданного времени. При достижении заданной нагрузки необходимо подводить пользователя к выполнению задачи и завершению сюжета. Это позволит пользователю завершить тренировку с чувством достижения результата в эмоционально приподнятом настроении. Современные игры, к сожалению, не удовлетворяют этим принципам. Игрок чаще всего неподвижен, то есть отсутствует физическая нагрузка при высокой эмоциональной нагрузке, что может приводить к стрессам и депрессиям. Игры и тренировки, осуществляемые с контролируемыми физическими и эмоциональными нагрузками, могут быть хорошим средством от гиподинамии и нервных перегрузок, служить всестороннему гармоническому развитию личности.

Тренировки с заданными физическими нагрузками, сопровождающиеся познавательной или развлекательной информацией, могут осуществляться погружением в определенную, выбираемую пользователем, виртуальную среду. Например, компьютерная программа может моделировать пробежку-экскурсию по известным местам с гидом, который мог бы рассказывать о достопримечательностях и задавать темп экскурсии шагом или пробежкой с определенной или меняющейся по необходимости скоростью. Экскурсию можно будет подводить к завершению при достижении определенной заданной наперед нагрузки. Так как задания индивидуальны, в памяти компьютера могут записываться данные о предыдущих занятиях и нагрузках для последовательного изменения нагрузок от начальных к стабильным рекомендуемым. При этом нормальные постоянные или меняющиеся нагрузки изо дня в день могут быть окрашены эмоционально и сопровождаться новой и полезной информацией. Для лучшей эмоциональной окраски пользователю можно было бы предоставлять выбор пола гида и его возраста или моделировать ему имидж известного артиста или политика.

Формула изобретения

1. Способ представления виртуального пространства пользователю с учетом его движения в реальном пространстве, при котором определяют параметры перемещения частей тела пользователя, преобразуют полученные данные в требуемую форму их представления, обрабатывают совокупности преобразованных данных для определения области виртуального пространства, отображаемой пользователю в соответствии с его положением и ориентацией с учетом взаимодействия с объектами виртуального пространства, отличающийся тем, что
а) закрепляют у каждого из основных сочленений сегментов опорно-двигательной системы пользователя средство определения по меньшей мере одного угла между сегментами, примыкающими к соответствующему сочленению,
б) задают линейные размеры сегментов опорно-двигательной системы пользователя,
в) размещают по меньшей мере на одном из сегментов опорно-двигательной системы пользователя средство определения опорных направлений;
г) определяют ориентацию по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений, относительно упомянутых опорных направлений;
д) определяют углы между сегментами, примыкающими к упомянутым основным сочленениям;
е) определяют ориентацию и положение пользователя в целом в пространстве на основе полученных значений углов и ориентации упомянутого по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений;
ж) определяют опорный сегмент или сегменты опорно-двигательной системы пользователя,
з) позиционируют упомянутый опорный сегмент или сегменты относительно опоры в отображаемом виртуальном пространстве,
и) определяют положение и ориентацию головы пользователя в виртуальном пространстве для определения его поля зрения в виртуальном пространстве,
к) формируют и представляют пользователю область виртуального пространства, соответствующую его полю зрения.

2. Способ по п.1, отличающийся тем, что повторяют операции с (г) по (к) для отображения изменений виртуального пространства в реальном времени в соответствии с движениями пользователя и взаимодействия с объектами виртуального пространства.

3. Способ по п.1, отличающийся тем, что регистрируют последовательности данных положения и ориентации пользователя для последующего использования.

4. Способ по любому из пп.1 - 3, отличающийся тем, что в качестве опорных направлений используют направления "север-юг" датчика геомагнитного поля и направление датчика местной вертикали.

5. Способ по любому из пп.1 - 3, отличающийся тем, что в качестве опорных направлений используют направления "север-юг" и "запад-восток" датчика геомагнитного поля.

6. Способ по любому из пп.1 - 3, отличающийся тем, что в качестве опорных направлений используют направления, формируемые гиростабилизированными датчиками опорных направлений.

7. Способ по любому из пп.1 - 3, отличающийся тем, что в качестве опорных направлений используют направления, формируемые искусственным внешним источником опорных направлений.

8. Способ по любому из пунктов 1 - 3, отличающийся тем, что в качестве средства определения опорных направлений используют по меньшей мере одну пару пространственно разнесенных датчиков абсолютных координат, размещаемую по меньшей мере на одном из сегментов опорно-двигательной системы пользователя.

9. Способ по любому из предшествующих пунктов, отличающийся тем, что линейные размеры сегментов опорно-двигательной системы пользователя задают на основе известных пропорций тела человека с использованием данных роста пользователя.

10. Способ по любому из предшествующих пунктов, отличающийся тем, что масштабируют значения линейных размеров сегментов опорно-двигательной системы пользователя для соответствующего изменения его размеров относительно отображаемого пространства.

11. Способ по любому из предшествующих пунктов, отличающийся тем, что при использовании манипулятора для взаимодействия пользователя с объектами отображаемого виртуального пространства положение манипулятора определяют по положению удерживающей его руки пользователя, а точную ориентацию манипулятора определяют с помощью размещаемого на нем дополнительного средства определения упомянутых опорных направлений.

12. Способ по любому из предшествующих пунктов, отличающийся тем, что в качестве основных сочленений между сегментами опорно-двигательной системы пользователя выбирают тазобедренный сустав, коленные суставы, голеностопные суставы, плечевые суставы, локтевые суставы, кистевые суставы, сочленение головы и плеч и сочленение грудного и поясничного отделов позвоночника.

13. Способ по п.12, отличающийся тем, что в качестве основных сочленений дополнительно выбирают суставы стопы и пальцев кисти рук.

14. Система для представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, содержащая средство отображения изображения виртуального пространства, средство формирования сигнала, индицирующего направление поля зрения пользователя, средство формирования сигналов изображения виртуального пространства, соответствующего полю зрения пользователя, вход которого соединен с выходом средств формирования сигнала, индицирующего направление поля зрения пользователя, а выход - с входом средства отображения изображения виртуального пространства, отличающаяся тем, что средство формирования сигнала, индицирующего направление поля зрения пользователя, содержит средство определения по меньшей мере одного угла между сегментами опорно-двигательной системы пользователя, примыкающими к соответствующему сочленению упомянутых сегментов, средство определения опорных направлений, размещенное по меньшей мере на одном из сегментов опорно-двигательной системы пользователя, средство аналого-цифрового преобразования, входы которого соединены с выходами средства определения углов между сегментами опорно-двигательной системы пользователя и средства определения опорных направлений, блок построения математической модели трехмерного пространства и пользователя в этом пространстве, вход которого соединен с выходом средства аналого-цифрового преобразования, и блок определения поля зрения пользователя, вход которого соединен с выходом блока построения математической модели трехмерного пространства и пользователя, а выход - с входом средства формирования сигналов изображения виртуального пространства.

15. Система по п.14, отличающаяся тем, что датчик относительного угла поворота выполнен в виде тензодатчика.

16. Система по п.14, отличающаяся тем, что датчик относительного угла поворота выполнен в виде оптико-волоконного датчика.

17. Система по любому из пунктов 14 - 16, отличающаяся тем, что средство определения опорных направлений содержит датчик геомагнитного поля и датчик местной вертикали.

18. Система по п.17, отличающаяся тем, что в качестве датчика местной вертикали использован датчик гравитации.

19. Система по любому из пунктов 14 - 16, отличающаяся тем, что средство определения опорных направлений выполнено в виде гиростабилизированного датчика опорных направлений.

20. Система по любому из пунктов 14 - 16, отличающаяся тем, что средство определения опорных направлений содержит датчик сигнала внешнего источника опорных направлений.

21. Система по любому из пунктов 14 - 20, отличающаяся тем, что при использовании манипулятора для взаимодействия пользователя с объектами отображаемого реального или виртуального пространства содержит дополнительное средство определения опорных направлений, размещенное на манипуляторе, при этом выход дополнительного средства определения опорных направлений через первый блок опроса соединен с входом средства аналого-цифрового преобразования.

22. Система по любому из пунктов 14 - 21, отличающаяся тем, что дополнительно содержит блок долговременной памяти, вход которого соединен с выходом средства аналого-цифрового преобразования.

РИСУНКИ

Рисунок 1, Рисунок 2