Датчик и способ отслеживания положения глаз
Изобретение относится к области оптики и касается способа отслеживания положения глаз пользователя. Способ содержит этапы на которых формируют структурированную подсветку на поверхности глаза в области роговой оболочки посредством источника коллимированного оптического излучения, отраженное от поверхности глаза излучение собирают и размножают посредством волновода и передают с помощью волновода на детектор. Посредством детектора формируют изображение, на котором отображаются элементы структурированной подсветки, отраженные от роговой оболочки глаза и дошедшие до входного зрачка детектора через волновод. Сформированное детектором изображение анализируют и вычисляют положение глаза пользователя посредством контроллера. Технический результат заключается в повышении надежности и уменьшении размеров датчика при обеспечении безопасности и отсутствии помех для зрения пользователя. 3 н. и 8 з.п. ф-лы, 9 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к области отслеживания положения глаз пользователя, и более конкретно к средствам бесконтактного отслеживания положения глаз пользователя. Изобретение может применяться, в частности, в устройствах дополненной реальности или виртуальной реальности (AR/VR), периферийных устройствах отслеживания положения глаз пользователя для персональных компьютеров, нашлемных системах целеуказания, в медицинском оборудовании и т.п.
Уровень техники
Во многих разрабатываемых в настоящее время устройствах дополненной реальности или виртуальной реальности (AR/VR) необходима информация о направлении взгляда пользователя. Эта информация используется для построения пользовательских интерфейсов, оптимизации проработки представляемого пользователю изображения (называемого в англоязычной литературе foveated rendering), определения расстояния до области внимания пользователя и для решения других задач. Эту информацию формируют датчики отслеживания положения глаз пользователя (называемые в англоязычной литературе eye-tracking sensors).
Во многих известных датчиках отслеживания глаз пользователя, используемых в настоящее время, для регистрации положения глаза используются камеры. Камера формирует изображение глаза, затем это изображение обрабатывается для определения положения центра зрачка глаза. Однако такой датчик в носимом устройстве необходимо размещать в поле зрения пользователя для обеспечения наблюдения глаза пользователя, такой датчик плохо защищен от внешней засветки и требует большого объема вычислений. Таким образом, подобные решения малопригодны для использования в системах AR/VR и других носимых устройствах.
В настоящее время разрабатывается новое поколение датчиков отслеживания положения глаз на основе волноводной оптики. Такие датчики являются компактными и обладают минимальным энергопотреблением, при этом они могут быть с легкостью установлены в существующих или разрабатываемых в настоящее время устройствах AR/VR и других подобных устройствах.
Среди требований, предъявляемых к датчикам отслеживания положения глаз пользователя, подходящих для применения в устройствах AR/VR, и в других подобных устройствах, следует отметить, в первую очередь, компактность, малый вес и низкое энергопотребление, простоту встраивания в устройства, содержащие волноводы, безопасность глаз пользователя и высокую надежность.
Таким образом, существует потребность в средствах отслеживания положения глаз пользователя, обладающих надежностью, малыми габаритами, низким энергопотреблением и стоимостью, а также безопасностью и отсутствием помех для зрения пользователя.
Известные из уровня техники решения, направленные на отслеживание положения глаз пользователя, состоят в следующем.
Известно решение, раскрытое в источнике US 10213105 (Adhawk Microsystems Inc., опубликовано 26.02.2019), в котором раскрыт способ и датчик отслеживания положения глаза, включающий в себя сканнер для сканирования поверхности глаза первым оптическим сигналом, детектор для обнаружения второго оптического сигнала, отраженного от глаза, схему обработки сигнала детектора, вычислитель. При работе сканнер сканирует поверхность глаза первым оптическим сигналом, а вычислитель определяет амплитуду и время максимумов сигнала детектора. Время между максимумами сигнала детектора относительно сигнала управления сканером и амплитуды этих максимумов указывают на положение роговой оболочки глаза. К недостаткам данного известного решения можно отнести низкую надежность вследствие использования микроэлектромеханического (MEMS) сканера с механическим движением зеркала, а также низкую защищенность системы от изменений внешнего освещения ввиду необходимости обработки амплитуды сигнала.
В источнике US 9804389 (Digilens Inc., опубликовано 31.10.2017) раскрыт датчик отслеживания положения глаз, имеющий волновод для распространения подсвечивающего глаз оптического излучения и распространения оптического излучения, отраженного от по меньшей мере одной поверхности глаза, источник оптического излучения, оптически соединенный с волноводом, и детектор, оптически соединенный с волноводом. В волноводе размещена по меньшей мере одна прослойка в виде переключаемой оптической решетки для отклонения подсвечивающего глаз оптического излучения по первому волноводному каналу и отклонения отраженного от глаза оптического излучения в направлении детектора по второму волноводному каналу. К недостаткам данного известного решения можно отнести низкую надежность вследствие использования структуры переключаемой оптической решетки, такой как переключаемая Брэгговская решетка, а также низкую эффективность ввиду использования волновода с оптическими решетками для направления оптического излучения из источника к глазу и направления оптического излучения от глаза к детектору. Кроме того, ввиду сложности структуры, включающей в себя переключаемую Брэгговскую решетку, используемый в известном решении волновод является весьма дорогостоящим.
В источнике US 10168531 (Facebook Technologies, LLC, опубликовано 01.01.2019) раскрыт способ и датчик отслеживания положения глаза. Датчик включает в себя по меньшей мере один волновод с массивом структур оптических решеток, массив источников оптического излучения, детектор и контроллер. Контроллер приводит в действие по меньшей мере один источник оптического излучения в каждый момент времени для испускания по меньшей мере одного пучка светового излучения, который распространяется через по меньшей мере один волновод и выводится через массив структур оптических решеток в направлении глаза пользователя. Сигналы оптического излучения, отражаемые от глаза пользователя и поверхности кожи, вводятся в упомянутый по меньшей мере один волновод и распространяются в направлении детектора, который преобразует полученные сигналы оптического излучения в электрический сигнал. Контроллер вычисляет параметры полученного электрического сигнала для формирования сигнатуры преобразованных сигналов оптического излучения, и определяет положение и ориентацию глаза пользователя на основании сигнатуры преобразованных сигналов оптического излучения. К недостаткам данного известного решения следует отнести низкую разрешающую способность ввиду ограничений по размещению массива дискретных структур оптических решеток в волноводе с определенными размерами, а также низкую защищенность системы от изменений внешнего освещения ввиду необходимости обработки амплитуды сигнала.
В источнике WO 2015099924 (Microsoft Technology Licensing LLC, опубликовано 02.07.2015) раскрыт способ и датчик отслеживания положения глаза, который включает в себя волновод, источник излучения и детектор. Волновод, в свою очередь, включает в себя вводной дифракционный оптический элемент (ДОЭ) и выводной ДОЭ. Вводной ДОЭ содержит множество изогнутых линий оптической решетки с шагом, изменяющимся в радиальном направлении. При размещении перед глазом, подсвечиваемым инфракрасным излучением, пучки инфракрасного излучения, отражающиеся от глаза и попадающие на вводной ДОЭ, вводятся в волновод, распространяются по волноводу посредством полного внутреннего отражения и выходят из волновода через выводной ДОЭ. Изменяющийся в радиальном направлении шаг изогнутых линий оптической решетки вводного ДОЭ обеспечивает кодирование положения точки падения излучения на вводной ДОЭ в угол и направление распространения излучения внутри волновода. Излучение выходит из волновода через выводной ДОЭ под различными углами относительно поверхности волновода, соответствующими положению глаза. К недостаткам данного известного решения можно отнести низкую эффективность ввиду использования вводного ДОЭ с узким диапазоном угловой селективности. Известное решение обладает различными характеристиками чувствительности и точности определения положения глаза пользователя для радиальной и угловой компонент положения глаза, а также имеет сложную конструкцию вводного ДОЭ концентрической структуры с переменным шагом.
В источнике US 8955973 (Google Inc., опубликовано 17.02.2015) описаны способ и датчик отслеживания положения глаза. В частности, раскрытый способ включает в себя этапы, на которых осуществляют проецирование на глаз пользователя структурированной подсветки, причем структурированная подсветка содержит по меньшей мере одну линию. Затем формируют изображение глаза на котором фиксируют деформацию по меньшей мере одной линии упомянутой подсветки (оптическое излучение подсветки рассеивается на поверхности глаза пользователя). Далее в известном способе коррелируют полученные данные о деформации структурированной подсветки на изображении глаза с положением глаза. К недостаткам данного известного решения можно отнести то, что в известном способе используется оптическое излучение, которое диффузно рассеивается на поверхности глаза. При этом большая часть оптического излучения, падающего на поверхность глаза, преломляется на роговице и рассеивается на радужной оболочке. Таким образом, в известном способе требуется источник оптического излучения с высокой яркостью. Кроме того, размещение камеры перед глазом пользователя причиняет пользователю неудобства.
В источнике US 7809160 (Queen's University at Kingston, опубликовано 05.10.2010) раскрыты способ и датчик отслеживания направления взгляда человека или животного, не требующие калибровки, конкретных измерений геометрических параметров глаза. В одном из вариантов выполнения используется камера для получения видеоизображений глаза (глаз) субъекта и при необходимости размещенный по оси источник подсветки, а также поверхность, объект или визуальная сцена с встроенными подсвечивающими маркерами, размещенными вне оси. Упомянутые маркеры отражаются на поверхности роговой оболочки глаз пользователя в виде бликов. Эти блики указывают на расстояние между точкой, в которую направлен взгляд, на упомянутой поверхности, объекте или визуальной сцене, и соответствующим маркером на упомянутой поверхности, объекте или визуальной сцене. К недостаткам данного известного решения можно отнести большие габариты устройства с множеством размещенных вне оси подсвечивающих маркеров и камерой, сложный процесс вычисления параметров, характеризующих направление взгляда, и низкую точность получаемого результата, а также размещение камеры перед глазом пользователя, что причиняет пользователю неудобства.
Охарактеризованное выше известное решение, раскрытое в источнике US 8955973, может быть принято в качестве ближайшего аналога (прототипа) заявляемого изобретения.
Раскрытие изобретения
Данный раздел, раскрывающий различные аспекты и варианты выполнения заявляемого изобретения, предназначен для представления краткой характеристики заявляемых объектов изобретения и вариантов его выполнения. Подробная характеристика технических средств и методов, реализующих сочетания признаков заявляемых изобретений, приведена ниже. Ни данное раскрытие изобретения, ни нижеприведенное подробное описание и сопровождающие чертежи не следует рассматривать как определяющие объем заявляемого изобретения. Объем правовой охраны заявляемого изобретения определяется исключительно прилагаемой формулой изобретения.
С учетом вышеуказанных недостатков уровня техники задача настоящего изобретения состоит в создании устройства (датчика) и способа отслеживания положения глаза пользователя, в которых исключались бы вышеуказанные недостатки известных решений из уровня техники.
Технический результат, достигаемый при использовании настоящего изобретения, состоит в повышении надежности и уменьшении размеров датчика при обеспечении безопасности и отсутствии помех для зрения пользователя.
Для решения вышеуказанной задачи, согласно первому аспекту изобретения предложен Способ отслеживания положения глаза пользователя, содержащий этапы, на которых: формируют структурированную подсветку на поверхности глаза пользователя в области роговой оболочки посредством по меньшей мере одного источника коллимированного оптического излучения; собирают по меньшей мере часть оптического излучения, отраженного от поверхности глаза пользователя, посредством волновода, и передают собранное оптическое излучение на детектор посредством упомянутого волновода; формируют изображение, на котором отображаются элементы структурированной подсветки, отраженные от роговой оболочки глаза и дошедшие до входного зрачка детектора через волновод, посредством детектора; и анализируют сформированное детектором изображение и вычисляют положение глаза пользователя посредством контроллера.
По меньшей мере в одном варианте выполнения, структурированная подсветка формируется посредством по меньшей мере одного источника коллимированного излучения, работающего в ближнем инфракрасном (NIR) диапазоне. Структурированная подсветка может формироваться в виде одной линии или набора параллельных линий. В другом варианте выполнения, структурированная подсветка формируется посредством по меньшей мере одного лазерного диода.
Этап сбора оптического излучения и передачи собранного оптического излучения на детектор может содержать этапы, на которых: вводят по меньшей мере часть оптического излучения, отраженного от поверхности глаза пользователя, в волновод посредством дифракционного оптического элемента (ДОЭ); и выводят из волновода часть оптического излучения, введенного в волновод, посредством ДОЭ. Способ может дополнительно содержать этап, на котором с помощью дополнительного ДОЭ внутри волновода размножают оптическое излучение, собранное посредством волновода.
Согласно второму аспекту настоящего изобретения, предложен датчик для отслеживания положения глаза пользователя, содержащий: по меньшей мере один источник коллимированного оптического излучения, выполненный с возможностью формирования структурированной подсветки на поверхности глаза пользователя по существу в области роговой оболочки; волновод, выполненный с возможностью сбора по меньшей мере части оптического излучения, отраженного от поверхности глаза пользователя, и передачи собранного оптического излучения на детектор; детектор, выполненный с возможностью формирования изображения, на котором отображается оптическое излучение, собранное посредством волновода; и контроллер, выполненный с возможностью анализа изображения, полученного на детекторе, и вычисления положения глаза пользователя.
По меньшей мере в одном варианте выполнения, по меньшей мере один источник коллимированного оптического излучения выполнен с возможностью испускания оптического излучения в ближнем инфракрасном (NIR) диапазоне. Структурированная подсветка может формироваться в виде одной линии или набора параллельных линий. В другом варианте выполнения, по меньшей мере один источник коллимированного оптического излучения выполнен в виде лазерного диода. По меньшей мере в одном варианте выполнения, волновод дополнительно содержит по меньшей мере один ДОЭ, выполненный с возможностью ввода оптического излучения, отраженного от поверхности глаза пользователя, в волновод, и/или выполненный с возможностью вывода оптического излучения, собранного посредством волновода, на детектор. По меньшей мере один дополнительный ДОЭ может быть выполнен с возможностью размножения внутри волновода оптического излучения, собранного посредством волновода.
В третьем аспекте изобретение относится к устройству формирования изображения для системы дополненной реальности (AR) или системы виртуальной реальности (VR), содержащему по меньшей мере один датчик отслеживания положения глаза пользователя по вышеуказанному второму аспекту настоящего изобретения.
Специалистам в данной области техники будет очевидно, что помимо вышеперечисленных объектов изобретения изобретательский замысел, лежащий в основе настоящего изобретения, может быть реализован в форме других объектов изобретения, таких как устройство дополненной реальности (AR) или виртуальной реальности (VR), способ работы такого устройства, периферийное устройство отслеживания положения глаз пользователя для персонального компьютера, нашлемная система целеуказания и тому подобное.
Краткое описание чертежей
Чертежи приведены в настоящем документе для облегчения понимания сущности настоящего изобретения. Чертежи являются схематичными и выполнены не в масштабе. Чертежи служат исключительно в качестве иллюстрации и не предназначены для определения объема настоящего изобретения. На всех чертежах одинаковые или аналогичные ссылочные позиции используются для обозначения одинаковых или аналогичных элементов.
На Фиг. 1 показана схема, иллюстрирующая принцип работы датчика согласно изобретению;
На Фиг. 2 представлена более подробная схема, иллюстрирующая формирование структурированной подсветки глаза источником коллимированного излучения, траекторию оптического излучения, отраженного от роговой оболочки глаза, и его распространение по волноводу;
На Фиг. 3 проиллюстрирован вариант выполнения изобретения с использованием более одного источника коллимированного оптического излучения;
На Фиг. 4 схематично представлен волновод с вводным и выводным дифракционными оптическими элементами (ДОЭ);
На Фиг. 5 проиллюстрирован вариант встраивания датчика согласно изобретению в примерное устройство формирования изображения в системе дополненной реальности (AR);
На Фиг. 6 проиллюстрирован примерный вариант встраивания компонентов датчика согласно изобретению в конструкцию носимого устройства AR;
На Фиг. 7 приведена блок-схема способа отслеживания положения глаза пользователя согласно изобретению;
На Фиг. 8 схематично проиллюстрирован способ определения положения глаза пользователя согласно изобретению, положение глаза пользователя, компоненты датчика, реализующего способ согласно изобретению, и направление падения оптического излучения, формирующего структурированную подсветку глаза пользователя, отраженного излучения от роговой оболочки глаза, а также оптического излучения, распространяющегося в волноводе;
На Фиг. 9 проиллюстрирован пример, демонстрирующий форму по меньшей мере одной линии структурированной подсветки глаза пользователя, сформированной источником коллимированного оптического излучения, отраженной роговой оболочкой глаза пользователя, на плоскости вводного дифракционного оптического элемента (ДОЭ).
Осуществление изобретения
Согласно изобретению, предложен способ отслеживания положения глаза пользователя, который в общем случае реализуется посредством следующей последовательности действий над материальными объектами при помощи материальных средств.
Обращаясь к Фиг. 1, с помощью по меньшей мере одного источника 1 коллимированного оптического излучения формируется структурированная подсветка 2 на поверхности глаза 3 пользователя в области роговой оболочки. Далее обеспечивается ввод и распространение по меньшей мере части оптического излучения, отраженного от роговой оболочки глаза 3 пользователя, в волноводе 4. Часть излучения, отраженного от роговой оболочки глаза 3 пользователя, выводится из волновода 4 на детектор 5. С помощью детектора 5 формируется изображение, на котором оптическое излучение, отраженное от роговой оболочки глаза 3 пользователя, которое распространяется через волновод 4 и падает на входной зрачок детектора 5, отображается в виде по меньшей мере одного пятна (области, включающей в себя пикселы с высокой интенсивностью сигнала). Сформированное с помощью детектора 5 изображение анализируется на предмет положения упомянутого по меньшей мере одного пятна, и на основании данного анализа вычисляется положение глаза 3 пользователя.
Согласно изобретению, для получения информации о положении глаза 3 используется сигнал оптического излучения, формируемый посредством зеркального отражения структурированной подсветки 2, формируемой источником 1 коллимированного оптического излучения, от роговой оболочки глаза 3. Отслеживание положения глаза 3 (направления взгляда) пользователя основано на регистрации части структурированной подсветки 2, формируемой источником 1 коллимированного оптического излучения, зеркально отраженной от роговой оболочки глаза 3, и ее передачи на детектор 5 через волновод 4. Важным отличием предлагаемого изобретения от известных решений из уровня техники является использование именно зеркально отраженного излучения, а не части излучения, диффузно рассеиваемого с поверхности глаза пользователя, как, например, в прототипе настоящего изобретения, раскрытом в публикации US 8955973.
Конфигурация устройства (датчика), реализующего обозначенный выше принцип, имеет преимущества, состоящие в простоте, пригодности для использования в составе любого устройства, содержащего волноводы, компактности в силу того, что волновод 4 собирает оптическое излучение из широкой области в передней части глаза 3 пользователя, надежности устройства ввиду отсутствия подвижных частей или переключаемых оптических элементов. Кроме того, предлагаемое техническое решение отличается безопасностью и отсутствием помех для глаз пользователя ввиду невысокой яркости источника (источников) 1 коллимированного оптического излучения, используемого для формирования структурированной подсветки 2 в области поверхности глаза 3 пользователя, а в предпочтительных вариантах выполнения - ввиду использования коллимированного оптического излучения в диапазонах, отличных от видимого спектра, низким энергопотреблением и малым весом устройства (датчика).
Распространение оптического излучения в предлагаемом решении характеризуется следующими этапами:
- источник 1 коллимированного оптического излучения формирует структурированную подсветку 2 в области роговицы глаза 3 пользователя;
- часть оптического излучения упомянутой структурированной подсветки 2 отражается от роговой оболочки глаза 3 и падает на поверхность волновода 4;
- оптическое излучение на поверхности волновода 4 претерпевает дифракцию на структуре вводного ДОЭ 6, 7 и распространяется в волноводе 4, испытывая полное внутреннее отражение;
- оптическое излучение в волноводе 4 претерпевает вторичную дифракцию на структуре выводного ДОЭ 6, 7 и выводится из волновода 4;
- часть выводимого оптического излучения попадает на детектор 5.
Поступивший на детектор 5 сигнал оптического излучения далее используется для выполнения следующих действий:
- детектор 5 формирует изображение, на котором в виде по меньшей мере одного пятна отображается оптическое излучение, отраженное от роговой оболочки глаза;
- контроллер 8 анализирует сформированное изображение, и на основании анализа положения упомянутого по меньшей мере одного пятна на изображении вычисляется положение 10 глаза.
Устройство, реализующее способ отслеживания положения глаз пользователя (направления взгляда пользователя) может быть реализовано, например, в виде датчика для отслеживания положения глаза пользователя, содержащего следующие элементы:
- по меньшей мере один источник 1 коллимированного оптического излучения, выполненный с возможностью формирования структурированной подсветки 2 в области роговой оболочки 9 глаза 3 пользователя;
- волновод 4, в предпочтительном варианте выполнения - по меньшей мере с одним дифракционным оптическим элементом (ДОЭ) 6, 7, выполненным с возможностью ввода оптического излучения в волновод 4 и/или вывода оптического излучения из него;
- детектор 5, выполненный с возможностью формирования изображения, на котором отображается оптическое излучение, выведенное из волновода 4 на входной зрачок детектора 5; и
- контроллер 8, выполненный с возможностью анализа изображения, сформированного детектором 5, на предмет положения по меньшей мере одного пятна, и вычисления положения глаза на основании упомянутого анализа.
Формируемая источником коллимированного оптического излучения структурированная подсветка в области роговой оболочки глаза пользователя обеспечивает формирование сигнала оптического излучения, отраженного от роговой оболочки глаза, за счет анализа которого и определяется текущее положение глаза пользователя. В отличие от известного решения, принятого за прототип изобретения (US 8955973), в изобретении структурированная подсветка формируется посредством коллимированного оптического излучения. Это обеспечивает преимущество, состоящее в том, что отраженный сигнал локализован по угловой составляющей и распространяется с небольшим углом расходимости, определяемым кривизной роговой оболочки глаза и расходимостью источника оптического излучения, что обеспечивает высокую эффективность предлагаемого устройства.
В отличие от известных решений, в предлагаемом изобретении отсутствует необходимость использования какого-либо сканирования либо какого-либо механического перемещения источника излучения или других компонентов устройства, что обеспечивает предлагаемому изобретению преимущества, состоящие, в частности, в повышении надежности, снижении энергопотребления и уменьшении габаритов устройства.
Источник коллимированного оптического излучения, посредством которого формируется структурированная подсветка, может быть, в качестве неограничивающего примера, лазерным диодом с дифракционным оптическим компонентом, обеспечивающим коллимацию и формирование структурированной подсветки. В предпочтительном варианте выполнения источник оптического излучения работает в ближнем инфракрасном (NIR) диапазоне, при этом оптическое излучение является невидимым для глаза пользователя. Следует отметить, что специалистам в данной области техники будут очевидны другие варианты выполнения изобретения, в которых может использоваться как невидимое, так и видимое глазу оптическое излучение, однако в последнем случае может быть выбрана такая интенсивность коллимированного оптического излучения и/или такие диапазоны длин волн коллимированного оптического излучения, которые по существу не создают помех и не могут нанести вред зрению пользователя. Сам по меньшей мере один источник коллимированного оптического излучения предпочтительно расположен на элементах конструкции устройства, в которое встроен датчик согласно предлагаемому изобретению. Такими элементами конструкции могут быть оправа волновода, держатель защитного стекла и т.д. Благодаря такому размещению элементов датчика исключается затенение поля зрения пользователя и не создаются помехи зрению пользователя.
Формируемая в области роговой оболочки 9 глаза 3 структурированная подсветка 2 является статичной в том смысле, что ее положение остается неизменным, без какого-либо сканирования или иных возможных перемещений по поверхности глаза пользователя или каких-либо изменений формы или размеров элементов структурированной подсветки 2. Это позволяет использовать по меньшей мере один источник 1 коллимированного оптического излучения, который является статичным (неподвижным), без использования каких-либо сканирующих или переключаемых оптических элементов.
Структурированная подсветка 2 согласно изобретению может иметь форму различных геометрических фигур, таких как, не ограничиваясь, набор точек, прямоугольник, квадрат, окружность, эллипс, овал, либо форму одной или более параллельных и/или пересекающихся (в том числе перпендикулярных) линий. Следует отметить, что объем изобретения не ограничивается конкретной формой картины структурированной подсветки, и специалистам в данной области техники могут быть очевидны другие возможные формы структурированной подсветки 2, пригодные для различных вариантов применения способа и устройства (датчика) согласно изобретению.
По меньшей мере в одном конкретном варианте выполнения, структурированная подсветка 2 может иметь форму набора линий. На Фиг. 2 проиллюстрирован вариант выполнения, в котором структурированная подсветка 2 выполнена в виде набора линий, в качестве неограничивающего примера - в виде набора параллельных прямых линий (позициями 11, 12 на Фиг. 2 показано излучение, формирующее, соответственно, первую и вторую линии, позициями 13, 14 - проекции первой и второй линий структурированной, подсветки, лежащие вдоль оси Y, соответственно). При этом, если по меньшей мере один источник 1 света и детектор 5 расположены вдоль оси X (см. Фиг. 2), то параллельные линии, образующие структурированную подсветку 2, ориентированы вдоль оси Y (см. Фиг. 2). Каждая линия в такой картине структурированной подсветки дает на изображении, формируемом детектором 5, проекцию в виде пятна. Поскольку подсвечиваемая структурированной подсветкой 2 роговая оболочка 9 глаза может изменять свое положение, отраженный от нее сигнал оптического излучения падает на волновод 4 под разными углами. При этом на изображении, формируемом детектором, будет получено множество пятен в разных областях изображения, формируемого детектором, которые будут изменять свое положение при изменении положения глаза пользователя. Использование набора параллельных линий в качестве рисунка структурированной подсветки может расширить рабочий диапазон углов, под которыми датчик согласно изобретению отслеживает положение глаза, по отношению к движениям глаза относительно оси Y (в частности, при развороте глаза вокруг оси Y).
Обращаясь к Фиг. 3, по меньшей мере в одном другом варианте выполнения для формирования структурированной подсветки в области роговой оболочки глаза может использоваться множество источников оптического излучения, что позволяет расширить рабочий диапазон датчика для отслеживания положения глаза по отношению к движениям глаза относительно оси X (в частности, при развороте глаза вокруг оси X). Предложено использование набора источников коллимированного оптического излучения, в качестве неограничивающего примера - два или более источников коллимированного оптического излучения, - каждый из которых формирует свою структурированную подсветку или часть общей картины структурированной подсветки 2, подсвечивая роговую оболочку глаза с различных направлений. В примерном варианте выполнения изобретения, проиллюстрированном на Фиг. 3, используется два источника оптического излучения - первый источник 101 оптического излучения и второй источник 102 оптического излучения, соответственно. Каждый из упомянутых источников 101, 102 коллимированного оптического излучения формирует свою структурированную подсветку 201, 202 в разные моменты (периоды) времени, в частности в первый период 100 времени и во второй период 200 времени, соответственно. При этом в первый период 100 времени первый источник 101 оптического излучения включен, а второй источник 102 оптического излучения - выключен, и наоборот, во второй период 200 времени первый источник 101 оптического излучения выключен, а второй источник 102 оптического излучения включен.
В данном варианте выполнения структурированная подсветка в области роговой оболочки глаза формируется каждым из упомянутых двух источников 101, 102 оптического излучения попеременно. При этом каждый из упомянутых двух источников 101, 102 оптического излучения может формировать структурированную подсветку 201, 202, которая совпадает по форме, размеру и/или расположению с картиной структурированной подсветки, формируемой другим из упомянутых двух источников 101, 102 коллимированного оптического излучения, либо которая не совпадает по форме, размеру и/или расположению, соответственно.
Использование множества источников оптического излучения позволяет дополнительно расширить диапазон работы устройства отслеживания положения глаз пользователя и получить больший объем информации для отслеживания положения глаза. Кроме того, попеременное включение и выключение источников оптического излучения, описанное выше, упрощает интерпретацию контроллером информации, поступающей с детектора. Следует отметить, что варианты выполнения изобретения со множеством источников оптического излучения не ограничены вышеописанным вариантом выполнения, в котором показаны только два источника, а также описанным выше принципом их попеременной работы. Специалистам в данной области техники будут очевидны другие примерные варианты выполнения для двух или более источников оптического излучения в зависимости от конкретного применения устройства согласно изобретению.
Согласно предлагаемому изобретению, отслеживание положения глаза пользователя основано на регистрации той части структурированной подсветки, отраженной от роговой оболочки глаза, которая поступает на детектор через волновод. Использование волновода отличает предлагаемое изобретение от рассмотренных выше известных решений, и в частности от принятого в качестве прототипа решения по US 8955973.
Элементы упомянутой структурированной подсветки падают на поверхность роговой оболочки глаза и отражаются от нее в соответствии с законом отражения, согласно которому угол падения излучения относительно нормали к поверхности равен углу отражения относительно нормали, а нормаль, луч падающий и луч отраженный лежат в одной плоскости. Согласно изобретению оптическое излучение, отражаемое от поверхности роговой оболочки глаза, испытывает дифракцию на вводном ДОЭ 6 и проходит через волновод 4 (см. Фиг. 4), распространяясь по значительной области волновода 4 по существу без потерь благодаря полному внутреннему отражению в волноводе 4 (область, где излучение распространяется внутри волновода без потерь, обозначена на Фиг. 4 позицией 300). Волновод 4 обеспечивает возможность сбора отраженного от роговой оболочки глаза оптического излучения из большой области пространства, что исключает, в частности, необходимость размещения камеры, фиксирующей отраженное излучение, перед глазом пользователя, или использования множества камер, размещенных в различных положениях в пространстве также перед глазом пользователя. В качестве своего рода модулятора оптического излучения в предлагаемом изобретении используется поверхность глаза пользователя (более конкретно - роговая оболочка глаза пользователя), при этом при изменении положения глаза изменяется распределение отраженного от него оптического излучения в пространстве. Сигнал оптического излучения, отражаемого поверхностью глаза, расходится за счет по существу сферической формы глаза, и изменяется при изменении положения глаза. Использование волновода в устройстве согласно изобретению позволяет с достижением преимущества собирать сигнал оптического излучения с большей площади, а также собирать сигнал оптического излучения, претерпевающий упомянутые изменения, вызванные движением поверхности глаза.
Часть оптического излучения, вводимого в волновод 4, повторно претерпевает дифракцию на выводном ДОЭ 7, выводится из волновода 4 и попадает на детектор 5. Оптическое излучение, падающее на детектор 5 с одного направления, формирует пятно на изображении, получаемом детектором 5. Положение упомянутого пятна (пятен) на изображении, получаемом детектором 5, зависит от углового положения глаза пользователя.
В одном или более вариантах выполнения оптическое излучение, вводимое в волновод, может быть размножено посредством по меньшей мере одного дополнительного ДОЭ, что означает дублирование направлений, под которыми распространяется излучение в волноводе, для разных областей волновода. Благодаря этому на область выводного ДОЭ и соответственно на область входного зрачка детектора попадет отраженное от роговой оболочки излучение с большим диапазоном углов, что позволяет получить картину оптического излучения на детекторе не в виде пятна, а в виде рисунка, соответствующего по крайней мере части рисунка структурированной подсветки, формируемой источником коллимированного оптического излучения на поверхности роговой оболочки глаза пользователя. Это позволяет расширить диапазон принимаемого сигнала оптического излучения и, таким образом, расширить рабочий диапазон углов предлагаемого датчика согласно изобретению.
В различных вариантах выполнения детектор может по существу представлять собой камеру с матрицей на комплементарных металло-оксидных полупроводниках (CMOS) или на устройствах с зарядовой связью (CCD) и объективом. Благодаря использованию отраженного сигнала оптического излучения обеспечивается высокая эффективность датчика согласно изобретению, а также широкий диапазон чувствительности датчика за счет использования волновода для сбора оптического излучения, отраженного от роговой оболочки глаза.
В одном или более вариантах выполнения изобретения на волноводе предусмотрен один общий ДОЭ 6, 7, обеспечивающий и ввод и вывод излучения.
В одном или более вариантах выполнения изобретения на волноводе предусмотрены отдельные вводной 6 и выводной ДОЭ 7. В качестве неограничивающего примера, вводной ДОЭ может быть предусмотрен на волноводе (например, на поверхности волновода, либо интегрирован в него, выполнен в нем способом «записи» и т.п.) для ввода оптического излучения, отраженного от поверхности роговой оболочки глаза, в волновод. Перед детектором на волноводе (например, на поверхности волновода, либо интегрирована в него, выполнена в нем способом «записи» и т.п.) может быть предусмотрен выводной ДОЭ для вывода оптического излучения из волновода на детектор. Следует понимать, что варианты выполнения с отдельными вводными и/или выводными ДОЭ не ограничивают объем изобретения, и могут быть использованы другие конфигурации элементов ДОЭ, например, для сбора оптического излучения, отраженного от поверхности роговой оболочки глаза, в волновод, ввода отраженного излучения в волновод и/или вывода оптического излучения из волновода, и т.п.
Такая конфигурация волновода 4 с отдельным ДОЭ 6 для ввода и отдельным ДОЭ 7 для вывода излучения в датчике согласно изобретению позволяет уменьшить потери оптического излучения между детектором 5 и областью ввода оптического излучения, поскольку свет распространяется в этой области (область 300 на Фиг. 4) без потерь благодаря полному внутреннему отражению света в волноводе 4, как описано выше.
На Фиг. 5 схематично проиллюстрировано носимое устройство дополненной реальности (AR), в которое встроены компоненты датчика для отслеживания положения глаза пользователя по изобретению. Так, на Фиг. 5 показаны расположенный вне поля зрения глаза пользователя источник 1 коллимированного оптического излучения, формирующий структурированную подсветку на поверхности роговой оболочки глаза 3 пользователя, а также расположенный вне поля зрения глаза пользователя детектор 5, принимающий сигнал отраженного оптического излучения. Кроме того, показан волновод 4 датчика для отслеживания положения глаза пользователя, а также волновод 15 самого устройства дополненной реальности, предназначенный для трансляции изображений виртуальных объектов из источника изображений виртуальных объектов устройства AR (который обозначен на Фиг. 5 позицией 16).
Датчик для отслеживания положения глаза пользователя согласно изобретению может быть с легкостью встроен в конструкцию носимого устройства дополненной реальности (AR), содержащего по меньшей мере проектор 16 (источник изображений виртуальных объектов) и один или более волноводов 15 для трансляции изображений виртуальных объектов в глаз пользователя.
На Фиг. 6 показан неограничивающий пример практической реализации изобретения с встраиванием устройства для отслеживания положения глаза пользователя в конструкцию носимого устройства дополненной реальности (AR) в виде очков. В конструкции таких очков компоненты датчика согласно изобретению могут быть расположены в тех частях, которые остаются вне поля зрения пользователя - например, детектор 5 может быть расположен в области дужки очков, а один или более источников 1 коллимированного оптического излучения (на Фиг. 6 в качестве примера показан один источник 1 оптического излучения) заявляемого датчика могут быть расположены на оправе очков, например в области ближе к носу пользователя.
Далее будет описан способ отслеживания положения глаза пользователя согласно изобретению. Следует отметить, что данный способ реализуется датчиком для отслеживания положения глаза пользователя, некоторые неограничивающие иллюстративные варианты выполнения которого были описаны выше.
Этапы способа отслеживания положения глаза пользователя согласно изобретению проиллюстрированы на Фиг. 7.
На этапе S1 формируют структурированную подсветку на поверхности глаза пользователя в области роговой оболочки. Для этого по меньшей мере один источник коллимированного оптического излучения подсвечивает поверхность глаза пользователя по существу в области роговой оболочки. Как указано выше, в качестве источника коллимированного оптического излучения может использоваться, например, лазерный диод или другой источник коллимированного оптического излучения, работающий в ближнем инфракрасном (NIR) диапазоне.
Структурированная подсветка, формируемая на поверхности глаза пользователя по существу в области роговой оболочки, частично претерпевает зеркальное отражение от поверхности роговой оболочки глаза пользователя. При этом оптическое излучение будет отражаться, преломляться, рассеиваться и поглощаться на поверхности роговой оболочки глаза. По оценке, не менее 2,5% коллимированного оптического излучения падающего на роговую оболочку глаза, будет претерпевать зеркальное отражение.
Отраженное оптическое излучение, получающееся в результате зеркального отражения элементов структурированной подсветки от роговой оболочки глаза пользователя, собирается посредством волновода. Так, на этапе S2 вызывают прохождение по меньшей мере части принятого оптического излучения, отраженного от роговой оболочки глаза пользователя, через волновод на детектор. Другими словами, волновод используется для сбора оптического излучения, отраженного от поверхности глаза пользователя. Отраженное оптическое излучение вводится в волновод, распространяется по нему и выводится из него, в предпочтительном варианте выполнения изобретения - с помощью соответствующих ДОЭ. В одном или более вариантах выполнения для повышения эффективности ввода оптического излучения в волновод и/или вывода оптического излучения из волновода на детектор используются один или более ДОЭ, как было описано выше с обращением к различным вариантам выполнения датчика согласно изобретению.
Распространение введенного в волновод оптического излучения осуществляется за счет полного внутреннего отражения оптического излучения в волноводе, что снижает потери оптического излучения на пути к детектору.
На этапе S3 детектор формирует изображение, на котором в виде по меньшей мере одного пятна отображается оптическое излучение, отраженное от роговой оболочки глаза пользователя, которое поступает на детектор через волновод. Как описано выше, в качестве детектора может использоваться камера с CMOS- или CCD-датчиком изображения, который принимает собранное оптическое излучение, поступившее на детектор через волновод. Форма отображения сигнала, отраженного от роговицы глаза пользователя, на изображении, формируемом детектором, зависит от конкретного варианта выполнения датчика по изобретению, как описано выше.
Например, в случае использования в качестве структурированной подсветки рисунка, состоящего из одной линии на изображении, формируемом детектором с небольшим размером входного зрачка, будет отображаться одна область овальной формы высокой интенсивности. В случае большего размера входного зрачка детектора это пятно будет увеличиваться в размерах в одном направлении, так как через больший входной зрачок пройдет больше излучения различных направлений от структурированной подсветки. В случае использования в качестве структурированной подсветки рисунка, состоящего из нескольких линий или других элементов, на изображении могут отображаться несколько областей высокой интенсивности.
На этапе S4 анализируют изображение, сформированное детектором, посредством контроллера и вычисляют текущее положение глаза пользователя на основании анализа сформированного изображения. Для анализа изображения может использоваться соответствующее программное обеспечение или микропрограммное обеспечение, которое может быть реализовано в виде одной или более компьютерных программ, компьютерных программных элементов, программных модулей и т.п. Упомянутое программное обеспечение может быть сохранено в одном или более элементах памяти устройства.
Для пояснения способа определения положения глаза датчиком согласно изобретению, далее рассмотрим случай, при котором происходит изменение положения глаза (поворот глаза) относительно вертикальной оси Y. Обратимся к Фиг. 8, схематично иллюстрирующей способ определения положения глаза согласно изобретению, положение 31, 32 глаза пользователя, компоненты датчика, реализующего способ согласно изобретению, и направление 11, 12 падения оптического излучения, формирующего структурированную подсветку 2, отраженного от роговой оболочки глаза излучения, а также оптического излучения, распространяющегося в волноводе.
Предположим, что имеется первое положение 31 глаза и второе положение 32 глаза, когда глаз поворачивается вокруг центра 33 поворота глаза на угол γeye. При этом структурированная подсветка 2, формируемая источником коллимированного оптического излучения под постоянным углом, отражается от роговой оболочки глаза в различных направлениях при различных положениях глаза. Оптическое излучение, отраженное от поверхности роговой оболочки глаза (обозначено позициями 131, 141 для первого и второго положений глаза, соответственно), претерпевает дифракцию на вводном ДОЭ 6 под углом ϕin1 для первого положения 31 роговой оболочки глаза и под углом ϕin2 для второго положения 32 роговой оболочки глаза.
Часть оптического излучения, вводимого в волновод 4, проходит через волновод 4 и вторично претерпевает дифракцию на выводном ДОЭ 7. Углы выхода оптического излучения из волновода αout1 для первого положения 31 роговой оболочки глаза и αout2 для второго положения 32 роговой оболочки глаза фиксируются детектором 5.
Используемая часть оптического излучения, отраженного от роговой оболочки глаза и собранного посредством волновода 4, попадает на входной зрачок детектора 5 и формирует пятно на изображении, получаемом детектором 5. При этом, если роговая оболочка глаза поворачивается относительно вертикальной оси Y, на изображении, получаемом детектором, пятно смещается вдоль горизонтальной оси X.
Аналогичным образом, при развороте глаза пользователя относительно оси X оптическое излучение, отражаемое роговой оболочкой глаза, попадает на входной зрачок детектора под углом вокруг горизонтальной оси X, а пятно на изображении на детекторе смещается вдоль вертикальной оси Y. Таким образом, положение пятна на изображении на детекторе зависит от углового положения роговой оболочки глаза.
Контроллер анализирует изображение, полученное детектором, и вычисляет положение глаза. Анализ изображения может быть основан, например, на определении текущих координат пятна, формируемого детектором, по осям X и Y.
Следует отметить, что согласно изобретению структурированная подсветка, формируемая посредством источника коллимированного оптического излучения, должна формироваться таким образом, чтобы для каждого положения 31, 32 роговой оболочки глаза в пределах интересующего диапазона положений глаза имелся по меньшей мере один элемент упомянутой структурированной подсветки 2, который прошел бы через волновод 4, попал на входной зрачок детектора 5 и отобразился на изображении, полученном на детекторе 5.
На Фиг. 9 проиллюстрирован пример того, какую форму имеет по меньшей мере одна линия структурированной подсветки 2, отраженная роговой оболочкой глаза пользователя, на плоскости вводного ДОЭ (по существу соответствует плоскости волновода 4). Видно, что в результате отражения структурированной подсветки 2 от поверхности глаза пользователя на плоскости вводного ДОЭ получается изогнутая линия 34, представляющая собой проекцию отраженного сигнала на плоскости волновода 4, положение и форма которой изменяются в зависимости от разворота глаза пользователя вокруг осей X и Y, соответственно.
Структурированная подсветка согласно изобретению обнаруживается детектором, таким как, в качестве неограничивающего примера, камера с CMOS- или CCD-датчиком, предпочтительно чувствительная к излучению в ближнем инфракрасном диапазоне (NIR). Статичность структурированной подсветки, проецируемой на поверхность глаза пользователя в области роговой оболочки, означает, что положение элементов структурированной подсветки не изменяется. За счет того, что структурированная подсветка формируется с помощью именно коллимированного оптического излучения, элементы структурированной подсветки формируют отраженный от роговой оболочки глаза сигнал, параметры которого однозначно соответствуют положению роговой оболочки глаза в определенном диапазоне.
Предлагаемое изобретение обеспечивает следующие преимущества по сравнению с известными решениями из уровня техники:
- надежность при долговременной работе датчика благодаря использованию простых элементов без их механического перемещения или оптического переключения;
- не создающую помех и безопасную для пользователя работу датчика благодаря использованию при работе оптического излучения малой мощности в диапазонах, невидимых для глаза пользователя (предпочтительно в ближнем инфракрасном диапазоне (NIR);
- размещение компонентов датчика вне поля зрения пользователя благодаря использованию волновода для сбора отраженного оптического излучения.
Способ и устройство согласно настоящему изобретению могут быть использованы, в качестве неограничивающего примера, в устройствах и системах дополненной реальности (AR) или виртуальной реальности (VR), периферийных устройствах отслеживания положения глаз пользователя для персональных компьютеров, нашлемных системах целеуказания, в медицинском оборудовании и т.д. Кроме того, предлагаемая технология отслеживания положения глаз пользователя может быть использована, в качестве неограничивающего примера, в пользовательских интерфейсах, при выборе элементов контента виртуальной и/или дополненной реальности, при автоматической «прокрутке» текста при чтении с экрана, для выбора направления, считывания жестов глаз пользователя, ввода текста, при процедурах контроля доступа, а также для определения направления взгляда пользователя для таких задач, как оптимизация проработки представляемого пользователю изображения (называемая в англоязычной литературе foveated rendering), коррекция цвета для установления однородной яркости, распознавание физиологического состояния пользователя на основании параметров движений глаз пользователя.
Следует понимать, что выше перечислены лишь некоторые наиболее иллюстративные примеры области применения настоящего изобретения, и специалистам в данной области техники будут очевидны другие применения настоящего изобретения, также находящиеся в рамках объема правовой охраны настоящего изобретения.
Специалистам в данной области техники будет понятно, что выше описаны и показаны на чертежах лишь некоторые из возможных примеров технических приемов и материально-технических средств, которыми могут быть реализованы варианты выполнения настоящего изобретения. Приведенное выше подробное описание вариантов выполнения изобретения не предназначено для ограничения или определения объема правовой охраны настоящего изобретения.
Другие варианты выполнения, которые могут входить в объем настоящего изобретения, могут быть предусмотрены специалистами в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам, и все такие очевидные модификации, изменения и/или эквивалентные замены считаются входящими в объем настоящего изобретения. Все источники из уровня техники, приведенные и рассмотренные в настоящем документе, настоящим включены в данное описание путем ссылки, насколько это применимо.
При том, что настоящее изобретение описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники будет понятно, что в нем могут быть выполнены различные изменения в его форме и конкретных подробностях, не выходящие за рамки объема настоящего изобретения, который определяется только нижеприведенной формулой изобретения и ее эквивалентами.
1. Способ отслеживания положения глаза пользователя, содержащий этапы, на которых:
формируют структурированную подсветку на поверхности глаза пользователя в области роговой оболочки посредством по меньшей мере одного источника коллимированного оптического излучения;
собирают по меньшей мере часть оптического излучения, отраженного от поверхности глаза пользователя, посредством волновода, размножают оптическое излучение, собранное посредством волновода; и
передают собранное оптическое излучение на детектор посредством упомянутого волновода;
формируют посредством детектора изображение, на котором отображаются элементы структурированной подсветки, отраженные от роговой оболочки глаза и дошедшие до входного зрачка детектора через волновод; и
анализируют сформированное детектором изображение и вычисляют положение глаза пользователя посредством контроллера.
2. Способ по п. 1, в котором структурированная подсветка формируется посредством по меньшей мере одного источника коллимированного излучения, работающего в ближнем инфракрасном (NIR) диапазоне.
3. Способ по п. 1, в котором структурированная подсветка формируется в виде одной линии или набора параллельных линий.
4. Способ по п. 1, в котором структурированная подсветка формируется посредством по меньшей мере одного лазерного диода.
5. Способ по п. 1, в котором этап сбора по меньшей части оптического излучения и передачи собранного оптического излучения на детектор содержит этапы, на которых:
вводят по меньшей мере часть оптического излучения, отраженного от поверхности глаза пользователя, в волновод посредством дифракционного оптического элемента (ДОЭ);
размножают, введенное в волновод излучение, посредством ДОЭ,
и
выводят из волновода часть оптического излучения, введенного в волновод, посредством ДОЭ.
6. Датчик для отслеживания положения глаза пользователя, содержащий:
по меньшей мере один источник коллимированного оптического излучения, выполненный с возможностью формирования структурированной подсветки на поверхности глаза пользователя по существу в области роговой оболочки;
волновод, выполненный с возможностью сбора по меньшей мере части оптического излучения, отраженного от поверхности глаза пользователя, и передачи собранного оптического излучения на детектор;
детектор, выполненный с возможностью формирования изображения, на котором отображается оптическое излучение, собранное посредством волновода; и
контроллер, выполненный с возможностью анализа изображения, полученного на детекторе, и вычисления положения глаза пользователя;
при этом волновод содержит по меньшей мере один ДОЭ, выполненный с возможностью размножения оптического излучения, собранного посредством волновода.
7. Датчик по п. 6, в котором по меньшей мере один источник коллимированного оптического излучения выполнен с возможностью испускания оптического излучения в ближнем инфракрасном (NIR) диапазоне.
8. Датчик по п. 6, в котором структурированная подсветка формируется в виде одной линии или набора параллельных линий.
9. Датчик по п. 6, в котором по меньшей мере один источник коллимированного оптического излучения выполнен в виде лазерного диода.
10. Датчик по п. 6, в котором волновод дополнительно содержит по меньшей мере один ДОЭ, выполненный с возможностью ввода оптического излучения, отраженного от поверхности глаза пользователя, в волновод, и/или выполненный с возможностью вывода оптического излучения, собранного посредством волновода, на детектор.
11. Устройство формирования изображения для системы дополненной реальности (AR) или системы виртуальной реальности (VR), содержащее по меньшей мере один датчик отслеживания положения глаза пользователя по любому из пп. 6-10.
