Аудиопомощь в навигации

Группа изобретений относится к медицинской технике, а именно к вспомогательным средствам навигации людей с нарушениями зрения. Закрепляемое на голове вычислительное устройство для предоставления помощи пользователю в навигации по окружающей среде через вывод аудио содержит один или более датчиков глубины для генерирования данных о глубине изображения окружающей среды, один или более датчиков видимого света для генерирования данных видимого изображения окружающей среды, один или более преобразователей и модуль навигации, исполняемый процессором закрепляемого на голове вычислительного устройства, при этом модуль навигации содержит режим знакомой навигации, в котором помощь в навигации адаптирована с учетом того, что окружение знакомо пользователю, и режим незнакомой навигации, в котором помощь в навигации адаптирована с учетом того, что окружение не знакомо пользователю, причем модуль навигации выполнен с возможностью, используя данные о глубине изображения и данные видимого изображения, генерирования трехмерной сетки, по меньшей мере, участка окружающей среды, используя методики машинного обучения, определения, посещал ли пользователь ранее эту окружающую среду, в ответ на определение того, что пользователь ранее посещал эту окружающую среду по меньшей мере предварительно определенное количество раз, задействования режима знакомой навигации, используя трехмерную сетку, обнаружения по меньшей мере одной характерной особенности в окружающей среде, при работе в режиме знакомой навигации и на основании обнаружения характерной особенности вывода первой аудиоподсказки навигации по окружающей среде пользователю через один или более преобразователей, и при работе в режиме незнакомой навигации и на основании обнаружения характерной особенности вывода второй аудиоподсказки навигации по окружающей среде пользователю через один или более преобразователей, при этом вторая аудиоподсказка навигации отличается от первой аудиоподсказки навигации. Способ для предоставления помощи пользователю в навигации по окружающей среде осуществляется посредством устройства. Использование изобретений позволяет расширить арсенал вспомогательных средств для навигации людей с физиологическими нарушениями зрения. 2 н. и 8 з.п. ф-лы, 9 ил.

 

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0001] Люди с физиологическими нарушениями зрения могут использовать одно или более вспомогательные средства передвижения, чтобы осуществлять навигацию в их окружении. Такие вспомогательные средства передвижения могут включать в себя, например, трости, животных-помощников, устройства улучшения зрения, и подобное. Также, зрячие люди, сталкиваясь с ситуацией нарушения зрения, такой как темная или наполненная дымом комната, также могут воспользоваться вспомогательными средствами передвижения, которые обеспечивают помощь в навигации применительно к их текущему окружению.

[0002] Некоторые вспомогательные средства передвижения обеспечивают тактильную обратную связь, которая указывает аспекты окружения пользователя, как например трость, контактирующая с бордюрным камнем на улице. Тем не менее, использование таких вспомогательных средств может занимать значительную часть внимания пользователя наряду с рукой пользователя. Дополнительно, такие вспомогательные средства, как правило, предоставляют некоторое количество и тип обратной связи в отношении непосредственного окружения пользователя в независимости от контекста этого окружения. Раз так, эти вспомогательные средства, как правило, неспособны к модифицированию или улучшению полезности их обратной связи на основании контекста текущего окружения пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] В данном документе раскрываются разнообразные варианты осуществления, которые относятся к предоставлению помощи в навигации по окружающей среде через вывод аудио. Например, один раскрываемый вариант осуществления предоставляет, в закрепляемом на голове вычислительном устройстве, способ, содержащий прием данных о глубине изображения и данных видимого изображения окружающей среды. Используя данные о глубине изображения и данные видимого изображения, генерируется трехмерная сетка, по меньшей мере, участка окружающей среды. Используя трехмерную сетку, обнаруживается, по меньшей мере, одна характерная особенность в окружающей среде. Когда закрепляемое на голове вычислительное устройство работает в режиме знакомой навигации, и на основании обнаруженной характерной особенности, первая аудио подсказка навигации по окружающей среде выводится пользователю через один или более преобразователей. Когда закрепляемое на голове вычислительное устройство работает в режиме незнакомой навигации, и на основании обнаруженной характерной особенности, вторая аудио подсказка навигации по окружающей среде выводится пользователю через один или более преобразователей, при этом вторая аудио подсказка навигации отличается от первой аудио подсказки навигации.

[0004] Данная Сущность Изобретения предоставлена, чтобы представить выбор концепций в упрощенной форме, которые дополнительно описываются ниже в Подробном Описании. Данная Сущность Изобретения как не предназначена для того, чтобы идентифицировать ключевые признаки или неотъемлемые признаки заявленного предмета изобретения, так и не предназначена для того, чтобы использоваться, чтобы ограничивать объем заявленного предмета изобретения. Кроме того, заявленный предмет изобретения не ограничивается реализациями, которые решают любые или все недостатки, отмеченные в любой части данного раскрытия.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0005] Фиг. 1 является схематичным видом закрепляемого на голове вычислительного устройства для предоставления помощи в навигации в соответствии с вариантом осуществления настоящего раскрытия.

[0006] Фиг. 2 показывает примерное закрепляемое на голове вычислительное устройство в соответствии с вариантом осуществления настоящего раскрытия.

[0007] Фиг. 3 является схематичной иллюстрацией пользователя, который носит закрепляемое на голове вычислительное устройство с Фиг. 2 дома.

[0008] Фиг. 4 является схематичным видом пользователя с Фиг. 3, который носит закрепляемое на голове вычислительное устройство в отеле.

[0009] Фиг. 5 является схематичным видом пользователя, который носит закрепляемое на голове вычислительное устройство с Фиг. 2, приближающегося к наклонному участку, содержащему лестницу.

[0010] Фиг. 6 является схематическим видом пользователя с Фиг. 6, приближающегося к непрерывно снижающемуся наклонному участку.

[0011] Фиг. 7 является схематическим видом окружающей среды вне помещения, как если видимой через закрепляемое на голове вычислительное устройство в соответствии с вариантом осуществления настоящего раскрытия.

[0012] Фиг. 8A и 8B являются блок-схемой способа для предоставления помощи в навигации пользователю в окружающей среде через вывод аудио в соответствии с вариантом осуществления настоящего раскрытия.

[0013] Фиг. 9 является упрощенной схематической иллюстрацией варианта осуществления вычислительного устройства.

ПОДРОБНОЕ ОПИСАНИЕ

[0014] Фиг. 1 показывает схематичный вид одного варианта осуществления закрепляемого на голове вычислительного устройства 10 для предоставления помощи в навигации пользователю 14. Закрепляемое на голове вычислительное устройство 10 включает в себя модуль 16 навигации, который может быть сохранен в хранилище 18 большой емкости закрепляемого на голове вычислительного устройства 10. Модуль 16 навигации может быть загружен в память 20 и исполнен посредством процессора 22 закрепляемого на голове вычислительного устройства 10, чтобы выполнять один или более способы и процессы, описываемые более подробно ниже.

[0015] Модуль 16 навигации включает в себя множество режимов 24 навигации, содержащих режим 26 знакомой навигации и режим 28 незнакомой навигации. Преимущественно и более подробно описывается ниже, один или более из режимов 24 навигации может быть выборочно задействован, чтобы предоставлять помощь в навигации, которая адаптирована к конкретным потребностям пользователя контекстно-соответствующим образом. Например, режим 26 знакомой навигации может быть задействован, программно или через ввод 30 пользователя, когда пользователь 14 осуществляет навигацию в окружающей среде, которая знакома пользователю. В режиме 26 знакомой навигации, помощь в навигации может быть адаптирована с учетом того, что окружение знакомо пользователю.

[0016] Подобным образом, режим 28 незнакомой навигации может быть задействован, программно или через ввод 30 пользователя, когда пользователь 14 осуществляет навигацию в окружающей среде, которая незнакома пользователю. В режиме 28 незнакомой навигации, помощь в навигации может быть адаптирована с учетом того, что окружение не знакомо пользователю. Следует иметь в виду, что модуль 16 навигации также может включать в себя один или более дополнительные режимы навигации, которые относятся к окружающим средам или окружению с конкретными характеристиками или аспектами такими как, например, режим навигации внутри помещения, режим навигации вне помещения, режим городской навигации, режим сельской навигации, и т.д. В некоторых примерах, два или более режима навигации могут быть задействованы одновременно, такие как, например, режим знакомой навигации и режим навигации внутри помещения.

[0017] Закрепляемое на голове вычислительное устройство 10 может включать в себя разнообразные датчики и связанные системы, которые принимают данные физической окружающей среды из физической окружающей среды 32. Теперь со ссылкой также на Фиг. 2, предоставляется один пример закрепляемого на голове вычислительного устройства 200 в форме пары носимых очков. В некоторых примерах, закрепляемое на голове вычислительное устройство 200 может содержать прозрачный, полупрозрачный или непрозрачный дисплей 204, который поддерживается перед глазом или глазами зрителя. В других примерах, закрепляемое на голове вычислительное устройство 200 может принимать многообразие других форм, которые могут или могут не содержать дисплей, который поддерживается перед глазом или глазами пользователя.

[0018] Например, в некоторых вариантах осуществления закрепляемое на голове вычислительное устройство 10 может содержать оправу для очков, которая не включает в себя дисплей. Соответственно, много других типов и конфигураций закрепляемых на голове вычислительных устройств 10 с разнообразными форм-факторами также могут быть использованы и находятся в рамках объема настоящего раскрытия. Также следует иметь в виду, что закрепляемое на голове вычислительное устройство 10, показанное на Фиг. 1, может принимать форму закрепляемого на голове вычислительного устройства 200, показанного на Фиг. 2, как описывается более подробно ниже, или любого другого приемлемого закрепляемого на голове вычислительного устройства.

[0019] Со ссылкой на Фиг. 1 и 2, в данном примере закрепляемое на голове вычислительное устройство 10 включает в себя систему 34 датчика глубины, которая включает в себя одну или более камеры 208 глубины, которые генерируют данные 38 о глубине изображения. Система 34 датчика глубины также может обнаруживать перемещения в рамках ее поля зрения, такие как основанные на жесте вводы или другие перемещения, выполняемые пользователем 14 или человеком или физическим объектом в рамках поля зрения пользователя. В одном примере, каждая камера 208 глубины может включать в себя левую и правую камеры системы стереоскопического зрения. Изображения, полученные с временным разрешением, от одной или более из этих камер глубины могут совмещаться друг с другом и/или изображениями от другого оптического датчика, такого как камера видимого спектра, и могут быть объединены, чтобы получать видео с разрешением по глубине.

[0020] В других примерах, камера глубины со структурированным светом может быть выполнена с возможностью проецирования структурированного инфракрасного освещения, и формирования изображения освещения, отраженного от сцены на которую проецируется освещение. Карта глубины сцены может быть сконструирована на основании интервалов между смежными характерными особенностями в разнообразных областях полученной посредством формирования изображения сцены. В еще одних других примерах, камера глубины может принимать форму времяпролетной камеры глубины, выполненной с возможностью проецирования импульсного инфракрасного освещения на сцену и обнаружения освещения отражаемого от сцены. Следует иметь в виду, что любая другая приемлемая камера глубины может быть использована в рамках объема настоящего раскрытия.

[0021] Закрепляемое на голове вычислительное устройство 10 также может включать в себя систему 42 датчика видимого света, которая использует, по меньшей мере, один обращенный наружу датчик 212, такой как камера RGB или другой оптический датчик. Система 42 датчика видимого света может генерировать данные 46 видимого изображения, которые предоставляются модулю 16 навигации. Обращенный наружу датчик 212 может захватывать информацию двумерного изображения из физической окружающей среды 32 и характерные особенности 50 внутри окружающей среды. Как описывается более подробно ниже, характерные особенности 50 могут включать в себя физические объекты 52 и опасности 54 в окружающей среде 32. В некоторых примерах, физический объект 52 также может содержать опасность 54. Обращенный наружу датчик 212 может захватывать изображения физической окружающей среды 32, в которой располагается пользователь 14.

[0022] Закрепляемое на голове вычислительное устройство 10 также может включать в себя программу 56 3D моделирования, которая использует данные 38 о глубине изображения и данные 46 видимого изображения, чтобы генерировать трехмерную сетку 58, которая моделирует, по меньшей мере, участок физической окружающей среды 32, окружающей пользователя 14. В некоторых примерах, программа 56 3D моделирования может использовать методики полигонального моделирования, в которых вершины в 3D пространстве соединяются сегментами линии, чтобы формировать текстурированную, 3D полигональную сетку. Также следует иметь в виду, что могут быть использованы другие методики для 3D моделирования включая, но не ограничиваясь, методики моделирование кривой и цифровой скульптуры.

[0023] Закрепляемое на голове вычислительное устройство 10 также может включать в себя систему 60 преобразователя, содержащую один или более исполнительные механизмы, которые преобразуют электрический сигнал от модуля 16 навигации в другую форму энергии. Как описывается более подробно ниже, модуль 16 навигации может использовать систему 60 преобразователя, чтобы выводить подсказки 62 навигации по окружающей среде 32 пользователю 14. Вновь со ссылкой на Фиг. 2 и в некоторых примерах, система 60 преобразователя может включать в себя один или более громкоговорители 216 для генерирования аудио подсказок 64 навигации. В других примерах, один или боле громкоговорители 216 могут принимать форму головных телефонов или наушников-пуговок, которые носит пользователь 14.

[0024] В некоторых примерах, модуль 16 навигации и/или система 60 преобразователя может обрабатывать аудио подсказки 64 навигации, чтобы предоставлять пользователю 14 возможность восприятия того, что подсказки исходят из конкретного местоположения в 3D пространстве физической окружающей среды 32. Например, один или более механизмы погашения перекрестных помех могут быть использованы и сконфигурированы таким образом, что первый аудио сигнал (например, левый канал) доставляется в первое ухо (например, левое ухо), а второй аудио сигнал (например, правый канал) доставляется во второе ухо (например, правое ухо), при этом, по существу, ослабляя доставку первого аудио сигнала во второе ухо и доставку второго аудио сигнала в первое ухо.

[0025] В других примерах, предоставление трехмерного аудио может быть основано на функции передачи звука, зависящей от головы человека «HRTF» и/или реакции на импульсное возмущение, зависящей от головы человека «HRIR», чтобы создавать иллюзию того, что звук исходит из конкретного местоположения в 3D акустическом пространстве. HRTF описывает то, каким образом заданный ввод звуковой волны фильтруется посредством свойств дифракции и отражения головы и ушной раковины до того, как звук достигает барабанной перепонки и внутреннего уха. Другими словами, HRTF может быть определена на основании разности между звуком в свободном эфире и звуком как он прибывает на барабанную перепонку.

[0026] В других примерах система 60 преобразователя может включать в себя один или более тактильные преобразователи 220 для генерирования осязаемых подсказок навигации для пользователя 14, таких как вибрации.

[0027] Закрепляемое на голове вычислительное устройство 10 также может включать в себя систему 66 микрофона и один или более микрофоны 224 для приема ввода аудио от физической окружающей среды. В некоторых примерах, может быть предоставлен массив микрофонов, который включает в себя множество микрофонов 224, позиционированных в разных местоположениях на закрепляемом на голове вычислительном устройство 200. Микрофоны 224 могут содержать всенаправленные микрофоны и/или однонаправленные микрофоны, которые выполнены с возможностью приема речи и других вводов аудио от физической окружающей среды 32.

[0028] В некоторых примерах, система 66 микрофона и/или модуль 16 навигации могут использовать одну или более методики локализации акустического источника, чтобы определять местоположение аудио источников в 3D пространстве физической окружающей среды 32, включая источники, расположенные позади пользователя 14. Например, система 66 микрофона и/или модуль 16 навигации могут применять одну или более методики формирования луча к, по меньшей мере, части вводов аудио от массива микрофонов. Например, единственный, направленно-адаптивный сигнал звука может быть определен любым приемлемым способом. Направленно-адаптивный сигнал звука может быть определен на основании методики неизменяющегося во времени формирования луча, методики адаптивного формирования луча, или сочетания методик неизменяющегося во времени и адаптивного формирования луча. Результирующий объединенный сигнал может иметь узкую диаграмму направленности, которая может быть направлена в направлении источника аудио. Также следует иметь в виду, что любая приемлемая методика локализации акустического источника может быть использована, чтобы идентифицировать местоположение источника аудио.

[0029] Как отмечено выше, в некоторых примерах закрепляемое на голове вычислительное устройство 200 может включать в себя систему 70 дисплея и дисплей 204, который обеспечивает возможность доставки визуальных подсказок навигации к глазам пользователя 14. В одном примере, дисплей 204 может содержать прозрачный дисплей, выполненный с возможностью визуального дополнения внешнего вида физической окружающей среды 32 пользователю 14, просматривающему окружающую среду через прозрачный дисплей. Например, внешний вид физической окружающей среды 32 может быть дополнен графическим контентом (например, одним или более пикселями, каждый с соответствующим цветом и яркостью), который представляется через прозрачный дисплей, чтобы создать окружающую среду смешанной реальности.

[0030] В данном примере прозрачный дисплей 204 также может быть выполнен с возможностью предоставления пользователю возможности видеть физические, объекты 52 реального мира в физической окружающей среде 32 через один или более частично прозрачные пиксели, которые являются отображающими представление виртуального объекта. В одном примере, прозрачный дисплей 204 может включать в себя создающие изображение элементы, расположенные внутри линз 210 (такой как, например, просматриваемый насквозь дисплей на Органических Светоизлучающих Диодах (OLED)). В качестве другого примера, прозрачный дисплей 204 может включать в себя модулятор света на краю линз 210. В данном примере линзы 210 могут служить в качестве световодов для доставки света от модулятора света в глаза пользователя. Такой световод может позволять пользователю воспринимать 2D изображение или 3D голографическое изображение, расположенное в физической окружающей среде 32, которую просматривает пользователь, при этом также позволяя пользователю видеть физические объекты 52 в физической окружающей среде.

[0031] Вновь со ссылкой на закрепляемое на голове вычислительное устройство 10 с Фиг. 1, следует иметь в виду, что процессор 22 может содержать подсистему логики, а память 20 может содержать подсистему хранения, как рассматривается более подробно ниже в отношении Фиг. 9, которые находятся на связи с разнообразными датчиками и соответствующими системами, описанными выше. В одном примере, подсистема хранения может включать в себя инструкции, которые являются исполняемыми подсистемой логики, чтобы принимать вводы сигнала от датчиков и переадресовывать такие вводы (в необработанной или обработанной форме) к модулю 16 навигации.

[0032] Дополнительно, пример, иллюстрируемый на Фиг. 1, показывает хранилище 18 большой емкости, память 20 и процессор 22 интегрированными в закрепляемое на голове вычислительное устройство 10. Следует иметь в виду, что в других примерах одно или более из хранилища 18 большой емкости, памяти 20 и процессора 22 может быть расположено в одном или более других вычислительных устройствах, с которыми закрепляемое на голове вычислительное устройство 10 коммуникативно связано. Например, закрепляемое на голове вычислительное устройство 10 может быть оперативно соединено с другим вычислительным устройством, используя проводное соединение, или может использовать беспроводное соединение через WiFi, Bluetooth, или любой другой приемлемый протокол беспроводной связи. Дополнительные подробности касательно компонентов и вычислительных аспектов закрепляемого на голове вычислительного устройства 10 и другого вычислительного устройств(а) описываются более подробно ниже со ссылкой на Фиг. 9.

[0033] Следует иметь в виду, что закрепляемое на голове вычислительное устройство 10 и связанные датчики и другие компоненты, описанные выше и проиллюстрированные на Фиг. 1 и 2, предоставлены в качестве примера. Не подразумевается, что эти примеры являются ограничивающими каким-либо образом, поскольку могут быть использованы любые другие приемлемые датчики, компоненты, и/или сочетания датчиков и компонентов. Вследствие этого, следует понимать что закрепляемое на голове вычислительное устройство 10 может включать в себя дополнительные и/или альтернативные датчики, камеры, микрофоны, устройства ввода, устройства вывода, и т.д., не отступая от объема данного раскрытия. Кроме того, физическая конфигурация закрепляемого на голове вычислительного устройства 10 и его разнообразных датчиков и субкомпонентов может принимать многообразные другие формы, не отступая от объема данного раскрытия.

[0034] Теперь со ссылкой на Фиг. 3-7, теперь будут предоставлены описания примерных случаев использования и вариантов осуществления закрепляемого на голове вычислительного устройства. На Фиг. 3 пользователь 14, который носит закрепляемое на голове вычислительное устройство 200 с Фиг. 2, может быть идущим в его доме. Пользователь 14 может иметь нарушение зрения и может использовать закрепляемое на голове вычислительное устройство 200 для помощи в навигации. В одном примере, пользователь 14 может инициализировать закрепляемое на голове вычислительное устройство 200, проходя из комнаты в комнату в его доме 300, и, для каждой комнаты, предоставляя ввод 30 пользователя в отношении идентификатора комнаты, который идентифицирует комнату.

[0035] Например, в то время как пользователь 14 обходит кухню 304, пользователь может говорить, «Это моя кухня». Модуль 16 навигации может принимать данный ввод 30 пользователя, обрабатывать его, используя программу распознавания голоса и тегировать кухню 304 с помощью идентификатора «Кухня». Модуль 16 навигации может использовать данные 46 видимого изображения и данные 38 о глубине изображения кухни 304, чтобы генерировать 3D сетку кухни и ее разнообразных характерных особенностей 50, таких как приборы, мебель, стены, контуры, поверхности, и т.д. Модуль 16 навигации также может генерировать соответствующую карту 80 дома 300, которая включает в себя кухню 304 тегированную с помощью идентификатора «Кухня». Подобным образом, модуль 16 навигации может использовать данные 46 видимого изображения и данные 38 о глубине изображения гостиной 308, чтобы генерировать 3D сетку данной комнаты и ее разнообразные характерные особенности 50. Модуль навигации может тегировать гостиную с помощью идентификатора «Гостиная», основанного на вводе 39 пользователя от пользователя 14, и может добавлять гостиную 308, тегированную с помощью идентификатора «Гостиная», в карту 80 дома 300. По мере того, как пользователь 14 проходит из комнаты в комнату и по дому 300, модуль 16 навигации также может распознавать и сохранять общие траектории, которых придерживается пользователь при навигации по дому.

[0036] Впоследствии, когда пользователь 14 входит в одну из этих комнат, модуль 16 навигации может идентифицировать комнату через карту 80 и обнаруживать комнату как тегированную с помощью соответствующего идентификатора комнаты. Соответственно и на основании, по меньшей мере, обнаружения комнаты как тегированной с помощью соответствующего идентификатора комнаты, модуль 16 навигации может задействовать режим 26 знакомой навигации. В других примерах, комната или другой участок физической окружающей среды 32 может не быть ассоциированным с идентификатором, а могут быть ранее посещенными пользователем 14. В этих примерах, модуль 16 навигации может распознавать комнату или другой участок окружающей среды 32 по одному или более предыдущим визитам пользователя посредством использования, например, методики машинного обучения. Если пользователь посещал комнату или другой участок окружающей среды 32, по меньшей мере, предварительно определенное количество раз, такое как 1, 3, 5 или любое другое приемлемое количество, тогда модуль 16 навигации может задействовать режим 26 знакомой навигации. В еще других примерах, пользователь 14 может предоставлять ввод 30 пользователя в систему 16 навигации, который задействует режим 26 знакомой навигации.

[0037] Продолжая ссылаться на Фиг. 3 и как описывается более подробно ниже, находясь в режиме 26 знакомой навигации модуль 16 навигации может предоставлять подсказки 62 навигации пользователю 14, которые отличаются от подсказок навигации, предоставляемых, когда модуль 16 навигации работает в режиме 28 незнакомой навигации. В одном примере, пользователь 14 может быть идущим в общем направлении дивана 312, расположенного в обычном местоположении 314. В режиме 26 знакомой навигации, модуль 16 навигации может не предоставлять подсказку 62 навигации, соответствующую дивану 312, в предположении, что пользователь 14 помнит обычное местоположение 314 дивана 312 по предыдущим визитам гостиной 308. В другом примере, модуль 16 навигации может выводить подсказку 64 навигации, которая содержит ненавязчивое напоминание о диване 312, такое как озвучивание «Диван» мягким голосом через громкоговоритель 216.

[0038] В другом примере, пользователь 14 может быть гостем, который находится в доме 300 первый раз. Соответственно, модуль 16 навигации может задействовать режим 28 незнакомой навигации. В данном режиме, по мере того как пользователь 14 идет в общем направлении дивана 312, модуль 16 навигации может предоставлять аудио подсказку 64 навигации пользователю, которая предупреждает пользователя о местоположении дивана. Например, модуль 16 навигации может выводить короткий, характерный звук (или звуковой эффект), иллюстрируемый в качестве знакомого звукового эффекта 320, используя одну или более методики локализации акустического источника, которые вызывают восприятие пользователем 14 звукового эффекта, как исходящего из обычного, 3D местоположения 314, соответствующего дивану 312. В другом примере, модуль 16 навигации может озвучивать слово «Диван» пользователю 14 из обычного местоположения 314, используя методику локализации акустического источника.

[0039] В другом примере и находясь в режиме 26 знакомой навигации, модуль 16 навигации может распознавать, что диван 312 находится в необычном местоположении 316, которое отличается от его обычного местоположения 314. Кроме того и также на основании направления перемещения пользователя, модуль 16 навигации может определять, что в необычном местоположении 316 диван 312 находится на непосредственном пути пользователя 14. Модуль 16 навигации может определять, что в данной ситуации диван 312 представляет опасность с возможностью споткнуться для пользователя 14.

[0040] Соответственно, модуль 16 навигации может классифицировать диван 312 в качестве опасности 54 и может выводить аудио подсказку 64 навигации в форме звукового эффекта 322 предупреждения, используя методику локализации акустического источника, которая предупреждает пользователя о необычном местоположении 316 дивана 312. В данном примере, диван 312 может быть классифицирован и как объект 52 и как опасность 54 модулем 16 навигации. Дополнительно и чтобы обеспечить передачу пользователю в срочном порядке, звуковой эффект 322 предупреждения может быть выведен с более высокой громкостью в сравнении со знакомым звуковым эффектом 320, как изображено на Фиг. 3 посредством того, что звуковой эффект 322 предупреждения имеет размер больше, чем знакомый звуковой эффект 320. В других примерах, звуковой эффект 322 предупреждения может быть выполнен в виде характерного звука или звуков, которые отличаются в сравнении со знакомым звуковым эффектом 320.

[0041] В некоторых примерах, модуль 16 навигации может выводить аудио подсказки 64 навигации для характерной особенности 50 в окружающей среде 32 с увеличивающейся громкостью по мере того, как сокращается расстояние между характерной особенностью и пользователем 14. Например и со ссылкой теперь на Фиг. 4, пользователь 14 может находиться в вестибюле 404 отеля 400 впервые. Соответственно, модуль 16 навигации может быть работающим в режиме 28 незнакомой навигации. Пользователь 14 может быть в исходной позиции 410, которая находится на первом расстоянии от скульптуры 414, и может идти по направлению к скульптуре в центре вестибюля 404. Когда пользователь 14 находится в исходной позиции 410, модуль 16 навигации может выводить звуковой эффект 418 скульптуры с первой громкостью, которая вызывает восприятие пользователем 14 звукового эффекта скульптуры, как исходящего из 3D местоположения 420, соответствующего скульптуре. По мере того, как пользователь 14 продолжает идти по направлению к скульптуре 414 и достигает последующей позиции 422, модуль 16 навигации может выводить звуковой эффект скульптуры со второй громкостью, большей чем первая громкость, как указывается более большим звуковым эффектом 418' скульптуры, чтобы предупредить пользователя о том, что он ближе к скульптуре 414.

[0042] В некоторых примерах в режиме 28 знакомой навигации, модуль 16 навигации может выводить аудио подсказку 64 навигации, соответствующую каждой характерной особенности 50 в физической окружающей среде 32, в которой располагается пользователь 14. Например, на Фиг. 4 модуль 16 навигации может выводить аудио подсказку 64 навигации, соответствующую каждой характерной особенности, которая находится в поле зрения пользователя 14. Когда пользователь 14 находится в исходной позиции 410, модуль 16 навигации может выводить аудио подсказку 64 навигации, соответствующую скульптуре 414, стойке 430, кушетке 434, человеку 438 и стене 442.

[0043] В другом примере, модуль 16 навигации может использовать одни или более из данных 38 о глубине изображения и данных 46 видимого изображения, чтобы распознавать лицо человека 438, сидящего на кушетке 434. Модуль навигации затем может ассоциировать лицо человека с личностью человека, используя, например, базу данных распознавания лиц, хранящуюся на удаленном сервере. Модуль навигации может затем информировать пользователя 14 о личности человека 438. Преимущественно, пользователь 14 может, таким образом предвидеть человека, который находится в окрестности пользователя.

[0044] Кроме того в некоторых примерах, звуковой эффект личности может быть назначен личности человека 438, при этом звуковой эффект личности предоставляется модулю 16 навигации через ввод 30 пользователя или программно генерируется модулем навигации. В этих примерах, когда модуль 16 навигации ассоциирует лицо с личностью человека 438, модуль 16 навигации может выводить звуковой эффект личности пользователю, чтобы проинформировать пользователя о личности человека.

[0045] Теперь со ссылкой на Фиг. 5, в другом примере аудио подсказка 64 навигации может быть настроена, чтобы идентифицировать наклонный участок в физической окружающей среде 32. В одном примере пользователь 14 может приближаться к наклонному участку 502 с наклоном вверх. Модуль 16 навигации может распознавать наклонный участок 502 с наклоном вверх и может соответственно выводить пользователю 14 аудио подсказку 14 навигации, содержащую множество возрастающих определенного тона звуков 506, которые указывают наклонный участок с наклоном вверх.

[0046] В другом примере и со ссылкой теперь на Фиг. 6, пользователь 14 может приближаться к наклонному участку 602 с наклоном вниз. Модуль 16 навигации может распознавать наклонный участок 602 с наклоном вниз и может соответственно выводить пользователю 14 аудио подсказку 64 навигации, содержащую множество убывающих определенного тона звуков 606, которые указывают наклонный участок с наклоном вниз.

[0047] Со ссылкой вновь на Фиг. 5, в некоторых примерах модуль 16 навигации может распознавать наклонный участок 502 с наклоном вверх в качестве одной или более ступеней 510, таких как в лестничном пролете. В ответ, модуль 16 навигации может соответственно выводить пользователю 14 аудио подсказку 64 навигации, содержащую множество дискретных возрастающих определенного тона звуков 506, как указывается отдельными восемью нотами 514. Данным образом, модуль 16 навигации может сообщать пользователю 14 о том, что впереди восходящие ступени. Подобным образом, в случае, когда модуль 16 навигации распознает наклонный участок с наклоном вниз в качестве одной или более ступеней, модуль 16 навигации может соответственно выводить пользователю 14 аудио 64 подсказку навигации, содержащую множество дискретных убывающих определенного тона звуков. Данным образом, модуль 16 навигации может сообщать пользователю 14 о том, что впереди нисходящие ступени.

[0048] В некоторых примерах, модуль навигации может идентифицировать количество ступеней на наклонном участке с наклоном вверх или вниз, и может сообщать количество ступеней пользователю 14 через количество дискретных определенного тона звуков, которое соответствует количеству ступеней. Например и как показано на Фиг. 5, модуль 16 навигации может распознавать три ступени 510 на наклонном участке 502 с наклоном вверх. Соответственно, модуль 16 навигации может выводить пользователю 14 три дискретных определенного тона звуков в форме трех восьмых нот 514. Преимущественно, данным образом пользователь 14 может быть удобно проинформирован о том, что впереди находятся три восходящие ступени.

[0049] Вновь со ссылкой на Фиг. 6, в некоторых примерах модуль 16 навигации может распознавать наклонный участок 602 с наклоном вниз, как содержащий непрерывный наклонный участок в форме склона с наклоном вниз, такого как наклоненный вниз тротуар, улица, коридор, и т.д., который может быть, по существу, плоским, как показано на Фиг. 6, или может быть волнистым или несколько холмистым. В ответ, модуль 16 навигации может соответственно выводить пользователю 14 аудио подсказку 64 навигации, содержащую множество непрерывных дискретных определенного тона звуков 606, как указывается посредством лиги 610, соединяющей четыре восьмых ноты на Фиг. 6.

[0050] В некоторых примерах, аудио подсказка 64 навигации, выводимая пользователю 14, чтобы идентифицировать наклонный участок, может быть отличной в режиме 26 знакомой навигации в сравнении с режимом 28 незнакомой навигации. Например и со ссылкой вновь на Фиг. 5, дискретные восходящие определенного тона звуки 506, указывающие ступени 510, могут быть выведены с первой, более низкой громкостью, когда модуль 16 навигации работает в режиме 26 знакомой навигации (такой как, например, когда пользователь 14 находится в его доме). Тем не менее, когда модуль 16 навигации работает в режиме 28 незнакомой навигации (такой как, например, когда пользователь 14 находится в здании впервые), дискретные возрастающие определенного тона звуки 506, указывающие ступени 510, могут быть выведены со второй, более высокой громкостью, чтобы обеспечить большее уведомление пользователя о лестнице.

[0051] В некоторых примерах и как отмечено выше, модуль 16 навигации может быть выполнен с возможностью вывода осязаемой подсказки навигации пользователю 14 через один или более тактильные преобразователи 220. Например и также со ссылкой на Фиг. 4, закрепляемое на голове вычислительное устройство 200, которое носит пользователь 14, может включать в себя тактильный преобразователь 220 на правой дужке 240 очков устройства, при этом тактильный преобразователь выполнен с возможностью генерирования вибраций, которые ощущаются пользователем 14. Когда пользователь 14 находится в исходной позиции 410, и чтобы предупредить пользователя о стойке 430, непосредственно справа от пользователя, модуль 16 навигации может предписывать тактильному преобразователю 220 на правой дужке 240 очков закрепляемого на голове вычислительного устройства 200, вибрировать с предварительно определенным шаблоном, который указывает объект, находящийся поблизости и справа от пользователя 14.

[0052] Теперь со ссылкой на Фиг. 7, в некоторых примерах модуль 16 навигации также может быть выполнен с возможностью отображения визуальной подсказки навигации пользователю 14 через систему 70 дисплея закрепляемого на голове вычислительного устройства 10. В одном примере, пользователь 14 может иметь нарушение зрения, содержащее значительную близорукость, которая ограничивает способность пользователя видеть объекты на расстоянии. Пользователь 14 может идти по улице города, с видом на улицу через прозрачный дисплей 204 закрепляемого на голове вычислительного устройства 200, показанным на Фиг. 7. По направлению к пользователю 14 может ехать автомобильный фургон 704.

[0053] Модуль 16 навигации может использовать данные 38 о глубине изображения, чтобы определять трехмерные местоположения автомобильного фургона 704 по мере того, как он движется по направлению к пользователю 14, и может определять, что автомобильный фургон находится на пути, который может сбить пользователя 14. Соответственно, модуль 16 навигации может отображать несколько, мигающих предупреждающих пиктограмм 708 на прозрачном дисплее 204, чтобы предупредить пользователя о приближающейся опасности. В некоторых примерах, модуль 16 навигации также может выводить аудио подсказку 64 навигации, предупреждающую пользователя о приближающейся опасности. Например, аудио подсказка 64 навигации может содержать одно или более озвученные предупреждения и связанные инструкции 712, такие как «Предупреждение! Быстро приближающийся автомобиль! Переместитесь вправо!».

[0054] Как отмечено выше, в некоторых примерах закрепляемое на голове вычислительное устройство 10 может включать в себя систему 70 дисплея. В случае, когда закрепляемое на голове вычислительное устройство 10 включает в себя систему 70 дисплея, в некоторых примерах закрепляемое на голове вычислительное устройство 10 может выводить аудио подсказки 64 навигации как описано выше, при этом не отображая изображения или другой визуальный контент пользователю через систему 70 дисплея.

[0055] Фиг. 8A и 8B иллюстрирую блок-схему способа 800 для предоставления помощи в навигации пользователю в окружающей среде через вывод аудио в соответствии с вариантом осуществления настоящего раскрытия. Нижеследующее описание способа 800 предоставляется со ссылкой на компоненты программного обеспечения и аппаратного обеспечения закрепляемого на голове вычислительного устройства 10, описанного выше и показанного на Фиг. 1-7. Следует иметь в виду, что способ 800 также может быть выполнен в других контекстах, используя другие подходящие компоненты аппаратного обеспечения и программного обеспечения.

[0056] Со ссылкой на Фиг. 8A, на этапе 808 способ 800 может включать в себя прием данных о глубине изображения окружающей среды. На этапе 808 способ 800 может включать в себя прием данных видимого изображения окружающей среды. На этапе 812 способ 800 может включать в себя, используя данные о глубине изображения и данные видимого изображения, генерирование трехмерной сетки, по меньшей мере, участка окружающей среды. На этапе 816 способ 800 может включать в себя, используя трехмерную сетку, обнаружение, по меньшей мере, одной характерной особенности в окружающей среде. На этапе 820 способ 800 может включать в себя, когда закрепляемое на голове вычислительное устройство работает в режиме знакомой навигации и на основании обнаруженной характерной особенности, вывод первой аудио подсказки навигации по окружающей среде пользователю через один или более преобразователей.

[0057] На этапе 824 способ 800 может включать в себя, когда закрепляемое на голове вычислительное устройство работает в режиме незнакомой навигации и на основании обнаруженной характерной особенности, вывод второй аудио подсказки навигации по окружающей среде пользователю через один или более преобразователей, при этом вторая аудио подсказка навигации отличается от первой аудио подсказки навигации. На этапе 828 способ 800 может включать в себя вывод одной или более из первой аудио подсказки навигации и второй аудио подсказки навигации пользователю образом, который вызывает восприятие пользователем подсказки, как исходящей из трехмерного местоположения характерной особенности. На этапе 832 характерная особенность может содержать наклонный участок, и первая аудио подсказка навигации и вторая аудио подсказка навигации содержат множество восходящих определенного тона звуков, которые указывают наклонный участок с наклоном вверх, или множество нисходящих определенного тона звуков, которые указывают наклонный участок с наклоном вниз.

[0058] На этапе 836 первая аудио подсказка навигации и вторая аудио подсказка навигации могут содержать множество непрерывных определенного тона звуков, которые указывают непрерывный наклонный участок, или множество дискретных определенного тона звуков, которые указывают множество ступеней. Теперь со ссылкой на Фиг. 8B, на этапе 840 способ 800 может включать в себя вывод первой аудио подсказки навигации и второй аудио подсказки навигации пользователю с громкостью, которая увеличивается по мере того, как сокращается расстояние близости обнаруженного объекта с пользователем. На этапе 844 способ 800 может включать в себя распознавание лица в окружающей среде, используя одно или более из данных о глубине изображения и данных видимого изображения. На этапе 848 способ 800 может включать в себя ассоциирование лица с личностью человека. На этапе 852 способ 800 может включать в себя информирование пользователя о личности человека.

[0059] На этапе 856 способ 800 может включать в себя назначение звукового эффекта личности упомянутой личности человека. На этапе 860 способ 800 может включать в себя вывод звукового эффекта личности пользователю через один или более преобразователей. На этапе 864 способ 800 может включать в себя вывод осязаемой подсказки навигации пользователю через один или более преобразователей. На этапе 868 способ 800 может включать в себя, на основании обнаруженной характерной особенности, отображение визуальной подсказки навигации пользователю через систему дисплея закрепляемого на голове вычислительного устройства, при этом визуальная подсказка навигации основана на, по меньшей мере, трехмерном местоположении характерной особенности в окружающей среде.

[0060] Следует иметь в виду, что способ 800 предоставляется в качестве примера и не предназначен для ограничения. Вследствие этого, должно быть понятно, что способ 800 может включать в себя дополнительные и/или альтернативные этапы, чем те, что иллюстрируются на Фиг. 8A и 8B. Кроме того, должно быть понятно, что способ 800 может быть выполнен в любой приемлемой очередности. Кроме того еще, должно быть понятно, что один или более этапы могут быть опущены в способе 800, не отступая от объема данного раскрытия.

[0061] Фиг. 9 схематично показывает не ограничивающий вариант осуществления вычислительной системы 900, которая может выполнять один или более из описанных выше способов и процессов. Закрепляемое на голове вычислительное устройство 10 может принимать форму или включать в себя один или более аспекты вычислительной системы 900. Вычислительная система 900 показана в упрощенной форме. Должно быть понятно, что виртуально любая компьютерная архитектура может быть использована, не отступая от объема данного раскрытия. В разных вариантах осуществления, вычислительная система 900 может принимать форму компьютера класса мэйнфрейм, серверного компьютера, настольного компьютера, компьютера класса лэптоп, планшетного компьютера, домашнего развлекательного компьютера, сетевого вычислительного устройства, мобильного вычислительного устройства, устройства мобильной связи, игрового устройства, и т.д.

[0062] Как показано на Фиг. 9, вычислительная система 900 включает в себя подсистему 904 логики, подсистему 908 хранения, и подсистему 912 датчика. Вычислительная система 900 может опционально включать в себя подсистему 916 дисплея, подсистему 920 связи, подсистему 922 ввода и/или другие подсистемы и компоненты, не показанные на Фиг. 9. Вычислительная система 900 также может включать в себя машиночитаемые носители информации, при этом машиночитаемые носители информации включающие в себя машиночитаемые запоминающие носители информации и машиночитаемые средства связи. Вычислительная система 900 также может опционально включать в себя другие устройства ввода, такие как клавиатуры, мыши, игровые контроллеры, и/или сенсорные экраны, например. Кроме того, в некоторых вариантах осуществления способы и процессы, описываемые в данном документе, могут быть реализованы в качестве компьютерного приложения, компьютерной услуги, компьютерного API, компьютерной библиотеки, и/или другого компьютерного программного продукта в вычислительной системе, которая включает в себя один или более компьютеры.

[0063] Подсистема 904 логики может включать в себя одно или более физические устройства, выполненные с возможностью исполнения одной или более инструкций. Например, подсистема 904 логики может быть выполнена с возможностью исполнения одной или более инструкций, которые являются частью одного или более приложений, услуг, программ, подпрограмм, библиотек, объектов, компонентов, структур данных, или других логических конструкций. Такие инструкции могут быть реализованы, чтобы выполнять задачу, реализовывать тип данных, трансформировать состояние одного или более устройств, или иным образом достигать требуемого результата.

[0064] Подсистема 904 логики может включать в себя один или более процессоры, которые выполнены с возможностью исполнения инструкций программного обеспечения. Дополнительно или в качестве альтернативы, подсистема логики может включать в себя одну или более логические машины аппаратного обеспечения или встроенного программного обеспечения, выполненные с возможностью исполнения инструкций аппаратного обеспечения или встроенного программного обеспечения. Процессоры логической подсистемы могут быть с одним ядром или многоядерными, и исполняемые на них программы могут быть сконфигурированы для параллельной или распределенной обработки. Подсистема логики может опционально включать в себя отдельные компоненты, которые распределены между двумя или более устройствами, которые могут быть расположены удаленно и/или сконфигурированы для скоординированной обработки. Один или более аспекты подсистемы логики могут быть виртуализированы и исполнены посредством удаленно доступных объединенных в сеть вычислительных устройств сконфигурированных в конфигурацию облачных вычислений.

[0065] Подсистема 908 хранения может включать в себя одно или более физические, постоянные устройства, выполненные с возможностью удержания данных и/или инструкций, исполняемых подсистемой 904 логики, чтобы реализовать описываемые в данном документе способы и процессы. При реализации таких способов и процессов, состояние подсистемы 908 хранения может быть трансформировано (например, для удержания разных данных).

[0066] Подсистема 908 хранения может включать в себя съемные носители информации и/или встроенные устройства. Подсистема 908 хранения может включать в себя оптические устройства памяти (например, CD, DVD, HD-DVD, Blu-Ray Диск, и т.д.), полупроводниковые устройства памяти (например, RAM, EPROM, EEPROM, и т.д.) и/или магнитные устройства памяти (например, накопитель на жестком диске, накопитель на гибком диске, накопитель на ленте, MRAM, и т.д.), среди прочего. Подсистема 908 хранения может включать в себя устройства с одной или более из следующих характеристик: энергозависимое, энергонезависимое, динамическое, статическое, для чтения/записи, только для чтения, с произвольным доступом, с последовательным доступом, с адресацией местоположения, с адресацией файлов, и с адресацией контента.

[0067] В некоторых вариантах осуществления, аспекты системы 904 логики и подсистемы 908 хранения могут быть интегрированы в одно или более общие устройства посредством которого может быть произведена функциональность, описываемая в данном документе, по меньшей мере частично. Такие компоненты логики аппаратного обеспечения могут включать в себя программируемые вентильные матрицы (FPGA), программно- или проблемно-ориентированные интегрированные микросхемы (PASIC/ASIC), программно- или проблемно-ориентированные стандартные изделия (PSSP/ASSP), системы схемы система-на-кристалле (SOC), и сложные устройства с программируемой логикой (CPLD), например.

[0068] Фиг. 9 также показывает аспект подсистемы 908 хранения в форме съемных машиночитаемых запоминающих носителей 924 информации, которые могут быть использованы, чтобы хранить данные и/или инструкции, исполняемые, чтобы реализовать способы и процессы, описываемые в данном документе. Съемные машиночитаемые запоминающие носители 924 информации могут принимать форму CD, DVD, HD-DVD, Blu-Ray Дисков, EEPROM, и/или гибких дисков, среди прочего.

[0069] Следует иметь в виду, что подсистема 908 хранения включает в себя одно или более физические, постоянные устройства. В противоположность, в некоторых вариантах осуществления аспекты инструкций, описываемых в данном документе, могут распространятся временным образом посредством чистого сигнала (например, электромагнитного сигнала, оптического сигнала, и т.д.), который не удерживается физическим устройством в течение, по меньшей мере, конечной длительности. Кроме того, данные и/или другие формы информации, имеющие отношение к настоящему раскрытию, могут быть распространены посредством чистого сигнала через машиночитаемые средства связи.

[0070] Подсистема 912 датчика может включать в себя один или более датчиков, выполненные с возможностью регистрации разных физических явлений (например, видимого света, инфракрасного света, звука, ускорения, ориентации, позиции, и т.д.) как описано выше. Подсистема 912 датчика может быть выполнена с возможностью предоставления данных датчика подсистеме 904 логики, например. Как описано выше, такие данные могут включать в себя информацию изображения, информацию освещенности, информацию глубины, аудио информацию, информацию позиции, информацию движения, информацию местоположения пользователя, и/или любые другие приемлемые данные датчика, которые могут быть использованы, чтобы выполнять способы и процессы, описанные выше.

[0071] Когда включена, подсистема 916 дисплея может быть использована, чтобы представлять визуальное представление данных, удерживаемых подсистемой 908 хранения. Поскольку описанные выше способы и процессы меняют данные, удерживаемые подсистемой 908 хранения, и следовательно трансформируют состояние подсистемы хранения, состояние подсистемы 916 дисплея может подобным образом быть трансформировано, чтобы визуально представлять изменения в лежащих в основе данных. Подсистема дисплея 916 может включать в себя одно или более дисплейные устройства, использующие виртуально любой тип технологии. Такие дисплейные устройства могут быть объединены с подсистемой 904 логики и/или подсистемой 908 хранения в совместно используемом корпусе, или такие дисплейные устройство могут быть периферийными дисплейными устройствами. Подсистема 916 дисплея может включать в себя, например, оптическую подсистему 70 дисплей и дисплейную программу 72 закрепляемого на голове вычислительного устройства 10.

[0072] Когда включена, подсистема 920 связи может быть выполнена с возможностью коммуникативно связывать вычислительную систему 900 с одной или более сетями и/или одним или более другими вычислительными устройствами. Подсистема 920 связи может включать в себя устройства проводной и/или беспроводной связи, совместимые с одним или более разными протоколами связи. В качестве не ограничивающих примеров, подсистема 920 связи может быть выполнена с возможностью осуществления связи через беспроводную телефонную сеть, беспроводную локальную сеть, проводную локальную сеть, беспроводную глобальную сеть, проводную глобальную сеть, и т.д. В некоторых вариантах осуществления, подсистема связи может позволять вычислительной системе 900 отправлять и/или принимать сообщения к и/или от других устройств через сеть, такую как Интернет.

[0073] Когда включена, подсистема 922 ввода может содержать или взаимодействовать с одним или более датчиками или устройствами ввода пользователя, такими как игровой контроллер, устройство обнаружение ввода жестом, устройство распознавания голоса, блок инерционного измерения, клавиатура, мышь, или сенсорный экран. В некоторых вариантах осуществления, подсистема 922 ввода может содержать или взаимодействовать с выбранными компонентами естественного ввода пользователя (NUI). Такие компоненты могут быть интегрированными или периферийными, и преобразование и/или обработка действий ввода может быть выполнена на или вне устройства. Примерные компоненты NUI могут включать в себя микрофон для распознавания речи и/или голоса; инфракрасную, цветную, стереоскопическую и/или для глубины камеру для машинного зрения и/или распознавания жеста; устройство отслеживания движения головы, устройство отслеживания движения глаз, акселерометр, и/или гироскоп для обнаружения движения и/или распознавания намерения; как впрочем и компоненты регистрации электрического поля для оценки мозговой активности.

[0074] Понятия «модуль» и «программа» могут быть использованы для описания аспекта закрепляемого на голове вычислительного устройства 10, который реализуется для выполнения одной или более конкретных функций. В некоторых случаях, экземпляр такого модуля или программы может быть создан через исполнение подсистемой 904 логики инструкций, удерживаемых подсистемой 908 хранения. Следует понимать, что экземпляры разных модулей и программ могут быть созданы из одного и того же приложения, услуги, блока кода, объекта, библиотеки, подпрограммы, API, функции, и т.д. Подобным образом, экземпляр одного и того же модуля или программы может быть создан посредством разных приложений, услуг, блоков кода, объектов, подпрограмм, API, функций, и т.д. Понятия «модуль» и «программа» предназначены охватывать отдельные или группы исполняемых файлов, файлов данных, библиотек, драйверов, сценариев, записей базы данных, и т.д.

[0075] Следует понимать, что конфигурации и/или подходы, описываемые в данном документе, являются примерными по сути, и что эти конкретные варианты осуществления или примеры не должны рассматриваться в ограничивающем духе, так как возможны многочисленные вариации. Конкретные подпрограммы или способы, описываемые в данном документе, могут представлять собой одну или более из любого количества стратегий обработки. Раз так, то разнообразные иллюстрируемые акты, могут быть выполнены в иллюстрируемой последовательности, в других последовательностях, параллельно, или в некоторых случаях опущены. Подобным образом, очередность описанных выше процессов может быть изменена.

[0076] Предмет настоящего раскрытия включает в себя все новые и неочевидные сочетания и субсочетания разнообразных процессов, систем и конфигураций, и прочих признаков, функций, актов, и/или свойств раскрываемых в данном документе, как впрочем и любые и все их эквиваленты.

1. Закрепляемое на голове вычислительное устройство (10) для предоставления помощи пользователю (14) в навигации по окружающей среде (32) через вывод аудио, при этом закрепляемое на голове вычислительное устройство содержит:

один или более датчиков (34) глубины для генерирования данных (38) о глубине изображения окружающей среды (32);

один или более датчиков (42) видимого света для генерирования данных (46) видимого изображения окружающей среды (32);

один или более преобразователей (60) и

модуль (16) навигации, исполняемый процессором (22) закрепляемого на голове вычислительного устройства (10), при этом модуль (16) навигации содержит режим (26) знакомой навигации, в котором помощь в навигации адаптирована с учетом того, что окружение знакомо пользователю, и режим (28) незнакомой навигации, в котором помощь в навигации адаптирована с учетом того, что окружение не знакомо пользователю, причем модуль (16) навигации выполнен с возможностью:

используя данные (38) о глубине изображения и данные (46) видимого изображения, генерирования трехмерной сетки (58) по меньшей мере участка окружающей среды (32);

используя методики машинного обучения, определения, посещал ли пользователь ранее эту окружающую среду (32);

в ответ на определение того, что пользователь ранее посещал эту окружающую среду (32) по меньшей мере предварительно определенное количество раз, задействования режима знакомой навигации;

используя трехмерную сетку (58), обнаружения по меньшей мере одной характерной особенности (50) в окружающей среде (32);

при работе в режиме (26) знакомой навигации и на основании обнаружения характерной особенности (50) вывода первой аудиоподсказки навигации по окружающей среде (32) пользователю (14) через один или более преобразователей (60) и

при работе в режиме (28) незнакомой навигации и на основании обнаружения характерной особенности (50) вывода второй аудиоподсказки навигации по окружающей среде (32) пользователю (14) через один или более преобразователей (60), при этом вторая аудиоподсказка навигации отличается от первой аудиоподсказки навигации.

2. Закрепляемое на голове вычислительное устройство по п. 1, в котором модуль навигации дополнительно выполнен с возможностью вывода одной или более из первой аудиоподсказки навигации и второй аудиоподсказки навигации пользователю таким образом, что вызывают восприятие пользователем подсказки как исходящей из трехмерного местоположения характерной особенности.

3. Закрепляемое на голове вычислительное устройство по п. 1, в котором характерная особенность содержит наклонный участок и первая аудиоподсказка навигации и вторая аудиоподсказка навигации содержат множество восходящих определенного тона звуков, которые указывают на наклонный участок с наклоном вверх, или множество нисходящих определенного тона звуков, которые указывают на наклонный участок с наклоном вниз.

4. Закрепляемое на голове вычислительное устройство по п. 3, в котором первая аудиоподсказка навигации и вторая аудиоподсказка навигации дополнительно содержат множество из непрерывных определенного тона звуков, которые указывают на непрерывный наклонный участок, или множество дискретных определенного тона звуков, которые указывают на множество ступеней.

5. Закрепляемое на голове вычислительное устройство по п. 1, в котором модуль навигации дополнительно выполнен с возможностью вывода первой аудиоподсказки навигации и второй аудиоподсказки навигации пользователю с громкостью, которая увеличивается по мере того, как сокращается расстояние между характерной особенностью и пользователем.

6. Способ (800) для предоставления помощи пользователю (14) в навигации по окружающей среде (32) через вывод аудио в закрепляемом на голове вычислительном устройстве (10), причем способ (800) содержит этапы, на которых:

принимают (804) данные (38) о глубине изображения окружающей среды (32);

принимают (808) данные (46) видимого изображения окружающей среды (32);

используя (812) данные (38) о глубине изображения и данные (46) видимого изображения, генерируют трехмерную сетку (58) по меньшей мере участка окружающей среды (32);

используя методики машинного обучения, определяют, посещал ли пользователь ранее эту окружающую среду (32);

в ответ на определение того, что пользователь ранее посещал эту окружающую среду (32) по меньшей мере предварительно определенное количество раз, задействуют закрепляемое на голове вычислительное устройство (10) в режиме (26) знакомой навигации;

используя (816) трехмерную сетку (58), обнаруживают по меньшей мере одну характерную особенность (50) в окружающей среде (32);

при работе (820) закрепляемого на голове вычислительного устройства (10) в режиме (26) знакомой навигации и на основании обнаружения характерной особенности (50) выводят первую аудиоподсказку навигации по окружающей среде (32) пользователю (14) через один или более преобразователей (60) и

при работе (824) закрепляемого на голове вычислительного устройства (10) в режиме (28) незнакомой навигации и на основании обнаружения характерной особенности (50) выводят вторую аудиоподсказку навигации по окружающей среде (32) пользователю (14) через один или более преобразователей, при этом вторая аудиоподсказка навигации отличается от первой аудиоподсказки навигации.

7. Способ по п. 6, дополнительно содержащий этапы, на которых:

распознают лицо в окружающей среде, используя одно или более из данных о глубине изображения или данных видимого изображения;

ассоциируют лицо с личностью человека и

информируют пользователя о личности человека.

8. Способ по п. 7, дополнительно содержащий этапы, на которых:

назначают звуковой эффект личности упомянутой личности человека и

выводят звуковой эффект личности пользователю через один или более преобразователей.

9. Способ по п. 6, дополнительно содержащий этап, на котором выводят осязаемую подсказку навигации пользователю через один или более преобразователей.

10. Способ по п. 6, дополнительно содержащий этап, на котором на основании обнаружения характерной особенности отображают визуальную подсказку навигации пользователю через систему дисплея закрепляемого на голове вычислительного устройства, при этом визуальная подсказка навигации основана на по меньшей мере трехмерном местоположении характерной особенности в окружающей среде.