Устройство для визуального наблюдения для пилота летательного аппарата

Изобретение относится к устройству для визуального наблюдения для пилота летательного аппарата, содержащему: держатель (10), предназначенный для размещения на голове пилота летательного аппарата; поверхность (12) отображения; средства (15) отображения, расположенные на держателе и выполненные с возможностью отображения объектов дополненной реальности на поверхности отображения; средства (18) считывания, выполненные с возможностью считывать в режиме реального времени первые данные, отображающие положение и ориентацию держателя, вторые данные, отображающие положение и ориентацию кабины летательного аппарата, третьи данные, определяющие габаритные зоны (30), занятые оборудованием кабины, а также объекты дополненной реальности; средства (19) обработки, выполненные с возможностью определять в режиме реального времени положение объектов дополненной реальности так, что все объекты дополненной реальности располагаются снаружи габаритных зон, когда они отображаются на поверхности отображения. Изобретение обеспечивает отображение объектов дополненной реальности, при котором оно не закрывает полностью или частично оборудование кабины. 4 н. и 5 з.п. ф-лы, 3 ил.

 

Область техники, к которой относится изобретение

Изобретение относится к области устройств для визуального наблюдения для пилота летательного аппарата.

Уровень техники

В настоящее время все больше проявляется тенденция к применению так называемой технологии «дополненной реальности» в современных летательных аппаратах и, в частности, в истребителях.

Дополненная реальность позволяет вводить в видимую реальную окружающую среду пилота объекты дополненной реальности таким образом, что эти объекты дополненной реальности оказываются доступными для пилота, которому не надо для этого перемещать взгляд.

В частности, объектами дополненной реальности являются изображения или информация в письменном виде.

Изображениями являются, например, изображения взлетно-посадочной полосы, рельефа местности (гора, долина и т.д.), моря, какой-либо цели, других летательных аппаратов и различных транспортных средств, различных зданий и т.д. Письменной информацией является, например, информация о текущем полете, данные контроля различных параметров истребителя, сообщение для пилота и т.д.

Дополненная реальность позволяет также компенсировать недостаточную видимость.

Недостаточная видимость может быть связана с условиями ночного полета или с плохими метеоусловиями.

Недостаточная видимость может быть также связана с положением пилота в кабине истребителя.

Известно, что, как показано на фиг. 1, в истребителе 1 обзор для пилота 2 является относительно ограниченным по причине условий расположения пилота 2 в кабине 3.

В истребителе 1 пилот 2 пристегнут к катапультируемому креслу 4. Шлем 5 пилота 2 поддерживается в продолжении тела при помощи подголовника 6 катапультируемого кресла 4. Как правило, пилот 2 может поворачивать свой шлем 5 только на 15° при наклоне вперед, на 80° при повороте влево или вправо и на 45° при наклоне в сторону. Кроме того, глаза пилота 2 могут поворачиваться примерно на 30° вверх, вниз, влево и вправо. Восприятие пилотом 2 форм и символов ограничено зоной, находящейся на +/-20° вокруг направления взгляда.

Ориентируя взгляд пилота 2 непосредственно на соответствующие чувствительные точки, например, на цель, взлетно-посадочную полосу, другой самолет, дополненная реальность позволяет компенсировать этот ограниченный обзор.

Раскрытие сущности изобретения

Задачей изобретения является улучшение помощи пилоту летательного аппарата, обеспечиваемой устройством для визуального наблюдения, использующим технологию дополненной реальности.

Для решения этой задачи предложено устройство для визуального наблюдения для пилота летательного аппарата, содержащее:

- держатель, предназначенный для размещения на голове пилота летательного аппарата;

- поверхность отображения, расположенную на держателе и предназначенную для размещения вблизи и напротив глаз пилота летательного аппарата;

- средства отображения, расположенные на держателе и выполненные с возможностью отображения объектов дополненной реальности на поверхности отображения;

- средства считывания, выполненные с возможностью считывать в режиме реального времени первые данные, отображающие положение и ориентацию держателя, вторые данные, отображающие положение и ориентацию кабины летательного аппарата, третьи данные, определяющие габаритные зоны, занятые оборудованием кабины, а также объекты дополненной реальности;

- средства обработки, выполненные с возможностью определять в режиме реального времени положение и/или ориентацию и/или форму и/или размер объектов дополненной реальности, используя, в частности, первые данные, вторые данные и третьи данные, таким образом, чтобы все объекты дополненной реальности располагались снаружи габаритных зон, когда они отображаются на поверхности отображения.

Таким образом, заявленное устройство для визуального наблюдения позволяет убедиться, что при отображении объектов дополненной реальности они не накладываются на оборудование кабины.

Оборудование кабины включает в себя приборы, которые выдают пилоту видимые данные. Следовательно, отображение объектов дополненной реальности не мешает доступу к этим видимым данным.

Таким образом, заявленное устройство для визуального наблюдения улучшает обеспечиваемую пилоту помощь.

Изобретением предложен также шлем пилота летательного аппарата, содержащий визор и описанное выше устройство для визуального наблюдения, при этом поверхность отображения находится на визоре.

Кроме того, предложены очки, содержащие стекла и описанное выше устройство для визуального наблюдения, при этом поверхность отображения находится на стеклах.

Изобретением предложена также маска дополненной реальности, содержащая экран и описанное выше устройство для визуального наблюдения, при этом поверхность отображения находится на экране.

Другие отличительные признаки и преимущества изобретения будут более очевидны из нижеследующего описания неограничительного частного варианта осуществления изобретения.

Краткое описание чертежей

Описание представлено со ссылками на прилагаемые чертежи, на которых:

На фиг. 1 показан пилот, сидящий в кабине истребителя;

на фиг. 2 показан шлем пилота летательного аппарата, в который встроено заявленное устройство для визуального наблюдения;

на фиг. 3 показано поле обзора пилота истребителя.

Осуществление изобретения

Как показано на фиг. 2, заявленное устройство для визуального наблюдения для пилота летательного аппарата в данном случае встроено в шлем 5 пилота летательного аппарата, содержащий корпус 10 и визор 11.

В данном случае термин «пилот» обозначает пилота, реально управляющего летательным аппаратом, а также любое другое лицо (например, второго пилота или штурмана), которое может находиться в кабине, когда летательный аппарат находится в полете.

В данном случае летательный аппарат является истребителем.

Корпус 10 шлема 5, который предназначен для размещения на голове пилота, чтобы защищать голову пилота, образует держатель устройства для визуального наблюдения.

Устройство для визуального наблюдения содержит также поверхность 12 отображения, выполненную на корпусе 10 и предназначенную для размещения вблизи и напротив глаз пилота. В данном случае поверхность 12 отображения является внутренней поверхностью визора 11.

Устройство для визуального наблюдения дополнительно содержит первый блок 13, камеру 14, средства 15 отображения и второй блок 16.

Первый блок 13 расположен на корпусе 10 шлема 5.

Под «блоком» в данном случае следует понимать одновременно механический кожух (или корпус), одну или несколько электрических плат, содержащих электронные компоненты и находящихся в блоке, и средства крепления или соединения механического кожуха с окружающей его средой.

Первый блок 13 содержит средства 18 считывания, средства 19 обработки и первые средства 20 измерения.

Средства 18 считывания и средства 19 обработки являются элементами программного (software) и/или аппаратного (hardware) обеспечения, включенными частично или полностью в один или несколько компонентов обработки и, возможно, вложенными один в другой. Компонент или компоненты обработки включают в себя, например, микроконтроллер, схемы ASIC, FPGA, DSP или процессор.

Первые средства 20 измерения содержат первый инерциальный измерительный блок и первые датчики.

Первые средства 20 измерения выдают первые данные, отображающие, в частности, положение и ориентацию шлема 5 и его корпуса 10. Первые данные отображают также направление взгляда пилота. Первый инерциальный измерительный блок выполнен с возможностью обеспечения получения первых данных (в данном случае положения и ориентации шлема 5).

Камера 14 производит аудио/видеопоток изображения реальной видимой окружающей среды и реальной звуковой окружающей среды пилота. Камера 14 соединена с первым блоком 13 через любые проводные или беспроводные средства связи.

Средства 15 отображения расположены на шлеме 10 напротив поверхности 12 отображения. Средства 15 отображения выполнены с возможностью отображения объектов дополненной реальности на поверхности 12 отображения.

Объектами дополненной реальности являются, например, изображения или письменные данные. Объекты дополненной реальности генерированы до полета истребителя и записаны в памяти, либо производятся динамически, например, в зависимости от показаний бортовых приборов истребителя.

Изображения являются, например, изображениями взлетно-посадочной полосы, рельефа местности (гора, долина и т.д.), моря, какой-либо цели, других летательных аппаратов или различных транспортных средств, различных зданий и т.д. Письменные данные относятся, например, к текущему полету, к контролю различных параметров истребителя, к сообщению, адресованному пилоту, и т.д.

В данном случае средства 15 отображения содержат проектор, который проецирует объекты дополненной реальности на поверхность 12 отображения, накладывая их на реальную видимую окружающую среду пилота.

Второй блок 16 расположен в кабине.

Второй блок 16 содержит вторые средства 22 измерения.

Вторые средства 22 измерения включают в себя второй инерциальный измерительный блок и приемник GPS (от Global Positioning System на английском языке).

Вторые средства 22 измерения выдают вторые данные, отображающие, в частности, географическое положение и ориентацию истребителя по трем осям, скорость и направление полета истребителя (и, следовательно, кабины). Второй инерциальный измерительный блок выполнен с возможностью обеспечения получения вторых данных (в данном случае ориентации кабины).

Второй блок 16 связан с первым блоком 13 через любые проводные или беспроводные средства связи.

Далее следует более подробное описание работы заявленного устройства для визуального наблюдения.

Устройство для визуального наблюдения предназначено для отображения объектов дополненной реальности на поверхности 12 отображения таким образом, чтобы с точки зрения пилота они не накладывались на оборудование кабины.

Как показано на фиг. 3, в данном случае оборудование кабины включает в себя приборы 25 управления полетом, зеркало индикатора 26 на лобовом стекле, а также элементы конструкции кабины.

Элементы конструкции кабины включают в себя арку 27 фонаря кабины, оснащенную одним или несколькими зеркалами заднего обзора.

Средства 18 считывания первого блока 13 выполнены с возможностью считывать в режиме реального времени первые данные и вторые данные. Средства 18 считывания считывают также третьи данные, определяющие габаритные зоны 30, занятые оборудованием кабины. Габаритные зоны 30 соответствуют, таким образом, поверхностям, занятым оборудованием кабины.

Третьи данные могут быть записаны в памяти первого блока 13 или второго блока 16 и могут быть генерированы до ввода в строй устройства для визуального наблюдения.

Таким образом, третьи данные могут содержать трехмерное изображение кабины и оборудования кабины.

Изображение в трех измерениях можно получить посредством моделирования модели кабины, соответствующей кабине истребителя. Трехмерное изображение можно также получить посредством обработки изображений, производимых камерой 14 устройства для визуального наблюдения в момент инициализации устройства для визуального наблюдения (или другой камерой, находящейся в кабине).

Третьи данные могут также включать в себя изображение, показывающее ограничения, соответствующие габаритным зонам 30.

В этом случае считывание, производимое средствами 18 считывания, состоит в выведении третьих данных, записанных в памяти.

Третьи данные могут также считываться динамически средствами 18 считывания.

Динамическое считывание может, например, использовать маркеры, положение которых позволяет определить габаритные зоны 30. Маркеры могут быть элементами, добавленными к оборудованию кабины (например, этикетками, приклеенными на оборудовании кабины), или могут представлять собой геометрические формы конструкции оборудования кабины (например, внутренний угол, линию, прямой угол и т.д.). Маркеры распознаются в режиме реального времени и позволяют определить в режиме реального времени габаритные зоны 30.

Динамическое считывание можно также производить посредством обработки изображений, производимых камерой 14 устройства для визуального наблюдения. Благодаря этим изображениям, можно в режиме реального времени распознавать оборудование кабины и определять в режиме реального времени габаритные зоны 30. Таким образом, камера 14 выполнена с возможностью способствовать получению третьих данных.

Средства 18 считывания считывают также объекты дополненной реальности.

Средства 19 обработки устройства для визуального наблюдения выполнены с возможностью определять в режиме реального времени положение и/или ориентацию и/или форму и/или размер объектов дополненной реальности, используя, в частности, первые данные, вторые данные и третьи данные.

Средства 19 обработки анализируют первые данные, вторые данные и третьи данные, чтобы воспроизвести в режиме реального времени и в трех измерениях реальную видимую окружающую среду пилота, и вводят в эту реальную видимую окружающую среду объекты дополненной реальности.

Ввод объектов дополненной реальности производят таким образом, чтобы пилот мог легко наблюдать объекты дополненной реальности, когда объекты дополненной реальности проецируются на поверхность 12 отображения.

Ввод объектов дополненной реальности осуществляют также таким образом, чтобы объекты дополненной реальности располагались снаружи габаритных зон 30, когда их проецируют на поверхность 12 отображения.

Таким образом, отображение объектов дополненной реальности ни в какой момент не закрывает полностью или частично оборудование кабины.

Предпочтительно, устройства для визуального наблюдения можно деактивировать в любой момент посредством действия деактивации, обнаруживаемого устройством для визуального наблюдения.

Действие деактивации может представлять собой жест, обнаруживаемый, например, при помощи камеры 14 устройства для визуального наблюдения, или слово, обнаруживаемое при помощи микрофона устройства для визуального наблюдения.

После деактивации устройство для визуального наблюдения можно реактивировать в любой момент посредством действия реактивации, обнаруживаемого устройством для визуального наблюдения.

Можно также запустить в любой момент автотест устройства для визуального наблюдения посредством действия автотеста. Действие автотеста тоже может быть жестом или словом. В частности, автотест позволяет принудительно выровнять габаритные зоны 30, определенные с третьими данными, по реальному оборудованию кабины. Автотест позволяет также вывести отображение габаритных зон 30, чтобы пилот сам мог проверить, что они совмещены с реальным оборудованием кабины.

Разумеется, изобретение не ограничивается описанным вариантом осуществления и охватывает любую версию, входящую в объем изобретения, определенный формулой изобретения.

В данном случае было описано устройство для визуального наблюдения, встроенное в шлем. Устройство для визуального наблюдения может быть также встроено в другое оборудование, например, в очки или в маску дополненной реальности.

В случае очков поверхность отображения находится на стеклах очков. Под «стеклом» следует понимать прозрачный элемент в основном плоской формы, через который пилот видит окружающую его реальную видимую среду. Держатель содержит оправу или конструкцию очков. В случае очков, как и в случае шлема и его визора, объекты дополненной реальности проецируются на стекла и накладываются на реальную видимую окружающую среду, напрямую наблюдаемую пилотом.

В случае маски дополненной реальности поверхность отображения расположена на экране, находящемся напротив глаз пилота. Отображение объектов дополненной реальности является в этом случае отображением на экране, а не проекцией, получаемой при помощи проектора. Держатель содержит конструкцию маски дополненной реальности. В случае маски происходит съемка реальной видимой окружающей среды и ее отображение на экране в режиме реального времени, при этом пилот наблюдает ее через ее отображение на экране, а не напрямую (прямой обзор пилота закрыт экраном). Объекты дополненной реальности вводятся в реальную видимую окружающую среду, отображаемую на экране.

Выше было упомянуто определенное число элементов оборудования кабины, но можно учитывать и другие элементы оборудования, например, кресло второго пилота или другой элемент конструкции кабины.

Устройство для визуального наблюдения может иметь другую архитектуру. Первый блок и второй блок могут находиться на держателе устройства для визуального наблюдения или могут быть объединены в единый блок. Первый блок может также находиться в кабине, а не на держателе.

1. Устройство для визуального наблюдения для пилота летательного аппарата, содержащее:

- держатель (10), предназначенный для размещения на голове пилота летательного аппарата;

- поверхность (12) отображения, расположенную на держателе и предназначенную для размещения вблизи и напротив глаз пилота летательного аппарата;

- средства (15) отображения, расположенные на держателе и выполненные с возможностью отображения объектов дополненной реальности на поверхности отображения;

- средства (18) считывания, выполненные с возможностью считывать в режиме реального времени первые данные, отображающие положение и ориентацию держателя, вторые данные, отображающие положение и ориентацию кабины летательного аппарата, третьи данные, определяющие габаритные зоны (30), занятые оборудованием кабины, а также объекты дополненной реальности;

- средства (19) обработки, выполненные с возможностью определять в режиме реального времени положение, и/или ориентацию, и/или форму, и/или размер объектов дополненной реальности, используя, в частности, первые данные, вторые данные и третьи данные, так, что все объекты дополненной реальности располагаются снаружи габаритных зон (30), когда они отображаются на поверхности (12) отображения.

2. Устройство для визуального наблюдения по п. 1, в котором оборудование кабины включает в себя приборы (25) управления полетом, и/или зеркало (26) индикатора на лобовом стекле, и/или элемент конструкции кабины.

3. Устройство для визуального наблюдения по п. 2, в котором элемент конструкции кабины содержит дугу (27) фонаря кабины, оснащенную зеркалом заднего обзора.

4. Устройство для визуального наблюдения по п. 1, содержащее первый инерциальный измерительный блок, установленный на держателе и выполненный с возможностью обеспечения выдачи первых данных.

5. Устройство для визуального наблюдения по п. 1, содержащее второй инерциальный измерительный блок, выполненный с возможностью обеспечения выдачи вторых данных.

6. Устройство для визуального наблюдения по п. 1, содержащее камеру (14), установленную на держателе и выполненную с возможностью обеспечения выдачи третьих данных.

7. Шлем (5) пилота летательного аппарата, содержащий визор (11) и устройство для визуального наблюдения по одному из пп. 1-6, при этом поверхность (12) отображения находится на визоре (11).

8. Очки, содержащие стекла и устройство для визуального наблюдения по одному из пп. 1-6, при этом поверхность отображения находится на стеклах.

9. Маска дополненной реальности, содержащая экран и устройство для визуального наблюдения по одному из пп. 1-6, при этом поверхность отображения находится на экране.