Способ авторизации голосовых команд, используемых в интерактивной видеопрезентационной системе
Изобретение относится к функционированию видеопрезентационных систем, а именно к способам организации взаимодействия между пользователем и презентационной системой посредством излучающего устройства и устройства, производящего запись и анализ речи. Техническим результатом является повышение точности выполнения системой максимального числа производимых пользователем операций с демонстрируемыми видеоизображениями. Такой результат достигается благодаря обработке полученной голосовой команды параллельно с обработкой подтверждающего светового сигнала. При этом в качестве светового сигнала используют проекцию на презентационный экран светового образа из предустановленного набора образов-эталонов, для каждого из которых предустанавливают ассоциацию с одной из голосовых команд, включенных в предустановленный набор команд. В том случае, если подтверждающий световой образ распознается устройством управления как совпадающий с образом-эталоном, голосовая команда преобразуется в команду для компьютера и выполняется. 2 ил.
Изобретение относится к функционированию видеопрезентационных систем, а более конкретно - к способам организации взаимодействия между пользователем и презентационной системой посредством излучающего устройства, например лазерной указки, устройства, производящего запись и анализ речи.
В настоящее время практически каждая компьютерная презентационная система управляется с помощью активных компьютерных устройств ввода, таких как устройства типа «мышь», световое перо, трек-бол или клавиатура. Однако использование таких устройств во время презентации не очень удобно, так как выступающий должен переключать свое внимание со зрителей на компьютерный дисплей, устройство управления или прибегать к помощи ассистента, управляющего ходом презентации. Также известны устройства дистанционного управления презентацией, передающие управляющие сигналы посредством инфракрасной или радиосвязи. Однако и данный тип устройств требует повышенного внимания докладчика и взаимодействия с проектором или компьютером с помощью устройства дистанционного управления.
Также известны интерактивные презентационные системы, управляемые с помощью устройств типа лазерная указка. Суть данных систем состоит в следующем: лазерный луч проецируется на презентационный экран, формируя световой сигнал в определенной области экрана. Положение спроецированного лазерного пятна и другие его характеристики (цвет, характер движения и т.п.) фиксируются видеокамерой и обрабатываются в модуле управления для распознавания характеристик спроецированного лазерного пятна; данные характеристики используются для изменения положения курсора компьютера или выполнения определенных команд, например переход к следующему слайду.
Известны системы управления презентацией с помощью голосовых команд, которые распознаются в управляющем устройстве и преобразовываются в соответствующие команды. Однако другой человек или сам выступающий может произнести случайно или намерено голосовую команду, на которую не следует реагировать. Поэтому необходимо обеспечить естественный и удобный способ управления компьютерной презентацией, который сочетал бы в себе удобное управление курсором компьютера и санкционированное выступающим выполнение голосовых команд, управляющих ходом презентации.
В патентах США No.5,138,304 [1] и 5,181,015 [2] описывается интерактивная видеосистема, которая управляется с помощью светового пера. В этой системе свет, отраженный от спроецированного изображения, сравнивается с исходным видеосигналом для определения местоположения светового пера. Местоположение светового пера используется для управления компьютерным курсором. Однако световые перья, используемые в данных патентах, позволяют осуществлять управление курсором только с небольшого расстояния и соединены с компьютером проводной связью.
В патенте США No.5,115,230 [3] обычное световое неизлучающее световое перо заменяется на излучающую ручную лазерную указку. Видеокамера размещается позади проекционного экрана для записи видео, которое обрабатывается в анализирующем модуле для определения позиции лазерного пятна. Информация о позиции передается в компьютер и используется для отображения компьютерного курсора.
Комбинация лазерной указки и инфракрасной связи для передачи команд, эмулирующих работу манипулятора типа мышь, описана в патентах США No.6,910,778 [4] и No.6,331,848 [5]. Выполнение команд для управления презентацией, таких как увеличение масштаба, следующий слайд, выделение объектов, может быть затруднено.
Исполнение таких команд можно обеспечить следующим способом. В патенте США No6,331,848 [6] программные кнопки проецируют на экран. Указывая и удерживая в течение некоторого времени на соответствующей кнопке лазерное пятно, можно добиться исполнения команды, ассоциированной с данной кнопкой. Однако такой подход может быть не всегда удобным, так как требует размещения дополнительных элементов на экране, что снижает качество восприятия презентации.
Наиболее близким по техническим признакам к данному изобретению является патент США 7,091,949 [7], в котором описывается презентационная система, способная выполнять команды в зависимости от цвета/формы/размеров и других свойств спроецированного лазерного пятна. Основное отличие данного изобретения состоит в том, что спроецированное лазерное пятно используется не самостоятельно, а для авторизации и выполнения голосовой команды. Другими словами, управление презентацией основано на анализе голосовой команды выступающего, а авторизация производиться с помощью лазерной указки.
Общим недостатком, присущим большинству существующих способов управления ходом презентации, является то, что они не позволяют обеспечить естественное для пользователя управление компьютерным курсором и выполнение презентационных команд. Действительно, наиболее естественным способом управления ходом презентации можно считать голосовую команду, при этом система презентации должна выделять голосовую команду выступающего (докладчика) из окружающего акустического шума, например реплик и вопросов аудитории. Поскольку устройства для идентификации голоса являются сложными и дорогостоящими, то чаще применяются другие технические средства, которые в сочетании с голосовой командой обеспечивают выполнение интерактивной системой видеопрезентации требуемых действий. Это наиболее явно представлено в прототипе [7].
Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа авторизации голосовых команд, который позволил бы докладчику с минимальным отвлечением внимания санкционировать выполнение максимального числа операций с демонстрируемыми видеоизображениями. Подразумевается, что новый способ потребует также разработки новой системы - совокупности определенных устройств - для оптимальной реализации такого способа.
Поставленная задача решена за счет разработки усовершенствованного способа авторизации голосовых команд, используемых в интерактивной видеопрезентационной системе, включающего в себя обработку полученной голосовой команды параллельно с обработкой подтверждающего светового сигнала, отличающегося тем, что в качестве светового сигнала используют проекцию на презентационный экран светового образа из предустановленного набора образов, для каждого из которых предустанавливают ассоциацию с одной из голосовых команд, включенных в предустановленный набор команд.
Этот способ предлагается реализовывать с помощью интерактивной видеопрезентационной системы, включающей в себя:
проекционный экран, презентационный компьютер с подключенными к нему проектором видеоизображений и микрофоном, регистрирующим голосовые команды, а также излучающее устройство, формирующее световой сигнал на проекционном экране, при этом излучающее устройство выполнено с возможностью проецирования на проекционный экран любого из образов, выбранных пользователем из заложенного в излучающее устройство набора образов, при этом в систему дополнительно включены следующие элементы, подключенные к презентационному компьютеру: по меньшей мере, одна видеокамера, установленная с возможностью захвата изображений, формируемых на презентационном экране; управляющее устройство, выполненное с возможностью распознавания проецируемых излучающим устройством образов и захваченных микрофоном голосовых команд; модуль генерации компьютерных команд, выполненный с возможностью формирования и передачи команд в презентационный компьютер для модификации проецируемого изображения.
Иными словами, для предотвращения несанкционированного исполнения голосовой команды предлагается использовать проецируемый с помощью лазерной указки или другого излучающего устройства образ на проекционный экран. Данный образ распознается устройством управления и сопоставляется с эталоном. При их совпадении голосовая команда преобразуется в команду для компьютера и выполняется. С другой стороны, требуется обеспечить управление компьютерным курсором для выполнения операций выделения текста и объектов и т.д. Наиболее естественным способом такого взаимодействия пользователя с презентационной системой является использование лазерной указки для проецирования на презентационный экран лазерного пятна/образа, местоположение которого определяется системой управления и используется для передвижения/модификации компьютерного курсора и проецируемого изображения.
Что касается реализации заявляемого способа, то для этого предложена интерактивная презентационная система, с которой пользователь взаимодействует с помощью излучающего устройства (ручная лазерная указка) и голосовых команд. Лазерная указка способна проецировать на презентационный экран лазерное пятно (образ) различной формы. Проецируемый образ выбирается нажатием соответствующих кнопок, расположенных на корпусе излучающего устройства. Количество кнопок, их расположение и проецируемые образы зависят от конкретной реализации презентационной системы. Конкретизация конструкции соответствующего излучающего устройства, способного проецировать образы различных форм, выходит за рамки текущего изобретения, однако на сегодняшний день электронный рынок предлагает весьма широкий выбор многофункциональных световых указок.
Спроецированный на презентационный экран образ и изображение презентации записывают с помощью одного или нескольких устройств видеозаписи. Устройства видеозаписи размещают либо перед экраном, либо за ним. Записанную видеопоследовательность передают в управляющее устройство, где и обрабатывают ее в режиме реального времени. Также в управляющее устройство передают цифровое аудио, которое содержит презентационное выступление и голосовые команды докладчика. Запись аудиоинформации выполняют с помощью микрофона, преобразование в цифровой вид выполняют с помощью цифроаналогового преобразователя (ЦАП).
Процесс работы предлагаемой презентационной системы может быть описан следующим образом. Во время презентации с помощью компьютера генерируют презентационные изображения, которые проецируют на презентационный экран с помощью проектора. В тот же самый момент докладчик может проецировать на тот же экран световой образ с помощью лазерной указки. Видеокамера фиксирует формируемое на презентационном экране изображение, которое состоит из презентационного изображения и проецируемого лазерного образа. С помощью системы управления анализируют получаемую видеокамерой видеопоследовательность для нахождения светового образа и вычисляют его местоположение в координатах презентационного изображения. Каждый световой образ ассоциируют с презентационной командой, такой, например, как нажатие клавиши мыши, выделение текста, рисование на презентационном изображении, следующий слайд и т.д. Распознавание светового образа осуществляют с помощью известных методов распознавания образов и обработки изображений. Распознанный образ преобразовывают в команду, которая передается и выполняется на презентационном компьютере. В результате презентационное изображение изменяют по желанию выступающего.
Движение светового образа также отслеживается в управляющей системе и используется для изменения местоположения компьютерного курсора. В зависимости от выбранного режима курсор может использоваться для выделения объектов или рисования графических примитивов на презентационном изображении.
Важной презентационной командой является команда санкционирования голосовой команды, которую записывает с помощью микрофона и анализируют в управляющем устройстве. Выступающий произносит голосовую команду, которая распознается в управляющем устройстве и преобразуется в команду для выполнения на компьютере. Отметим, что отсутствие речи или звуков тоже может рассматриваться как «голосовая команда».
Однако для выполнения соответствующей компьютерной команды необходимо получить дополнительное подтверждение в виде соответствующего спроецированного на презентационный экран лазерного образа. Данное подтверждение может быть получено непосредственно до, во время и непосредственно после голосовой команды.
Также голосовая команда или пауза выступающего может быть использована для авторизации компьютерной команды, сгенерированной проецируемым образом.
Предлагаемый способ позволяет значительно снизить вероятность несанкционированного управления презентационной системой. Также снижается вероятность ошибочной реакции на ключевые слова, содержащиеся в голосовых командах. Данное изобретение позволяет выступающему сконцентрироваться на выступлении и аудитории и обеспечивает естественный способ взаимодействия и управления презентационной системой.
Фиг.1 представляет собой схему компонентов презентационной системы согласно изобретению.
Фиг.2 отображает набор световых образов, проецируемых лазерной указкой и распознаваемых устройством управления.
На Фиг.1 изображены компоненты интерактивной презентационной системы, состоящей из: излучающего устройства 2 (например, лазерная указка), выполненного с возможностью проецирования световых образов разной формы; презентационного компьютера 9, генерирующего презентационные изображения; проектора 7, подключенного к презентационному компьютеру 9 и осуществляющего проецирование изображений на презентационный экран 14; цифровой видеокамеры 8, микрофона 19 и управляющей системы 10 с закодированными образами (Фиг.2) и голосовыми командами для последующего распознавания.
Во время презентации презентационный компьютер 9 генерирует видеопоток 15.1, состоящий из презентационных изображений. Данный видеопоток преобразуют в световой поток 16, который проецируют на презентационный экран 14, на котором формируется презентационное изображение 5.
Выступающий 1 интерактивно управляет презентационной системой с помощью излучающего устройства 2 путем проецирования на презентационный экран 14 световых образов (Фиг.2). Излучающее устройство 2 имеет функциональные клавиши 4. Путем нажатия на одну из таких клавиш выбирают соответствующий образ, который проецируют на презентационный экран 14 с помощью лазерного луча 3.
Каждый проецируемый образ ассоциируют с определенной командой. Поэтому выступающий 1 должен нажать соответствующую клавишу 4 для авторизации закрепленной за ней команды. Ассоциация команды с образом либо жестко фиксируется и программируется, либо назначается пользователем во время установки и настройки презентационной системы.
Спроецированный образ 6 и презентационное изображение 5 формируют общее изображение 17, которое записывается цифровой видеокамерой 8. Последовательность записанных изображений 13 передается в систему управления 10. На вход системы управления 10 также подается исходное презентационное изображение для проецирования 15.2. Система управления 10 также содержит закодированные образы 12, которые идентичны образам, проецируемым с помощью излучающего устройства 2. Система управления включает в себя модуль распознавания образов и речи 11, который сравнивает проецируемые изображения 15.2 с захваченными камерой изображениями 13, осуществляет поиск проецируемых образов и их местоположение. Затем распознанный образ конвертируют в команду или в авторизацию голосовой команды с помощью модуля генерации команд 18, согласно ассоциации образа и команды. Сгенерированная команда передается в презентационный компьютер для модификации проецируемого изображения. Для дополнительного подтверждения выполнения сгенерированной команды можно использовать соответствующую голосовую команду или паузу выступающего.
Модуль распознавания образов и речи 11 также отвечает за распознавание голосовых команд, записываемых с помощью микрофона 19. Для выполнения распознанной речевой команды необходимо получить подтверждение в виде определенного образа, спроецированного на презентационный экран.
Презентационная система, использующая заявляемый способ взаимодействия, может найти применение для помехоустойчивого управления компьютерными презентациями и электронными досками. Предложенный способ и реализующая его система могут использоваться вместо активных устройств (мышь, клавиатура и т.д.) для управления компьютерным курсором, для выбора и выполнения компьютерных команд, а также для ввода текстовой информации.
Способ авторизации голосовых команд, используемых в интерактивной видеопрезентационной системе, включающий в себя обработку полученной голосовой команды параллельно с обработкой подтверждающего светового сигнала, отличающийся тем, что в качестве светового сигнала используют проекцию на презентационный экран светового образа из предустановленного набора образов-эталонов, для каждого из которых предустанавливают ассоциацию с одной из голосовых команд, включенных в предустановленный набор команд, при этом голосовая команда преобразуется в команду для компьютера и выполняется только в том случае, если подтверждающий световой образ распознается устройством управления как совпадающий с образом-эталоном.
