Устройство отображения и его способ управления

Изобретение относится к устройству отображения и способу управления этим устройством. Технический результат – повышение точности распознавания информации, введенной пользователем. Устройство отображения включает блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и блок отображения для отображения изображения, соответствующего интерактивному режиму. Дополнительно выполняется многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, тем самым выполняя более расширенный интерактивный режим и точно определяя команду пользователя. В результате функции выполняются должным образом, тем самым улучшая удобство для пользователя. 2 н. и 12 з.п. ф-лы, 20 ил.

 

Область техники, к которой относится изобретение

Варианты осуществления настоящего раскрытия относятся к устройству отображения, которое улучшает точность распознавания информации, введенной пользователем, и его способу управления.

УРОВЕНЬ ТЕХНИКИ

Устройство отображения отображает стереоскопические изображения.

В последние годы были разработаны плоские устройства отображения, которые имеют более низкий вес и объем, чем электронно-лучевая трубка, и могут быть установлены в широком множестве различных мест, тем самым легко достигая осуществления изображений большого размера, плоской структуры и высокого качества.

Репрезентативные примеры таких плоских устройств отображения включают в себя жидкокристаллическое устройство отображения (LCD), электролюминесцентное устройство отображения (ELD), устройство отображения с автоэлектронной эмиссией (FED), плазменную панель отображения (PDP), жидкокристаллическое устройство отображения на тонкопленочных транзисторах (TFT-LCD) и гибкое устройство отображения.

Такие устройства отображения включают в себя технологии распознавания для улучшенного удобства для пользователя.

Примеры технологий распознавания включают в себя технологию распознавания движения и технологию распознавания голоса. Технология распознавания движения является технологией для распознавания движения пользователя с использованием датчика движения и определения команды пользователя из распознанного движения. Технология распознавания голоса является технологией для распознавания голоса пользователя с использованием голосового датчика и определения команды пользователя из распознанного голоса.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

В этих технологиях распознавания функция, которая не желаема пользователем, может исполняться или ввод пользователя не может быть выполнен, если движение или голос не введены верно. По этой причине операции могут иметь необходимость быть выполнены многократно, что влечет неудобство для пользователя.

Дополнительно, конкретные функции могут быть ненамеренно исполнены ввиду движения или голоса, неумышленно совершенных пользователем.

Кроме того, в случае, в котором технология распознавания движения применяется к устройству отображения, движение, которое не часто выполняется пользователем, или движение, имеющее высокую чувствительность, может быть выбрано и установлено с использованием команды, несмотря на то, что движения, которые могут быть выполнены пользователем, ограничены. В результате, выбор движения для установления команды может быть сложным.

РЕШЕНИЕ ПРОБЛЕМЫ

Аспектом настоящего раскрытия является обеспечение устройства отображения, которое распознает взгляд пользователя для входа в интерактивный режим и отображает позицию взгляда в виде курсора, и его способа управления.

Другим аспектом настоящего раскрытия является обеспечение устройства отображения, которое распознает взгляд и движение пользователя или одновременно распознает взгляд и голос пользователя для управления операциями и функциями, и его способа управления.

Дополнительные аспекты раскрытия будут частично изложены в описании, которое следует далее, и частично будут очевидны из описания или могут быть изучены путем применения раскрытия на практике.

В соответствии с одним аспектом настоящего раскрытия, устройство отображения включает в себя блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и блок отображения для отображения изображения, соответствующего интерактивному режиму.

Блок отображения может отображать заданную область распознавания.

Когда взгляд распознается, средство управления может отображать информацию отображения заданной области отличным образом от информации отображения до того, как взгляд распознается.

Блок отображения может отображать позицию распознанного взгляда в виде курсора.

Блок распознавания может распознать движение пользователя, и средство управления может определять команду операции, соответствующую распознанному движению, и управлять приведением в действие блока отображения на основе определенной команды операции.

Блок распознавания может распознавать голос пользователя, и средство управления может определять команду операции, соответствующую распознанному голосу, и управлять приведением в действие блока отображения на основе определенной команды операции.

При входе в интерактивный режим средство управления может управлять отображением множества режимов распознавания для взаимодействия с пользователем и выбирать один из режимов распознавания на основе позиции распознанного взгляда.

Устройство отображения может дополнительно включать в себя блок захвата изображения для захвата изображения пользователя и блок захвата звука для захвата голоса пользователя, причем средство управления может управлять активацией блока захвата изображения и блока захвата звука на основе выбранного режима распознавания.

Блок распознавания может распознавать лицо пользователя, и средство управления может определять, является ли распознанный пользователь предварительно зарегистрированным пользователем, и при определении, что распознанный пользователь является предварительно зарегистрированным пользователем, управлять распознаванием взгляда пользователя.

В случае, в котором множество пользователей распознается, средство управления может управлять распознаванием взгляда пользователя, имеющего наивысший приоритет, на основе предварительно сохраненных приоритетов.

Средство управления может определять, находится ли распознанный взгляд в пределах заданной области завершения, и при определении, что распознанный взгляд находится в пределах заданной области завершения, управлять завершением интерактивного режима.

В соответствии с другим аспектом настоящего раскрытия, устройство отображения включает в себя первый блок распознавания для распознавания взгляда пользователя, второй блок распознавания для распознавания команды от пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и для выборочного управления множеством функций на основе распознанного взгляда и команды, и блок отображения для отображения изображения, соответствующего интерактивному режиму, и изображения, соответствующего выборочно управляемой функции.

Второй блок распознавания может распознавать по меньшей мере один сигнал, выбранный между движением и голосом пользователя, и распознавать команду операции, соответствующую по меньшей мере одному распознанному сигналу.

Когда движение распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления может подтверждать команду, соответствующую распознанному движению, и управлять исполнением функции, соответствующей подтвержденной команде.

Когда голос распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления может подтверждать команду, соответствующую распознанному голосу, и управлять исполнением функции, соответствующей подтвержденной команде.

Функции могут включать в себя по меньшей мере одну, выбранную из воспроизведения внешнего широковещательного сигнала, воспроизведения внешнего содержимого, режима воспроизведения и режима регулирования экрана.

Устройство отображения может дополнительно включать в себя блок связи для приема звукового сигнала, переданного от внешнего пульта дистанционного управления, причем второй блок распознавания может распознавать голос из принятого звукового сигнала.

В соответствии с другим аспектом настоящего раскрытия, устройство отображения включает в себя средство настройки для приема внешнего широковещательного сигнала, процессор сигналов для разделения широковещательного сигнала на сигнал изображения, имеющий информацию изображения, и звуковой сигнал, имеющий звуковую информацию, и для сигнальной обработки разделенных сигнала изображения и звукового сигнала, блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, блок отображения для отображения сигнально обработанного сигнала изображения и изображения, соответствующего интерактивному режиму, и блок вывода звука для вывода сигнально обработанного звукового сигнала.

Блок отображения может отображать заданную область распознавания, кнопку канала и кнопку громкости и отображать позицию распознанного взгляда в виде курсора.

Когда взгляд пользователя находится вне области блока отображения, средство управления может управлять завершением интерактивного режима.

Устройство отображения может дополнительно включать в себя модуль захвата для захвата по меньшей мере одного типа информации, выбранного между голосом и изображением пользователя, причем блок распознавания может распознать команду операции, соответствующую по меньшей мере одному типу информации, и при входе в интерактивный режим средство управления может управлять по меньшей мере одной функцией на основе распознанной команды.

В соответствии с дополнительным аспектом настоящего раскрытия, способ управления устройством отображения включает в себя распознавание взгляда пользователя, определение, находится ли распознанный взгляд в пределах заданной области распознавания, вход в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, отображение множества режимов распознавания для взаимодействия с пользователем, определение режима распознавания, соответствующего позиции распознанного взгляда, из отображаемых режимов распознавания, исполнение определенного режима распознавания для распознавания команды от пользователя и исполнение функции, соответствующей распознанной команде.

Способ управления может дополнительно включать в себя отображение заданной области распознавания в виде другой информации отображения при входе в интерактивный режим.

Вход в интерактивный режим может включать в себя определение, направлен ли взгляд на заданную область в течение предварительно определенного периода времени.

Исполнение определенного режима распознавания для распознавания команды от пользователя может включать в себя распознавание движения пользователя, когда определенный режим распознавания является режимом движения, и определение команды, соответствующей распознанному движению.

Исполнение определенного режима распознавания для распознавания команды от пользователя может включать в себя распознавание голоса пользователя, когда определенный режим распознавания является режимом голоса, и определение команды, соответствующей распознанному голосу.

Способ управления может дополнительно включать в себя распознавание лица пользователя, определение, является ли распознанный пользователь предварительно зарегистрированным пользователем, распознавание взгляда пользователя при определении, что распознанный пользователь является предварительно зарегистрированным пользователем.

Способ управления может дополнительно включать в себя определение, находится ли распознанный взгляд в пределах заданной области завершения, и завершение интерактивного режима при определении, что распознанный взгляд находится в пределах заданной области завершения.

Способ управления может дополнительно включать в себя, когда движение распознается в состоянии, в котором взгляд находится в пределах заданной области, подтверждение команды, соответствующей распознанному движению, и управление исполнением функции, соответствующей подтвержденной команде.

Способ управления может дополнительно включать в себя, когда голос распознается в состоянии, в котором взгляд находится в пределах заданной области, подтверждение команды, соответствующей распознанному голосу, и управление исполнением функции, соответствующей подтвержденной команде.

Способ управления может дополнительно включать в себя прием голосового сигнала, переданного от внешнего пульта дистанционного управления, и распознавание команды из принятого голосового сигнала.

Способ управления может дополнительно включать в себя завершение интерактивного режима, когда взгляд пользователя находится вне области блока отображения в течение предварительно определенного периода времени или более.

Способ управления может дополнительно включать в себя отображение позиции распознанного взгляда в виде курсора.

Способ управления может дополнительно включать в себя завершение интерактивного режима, когда позиция распознанного взгляда попеременно перемещается внутрь и наружу из заданной области распознавания.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

В соответствии с одним аспектом настоящего раскрытия, как описано выше, взгляд пользователя отслеживается для выполнения входа в интерактивный режим, тем самым легко достигая входа в интерактивный режим и выполняя более интуитивное взаимодействие.

Кроме того, многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, выполняется, тем самым выполняя более расширенный интерактивный режим и точно определяя команды пользователя. В результате, функции верным образом выполняются, тем самым улучшая удобство для пользователя.

Дополнительно, позиция взгляда пользователя отображается на устройстве отображения в виде курсора, тем самым верно подтверждая позицию взгляда пользователя.

Дополнительно, пользователь распознается на основе лица или зрачка пользователя, и взгляд, голос и движение распознаются с учетом признаков распознанного пользователя, тем самым улучшая эффективность распознавания.

Несмотря на то, что лишь несколько вариантов осуществления настоящего раскрытия было показано и описано, специалистам в данной области техники будет понятно, что изменения в этих вариантах осуществления могут быть сделаны без выхода за пределы принципов и сущности изобретения, объем которого определен формулой изобретения и ее эквивалентами.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и/или другие аспекты раскрытия станут очевидны и более доступны для понимания из последующего описания вариантов осуществления, рассматриваемых в сочетании с сопроводительными чертежами, где:

фиг. 1 изображает вид, иллюстрирующий устройство отображения согласно одному варианту осуществления;

фиг. 2A-2C, 3A, 3B и 4 изображают виды, иллюстрирующие отображение устройства отображения согласно варианту осуществления;

фиг. 5 изображает структурную схему управления устройства отображения согласно варианту осуществления;

фиг. 6 изображает подробный вид, показывающий строение блока распознавания устройства отображения согласно варианту осуществления;

фиг. 7 изображает вид, иллюстрирующий всплывающее меню, отображаемое на устройстве отображения, согласно варианту осуществления;

фиг. 8A и 8B изображают блок-схемы управления устройства отображения согласно варианту осуществления;

фиг. 9 изображает структурную схему управления устройства отображения согласно другому варианту осуществления;

фиг. 10 изображает блок-схему управления устройства отображения согласно варианту осуществления;

фиг. 11 изображает вид, иллюстрирующий отображение устройства отображения согласно варианту осуществления;

фиг. 12 изображает вид, иллюстрирующий устройство отображения согласно дополнительному варианту осуществления;

фиг. 13 изображает структурную схему управления устройства отображения согласно варианту осуществления;

фиг. 14 изображает блок-схему управления устройства отображения согласно варианту осуществления; и

фиг. 15 и 16 изображают виды, иллюстрирующие отображение устройства отображения согласно варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Теперь обратимся подробно к вариантам осуществления настоящего раскрытия, примеры которых иллюстрируются на сопроводительных чертежах, причем подобные ссылочные позиции ссылаются на подобные элементы на протяжении описания.

Фиг. 1 изображает вид, иллюстрирующий устройство отображения согласно одному варианту осуществления. Далее строение устройства отображения будет описано на основании фиг. 2A-4.

Устройство отображения является устройством отображения изображений, таким как телевизор, монитор или устройство отображения терминала мобильной связи. Как показано на фиг. 1, устройство отображения 1 включает в себя основной корпус 100 для отображения изображения и модуль 200 захвата для захвата информации изображения и голосовой информации пользователя, что будет описано более подробно.

Основной корпус 100 включает в себя блок 110 отображения для отображения изображения и раму 120 для покрытия не отображающей изображение области.

Блок 110 отображения включает в себя область 110a отображения для отображения основного изображения, запрошенного пользователем, область 110b распознавания, чтобы обеспечить возможность входа в интерактивный режим, и область 110c завершения, чтобы обеспечить возможность завершения интерактивного режима.

То есть область 110b распознавания является областью, на которую пользователь смотрит для входа в интерактивный режим, и область 110c завершения является областью, на которую пользователь смотрит для завершения интерактивного режима.

Блок 110 отображения отображает область 110b распознавания и область 110c завершения как информацию отображения, отличающуюся от области 110a отображения так, чтобы пользователь мог их различать.

Например, как показано на фиг. 2A и 2B, область 110b распознавания и область 110c завершения могут отображаться в области 110a отображения в виде фигур, залитых полупрозрачными цветами или с контурными линиями полупрозрачных цветов. В качестве альтернативы, как показано на фиг. 2C, область 110b распознавания и область 110c завершения могут отображаться в виде полупрозрачных пиктограмм.

В это время блок 110 отображения отображает область 110b распознавания и область 110c завершения в области 110a отображения наложенным образом.

Кроме того, область 110b распознавания и область 110c завершения могут отображаться в виде непрозрачных символов (фигур, контурных линий, пиктограмм и т. д.) таких размеров, которые не препятствуют пользователю при просмотре основного изображения, отображаемого в области 110a отображения.

Блок 110 отображения может периодически отображать область 110b распознавания и область 110c завершения на предварительно определенных интервалах времени. В качестве альтернативы, блок 110 отображения может отображать сообщение, касающееся позиций области 110b распознавания и области 110c завершения и использования интерактивного режима, во время исходной операции.

Дополнительно, блок 110 отображения оперирует различным образом до и после входа в интерактивный режим. То есть блок 110 отображения отображает область 110b распознавания в виде различной информации отображения до и после входа в интерактивный режим.

Например, как показано на фиг. 3A, область 110b распознавания может отображаться в виде пустой фигуры до входа в интерактивный режим, и пиктограмма может отображаться в пустой фигуре области 110b распознавания после входа в интерактивный режим. В качестве альтернативы, как показано на фиг. 3B, область 110b распознавания может отображаться в виде фигуры первого цвета до входа в интерактивный режим, и область 110b распознавания может отображаться в виде фигуры второго цвета после входа в интерактивный режим.

Кроме того, блок 110 отображения может отображать только область 110b распознавания без отображения области 110c завершения и, после входа в интерактивный режим, может отображать область 110c завершения.

После входа в интерактивный режим блок 110 отображения сохраняет информацию отображения согласно входу в интерактивный режим для информирования пользователя, что интерактивный режим исполняется.

Например, отображение пиктограммы на фигуре области 110b распознавания или второй цвет фигуры области 110b распознавания может сохраняться.

После входа в интерактивный режим блок 110 отображения отображает множество режимов распознавания, используемых для управления операциями и функциями устройства отображения.

Как показано на фиг. 4, режим распознавания для взаимодействия между пользователем и устройством отображения отображается. В качестве примера, блок 110 отображения отображает кнопку a1 распознавания движения, кнопку a2 распознавания голоса и кнопку a3 распознавания взгляда в области 110a отображения. В это время блок 110 отображения отображает взгляд пользователя в виде курсора a4.

Кроме того, блок 110 отображения отображает изображение содержимого, запрошенного пользователем. В случае, в котором информация регулирования экрана изменяется пользователем, блок 110 отображения отображает изображение на основе измененной информации регулирования экрана.

Блок 110 отображения включает в себя панель 111 отображения, диффузионную пластинку 112, светопроводящую панель 113, блок задней подсветки 114 и шасси 115.

Панель 111 отображения отображает изображение, такое как текст, числа или произвольные пиктограммы.

Блок 110 отображения дополнительно включает в себя стекло (не показано) и фильтр (не показан) для защиты панели 111 отображения от внешнего воздействия. Стекло препятствует поломке фильтра ввиду внешнего воздействия.

Фильтр включает в себя пленку оптических свойств, пленку экранирования от электромагнитных помех (EMI) и пленку инфракрасного экранирования.

Пленка оптических свойств уменьшает яркость красного (R) и зеленого (G) света, падающего на панель отображения, и увеличивает яркость синего (B) света, тем самым улучшая оптические свойства. Пленка экранирования от EMI экранирует электромагнитные помехи для предотвращения того, чтобы электромагнитные волны, падающие на панель отображения, разряжались снаружи.

Кроме того, пленка инфракрасного экранирования экранирует инфракрасный свет, излучаемый с панели отображения, для предотвращения большего количества, чем предварительно определенное количество, инфракрасного света от разряжения снаружи так, чтобы сигналы на основе инфракрасного спектра, такие как сигналы, генерируемые пультом дистанционного управления, нормальным образом передавались панели отображения.

Диффузионная пластинка 112 является полупрозрачной панелью для рассеивания света, излучаемого от блока 114 задней подсветки, вдоль ее поверхности так, чтобы цвета и яркость были равномерны по всему экрану. Диффузионная пластинка 112 улучшает яркость света, излучаемого от блока 114 задней подсветки, и обеспечивает свет, имеющий такую улучшенную яркость, к панели отображения. То есть диффузионная пластинка 112 увеличивает количество света, излучаемого от светоизлучающих диодов (LED) блока 114 задней подсветки, и равномерно поддерживает яркость на всем экране.

Светопроводящая панель 113 обеспечивает возможность свету от блока 114 задней подсветки равномерно падать на всю панель отображения, и блок 114 задней подсветки излучает свет сзади или сбоку панели 111 отображения.

Поскольку панель 111 отображения не излучает свет, панель 111 отображения регулирует количество передачи и цвета света, излучаемого от блока задней подсветки, так, чтобы изображение отображалось на панели 111 отображения.

Шасси 115 является панелью, к которой подключен модуль 130 приведения в действие, необходимый для отображения изображения и вывода звука.

Примеры модуля 130 приведения в действие могут включать в себя различные платы с печатной цепью для управления отображением изображения и выводом звука, интерфейсное устройство для соединения с внешним оборудованием и источник питания для обеспечения мощности соответственным устройствам.

Шасси 115 изготовлено из метала, демонстрирующего высокое рассеивание тепла и прочность.

Рама 120 покрывает не отображающую изображение область блока 110 отображения для формирования внешнего вида блока 110 отображения.

Блок ввода (не показан), имеющий множество кнопок, может дополнительно быть расположен на раме 120. То есть команда операции может быть введена в устройство 1 отображения через блок ввода.

Основной корпус 100 дополнительно включает в себя покрытие 121 для защиты не отображающей изображение области блока 110 отображения и опорную деталь (не показана) для опоры панели отображения, диффузионной пластинки, светопроводящей панели, блока задней подсветки и шасси блока 110 отображения в разделенном состоянии. Опорная деталь и покрытие 121 могут разъемным образом объединяться с рамой 120.

Покрытие 121 объединяется с рамой 120 для формирования принимающего пространства. Панель отображения, диффузионная пластинка, светопроводящая панель, блок задней подсветки и шасси расположены в принимающем пространстве.

Модуль 200 захвата обеспечен с верхнего края рамы 120 основного корпуса 100 для захвата изображения и звука пользователя и окружения пользователя и для передачи захваченных изображения и звука модулю 130 приведения в действие.

Модуль 200 захвата может быть установлен в позиции, где информация пользователя легко захватывается, дополнительно к верхнему краю рамы 120 основного корпуса 100.

Кроме того, модуль 200 захвата может быть обеспечен отдельно от устройства отображения. То есть модуль 200 захвата может быть обеспечен отдельно от устройства отображения так, чтобы модуль 200 захвата был соединен с интерфейсным устройством (не показано), обеспеченным на основном корпусе 100.

Далее модуль 200 захвата будет описан более подробно.

Модуль 200 захвата (мультимедиа через Интернет-протокол; MOIP) включает в себя корпус 210, блок 220 захвата изображения, такой как камера, установленная в корпусе 210, блок 230 захвата звука, такой как первый микрофон, установленный в корпусе 210, и первый микропроцессор (не показан) для управления приведением в действие камеры и первого микрофона и для передачи сигналов изображения и звуковых сигналов, захваченных камерой и первым микрофоном, модулю 130 приведения в действие.

Первый микрофон может включать в себя множество микрофонов 230a и 230b.

Блок 220 захвата изображения, т. е. камера, захватывает изображение пользователя и окружения пользователя и передает захваченные данные изображения первому микропроцессору.

Блоки 230a и 230b захвата звука, т. е. первые микрофоны, захватывают звук окружения пользователя, включающий в себя голос пользователя, и передают захваченные звуковые данные первому микропроцессору.

Первый микропроцессор передает принятые данные изображения и звуковые данные модулю 130 приведения в действие. Дополнительно, первый микропроцессор может управлять тем, чтобы принятые данные изображения и звуковые данные сохранялись в памяти (не показано).

Модуль 200 захвата может дополнительно включать в себя блок связи (не показан), такой как Ethernet. В этом случае первый микропроцессор модуля захвата (MOIP) сжимает сигнал изображения и звуковой сигнал и передает сжатые данные модулю 130 приведения в действие через Ethernet.

Дополнительно, камера 220 и первый микрофон 230 модуля захвата могут быть непосредственно соединены с модулем 130 приведения в действие для непосредственной передачи сигнала изображения и звукового сигнала к модулю приведения в действие.

Фиг. 5 изображает структурную схему управления устройства отображения согласно варианту осуществления. Далее строение устройства отображения будет описано на основании фиг. 6 и 7.

В этом варианте осуществления операция устройства отображения 1 осуществляется на основе сигнала взаимодействия, генерируемого согласно намерению пользователя, и/или сигнала от блока ввода (не показан).

Устройство 1 отображения включает в себя блок 220 захвата изображения и блок 230 захвата звука в качестве модуля захвата для захвата команды пользователя, модуль 130 приведения в действие для управления операцией устройства 1 отображения на основе команды операции, и блок 110 отображения и блок 140 вывода звука в качестве выходного модуля для исполнения операции вывода.

Блок 220 захвата изображения электрически соединяется с модулем 130 приведения в действие для захвата изображения пользователя и передачи сигнала, соответствующего захваченному изображению, к модулю 130 приведения в действие согласно команде от модуля 130 приведения в действие. Блок 230 захвата звука электрически соединяется с модулем 130 приведения в действие для захвата голоса пользователя и передачи сигнала, соответствующего захваченному голосу, к модулю 130 приведения в действие согласно команде от модуля 130 приведения в действие.

Модуль 130 приведения в действие управляет операцией блока 110 отображения и/или блока 140 вывода звука согласно сигналу от блока ввода (не показан).

Кроме того, модуль 130 приведения в действие управляет входом в и окончанием интерактивного режима на основе информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука. После входа в интерактивный режим модуль 130 приведения в действие исполняет интерактивный режим для управления операцией блока 110 отображения и/или блока 140 вывода звука.

Модуль 130 приведения в действие включает в себя блок 131 распознавания, базу 132 данных, сетевой интерфейс 133, средство 134 управления, блок 135 хранения, блок 136 приведения в действие отображения и блок 137 приведения в действие звука.

Блок 131 распознавания принимает сигнал, соответствующий информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука, распознает распознавание пользователя и команду операции, желаемую пользователем, на основе принятого сигнала и передает распознанную команду операции средству 134 управления, которое будет описано на основании фиг. 6.

Фиг. 6 изображает подробный вид, показывающий строение блока распознавания устройства отображения согласно варианту осуществления. Блок 131 распознавания включает в себя первый блок 131-1 распознавания для распознавания команды входа в интерактивный режим и второй блок 131-2 распознавания для распознавания команды исполнения функции и операции.

Первый блок 131-1 распознавания включает в себя блок распознавания лиц 131a и блок 131b распознавания взгляда.

Блок 131a распознавания лиц удаляет область заднего плана с изображения, переданного от блока 220 захвата изображения, для получения изображения лица пользователя, извлекает область лица из полученного изображения лица пользователя с использованием информации границ и цвета, извлекает характерные точки, такие как глаза, нос и рот, из области лица для распознавания лица, и сравнивает распознанное лицо с предварительно зарегистрированным изображением лица для определения, является ли распознанное лицо лицом предварительно зарегистрированного пользователя.

Дополнительно, блок 131 распознавания фильтрует изображение лица в течение распознавания лица для удаления шума и выполняет предварительную обработку, необходимую для анализа признаков изображения лица.

Блок 131b распознавания взгляда обнаруживает изображение глаза с изображения лица пользователя и получает позицию зрачка с обнаруженного изображения глаза для распознавания позиции взгляда пользователя.

Второй блок 131-2 распознавания включает в себя блок 131c распознавания движения и блок 131d распознавания голоса.

Блок 131c распознавания движения удаляет область заднего плана с изображения, переданного от блока 220 захвата изображения, для получения изображения тела пользователя, извлекает области лица, руки, кисти, торса, ноги и стопы из полученного изображения тела пользователя с использованием информации границ и цвета, извлекает характерные точки из извлеченных областей лица, руки, кисти, торса, ноги и стопы для распознавания движения пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую соответствующему движению.

Блок 131d распознавания голоса удаляет шум из звука, переданного от блока 230 захвата звука, для получения голоса пользователя, извлекает вектор признаков из полученного голоса пользователя, сравнивает извлеченный вектор признаков с языковой моделью или звуковой моделью на основе фонем каждого слова, сохраненного в базе 132 данных, для извлечения слов-кандидатов или фонем-кандидатов, распознает предложение на основе слов-кандидатов или фонем-кандидатов, выполняет поиск предложений, соответствующих распознанному предложению, из предложений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую искомому предложению.

Дополнительно, блок 131d распознавания голоса может распознать команду операции из слов-кандидатов или фонем-кандидатов.

Кроме того, блок 131d распознавания голоса может распознавать пользователя с использованием конкретной голосовой информации.

База 132 данных сохраняет изображение лица предварительно зарегистрированного пользователя, информацию характерных точек и информацию зрачка изображения лица. Кроме того, база 132 данных хранит команду операции для каждого движения и команду операции для каждого голоса. Информация зрачка включает в себя информацию, касающуюся размера и позиции зрачка, и расстояние между зрачками. Пользователь может быть распознан на основе информации зрачка.

Дополнительно, в случае, в котором присутствует множество пользователей, база 132 данных может хранить команду операции, соответствующую движению для каждого пользователя, и команду операции, соответствующую голосу для каждого пользователя.

IP-адрес назначается сетевому интерфейсу 133 так, чтобы сетевой интерфейс 133 выполнял сетевую связь и принимал и обрабатывал пакет данных, переданный снаружи через сеть. В случае, в котором пакет данных включает в себя данные мультимедиа, т. е. данные изображения и звука, сетевой интерфейс 133 сохраняет пакет данных или передает пакет данных средству управления так, чтобы пакет данных воспроизводился.

Например, сетевой интерфейс 133 принимает содержимое, такое как трансляции, игры, VOD и сигналы широкого вещания, и относящуюся к нему информацию. Кроме того, сетевой интерфейс 133 может принимать информацию обновления программно-аппаратных средств и файлы обновления.

В качестве дополнения, устройство отображения может дополнительно включать в себя входной интерфейс. Входной интерфейс может быть соединен с внешним устройством хранения, таким как USB-память, или оптическим дисковым устройством, таким как DVD или CD, для приема данных мультимедиа и для передачи принятых данных мультимедиа средству управления.

Когда устройство 1 отображения включается или интерактивный режим запрашивается посредством кнопочного ввода блока ввода (не показан), средство 134 управления передает команду операции блоку 220 захвата изображения и блоку 230 захвата звука.

Средство 134 управления принимает решение, должен ли вход в интерактивный режим быть выполнен, на основе определения, был ли пользователь, распознанный блоком 131 распознавания, зарегистрирован. В случае, в котором множество пользователей распознается блоком 131 распознавания, средство 134 управления подтверждает пользователя, имеющего наивысший приоритет, из распознанных пользователей и управляет входом в интерактивный режим на основе позиции взгляда подтвержденного пользователя.

Кроме того, в случае, в котором присутствует множество пользователей, средство 134 управления может определять, находится ли взгляд пользователя в пределах области распознавания, и при определении, что взгляд пользователя находится в пределах области распознавания, управлять входом в интерактивный режим на основе взгляда пользователя, направленного на область распознавания.

Средство 134 управления определяет позицию, на которую пользователь смотрит, на основе позиции взгляда пользователя, переданной от блока 131 распознавания. В это время средство 134 управления определяет, находится ли взгляд пользователя в пределах области распознавания в течение предварительно определенного периода времени или более, и при определении, что взгляд пользователя находится в пределах области распознавания в течение предварительно определенного периода времени или более, управляет входом в интерактивный режим.

После входа в интерактивный режим средство 134 управления управляет информацией отображения области распознавания блока 110 отображения отличным образом от информации отображения до входа в интерактивный режим.

После входа в интерактивный режим средство 134 управления управляет множеством режимов распознавания для приема команды операции через взаимодействие для отображения. В это время средство 134 управления сравнивает позицию взгляда пользователя, переданную от блока 131 распознавания, с позиций предварительно сохраненных кнопок режима распознавания для определения режима распознавания, который пользователь желает выбрать, и управляет тем, чтобы блок 220 захвата изображения и блок 230 захвата звука были включены/выключены, на основе определенного режима распознавания.

Например, в случае, в котором режим распознавания голоса выбирается из режимов распознавания, средство 134 управления управляет тем, чтобы блок 230 захвата звука был включен и блок 220 захвата изображения был выключен. В случае, в котором режим распознавания взгляда или режим распознавания движения выбирается из режимов распознавания, средство 134 управления управляет тем, чтобы блок 230 захвата звука был выключен и блок 220 захвата изображения был включен.

Команда операции включает в себя изменение выходной информации, такой как отображение или звук, и изменение функций.

Средство 134 управления управляет приведением в действие соответственных блоков 136 и 137 приведения в действие на основе команды операции, переданной от блока 131 распознавания.

Когда взгляд пользователя находится в пределах области завершения в течение предварительно определенного периода времени или более, средство 134 управления управляет завершением интерактивного режима.

Когда взгляд пользователя находится в пределах области завершения в течение предварительно определенного периода времени или более, средство 134 управления может управлять тем, что всплывающее меню отображается. Как показано на фиг. 7, всплывающее меню P1 включает в себя кнопку изменения приоритета, кнопку управления громкостью, кнопку регулирования экрана и кнопку завершения.

Дополнительно, если пользователь смотрит на область распознавания в течение исполнения режима распознавания, средство 134 управления может определять, что пользователь желает изменить режим распознавания, и управлять тем, чтобы кнопки режима распознавания были повторно отображены.

Средство 134 управления управляет тем, что сигнал основного изображения, запрошенный пользователем, отображается и звуковой сигнал, запрошенный пользователем, выводится, и управляет тем, что изображение, соответствующее интерактивному режиму, отображается на основном изображении наложенным образом в течение вывода изображения и звука.

Блок 135 хранения хранит приоритеты множества предварительно зарегистрированных пользователей, позиции области распознавания и области завершения, до входа в интерактивный режим, вход в интерактивный режим, информацию отображения области распознавания, соответствующей исполнению интерактивного режима, и информацию позиции кнопок режима распознавания.

Блок 136 приведения в действие изображения приводит в действие блок 110 отображения на основе команды от средства 134 управления, и блок 137 приведения в действие звука приводит в действие блок 140 вывода звука на основе команды от средства 134 управления.

Блок 110 отображения, который является выходным модулем, отображает изображение в области отображения на основе команды от средства 134 управления в модуле 130 приведения в действие и отображает изображение, соответствующее исполнению интерактивного режима.

Блок 140 вывода звука, который является другим выходным модулем, выводит звук на основе команды от средства управления в модуле приведения в действие. Блок 140 вывода звука может быть отдельным от устройства 1 отображения.

Таким образом, блок 140 вывода звука, такой как динамик, может быть обеспечен отдельно от устройства 1 отображения и может быть соединен с устройством 1 отображения при необходимости.

Фиг. 8A и 8B изображают блок-схемы управления устройством отображения согласно варианту осуществления. Управление устройством отображения будет описано на основании фиг. 1-7.

Когда устройство отображения включается пользователем, осуществляется операция блока 220 захвата изображения для захвата изображения (301).

Устройство отображения удаляет область заднего плана с захваченного изображения для получения изображения пользователя, извлекает область лица с использованием информации границ и цвета полученного изображения и извлекает характерные точки, такие как глаза, нос и рот, из области лица для распознавания лица (302).

После этого устройство отображения подтверждает количество распознанных пользователей на основе количества распознанных лиц (303) и определяет, является ли количество подтвержденных пользователей множественным (304).

Когда только один пользователь был подтвержден, распознанное лицо сравнивается с изображениями лица предварительно зарегистрированных пользователей для определения, является ли пользователь, имеющий распознанное лицо, одним из предварительно зарегистрированных пользователей (305). При определении, что пользователь, имеющий распознанное лицо, не является одним из предварительно зарегистрированных пользователей, сообщение, утверждающее, что интерактивный режим может не исполняться, отображается посредством блока 110 отображения (306). При определении, что пользователь, имеющий распознанное лицо, является одним из предварительно зарегистрированных пользователей, зрачок распознанного лица распознается для отслеживания взгляда пользователя (310).

Когда количество распознанных пользователей является множественным, устройство отображения сравнивает распознанные лица с изображениями лица предварительно зарегистрированных пользователей для определения, являются ли пользователи, имеющие распознанные лица, предварительно зарегистрированными пользователями, для подтверждения количества пользователей, определенных как предварительно зарегистрированные пользователи (307), и для определения, является ли количество подтвержденных пользователей множественным (308).

При определении, что множество предварительно зарегистрированных пользователей было распознано, устройство отображения определяет пользователя, имеющего наивысший приоритет, из распознанных пользователей (309) и распознает зрачок определенного пользователя для отслеживания взгляда пользователя (310).

После этого устройство отображения определяет, находится ли распознанный взгляд в пределах области распознавания (311). При определении, что распознанный взгляд находится в пределах области распознавания, устройство отображения определяет, направлен ли распознанный взгляд на область распознавания в течение предварительно определенного периода времени или более.

При определении, что распознанный взгляд направлен на область распознавания в течение предварительно определенного периода времени или более, устройство отображения входит в интерактивный режим (312). Дополнительно, устройство отображения изменяет информацию отображения области распознавания в блоке 110 отображения и отображает измененную информацию отображения так, чтобы вход в интерактивный режим был распознан пользователем (313).

Например, как показано на фиг. 3, пиктограмма может отображаться в области 110b распознавания или цвет области 110b распознавания может быть изменен.

После этого блок 110 отображения отображает множество режимов распознавания для приема команды операции, подтверждает позицию взгляда пользователя (314) и определяет режим распознавания, выбранный пользователем, на основе подтвержденной позиции взгляда пользователя (315).

Таким образом, устройство отображения определяет позицию одной из кнопок режима распознавания, соответствующую подтвержденной позиции взгляда пользователя, для определения режима распознавания, выбранного пользователем.

В это время устройство отображения отображает позицию взгляда пользователя на блоке отображения в виде курсора в реальном времени так, чтобы пользователь подтверждал позицию взгляда пользователя.

После этого устройство отображения исполняет определенный режим распознавания (316). Кроме того, устройство отображения распознает команду операции на основе результата распознавания согласно исполнению режима распознавания и оперирует соответственными блоками приведения в действие на основе распознанной команды операции (317).

Распознавание команды операции на основе выбора каждого режима распознавания далее будет описано более подробно.

(1) Когда распознавание движения выбирается пользователем, устройство отображения оперирует блоком захвата изображения, удаляет область заднего плана с изображения, захваченного блоком захвата изображения, для получения изображения тела пользователя, извлекает области лица, руки, кисти, торса, ноги и стопы из полученного изображения тела пользователя с использованием информации границ и цвета, извлекает характерные точки из извлеченных областей лица, руки, кисти, торса, ноги и стопы для распознавания движения пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую соответствующему движению.

После этого устройство отображения приводит в действие соответственные блоки 136 и 137 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.

(2) Когда распознавание голоса выбирается пользователем, устройство отображения оперирует блоком захвата звука, удаляет шум из звука, захваченного блоком 230 захвата звука, для получения голоса пользователя, извлекает вектор признаков из полученного голоса пользователя, сравнивает извлеченный вектор признаков с языковой моделью или звуковой моделью на основе фонем каждого слова, сохраненного в базе 132 данных, для извлечения слов-кандидатов или фонем-кандидатов, распознает предложение на основе слов-кандидатов или фонем-кандидатов, выполняет поиск для предложения, соответствующего распознанному предложению, из предложений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую искомому предложению.

После этого устройство отображения приводит в действие соответственные блоки 136 и 137 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.

(3) Когда распознавание взгляда выбирается пользователем, устройство отображения оперирует блоком захвата изображения, отображает всплывающее меню посредством блока 110 отображения, распознает лицо и зрачок пользователя с использованием изображения, захваченного блоком 220 захвата изображения, отслеживает взгляд пользователя на основе распознанного зрачка, подтверждает позицию отслеженного взгляда и выполняет операцию, соответствующую пункту меню, выбранному из всплывающего меню пользователем.

Всплывающее меню включает в себя множество пунктов меню, и каждый пункт меню имеет кнопку команды операции.

Таким образом, устройство отображения подтверждает кнопку, имеющую позицию, соответствующую позиции взгляда пользователя, из кнопок команды операции во всплывающем меню и выполняет операцию, соответствующую подтвержденной кнопке.

Например, предполагается, что всплывающее меню P1, включающее в себя кнопку изменения приоритета, кнопку управления громкости, кнопку регулирования экрана и кнопку завершения, отображается, как показано на фиг. 7. Если позиция взгляда пользователя находится на кнопке управления громкости, кнопка повышения/понижения для управления громкостью отображается на блоке 110 отображения. Когда взгляд пользователя находится на кнопке увеличения громкости, громкость увеличивается. Когда взгляд пользователя находится на кнопке уменьшения громкости, громкость уменьшается.

Дополнительно, выбор меню посредством распознавания взгляда может быть определен на основе моргания глаз, времени, в течение которого взгляд находится на кнопке, или другого действия глаза или глаз пользователя.

Устройство отображения отображает содержимое, переданное через сетевой интерфейс 133 или входной интерфейс на блоке отображения. В это время устройство отображения управляет тем, чтобы сигнал основного изображения, запрошенный пользователем, был отображен и звуковой сигнал, запрошенный пользователем, был выведен, и управляет тем, чтобы изображение, соответствующее интерактивному режиму, было отображено на основном изображении наложенным образом в течение вывода изображения и звука.

Когда взгляд пользователя находится в пределах области завершения блока 110 отображения в течение предварительно определенного периода времени или более, устройство отображения завершает интерактивный режим. После этого, когда взгляд пользователя находится в пределах области распознавания, устройство отображения определяет, что пользователь желает изменить режим распознавания, и повторно отображает кнопки режима распознавания.

Дополнительно, когда взгляд пользователя находится вне блока 110 отображения в течение предварительно определенного периода времени или более, устройство отображения может завершить интерактивный режим.

Фиг. 9 изображает структурную схему управления устройством отображения согласно другому варианту осуществления. В этом варианте осуществления устройство 1 отображения включает в себя блок 220 захвата изображения и блок 230 захвата звука в качестве модуля захвата для приема команды пользователя, модуль 150 приведения в действие для выполнения управления операцией на основе команды операции и блок 110 отображения и блок 140 вывода звука в качестве выходного модуля для исполнения операции вывода.

Блок 220 захвата изображения, блок 230 захвата звука, блок 110 отображения и блок 140 вывода звука идентичны своим аналогам в предыдущем варианте осуществления, и, таким образом, их описание будет опущено.

Модуль 150 приведения в действие включает в себя блок 151 распознавания, базу 152 данных, сетевой интерфейс 153, средство 154 управления, блок 155 хранения, блок 156 приведения в действие отображения и блок 157 приведения в действие звука.

Блок 151 распознавания принимает сигнал, соответствующий информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука, распознает распознавание пользователя и команду операции, желаемую пользователем, на основе принятого сигнала и передает распознанную команду операции средству 154 управления.

Блок 151 распознавания определяет, идентичен ли пользователь, выполнивший движение, пользователю, смотрящему на область распознавания, и при определении, что пользователь, выполнивший движение, идентичен пользователю, смотрящему на область распознавания, распознает команду операции, соответствующую распознанному движению, в состоянии, в котором взгляд пользователя находится в пределах области распознавания.

Кроме того, блок 151 распознавания определяет, идентичен ли пользователь, который говорил, пользователю, смотрящему на область распознавания, и при определении, что пользователь, выполнивший движение, идентичен пользователю, смотрящему на область распознавания, распознает команду операции, соответствующую распознанному голосу, в состоянии, в котором взгляд пользователя находится в пределах области распознавания.

Блок 151 распознавания включает в себя первый блок распознавания для распознавания лица и взгляда пользователя и второй блок распознавания для распознавания команды исполнения функции и операции. Первый блок распознавания и второй блок распознавания идентичны первому блоку 131-1 распознавания и второму блоку 131-2 распознавания предыдущего варианта осуществления, и, таким образом, их описание будет опущено.

База 152 данных хранит изображение лица и информацию зрачка каждого пользователя в состоянии найденного соответствия. Кроме того, база 152 данных хранит голосовую информацию и информацию зрачка каждого пользователя в состоянии найденного соответствия.

Остальное строение базы 152 данных и строение сетевого интерфейса 153 идентичны строению базы 132 данных и строению сетевого интерфейса 133, и, таким образом, их описание будет опущено.

Когда устройство 1 отображения включается или интерактивный режим запрашивается посредством кнопочного ввода блока ввода (не показан), средство 154 управления передает команду операции блоку 220 захвата изображения и блоку 230 захвата звука.

Средство 154 управления принимает решение, должен ли вход в интерактивный режим быть выполнен, на основе определения, был ли пользователь, распознанный блоком 151 распознавания, зарегистрирован. В случае, в котором множество пользователей распознается блоком 151 распознавания, средство 154 управления подтверждает пользователя, имеющего наивысший приоритет, из распознанных пользователей и управляет входом в интерактивный режим на основе позиции взгляда подтвержденного пользователя.

Средство 154 управления определяет, находится ли взгляд пользователя в пределах области распознавания в течение предварительно определенного периода времени или более, и при определении, что взгляд пользователя находится в пределах области распознавания в течение предварительно определенного периода времени или более, управляет входом в интерактивный режим.

После входа в интерактивный режим средство 154 управления управляет множеством режимов распознавания для приема команды пользователя посредством взаимодействия для отображения. В это время средство 154 управления сравнивает позицию взгляда пользователя, переданную от блока 151 распознавания, с позициями предварительно сохраненных кнопок режима распознавания для определения режима распознавания, который пользователь желает выбрать, и управляет тем, чтобы блок 220 захвата изображения и блок 230 захвата звука были включены/выключены на основе определенного режима распознавания.

Режимы распознавания включают в себя распознавание движения и распознавание голоса.

Когда распознавание движения выбирается, средство 154 управления принимает команду операции, соответствующую первому многомодальному режиму, включающему в себя комбинацию распознавания взгляда и распознавания движения. Когда распознавание голоса выбирается, средство 154 управления принимает команду операции, соответствующую второму многомодальному режиму, включающему в себя комбинацию распознавания взгляда и распознавание голоса.

Средство 154 управления управляет приведением в действие соответственных блоков 156 и 157 приведения в действие на основе команды операции.

Когда взгляд пользователя находится в пределах области завершения в течение предварительно определенного периода времени или более, средство 154 управления управляет завершением интерактивного режима.

Средство 154 управления управляет тем, чтобы сигнал основного изображения, запрошенный пользователем, был отображен и звуковой сигнал, запрошенный пользователем, был выведен.

Блок 155 хранения хранит приоритеты множества предварительно зарегистрированных пользователей, позиции области распознавания и области завершения, до входа в интерактивный режим, вход в интерактивный режим, информацию отображения области распознавания, соответствующей исполнению интерактивного режима, и информацию позиции кнопок режима распознавания.

Блок 156 приведения в действие изображения и блок 157 приведения в действие звука идентичны своим аналогам из предыдущего варианта осуществления, и, таким образом, их описание будет опущено.

Фиг. 10 изображает блок-схему управления устройства отображения согласно варианту осуществления. Управление устройства отображения будет описано на основании фиг. 9 и 11.

Когда устройство отображения включается пользователем, операция блока 220 захвата изображения осуществляется для захвата изображения. Устройство отображения распознает лица на основе захваченного изображения и подтверждает количество распознанных пользователей на основе распознанных лиц.

После этого устройство отображения определяет, было ли множество пользователей подтверждено, определяет предварительно зарегистрированных пользователей из распознанных пользователей, и определяет, является ли количество предварительно зарегистрированных пользователей, соответствующих предварительно зарегистрированным пользователям, множественным.

При определении, что количество предварительно зарегистрированных пользователей, соответствующих предварительно зарегистрированным пользователям, является множественным, устройство отображения определяет пользователя, имеющего наивысший приоритет, из пользователей и распознает зрачок определенного пользователя для отслеживания взгляда пользователя.

После этого устройство отображения определяет, находится ли распознанный взгляд в пределах области распознавания. При определении, что распознанный взгляд находится в пределах области распознавания, устройство отображения определяет, направлен ли распознанный взгляд на область распознавания в течение предварительно определенного периода времени или более. При определении, что распознанный взгляд направлен на область распознавания в течение предварительно определенного периода времени или более, устройство отображения входит в интерактивный режим (401). Дополнительно, устройство отображения изменяет информацию отображения области распознавания в блоке 110 отображения и отображает измененную информацию отображения так, чтобы вход в интерактивный режим распознавался пользователем (402).

Вышеупомянутая процедура идентична процедуре из предыдущего варианта осуществления.

После этого блок 110 отображения отображает множество режимов распознавания для приема команды операции, подтверждает позицию взгляда пользователя (403) и определяет режим распознавания, выбранный пользователем, на основе подтвержденной позиции взгляда пользователя (404).

Таким образом, устройство отображения определяет позицию одной из кнопок режима распознавания, соответствующей подтвержденной позиции взгляда пользователя, для определения режима распознавания, выбранного пользователем.

В это время устройство отображения отображает позицию взгляда пользователя в блоке 110 отображения в виде курсора в реальном времени так, чтобы пользователь подтверждал позицию взгляда пользователя.

После этого устройство отображения исполняет многомодальный режим, включающий в себя комбинацию определенного режима распознавания и режима распознавания взгляда (405). Кроме того, устройство отображения распознает команду операции на основе результата распознавания согласно исполнению многомодального режима и оперирует соответственными блоками приведения в действие на основе распознанной команды операции (406).

Перед исполнением первого многомодального режима, включающего в себя комбинацию режима распознавания движения и режима распознавания взгляда, устройство отображения определяет, идентичен ли пользователь, выполнивший движение, пользователю, смотрящему на область распознавания, и при определении, что пользователь, выполнивший движение, идентичен пользователю, смотрящему на область распознавания, исполняет интерактивный режим на основе первого многомодального режима. При определении, что пользователь, выполнивший движение, не идентичен пользователю, смотрящему на область распознавания, сообщение, утверждающее, что невозможно исполнить интерактивный режим, может быть отображено.

Кроме того, перед исполнением второго многомодального режима, включающего в себя комбинацию режима распознавания голоса и режима распознавания взгляда, устройство отображения определяет, идентичен ли пользователь, который говорил, пользователю, смотрящему на область распознавания, и при определении, что пользователь, который говорил, идентичен пользователю, смотрящему на область распознавания, исполняет интерактивный режим на основе второго многомодального режима. При определении, что пользователь, который говорил, не идентичен пользователю, смотрящему на область распознавания, сообщение, утверждающее, что невозможно исполнить интерактивный режим, может быть отображено.

Распознавание команды операции на основе многомодального режима далее будет описано более подробно.

(1) Когда распознавание движения выбирается пользователем, устройство отображения исполняет первый многомодальный режим, включающий в себя комбинацию режима распознавания движения и режима распознавания взгляда. В это время устройство отображения оперирует блоком 220 захвата изображения, определяет, находится ли взгляд пользователя в пределах области распознавания, и при определении, что взгляд пользователя находится в пределах области распознавания, распознает движение пользователя в состоянии, в котором взгляд пользователя находится в пределах области распознавания, и распознает команду операции, соответствующую распознанному движению.

Таким образом, устройство отображения удаляет область заднего плана с изображения, захваченного блоком 220 захвата изображения, для получения изображения тела пользователя, извлекает области лица, руки, кисти, торса, ноги и стопы из полученного изображения тела пользователя с использованием информации границ и цвета, извлекает характерные точки из извлеченных областей лица, руки, кисти, торса, ноги и стопы для распознавания движения пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 152 данных, и распознает команду операции, соответствующую соответствующему движению.

После этого устройство отображения приводит в действие соответственные блоки 156 и 157 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения, и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.

Этот пример будет описан на основании фиг. 11.

Когда первый многомодальный режим исполняется в состоянии, в котором множество функций отображается в области 110a отображения блока отображения, как показано на фиг. 11, устройство отображения распознает взгляд пользователя и движение с использованием блока захвата изображения.

Предполагая, что пользователь смотрит на область 110b распознавания и, в то же время, выполнил движение выпрямления одного пальца, устройство отображения распознает взгляд пользователя в пределах области распознавания и, в то же время, движение выпрямления одного пальца и распознает команду операции, соответствующую движению выпрямления одного пальца.

Когда командой операции, соответствующей движению выпрямления одного пальца, является "поиск", устройство отображения соединяется с Интернетом через сетевой интерфейс для выполнения поиска.

(2) Когда распознавание голоса выбирается пользователем, устройство отображения исполняет второй многомодальный режим, включающий в себя комбинацию режима распознавания голоса и режима распознавания взгляда. В это время устройство отображения оперирует блоком 230 захвата звука, определяет, находится ли взгляд пользователя в пределах области распознавания, и при определении, что взгляд пользователя находится в пределах области распознавания, распознает голос пользователя в состоянии, в котором взгляд пользователя находится в пределах области распознавания, и распознает команду операции, соответствующую распознанному голосу.

Таким образом, устройство отображения оперирует блоком 230 захвата звука, удаляет шум из звука, захваченного блоком 230 захвата звука, для получения голоса пользователя, извлекает вектор признаков из полученного голоса пользователя, сравнивает извлеченный вектор признаков с языковой моделью или звуковой моделью на основе фонем каждого слова, сохраненного в базе 152 данных, для извлечения слов-кандидатов или фонем-кандидатов, распознает предложение на основе слов-кандидатов или фонем-кандидатов, выполняет поиск предложения, соответствующего распознанному предложению, из предложений, сохраненных в базе 152 данных, и распознает команду операции, соответствующую искомому предложению.

После этого устройство отображения приводит в действие соответственные блоки 156 и 157 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.

Этот пример будет описан на основании фиг. 11.

Когда второй многомодальный режим исполняется в состоянии, в котором множество функций отображается в области 110a отображения блока отображения, как показано на фиг. 11, устройство отображения распознает взгляд и голос пользователя с использованием блока захвата изображения и блока захвата звука.

Предполагая, что пользователь смотрит на область 110b распознавания и, в то же время, упомянул слово "три", устройство отображения распознает взгляд пользователя в пределах области распознавания и, в то же время, слово "три", и распознает команду операции, соответствующую слову "три".

Когда командой операции, соответствующей слову "три", является "фильм", устройство отображения воспроизводит фильм, загруженный посредством сетевого интерфейса, или фильм, сохраненный в дополнительном устройстве хранения, или отображает подменю фильма.

Когда интерактивный режим исполняется в течение отображения основного изображения в блоке отображения, изображение, соответствующее интерактивному режиму, отображается на основном изображении наложенным образом.

Когда взгляд пользователя находится в пределах области завершения блока 110 отображения в течение предварительно определенного периода времени или более, устройство отображения завершает интерактивный режим. После этого, когда взгляд пользователя находится в пределах области завершения, устройство отображения повторно выполняет вход в интерактивный режим и повторно отображает его.

Фиг. 12 изображает вид, иллюстрирующий устройство отображения согласно дополнительному варианту осуществления. Далее телевизор будет описан в качестве примера устройства отображения.

В этом варианте осуществления телевизор включает в себя основной корпус 100 для отображения изображения, стойку 160, установленную снизу от основного корпуса 100 для поддержки основного корпуса 100, и пульт 170 дистанционного управления для приема команды пользователя.

Стойка 160 разъемным образом объединена с основным корпусом 100. Телевизор может дополнительно включать в себя кронштейн. Основной корпус 100 может быть установлен на стену с использованием кронштейна. В этом случае стойка может быть удалена.

Основной корпус 100 включает в себя блок 110 отображения для отображения изображения и раму 120 для покрытия не отображающей изображение области. Строение основного корпуса 100 идентично строению из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.

Основной корпус 100 может дополнительно включать в себя блок ввода (не показан), имеющий множество кнопок для приема команды операции телевизора.

Модуль 200 захвата обеспечен на верхнем краю рамы 120 основного корпуса 100 для захвата изображения и звука пользователя и окружения пользователя и для передачи захваченного изображения и звука модулю приведения в действие.

Модуль 200 захвата может быть установлен в позиции, где информация пользователя может быть легко захвачена, дополнительно к верхнему краю рамы 120 основного корпуса 100.

Кроме того, модуль 200 захвата может быть обеспечен отдельно от телевизора. То есть модуль 200 захвата может быть обеспечен отдельно от основного корпуса 100 так, чтобы модуль 200 захвата был соединен с интерфейсным устройством (не показано), обеспеченным на основном корпусе 100.

Модуль 200 захвата идентичен модулю захвата из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.

Пульт 170 дистанционного управления является устройством для того, чтобы удаленным образом управлять телевизором для удобства для пользователя.

Пульт 170 дистанционного управления включает в себя множество кнопок 171, таких как кнопки выбора функций, кнопки номеров, кнопки включения/выключения, кнопки изменения канала и кнопки управления громкостью, второй блок захвата звука, т. е. второй микрофон 172, для захвата голосового сигнала пользователя, второй микропроцессор (не показан) для генерирования сигнала операции при приеме сигнала от кнопок 171 и голосового сигнала, блок 173 связи для передачи сигнала операции, генерируемого вторым микропроцессором, и аккумулятор для обеспечения управляющей мощности второму микрофону, кнопкам, второму микропроцессору и блоку связи.

Второй блок 172 захвата звука может постоянно оперировать.

Пульт 170 дистанционного управления передает сигнал операции, такой как сигнал изменения канала или сигнал управления громкостью, телевизору в ответ на манипуляцию пользователя. В результате пользователь может удобно регулировать различные функции телевизора.

Дополнительно, пульт дистанционного управления может дополнительно включать в себя множество кнопок для выбора и управлять функцией Интернета дополнительно к кнопкам управления просмотра широкого вещания для того, чтобы управлять устройством отображения, поддерживающим Интернет дополнительно к просмотру широкого вещания.

Фиг. 13 изображает структурную схему управления устройства отображения, т. е. телевизор, согласно варианту осуществления.

Операция телевизора осуществляется на основе информации взаимодействия, генерируемой посредством захвата команды пользователя, сигнала от блока ввода (не показан), обеспеченного на основном корпусе 100, или сигнала от пульта 170 дистанционного управления.

Телевизор включает в себя блок 220 захвата изображения и блок 230 захвата звука в качестве модуля захвата для захвата команды пользователя, модуль 180 приведения в действие для управления операцией телевизора на основе команды пользователя, и блок 110 отображения и блок 140 вывода звука в качестве выходного модуля для исполнения операции вывода.

Модуль 180 приведения в действие управляет операцией блока 110 отображения и/или блока 140 вывода звука на основе сигнала от блока ввода (не показан) или сигнала от пульта 170 дистанционного управления.

Таким образом, модуль 180 приведения в действие управляет входом в и завершением интерактивного режима на основе информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука, и, после входа в интерактивный режим, исполняет интерактивный режим для управления операцией блока 110 отображения и/или блока 140 вывода звука.

Модуль 180 приведения в действие телевизора включает в себя блок 181 широкого вещания, интерфейс 182, блок 183 распознавания, базу 184 данных, блок 185 приема, средство 186 управления, блок 187 хранения и блок 188 приведения в действие.

Блок 181 широкого вещания включает в себя средство 181a настройки и процессор 181b сигналов.

Средство 181a настройки принимает широковещательный сигнал, имеющий соответствующую полосу частот, согласно управляющему сигналу настройки от средства 186 управления проводным или беспроводным образом для настройки телевизора.

Процессор 181b сигналов разделяет широковещательный сигнал на сигнал изображения, имеющий данные изображения, звуковой сигнал, имеющий звуковые данные, и дополнительный сигнал, имеющий дополнительные данные, сигнально обрабатывает разделенные сигнал изображения, имеющий данные изображения, и звуковой сигнал, имеющий звуковые данные, и передает дополнительные данные блоку генерирования GUI (не показан). Дополнительные данные включают в себя электронный путеводитель по программам (EPG).

Процессор 181b сигналов может разделять сигнал, переданный от сетевого интерфейса 182b, на сигнал изображения, имеющий данные изображения, и звуковой сигнал, имеющий звуковые данные, и сигнально обрабатывать сигнал изображения и звуковой сигнал.

Интерфейсный блок 182 включает в себя входной интерфейс 182a и сетевой интерфейс 182b.

Входной интерфейс 182a соединяется с модулем 200 захвата для приема сигнала изображения и звукового сигнала, захваченных модулем 200 захвата, и для передачи принятого сигнала изображения и звукового сигнала блоку 183 распознавания.

IP-адрес назначается сетевому интерфейсу 182b так, чтобы сетевой интерфейс 182b выполнял сетевую связь и принимал и обрабатывал пакет данных, переданный извне через сеть. В случае, в котором пакет данных включает в себя данные мультимедиа, т. е. изображение и звуковые данные, сетевой интерфейс 182b сохраняет пакет данных или передает пакет данных средству 186 управления так, чтобы пакет данных воспроизводился.

Блок 183 распознавания распознает лицо и зрачок пользователя, распознает взгляд пользователя на основе информации распознанного зрачка и распознает команду пользователя.

Блок 183 распознавания распознает голос пользователя из звукового сигнала, переданного от блока 185 приема, и распознает команду операции, соответствующую распознанному голосу.

Остальное строение блока 183 распознавания идентично строению из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.

База 184 данных идентична базе данных из предыдущего варианта осуществления, и, таким образом, ее описание будет опущено.

Блок 185 приема принимает сигнал от одной из кнопок 171, обеспеченных на пульте 170 дистанционного управления, и звуковой сигнал от второго блока 172 захвата звука, обеспеченного на пульте 170 дистанционного управления.

Блок 185 приема передает принятый сигнал кнопки и звуковой сигнал блоку 183 распознавания и средству 186 управления.

Средство 186 управления управляет данными изображения, сигнально обработанными процессором 181b сигналов, для отображения на блоке 110 отображения и сигнально обработанным звуком для вывода посредством блока 140 вывода звука.

Средство 186 управления определяет команду пользователя на основе сигнала кнопки от пульта 170 дистанционного управления и управляет приведением в действие блока 110 отображения согласно определенной команде пользователя. При приеме сигнала запроса исполнения функции Интернета от пульта 170 дистанционного управления средство 186 управления управляет сетевым интерфейсом для Интернет-соединения. Когда взгляд пользователя находится в пределах области распознавания, средство 186 управления управляет приведением в действие модуля захвата для исполнения интерактивного режима.

Строение средства 186 управления для управления входом в интерактивный режим и исполнения интерактивного режима идентично строению из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.

Блок 187 хранения идентичен блоку хранения из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.

Блок 188 приведения в действие включает в себя блок 188a приведения в действие отображения и блок 188b приведения в действие звука. Блок 188a приведения в действие изображения и блок 188b приведения в действие звука идентичны своим аналогам из предыдущего варианта осуществления, и, таким образом, их описание будет опущено.

Фиг. 14 изображает блок-схему управления устройства отображения, т. е. телевизор, согласно варианту осуществления.

Когда телевизор включается, операция блока 220 захвата изображения осуществляется для захвата изображения. Телевизор распознает лицо пользователя на основе захваченного изображения, распознает зрачок пользователя на основе распознанного лица и распознает взгляд, соответствующий позиции зрачка (501).

После этого телевизор определяет, находится ли распознанный взгляд в пределах области распознавания (502). При определении, что распознанный взгляд находится в пределах области распознавания, телевизор определяет, направлен ли распознанный взгляд на область распознавания в течение предварительно определенного периода времени или более (503). При определении, что распознанный взгляд направлен на область распознавания в течение предварительно определенного периода времени или более, телевизор входит в интерактивный режим (504). Дополнительно, телевизор изменяет информацию отображения области распознавания в блоке 110 отображения и отображает измененную информацию отображения так, чтобы вход в интерактивный режим распознавался пользователем, как, например, показано на операции 402 с фиг. 10.

Вышеупомянутая процедура идентична процедуре из предыдущего варианта осуществления.

После этого телевизор отображает множество режимов распознавания для приема команды операции (505), подтверждает позицию взгляда пользователя и определяет режим распознавания, выбранный пользователем, на основе подтвержденной позиции взгляда пользователя (506).

Таким образом, телевизор определяет позицию одной из кнопок режима распознавания, соответствующей подтвержденной позиции взгляда пользователя, для определения режима распознавания, выбранного пользователем.

В это время телевизор отображает позицию взгляда пользователя в блоке 110 отображения в виде курсора в реальном времени так, чтобы пользователь мог подтвердить позицию взгляда пользователя.

После этого телевизор исполняет определенный режим распознавания (507). Кроме того, телевизор распознает команду операции на основе результата распознавания согласно исполнению режима распознавания и оперирует соответственными блоками приведения в действие на основе распознанной команды операции (508).

Распознавание команды операции на основе выбора каждого режима распознавания далее будет описано более подробно.

(1) Когда распознавание движения выбирается пользователем, телевизор распознает движение пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 184 данных, и распознает команду операции, соответствующую соответствующему движению.

После этого телевизор приводит в действие блок 188 приведения в действие на основе распознанной команды операции для отображения изображения широкого вещания или содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука широкого вещания или содержимого, запрошенного пользователем, посредством блока 140 вывода звука.

(2) Когда распознавание голоса выбирается пользователем, телевизор оперирует первым блоком 230 захвата звука, распознает предложение, соответствующее голосу, в звуке, захваченном первым блоком 230 захвата звука или вторым блоком 172 захвата звука, выполняет поиск предложения, соответствующего распознанному предложению, из предложений, сохраненных в базе 184 данных, и распознает команду операции, соответствующую искомому предложению.

После этого телевизор приводит в действие блок 188 приведения в действие на основе распознанной команды операции для отображения изображения широкого вещания или содержимого, запрошенного пользователем посредством блока 110 отображения, и для вывода звука широкого вещания или содержимого, запрошенного пользователем посредством блока 140 вывода звука.

(3) Когда распознавание взгляда выбирается пользователем, телевизор оперирует блоком захвата изображения, отображает всплывающее меню посредством блока 110 отображения, распознает лицо и зрачок пользователя с использованием изображения, захваченного блоком 220 захвата изображения, отслеживает взгляд пользователя на основе распознанного зрачка, подтверждает позицию отслеженного взгляда и выполняет операцию, соответствующую пункту меню, выбранному пользователем из всплывающего меню.

Всплывающее меню включает в себя множество пунктов меню, и каждый пункт меню имеет кнопку команды операции.

Таким образом, телевизор подтверждает кнопку, имеющую позицию, соответствующую позиции взгляда пользователя, из кнопок команды операции во всплывающем меню и выполняет операцию, соответствующую подтвержденной кнопке, которая будет описана на основании фиг. 15 и 16.

В случае, в котором всплывающее меню P2, включающее в себя кнопку изменения функции, кнопку управления канала/громкости, кнопку изменения режима распознавания, кнопку регулирования экрана и кнопку завершения, отображается в блоке 110 отображения, как показано на фиг. 15, кнопка, имеющая позицию, соответствующую позиции взгляда пользователя, определяется. Функция включает в себя функцию широкого вещания, функцию Интернета и функцию связи с внешним устройством.

Если позиция взгляда пользователя находится на кнопке управления каналом/громкостью, кнопка a5 повышения/понижения громкости для управления громкостью, кнопка a6 повышения/понижения канала для регулирования канала и курсор a4, указывающий позицию взгляда пользователя, отображаются в блоке 110 отображения, как показано на фиг. 16.

После этого телевизор сравнивает позицию взгляда пользователя с позицией кнопки a5 повышения/понижения громкости и кнопки a6 повышения/понижения канала для повышения/понижения канала/громкости.

Дополнительно, выбор меню посредством распознавания взгляда может быть определен на основе моргания глаз или времени, в течение которого взгляд находится на кнопке.

В это время телевизор отображает кнопку для распознавания взгляда на основном изображении, отображаемом в блоке отображения, наложенным образом.

Когда взгляд пользователя находится в пределах области завершения блока 110 отображения в течение предварительно определенного периода времени или более, телевизор завершает интерактивный режим. После этого, когда взгляд пользователя находится в пределах области распознавания, телевизор определяет, что пользователь желает изменить режим распознавания, и повторно отображает кнопки режима распознавания.

Дополнительно, когда взгляд пользователя находится вне блока 110 отображения в течение предварительно определенного периода времени или более, телевизор может завершать интерактивный режим.

В соответствии с одним аспектом настоящего раскрытия как описано выше, взгляд пользователя отслеживается для выполнения входа в интерактивный режим, тем самым легко достигая входа в интерактивный режим и выполняя более интуитивное взаимодействие.

Кроме того, многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, выполняется, тем самым выполняя более расширенный интерактивный режим и точно определяя команды пользователя. В результате, функции верно выполняются, тем самым улучшая удобство для пользователя.

Дополнительно, позиция взгляда пользователя отображается на устройстве отображения в виде курсора, тем самым верно подтверждая позицию взгляда пользователя.

Дополнительно, пользователь распознается посредством лица или зрачка пользователя, и взгляд, голос и движение распознаются с учетом признаков распознанного пользователя, тем самым улучшая эффективность распознавания.

Несмотря на то, что лишь несколько вариантов осуществления настоящего раскрытия было показано и описано, специалистам в данной области техники будет понятно, что изменения могут быть сделаны в этих вариантах осуществления без выхода за пределы принципов и сущности изобретения, объем которого определен в пунктах формулы и их эквивалентах.

1. Устройство отображения, содержащее:

блок захвата изображения для захвата изображения пользователя;

блок захвата звука для захвата голоса пользователя;

блок распознавания взгляда для распознавания взгляда пользователя с использованием захваченного изображения;

блок распознавания движения для распознавания движения пользователя с использованием захваченного изображения;

блок распознавания голоса для распознавания голоса пользователя с использованием захваченного голоса;

средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания; и

блок отображения для отображения изображения, соответствующего интерактивному режиму,

причем после входа в интерактивный режим средство управления сконфигурировано с возможностью управления отображением множества режимов распознавания для взаимодействия с пользователем, причем множество режимов распознавания включает в себя режим распознавания взгляда, режим распознавания движения и режим распознавания голоса, и возможностью выбора одного из множества режимов распознавания на основе позиции распознанного взгляда, и

причем, если выбран режим распознавания взгляда, средство управления сконфигурировано с возможностью управления для выключения режима распознавания движения и режима распознавания голоса,

причем, если выбран режим распознавания движения, средство управления сконфигурировано с возможностью управления для выключения режима распознавания взгляда и режима распознавания голоса, и

причем, если выбран режим распознавания голоса, средство управления сконфигурировано с возможностью управления для выключения режима распознавания взгляда и режима распознавания движения.

2. Устройство отображения по п. 1, в котором блок отображения отображает заданную область распознавания.

3. Устройство отображения по п. 2, в котором, когда взгляд распознается, средство управления отображает информацию отображения заданной области отличным образом от информации отображения до того, как взгляд распознается.

4. Устройство отображения по п. 1, в котором блок отображения отображает позицию распознанного взгляда в виде курсора.

5. Устройство отображения по п. 1, в котором средство управления определяет команду операции, соответствующую распознанному движению, и управляет приведением в действие блока отображения на основе определенной команды операции.

6. Устройство отображения по п. 1, в котором средство управления определяет команду операции, соответствующую распознанному голосу, и управляет приведением в действие блока отображения на основе определенной команды операции.

7. Устройство отображения по п. 1, в котором средство управления управляет активацией блока захвата изображения и блока захвата звука на основе выбранного режима распознавания.

8. Устройство отображения по п. 1, в котором

блок распознавания распознает лицо пользователя, и

средство управления определяет, является ли распознанный пользователь предварительно зарегистрированным пользователем, при определении, что распознанный пользователь является предварительно зарегистрированным пользователем, управляет распознаванием взгляда пользователя, и в случае, в котором распознается множество пользователей, управляет распознаванием взгляда пользователя, имеющего наивысший приоритет, на основе предварительно сохраненных приоритетов.

9. Устройство отображения по п. 1, в котором средство управления определяет, находится ли распознанный взгляд в пределах заданной области завершения, и при определении, что распознанный взгляд находится в пределах заданной области завершения, управляет завершением интерактивного режима.

10. Устройство отображения по п. 1, в котором

когда движение распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления подтверждает команду, соответствующую распознанному движению, и управляет исполнением функции, соответствующей подтвержденной команде, и/или

когда голос распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления подтверждает команду, соответствующую распознанному голосу, и управляет исполнением функции, соответствующей подтвержденной команде.

11. Устройство отображения по п. 10, дополнительно содержащее:

блок связи для приема звукового сигнала, переданного от внешнего пульта дистанционного управления, причем

второй блок распознавания распознает голос из принятого звукового сигнала.

12. Устройство отображения по п. 1, дополнительно содержащее:

средство настройки для приема внешнего широковещательного сигнала;

процессор сигналов для разделения широковещательного сигнала на сигнал изображения, имеющий информацию изображения, и звуковой сигнал, имеющий звуковую информацию, и для сигнальной обработки разделенных сигнала изображения и звукового сигнала, причем

блок отображения отображает заданную область распознавания, кнопку канала и кнопку громкости и отображает позицию распознанного взгляда в виде курсора, и

когда взгляд пользователя находится вне области блока отображения, средство управления управляет завершением интерактивного режима.

13. Способ управления устройством отображения, содержащий этапы, на которых:

распознают взгляд пользователя;

определяют, находится ли распознанный взгляд в пределах заданной области распознавания;

входят в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания в течение предварительно определенного периода времени;

отображают множество режимов распознавания для взаимодействия с пользователем, причем множество режимов распознавания включает в себя режим распознавания взгляда, режим распознавания движения и режим распознавания голоса;

определяют режим распознавания, соответствующий позиции распознанного взгляда, из отображаемых режимов распознавания;

если выбран режим распознавания взгляда, управляют для выключения режима распознавания движения и режима распознавания голоса и захватывают изображение пользователя;

если выбран режим распознавания движения, управляют для выключения режима распознавания взгляда и режима распознавания голоса и захватывают изображение пользователя;

если выбран режим распознавания голоса, управляют для выключения режима распознавания взгляда и режима распознавания движения и захватывают голос пользователя;

исполняют определенный режим распознавания для распознавания команды от пользователя; и

исполняют функцию, соответствующую распознанной команде.

14. Способ управления по п. 13, дополнительно содержащий этап, на котором отображают заданную область распознавания в виде другой информации отображения при входе в интерактивный режим.