Определение поисковых запросов для получения информации в процессе пользовательского восприятия события

Изобретение относится к области вычислительной техники. Техническим результатом является обеспечение предоставления пользователю информации, релевантной событиям. Раскрыт машинореализуемый способ предоставления пользователю информации, релевантной событиям, содержащий этапы, на которых: получают данные, показывающие, какие поиски выполнялись посредством услуги поиска, когда медиа-услугой выводились различные типы событий, которые воспринимались пользователями множества вычислительных устройств; определяют на основе этих данных популярные поисковые запросы, посредством которых осуществлялся поиск данным множеством вычислительных устройств, в то время как пользователи воспринимали один и тот же тип события; формируют на основе упомянутых популярных поисковых запросов правило машинно–обучаемой модели, которое задает конкретный поисковый запрос из этих популярных поисковых запросов, чтобы выполнять его, когда произойдет конкретное действие при восприятии пользователем вычислительного устройства будущего вывода упомянутого того же типа события; сохраняют этот конкретный поисковый запрос с идентификатором упомянутого конкретного действия; определяют, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события, в ответ на определение того, что внешнее аудио или видео, захваченное данным вычислительным устройством, включает в себя указания звуков или изображений, относящихся к тому же типу события; и в ответ на упомянутое определение того, что пользователь вычислительного устройства воспринимает текущий вывод того же типа события: определяют, произошло ли либо должно ли произойти упомянутое конкретное действие во время текущего вывода, имеющего упомянутый тот же тип события, в ответ на определение того, что данное конкретное действие произошло или должно произойти во время текущего вывода, имеющего упомянутый тот же тип события, извлекают на основе идентификатора этого конкретного действия упомянутый конкретный поисковый запрос, выполняют поиск посредством этого конкретного поискового запроса и выводят посредством упомянутого вычислительного устройства во время текущего вывода, имеющего упомянутый тот же тип события, указание информации, возвращенной из упомянутого выполнения поиска посредством конкретного поискового запроса. 3 н. и 14 з.п. ф-лы, 5 ил.

 

Предшествующий уровень техники

[0001] Во время восприятия события (например, просмотра и/или прослушивания представления контента) пользователь может желать получить вторичную информацию, связанную с событием, и может поэтому взаимодействовать с вычислительным устройством, чтобы вручную искать такую информацию в процессе восприятия события. Поиск вручную информации в течение события может вызывать пропуск пользователем части события или другой релевантной и интересной информации о событии.

[0002] Некоторые вычислительные устройства могут автоматически выводить вторичную информацию как часть “восприятия второго экрана”, которая была предварительно произведена, чтобы усилить пользовательское восприятие события. Например, некоторые такие вычислительные устройства могут выводить конкретную информацию, которая была предварительно определена и кэширована в памяти, для последующего представления в конкретное время в процессе пользовательского восприятия события. Предварительное формирование восприятия второго экрана может быть затратной по времени и ресурсам задачей, которую может быть необходимо создавать вручную, прежде чем происходит представление события. С течением времени, вторичная информация, которая была кэширована для последующего вывода в качестве части предварительно созданного восприятия второго экрана, может становиться устаревшей или может не всегда быть наиболее интересной, текущей или релевантной информацией, которая могла бы выводиться в процессе будущих представлений события.

Краткое описание сущности изобретения

[0003] В общем, технологии согласно настоящему раскрытию могут обеспечивать системе возможность, когда пользователь вычислительного устройства воспринимает событие, динамически получать и побуждать вычислительное устройство представлять текущую информацию, которая релевантна событию. Термин “событие”, как использовано в настоящем документе, относится к любому живому (в реальном времени) представлению, трансляции, воспроизведению или другому типу представления живого или предварительно записанного контента (например, презентации встреч, ассамблеи, конференции, музыкальные или театральные представления, фильмы, телевизионные шоу, песни, концерты, спортивные события или любые другие типы живого или предварительно записанного контента, который пользователи могут воспринимать). Под терминами “живое событие” или “живое представление” мы понимаем любое событие, которое пользователь действительно посещает. Контент трансляции может транслироваться во время события без значительной задержки и может иногда называться “живым”, но для этого мы используем термин “живая (прямая) трансляция”. Контент может также быть записан или воспроизведен в более позднее время.

[0004] Во время просмотра, прослушивания или иного “восприятия” события, пользователь может желать получить вторичную информацию о событии, в точные моменты времени или в ответ на конкретные “подсобытия”, происходящие в течение события. Например, во время просмотра спортивного события пользователь может заинтересоваться получением биографической информации о менее известном игроке, который только что сделал важный ход, или может заинтересоваться просмотром повторного воспроизведения важного хода. Или во время просмотра фильма пользователь может заинтересоваться просмотром сведений об отдыхе или другой информацией об экзотическом географическом местоположении, которое является декорацией конкретной сцены. Или во время просмотра фильма или TV–представления пользователю может стать желательным получить биографическую и другую действительную информацию об актерах по мере того, как они появляются на экране.

[0005] Система может предопределять и сохранять (например, в кэше или другой памяти) один или несколько поисковых запросов для последующего поиска, когда пользователь вычислительного устройства воспринимает событие. После приема явного разрешения анализировать историю поиска или другую информацию о пользователях группы вычислительных устройств, система может определять один или несколько поисковых запросов для последующего поиска путем идентификации запросов, поиск по которым выполняла группа вычислительных устройств, в то время как пользователи группы вычислительных устройств воспринимали то же самое или сходное событие. Система может идентифицировать, когда (например, конкретная временная метка или подсобытие события) группа вычислительных устройств выполняла поиск по каждому предопределенному запросу, и назначать каждый предопределенный запрос для последующего поиска для конкретной временной метки или подсобытия события.

[0006] После приема явного разрешения анализировать информацию о пользователе вычислительного устройства, чтобы определить, воспринимает ли он или она событие, и в ответ на определение, что пользователь вычислительного устройства воспринимает конкретное подсобытие или временную метку события, система может выполнять поиск для конкретного поискового запроса, который назначен конкретной временной метке или подсобытию события, и побуждать вычислительное устройство представлять вторичную информацию, полученную из поиска, в то время как пользователь вычислительного устройства воспринимает конкретную временную метку или подсобытие события. Таким образом, вместо того, чтобы требовать от пользователя вручную обеспечивать ввод в вычислительное устройство для выполнения поиска вторичной информации или взаимодействовать с предварительно созданным восприятием вторичного экрана, которое может полагаться на устаревшую информацию, система может обеспечивать вычислительному устройству возможность автоматически представлять актуальную вторичную информацию во время процесса события, когда вторичная информация наиболее релевантна конкретной временной метке или подсобытию события. Путем обеспечения такой вторичной информации автоматически пользователь не пропускает часть события, как он может сделать это обычно в процессе ввода поискового запроса. Более того, в результате автоматического обеспечения вторичной информации через использование предварительно определенных поисковых запросов, уменьшается использование вычислительных и сетевых ресурсов. Например, традиционно пользователь может вводить множество запросов, пока он не найдет желаемую информацию, относящуюся к событию, при этом аспекты настоящего раскрытия обеспечивают информацию, непосредственно связанную с событием, тем самым уменьшая число поисков, которые производят нерелевантную информацию или информацию, не нужную пользователю.

[0007] В одном примере, раскрытие направлено на способ, который включает в себя определение множества поисковых запросов для последующего поиска в течение события и планирование, для каждого из множества поисковых запросов, соответственного времени в течение события, чтобы выполнить поиск для соответствующего поискового запроса. Способ дополнительно включает в себя, в ответ на определение того, что пользователь вычислительного устройства воспринимает событие в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: поиск для конкретного поискового запроса и вывод, вычислительным устройством, в течение события указания информации, возвращенной из поиска для конкретного поискового запроса.

[0008] В другом примере, раскрытие направлено на вычислительную систему, которая включает в себя по меньшей мере один процессор и память, содержащую инструкции, которые при их исполнении побуждают по меньшей мере один процессор: определять множество поисковых запросов для последующего поиска во время события и планировать, для каждого из множества поисковых запросов, соответственное время в течение события, чтобы выполнять поиск для соответствующего поискового запроса. Инструкции, при их исполнении, дополнительно побуждают по меньшей мере один процессор в ответ на определение того, что пользователь вычислительного устройства воспринимает событие в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: выполнять поиск для конкретного поискового запроса, автоматически отправлять на вычислительное устройство для последующего отображения в течение события указание информации, возвращенной из поиска для конкретного поискового запроса.

[0009] В другом примере, раскрытие направлено на считываемый компьютером носитель хранения, включающий в себя инструкции, которые при их исполнении побуждают по меньшей мере один процессор вычислительной системы определять множество поисковых запросов для последующего поиска в течение события и планировать, для каждого из множества поисковых запросов, соответственное время в течение события, чтобы выполнять поиск для соответствующего поискового запроса. Инструкции, при их исполнении, дополнительно побуждают по меньшей мере один процессор в ответ на определение, что пользователь вычислительного устройства воспринимает событие в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: выполнять поиск для конкретного поискового запроса, автоматически отправлять на вычислительное устройство для последующего отображения в течение события указание информации, возвращенной из поиска для конкретного поискового запроса

[0010] В другом примере, раскрытие направлено на систему, включающую в себя средства для определения множества поисковых запросов для последующего поиска в течение события и планирования, для каждого из множества поисковых запросов, соответственного времени в течение события, чтобы выполнять поиск для соответствующего поискового запроса. Система дополнительно включает в себя средства для обеспечения в ответ на определение, что пользователь вычислительного устройства воспринимает событие, в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: средства для выполнения поиска для конкретного поискового запроса и средства для вывода в течение события указания информации, возвращенной из поиска для конкретного поискового запроса.

[0011] Подробности одного или нескольких примеров изложены на прилагаемых чертежах и описании ниже. Другие признаки, цели и преимущества раскрытия будут очевидны из описания и чертежей и из формулы изобретения.

Краткое описание чертежей

[0012] Фиг. 1 представляет собой концептуальную диаграмму, иллюстрирующую примерную систему для представления информации, связанной с событием, которая была возвращена из поисков, исполняемых в предопределенное время, когда пользователь вычислительного устройства воспринимает событие, в соответствии с одним или несколькими аспектами настоящего раскрытия.

[0013] Фиг. 2 представляет собой блок–схему, иллюстрирующую примерное вычислительное устройство, сконфигурированное, чтобы представлять информацию, связанную с событием, которая была возвращена из поисков, исполняемых в предопределенное время, когда пользователь вычислительного устройства воспринимает событие, в соответствии с одним или несколькими аспектами настоящего раскрытия.

[0014] Фиг. 3 представляет собой блок–схему, иллюстрирующую примерное вычислительное устройство, которое представляет графический контент для отображения в удаленном устройстве, в соответствии с одним или несколькими методами настоящего раскрытия.

[0015] Фиг. 4 и 5 представляют собой блок–схемы последовательности операций, иллюстрирующие примерные операции, выполняемые посредством примерной вычислительной системы, сконфигурированной, чтобы представлять информацию, связанную с событием, которая была возвращена из поисков, исполняемых в предопределенное время, когда пользователь вычислительного устройства воспринимает событие, в соответствии с одним или несколькими аспектами настоящего раскрытия.

Подробное описание

[0016] Фиг. 1 представляет собой концептуальную диаграмму, иллюстрирующую примерную систему для представления информации, связанной с событием, которая была возвращена из поисков, исполняемых в предопределенное время, когда пользователь вычислительного устройства воспринимает событие, в соответствии с одним или несколькими аспектами настоящего раскрытия. Система 100 включает в себя одну или несколько систем удаленных серверов (“RSS”) 160, осуществляющих связь, через сеть 130, с устройством 120 вывода медиа и вычислительным устройством 110. RSS 160 включает в себя модуль 162 медиа–услуги, модуль 164 поиска и модуль 166 услуги второго экрана (“SSS”). Устройство 120 вывода медиа включает в себя компонент 122 вывода и модуль 124 вывода медиа. Вычислительное устройство 110 включает в себя компонент пользовательского интерфейса (“UIC”) 112 и модуль 114 клиента второго экрана (“SSC”).

[0017] Сеть 130 представляет любую общедоступную или частную сеть связи, например, сотовую, Wi–Fi и/или другие типы сетей для передачи данных между вычислительными системами, серверами и вычислительными устройствами. Сеть 130 может включать в себя один или несколько сетевых концентраторов, сетевых переключателей, сетевых маршрутизаторов или любое другое сетевое оборудование, которые оперативно взаимосвязаны, тем самым обеспечивая возможность обмена информацией между RSS 160, устройством 120 вывода медиа и вычислительным устройством 110. RSS 160, устройство 120 вывода медиа и вычислительное устройство 110 могут передавать и принимать данные по сети 130 с использованием любых подходящих методов связи.

[0018] RSS 160, устройство 120 вывода медиа и вычислительное устройство 110 могут, каждое, оперативно связываться с сетью 130 с использованием соответственных сетевых линий связи. Линии связи, связывающие RSS 160, устройство 120 вывода медиа и вычислительное устройство 110 с сетью 130, могут представлять собой Ethernet, ATM или другие типы сетевых соединений, и такие соединения могут представлять собой беспроводные и/или проводные соединения.

[0019] Устройство 120 вывода медиа представляет любое подходящее устройство вывода для представления, в качестве пользовательского интерфейса 126, медиа–контента, принятого от провайдера медиа–услуг, такого как RSS 160. Модуль 124 вывода медиа сконфигурирован, чтобы принимать медиа–контент от провайдера медиа–услуг (например, телевизионного провайдера, провайдера кабельного телевидения, провайдера услуги потокового вещания и т. д.) и выводить медиа–контент посредством компонента 122 вывода. Например, устройство 120 вывода медиа может представлять собой телевизор, и компонент 122 вывода может представлять собой экран телевизора и/или динамик. Устройство 120 вывода медиа может представлять собой вычислительное устройство, и компонент 122 вывода может представлять собой дисплей, проектор и экран, динамик, шлем виртуальной реальности (VR), наушники или любой другой тип дисплея и/или динамик, который оперативно связан с устройством 120 вывода медиа и сконфигурирован, чтобы выводить медиа–контент. Устройство 120 вывода медиа может представлять собой телевизионную приставку или устройство потокового вещания медиа, и компонент 122 вывода может представлять собой дисплей и/или систему динамиков, которая оперативно связана с устройством 120 вывода медиа. Устройство 120 вывода медиа может представлять собой радио (например, домашнюю или автомобильную развлекательную систему), и компонент 122 вывода может представлять собой систему динамиков, которая оперативно связана с устройством 120 вывода медиа.

[0020] Модуль 124 вывода медиа может осуществлять связь с модулем 162 медиа–услуги RSS 160, обрабатывать медиа–контент, принятый от RSS 160, и выводить принятый и обработанный медиа–контент для представления в компоненте 122 вывода. Модуль 124 вывода медиа может выполнять операции, описанные в настоящем документе, с использованием программного обеспечения, аппаратных средств, прошивки или сочетания аппаратных средств, программного обеспечения и прошивки, находящихся и/или исполняющихся в системе 80 серверов медиа. Например, модуль 124 вывода медиа может включать в себя по меньшей мере один процессор и память, хранящую инструкции, которые, при исполнении, побуждают по меньшей мере один процессор выполнять операции, относящиеся к модулю 124 вывода медиа. Модуль 124 вывода медиа может выполнять операции при помощи множества процессоров, как одну или несколько виртуальных машин, исполняющихся на базовых аппаратных средствах устройства 120 вывода медиа, как один или несколько сервисов операционной системы или вычислительной платформы устройства 120 вывода медиа и/или как одну или несколько исполняемых программ на уровне приложения вычислительной платформы устройства 120 вывода медиа.

[0021] Модуль 124 вывода медиа может принимать потоковое аудио и видео через сеть 130 от модуля 162 медиа–услуги. Модуль 124 вывода медиа может форматировать и оптимизировать потоковое аудио и видео для вывода и отображения в качестве мультимедийного контента в компоненте 122 вывода. Модуль 124 вывода медиа может передавать мультимедийный контент на компонент 122 вывода, и компонент 122 вывода может выводить и отображать мультимедийный контент как пользовательский интерфейс 126 в динамиках и на экране компонента 122 вывода. Например, как показано на фиг. 1, пользовательский интерфейс 126 включает в себя части 128A–128N медиа–контента (обобщенно, “части 128 медиа–контента”), представленные в хронологическом порядке времен t0–tn. Каждая одна из частей 128 медиа–контента может представлять собой конкретный кадр, сегмент или другой тип подсобытия события.

[0022] RSS 160 представляет любую подходящую удаленную вычислительную систему или системы (например, один или несколько настольных компьютеров, один или несколько ноутбуков, один или несколько мэйнфреймов, один или несколько серверов, одну или несколько облачных вычислительных систем или один или несколько других типов удаленных вычислительных систем), способных обмениваться информацией посредством сети 130. Модули 162, 164 и 166 могут выполнять операции, описанные в настоящем документе, с использованием программного обеспечения, аппаратных средств, прошивки или сочетания аппаратных средств, программного обеспечения и прошивки, находящихся и/или исполняющихся в RSS 160. RSS 160 может исполнять модули 162, 164 и 166 при помощи множества процессоров или множества устройств как виртуальные машины, исполняющиеся на базовых аппаратных средствах, как один или несколько сервисов операционной системы или вычислительной платформы и/или как одну или несколько исполняемых программ на уровне приложения вычислительной платформы RSS 160.

[0023] Модуль 162 медиа–услуги выполняет функции для хостирования медиа–услуги, которая обеспечивает мультимедийные трансляции или потоковые передачи событий, через сеть 130, на вычислительные устройства, ассоциированные с абонентами медиа–услуги (например, устройство 120 вывода медиа, вычислительное устройство 110 и т. д.). Примеры событий включают в себя: фильмы, музыкальные представления (например, аудио и/или видео студийных или живых музыкальных представлений), телевизионные шоу, спортивные события, праздничные события (например, парады, празднования Нового года), научные или технологичные события (например, высадки на Луну/Марс), политические события (съезды, выборы, инаугурации), театральные события или события художественных перформансов, события срочных новостей или любой другой тип звукового или визуального восприятия, которое человек может воспринимать вживую (например, персонально) или дистанционно через устройство вывода медиа, такое как устройство 120 вывода медиа.

[0024] Например, модуль 162 медиа–услуги может хостировать услугу потоковой передачи видео по требованию, из которой пользователь устройства 120 вывода медиа может осуществлять доступ по требованию к фильмам, телевизионным шоу, музыке и другим типам медиа–контента. Модуль 162 медиа–услуги может хостировать услугу телевизионного вещания (например, одного или нескольких телевизионных каналов), из которой пользователь компонента 122 вывода медиа может осуществлять доступ к медиа–контенту на основе живой или по требованию телевизионного вещания. Модуль 162 медиа–услуги может передавать медиа–контент, ассоциированный с медиа–услугой, которую он предоставляет в сеть 130. Устройство 120 вывода медиа и/или вычислительное устройство 110 может принимать медиа–контент, передаваемый посредством модуля 162 медиа–услуги по сети 130, и выводить (например, в компоненте 122 отображения устройства 120 вывода медиа или компоненте 112 пользовательского интерфейса вычислительного устройства 110) графическую и/или звуковую информацию, извлеченную из передаваемого медиа–контента.

[0025] Модуль 164 поиска выполняет функции для хостирования услуги поиска, которая обеспечивает информацию, возвращенную из поисков, проводимых по множеству источников информации (например, веб–страниц, веб–услуг, приложений или других источников информации), к которым модуль 164 поиска осуществляет доступ через Интернет, через сеть 130 и/или посредством локального хранилища в RSS 160. Модуль 164 поиска может выполнять поиск информации, которая является релевантной для поискового запроса, который модуль 164 поиска принимает от модуля 166 SSS и/или вычислительного устройства 110. После исполнения поиска, модуль 164 поиска может выводить информацию, возвращенную из поиска, (например, результаты поиска) на инициатор запроса (например, модуль 166 услуги второго экрана и/или вычислительное устройство 110) или на некоторое другое устройство, осуществляющее связь через сеть 130.

[0026] В общем, модуль 166 SSS хостирует услугу второго экрана, которая автоматически обеспечивает актуальную, вторичную информацию, связанную с живым или предварительно записанным событием. Модуль 166 SSS получает вторичную информацию из поисков, исполнение которых вызывается модулем 166 SSS в предопределенное время в процессе пользовательского восприятия живого или предварительно записанного события. Модуль 166 SSS обеспечивает вторичную информацию вслед за исполнением поисков, в предопределенное время, чтобы дополнить или иным образом усилить пользовательское восприятие первичного контента события, представляемого в предопределенное время. Другими словами, модуль 166 SSS динамически получает и побуждает вычислительные устройства представлять вторичную информацию, поиск которой вероятно захотят выполнить пользователи вычислительных устройств, которые воспринимают событие, во время представления вторичной информации.

[0027] Например, в то время как пользователь вычислительного устройства 110 просматривает или прослушивает первичный контент события (например, трансляцию телевизионного шоу, выводимую посредством устройства 120 вывода медиа, живое спортивное событие, происходящее рядом с местоположением вычислительного устройства 110, и т.д.), модуль 166 SSS может определять, воспринимает ли пользователь или намеревается воспринять конкретное подсобытие (например, временную метку или появление подсобытия) события. В ответ на определение, что пользователь намеревается воспринять или воспринимает конкретное подсобытие, модуль 166 SSS может отправлять поисковый запрос, ассоциированный с подсобытием, на модуль 164 поиска с запросом на вторичный контент (например, контекстную справочную информацию, отсылки, ссылки для дополнительного исследования, изображения и карты и другую связанную с событием информацию) о поисковом запросе и подсобытии. Модуль 166 SSS может получать от модуля 164 поиска вторичный контент в ответ на запрос.

[0028] Модуль 166 SSS может только использовать, анализировать или хранить информацию о пользователях вычислительных устройств после явного приема согласия от каждого из пользователей сделать это. Кроме того, любая информация, оставленная модулем 166 SSS, может трактоваться или зашифровываться, чтобы удалить или иным образом защитить идентификационную информацию отдельных пользователей. Модуль 166 SSS разрешает пользователям отзывать согласие, тем самым побуждая модуль 166 SSS прекращать использование, анализ или хранение их информации.

[0029] Модуль 166 SSS может запаковывать и выводить на вычислительное устройство 110 вторичный контент, который он принимает от модуля 164 поиска, с инструкциями относительно того, как и когда вычислительное устройство 110 должно выводить вторичный контент. Инструкции могут побуждать вычислительное устройство 110 выводить вторичный контент в синхронизации с подсобытием (например, по мере того как пользователь воспринимает подсобытие). Другими словами, инструкции могут побуждать вычислительное устройство 110 представлять вторичный контент во время, когда его представление будет наиболее релевантным первичному контенту, воспринимаемому пользователем. Поскольку модуль 166 SSS получает вторичный контент из поисков, исполняемых в процессе пользовательского восприятия события, вторичный контент более вероятно будет содержать текущую (например, актуальную и не устаревшую) информацию о подсобытии.

[0030] Модуль 166 SSS может определять поисковые запросы для последующего поиска в течение события. Модуль 166 SSS может определять поисковые запросы как популярные поисковые запросы, которые искало множество вычислительных устройств, в то время как пользователи множества вычислительных устройств воспринимали одно и то же или сходное событие. Модуль 166 SSS может полагаться на данные, собранные посредством модуля 164 поиска и модуля 162 медиа–услуги, чтобы определять, какие запросы были исполнены посредством модуля 164 поиска, когда модуль 162 медиа–услуги выводил различные типы мультимедийных трансляций или потоковых передач событий.

[0031] С использованием модели (например, моделей глубокого обучения, моделей долгосрочной или краткосрочной памяти, байесовских сетей, искусственных нейронных сетей или любых других машинно–обучаемых моделей, моделей искусственного интеллекта и других типов моделей), модуль 166 SSS может анализировать информацию о типах поисков, которые модуль 164 поиска исполняет, в то время как модуль 162 медиа–услуги выводит определенные типы мультимедийных трансляций или потоковых передач событий. Модель модуля 166 SSS может генерировать правила, которые, в ответ на вводимые конкретные типы мультимедийных трансляций или потоковых передач событий, могут выводить один или несколько конкретных поисковых запросов, поиск которых в течение события, вероятно, хотели бы выполнить пользователи, воспринимающие события.

[0032] Модуль 166 SSS может дополнять или модифицировать поисковые запросы на основе вспомогательной информации, которую модуль 166 SSS получает о конкретном событии. Вспомогательная информация может включать в себя темы или ключевые слова, ассоциированные с событием (например, из семантического текста, ассоциированного с событием, метаинформации о событии, графов знаний события, онлайн–энциклопедий и других ссылок, которые доступны для RSS 160 и модуля 166 SSS). Модуль 166 SSS может идентифицировать темы или ключевые слова, ассоциированные с событием, и генерировать с использованием текста идентифицированных тем или ключевых слов поисковые запросы, связанные с событием. Например, если событие представляет собой конкретный фильм, модуль 166 SSS может использовать модуль 164 поиска, чтобы исполнять поиск с использованием названия фильма в качестве поискового запроса, чтобы идентифицировать актеров, эпоху, жанр, место действия и другие темы, связанные с конкретным фильмом. Вместо того чтобы создавать общие поисковые запросы (например, поисковый запрос, который задает “актеры” в общем смысле), модуль 166 SSS может сужать поисковые запросы с использованием вспомогательной информации, полученной о событии (например, путем создания поискового запроса, который задает: конкретных актеров фильма с использованием их имен, временного периода эпохи, местоположений места действия и других тем, связанных с событием).

[0033] Модуль 166 SSS может создавать поисковые запросы на основе запросов, определенных правилами модели, и сужать или уточнять запросы темами, связанными с событием. SSS может сохранять поисковые запросы в памяти модуля 166 SSS и маркировать сохраненные поисковые запросы идентификатором события. В будущем, если модуль 166 SSS определяет, что пользователь вычислительного устройства 110 воспринимает данное событие, модуль 166 SSS может извлечь сохраненные запросы, побудить модуль 164 поиска выполнить поиск для поисковых запросов, чтобы получить вторичную информацию о событии, и отправить вторичную информацию на вычислительное устройство 110 для представления, когда пользователь воспринимает событие.

[0034] Модуль 166 SSS может планировать, для каждого из множества поисковых запросов, определенных для последующего поиска в течение события, соответственное время или подсобытие в течение события, чтобы выполнить поиск для соответствующего поискового запроса. Как использовано в настоящем документе, “соответственное время” может относиться к хронологическому подсобытию (например, временной метке, сегменту, времени дня или некоторому другому временному подсобытию) или не–хронологическому подсобытию (например, появлению чего–то, не обязательно привязанному к конкретному времени, связанному с событием, такому как возникновение действия, появление конкретного предмета и т. д.).

[0035] Модуль 166 SSS и его модель могут создавать правила, задающие, по какому запросу следует выполнять поиск в ответ на какое подсобытие. Например, модель модуля 166 SSS может полагаться на правило, указывающее, что популярный поисковый запрос, отправленный на модуль 164 поиска во время перерывов в спортивных играх, представляет собой поиски результатов других игр, происходящих в это время. В процессе трансляции хоккейного матча между двумя командами, одно правило модуля 166 SSS может побуждать модуль 164 поиска выполнять поиск, в течение перерыва между периодами хоккейного матча, результатов других хоккейных матчей, происходящих в то же самое время. Модель модуля 166 SSS может полагаться на правило, указывающее, что популярный поисковый запрос, отправленный на модуль 164 поиска в ответ на выставление очков в спортивных матчах, представляет собой поиски статистики игроков, которые зарабатывают очки. Поэтому, другое правило модуля 166 SSS могут побуждать модуль 164 поиска выполнять поиск, в ответ на подсчет очков в процессе хоккейного матча, для игровой статистики игрока, который заработал очко, и игроков, которые ассистировали в процессе игры.

[0036] Модуль 166 SSS может маркировать предварительно определенные поисковые запросы идентификатором подсобытия, так что если модуль 166 SSS определяет, что подсобытие будет происходить или произошло, модуль 166 SSS может быстро извлекать предварительно определенный поисковый запрос(ы), ассоциированный с этим подсобытием. Например, если подсобытие представляет собой хронологическое подсобытие, идентификатор подсобытия может представлять собой конкретную временную метку в течение события. Если подсобытие представляет собой нехронологическое подсобытие, идентификатор подсобытия может представлять собой условие, которое должно быть удовлетворено, чтобы идентифицировать конкретный запрос как связанный с конкретным подсобытием. Если модуль 166 SSS определяет, что пользователь вычислительного устройства 110 воспринимает конкретное подсобытие события, модуль 166 SSS может извлечь сохраненные запросы, которые были маркированы идентификатором, ассоциированным с этим подсобытием, побудить модуль 164 поиска выполнить поиск извлеченных поисковых запросов, чтобы получить вторичную информацию об этом подсобытии, и отправить вторичную информацию на вычислительное устройство 110 для представления перед, во время или после того, как пользователь воспринимает это подсобытие.

[0037] После того, как модуль 166 SSS принял явное согласие от пользователей клиентских устройств (например, вычислительного устройства 110), которые подписываются на его услугу информации второго экрана, чтобы использовать, анализировать и сохранять информацию о пользователях и клиентских устройствах, модуль 166 SSS может определять, воспринимают ли пользователи клиентских устройств событие, и в ответ на определение, что пользователь клиентского устройства воспринимает событие, модуль 166 SSS может исполнять поиски поисковых запросов, связанных с событием, и выводить, на клиентские устройства в течение события, информацию, возвращенную из поисков. Например, модуль 166 SSS может принимать данные от вычислительного устройства 110, указывающие, что пользователь вычислительного устройства 110 присутствует на хоккейном мачте, имея при себе вычислительное устройство 110. Модуль 166 SSS может определять один или несколько поисковых запросов, ассоциированных с хоккейным матчем, и в ответ на прием дополнительных данных от вычислительного устройства 110, указывающих, когда конкретное подсобытие произошло или должно произойти, модуль 166 SSS может побуждать модуль 164 поиска исполнять поиск одного или нескольких поисковых запросов, маркированных конкретным подсобытием. Модуль 166 SSS может принимать информацию, полученную посредством модуля 164 поиска из исполнения поиска, и выводить информацию на вычислительное устройство 110 с инструкциями о том, когда, в течение события, следует отобразить или иным образом представить информацию пользователю.

[0038] Вычислительное устройство 110 представляет отдельное мобильное или немобильное вычислительное устройство. Примеры вычислительного устройства 110 включают в себя мобильный телефон, планшет, ноутбук, настольный компьютер, сервер, мэйнфрейм, телевизионную приставку, телевизор, носимое устройство (например, компьютеризованные часы, компьютеризованные очки, компьютеризованные перчатки и т. д.), домашнее устройство или систему автоматизации (например, интеллектуальный термостат или устройство домашнего помощника), персональные цифровые помощники (PDA), игровую систему, медиаплеер, устройство для чтения электронных книг, мобильную телевизионную платформу, автомобильную систему навигации или информационной поддержки водителя или любой другой тип мобильного, немобильного, носимого и не–носимого вычислительного устройства, сконфигурированного, чтобы исполнять услугу вторичного экрана через сеть 130.

[0039] UIC 112 вычислительного устройства 110 может функционировать как устройство ввода и/или вывода для вычислительного устройства 110. UIC 112 может быть реализован с использованием различных технологий. Например, UIC 112 может функционировать как устройство ввода с использованием чувствительных к присутствию экранов ввода, микрофонных технологий, технологий инфракрасных датчиков или другой технологии устройств ввода для использования при приеме пользовательского ввода. UIC 112 может функционировать как устройство вывода, сконфигурированное, чтобы представлять вывод пользователю с использованием любого одного или нескольких устройств отображения, технологий динамиков, технологий тактильной обратной связи или другой технологии устройств вывода для использования при выведении информации пользователю.

[0040] В общем, модуль 114 SSC представляет собой клиента для услуги информации второго экрана, обеспечиваемой модулем 166 SSS RSS 160. Модуль 114 SSC обеспечивает вторичный контент, поиск которого вероятно захотят выполнить пользователи, воспринимающие первичный контент. Таким образом, модуль 114 SSC обеспечивает возможность вычислительному устройству 110 осуществлять доступ к услуге информации второго экрана модуля 166 SSS, чтобы автоматически получать текущую, вторичную информацию, недавно полученную из поисков, исполняемых посредством RSS 160 в предопределенное время в процессе пользовательского восприятия первичного контента живого или предварительно записанного события. Вторичная информация, полученная посредством модуля 114 SSC из модуля 166 SSS, предназначена дополнять или иным образом усиливать пользовательское восприятие первичного контента события. Модуль 114 SSC определяет, когда пользователь вычислительного устройства 110 воспринимает событие, и представляет (например, отображает или иным образом выводит) вторичный контент (например, как поток проактивного поиска), который был сгенерирован или персонализирован для пользователя, для его или ее текущего восприятия события.

[0041] Модуль 114 может выполнять операции, описанные в настоящем документе, с использованием программного обеспечения, аппаратных средств, прошивки или сочетания аппаратных средств, программного обеспечения и прошивки, находящихся и/или исполняющихся в вычислительном устройстве 110. Вычислительное устройство 110 может исполнять модуль 114 при помощи множества процессоров или множества устройств как виртуальные машины, исполняющиеся на базовых аппаратных средствах, как одну или несколько сервисов операционной системы или вычислительной платформы и/или как одну или несколько исполняемых программ на уровне приложения вычислительной платформы вычислительного устройства 110.

[0042] В то время как пользователь вычислительного устройства 110 просматривает или прослушивает первичный контент события (например, фильм, выводимый устройством 120 вывода медиа, событие живой речи или музыкальное представление, происходящее рядом с местоположением вычислительного устройства 110, и т.д.), модуль 114 SSC может отправлять сообщение на модуль 116 SSS, который указывает, что пользователь вычислительного устройства 110 просматривает или прослушивает первичный контент события и/или конкретное подсобытие события. В ответ, модуль 114 SSC может принимать посредством сети 130 вторичный контент от модуля 166 SSS вместе с инструкциями относительно того, когда модуль 114 SSC должен побудить вычислительное устройство 110 выводить вторичный контент. Модуль 114 SSC может интерпретировать инструкции, принятые от модуля 166 SSS, и побуждать UIC 112 представлять вторичный контент в соответствии с инструкциями, так что вторичный контент выводится в синхронизации с первичным контентом, воспринимаемым пользователем.

[0043] Например, как показано на фиг. 1, модуль 114 SSC может побуждать UIC 112 представлять пользовательский интерфейс 128, который включает в себя части 118A–118N поиска контента (обобщенно, “части 118 поиска контента”), отображаемого в хронологическом порядке времен t0–tn. Части 118 поиска контента могут представлять собой информационные карты, которые содержат дополнительную информацию (т.е., вторичный контент), связанную с соответствующей дополнительной информацией частей 128 медиа–контента. Каждая из частей 118 поиска контента может быть представлена посредством UIC 112 приблизительно в то же самое время или незадолго до или после того, как компонент 122 вывода представил соответствующую дополнительную информацию частей 128 медиа–контента. В некоторых примерах, части 118 поиска контента могут аннотироваться временными метками, а также другими временными разделителями, такими как маркеры дорожек, сцен или другие логические маркеры, чтобы обеспечить ясное указание, что модуль 114 SSC побуждает UIC 112 представить части 118 поиска контента, которые релевантны конкретной части 128 медиа–контента, который в текущее время воспринимается пользователем.

[0044] Таким образом, модуль 114 SSC через доступ к услуге информации второго экрана может обеспечивать возможность вычислительному устройству 110 динамически получать и представлять текущий (т.е., актуальный) вторичный контент, который является релевантным для события, в то время как пользователь вычислительного устройства воспринимает событие. Модуль 114 SSC может побуждать вычислительное устройство 110 представлять вторичный контент во время в течение события, когда вторичный контент является наиболее релевантным для события.

[0045] Таким образом, вместо того, чтобы требовать от пользователя вручную обеспечивать ввод в вычислительное устройство, чтобы выполнять поиск вторичной информации или взаимодействовать с предварительно произведенным восприятием вторичного экрана, которое может полагаться на устаревшую информацию, система, такая как система 100, может обеспечивать возможность вычислительному устройству автоматически представлять актуальную вторичную информацию во время в течение события, когда вторичная информация является наиболее релевантной для конкретной временной метки или подсобытия события. Путем представления текущей или актуальной информации, которая получена недавно, система может обеспечивать возможность вычислительному устройству представлять более желательное восприятие второго экрана, которое не требуется обновлять вручную, так как вторичная информация изменяется с течением времени.

[0046] Фиг. 2 представляет собой блок–схему, иллюстрирующую примерное вычислительное устройство, сконфигурированное, чтобы представлять информацию, связанную с событием, которая была возвращена из поисков, исполняемых в предопределенное время, когда пользователь вычислительного устройства воспринимает событие, в соответствии с одним или несколькими аспектами настоящего раскрытия. Вычислительное устройство 210 согласно фиг. 2 описано ниже в качестве примера вычислительного устройства 110 согласно фиг. 1. Фиг. 2 иллюстрирует только один конкретный пример вычислительного устройства 210, и множество других примеров вычислительного устройства 210 могут использоваться в других примерах и могут включать в себя поднабор компонентов, включенных в примерное вычислительное устройство 210, или могут включать в себя дополнительные компоненты, не показанные на фиг. 2.

[0047] Как показано в примере на фиг. 2, вычислительное устройство 210 включает в себя компонент пользовательского интерфейса (UIC) 212, один или несколько процессоров 240, одну или несколько блоков 242 связи, один или несколько компонентов 244 ввода, один или несколько компонентов 246 вывода и один или несколько компонентов 248 хранения. UIC 212 включает в себя компонент 202 вывода и компонент 204 ввода. Компоненты 248 хранения вычислительного устройства 210 включают в себя модуль 270 второго экрана и хранилище 272 данных запроса и хранилище 273 данных характерных признаков (отпечатков) события. Модуль 270 второго экрана также включает в себя модуль 274 планирования запроса, модуль 276 обнаружения события и подсобытия (ESD) и модуль 278 контекста.

[0048] Каналы 250 связи могут взаимно соединять каждый из компонентов 212, 240, 242, 244, 246 и 248 для меж–компонентных коммуникаций (физически, коммуникативно и/или оперативно). В некоторых примерах, каналы 250 связи могут включать в себя системную шину, сетевое соединение, структуру данных связи между процессами или какой–либо другой способ для передачи данных.

[0049] Один или несколько блоков 242 связи вычислительного устройства 210 могут осуществлять связь с внешними устройствами через одну или несколько проводных и/или беспроводных сетей посредством передачи и/или приема сетевых сигналов по одной или нескольким сетям. Примеры блоков 242 связи включают в себя карту сетевого интерфейса (например, такую как Ethernet–карта), оптический приемопередатчик, радиочастотный приемопередатчик, приемник GPS или любой другой тип устройства, которое может отправлять и/или принимать информацию. Другие примеры блоков 242 связи могут включать в себя коротковолновые радиоустройства, сотовые радиоустройства передачи данных, радиоустройства беспроводной сети, а также контроллеры универсальной последовательной шины (USB).

[0050] Один или несколько компонентов 244 ввода вычислительного устройства 210 могут принимать ввод. Примеры ввода представляют собой тактильный, аудио и видео ввод. Компоненты 242 ввода вычислительного устройства 210, в одном примере, включают в себя чувствительное к присутствию устройство ввода (например, чувствительный к прикосновению экран, PSD), мышь, клавиатуру, систему голосового ответа, видеокамеру, микрофон или любой другой тип устройства для обнаружения ввода от человека или машины. В некоторых примерах, компоненты 242 ввода могут включать в себя один или несколько компонентов датчика, один или несколько датчиков местоположения (компоненты GPS, компоненты Wi–Fi, сотовые компоненты), один или несколько датчиков температуры, один или несколько датчиков движения (например, акселерометры, гироскопы), один или несколько датчиков давления (например, барометр), один или несколько датчиков внешнего освещения и один или несколько других датчиков (например, микрофон, камеру, инфракрасный датчик близости, гигрометр и тому подобное). Другие датчики могут включать в себя датчик частоты пульса, магнитометр, глюкометр, датчик гигрометра, датчик запаха, датчик компаса, датчик шагомера, помимо прочих других неограничивающих примеров.

[0051] Один или несколько компонентов 246 вывода вычислительного устройства 110 могут генерировать вывод. Примеры вывода представляют собой тактильный, аудио и видео вывод. Компоненты 246 вывода вычислительного устройства 210, в одном примере, включают в себя PSD, звуковую карту, карту адаптера видеографики, динамик, монитор на электронно–лучевой трубке (CRT), жидкокристаллический дисплей (LCD) или любой другой тип устройства для генерации вывода человеку или машине.

[0052] UIC 212 вычислительного устройства 210 может быть аналогично UIC 112 вычислительного устройства 110 и включает в себя компонент 202 вывода и компонент 204 ввода. Компонент 202 вывода может представлять собой компонент отображения, такой как экран, на котором информация отображается посредством UIC 212, и компонент 204 ввода может представлять собой чувствительный к присутствию компонент ввода, который обнаруживает объект на и/или рядом с компонентом 202 отображения. Компонент 202 вывода и компонент 204 ввода могут представлять собой пару динамика и микрофона или любую другую комбинацию одного или нескольких компонентов ввода и вывода, таких как компоненты 244 ввода и компоненты 244 вывода. В примере на фиг. 2, UIC 212 может представлять пользовательский интерфейс (такой как пользовательский интерфейс 116 на фиг. 1).

[0053] Хотя UIC 212 проиллюстрирован как внутренний компонент вычислительного устройства 210, он может также представлять собой внешний компонент, который совместно использует канал данных с вычислительным устройством 210 для передачи и/или приема ввода и вывода. Например, в одном примере, UIC 212 представляет встроенный компонент вычислительного устройства 210, расположенный внутри и физически соединенный с внешним корпусом вычислительного устройства 210 (например, экран на мобильном телефоне). В другом примере, UIC 212 представляет внешний компонент вычислительного устройства 210, расположенный снаружи и физически отделенный от компоновки или корпуса вычислительного устройства 210 (например, монитор, проектор и т.д., которое совместно использует проводной и/или беспроводной канал данных с вычислительным устройством 210).

[0054] Один или несколько компонентов 248 хранения внутри вычислительного устройства 210 могут хранить информацию для обработки во время работы вычислительного устройства 210 (например, вычислительное устройство 210 может хранить данные, доступ к которым осуществляется посредством модулей 270, 274, 276 и 278, и хранилищ 272 и 273 данных во время исполнения в вычислительном устройстве 210). В некоторых примерах, компонент 248 хранения представляет собой временную память, что означает, что первичная цель компонента 248 хранения состоит не в долгосрочном хранении. Компоненты 248 хранения на вычислительном устройстве 210 могут быть сконфигурированы для краткосрочного хранения информации как энергозависимая память и поэтому не удерживают сохраненный контент при отключении питания. Примеры энергозависимой памяти включают в себя память с произвольным доступом (RAM), динамическую память с произвольным доступом (DRAM), статическую память с произвольным доступом (SRAM) и другие формы энергозависимой памяти, известные в данной области техники.

[0055] Компоненты 248 хранения, в некоторых примерах, также включают в себя один или несколько считываемый компьютером носителей хранения. Компоненты 248 хранения в некоторых примерах включают в себя один или несколько непереходных считываемых компьютером носителей хранения. Компоненты 248 хранения могут быть сконфигурированы, чтобы хранить большие объемы информации, чем обычно хранимые энергозависимой памятью. Компоненты 248 хранения могут дополнительно быть сконфигурированы для долгосрочного хранения информации как пространство энергонезависимой памяти и сохранения информации после циклов включения/отключения питания. Примеры энергонезависимой памяти включают в себя магнитные жесткие диски, оптические диски, дискеты, флэш–память или формы электрически программируемой памяти (EPROM) или электрически стираемой программируемой памяти (EEPROM). Компоненты 248 хранения могут хранить программные инструкции и/или информацию (например, данные), ассоциированную с модулями 270, 274, 276 и 278 и хранилищами 272 и 273 данных. Компоненты 248 хранения могут включать в себя память, сконфигурированную, чтобы хранить данные или другую информацию, ассоциированную с модулями 270, 274, 276 и 278 и хранилищами 272 и 273 данных.

[0056] Один или несколько процессоров 240 могут реализовывать функциональность и/или исполнять инструкции, ассоциированные с вычислительным устройством 210. Примеры процессоров 240 включают в себя процессоры приложений, контроллеры отображения, вспомогательные процессоры, один или несколько концентраторов датчиков и любые другие аппаратные средства, сконфигурированные, чтобы функционировать как процессор, блок обработки или устройство обработки. Модули 270, 274, 276 и 278 могут приводиться в действие процессорами 240, чтобы выполнять различные действия, операции или функции вычислительного устройства 210. Например, процессоры 240 вычислительного устройства 210 могут извлекать и исполнять сохраненные компонентами 248 хранения инструкции, которые побуждают процессоры 240 выполнять операции модулей 270, 274, 276 и 278. Инструкции, при исполнении процессорами 240, могут побуждать вычислительное устройство 210 сохранять информацию в компонентах 248 хранения.

[0057] Модуль 270 второго экрана может включать в себя всю функциональность модуля 162 SSS RSS 160 согласно фиг. 1 и модуля 114 SSC вычислительного устройства 110 согласно фиг. 1 и может выполнять аналогичные операции как модуль 162 SSS и модуль 114 SSC для обеспечения восприятия второго экрана, которое автоматически обеспечивает актуальную вторичную информацию, связанную с живым или предварительно записанным событием, происходящим в присутствии вычислительного устройства 210. Таким образом, модуль 270 второго экрана может собирать и выводить информацию, связанную с событием, которая должна представляться посредством UIC 212 пользователю вычислительного устройства 210, когда пользователь воспринимает событие.

[0058] После приема явного согласия от пользователя с сохранением и использованием персональной информации, модуль 278 контекста может обрабатывать и анализировать контекстную информацию, ассоциированную с вычислительным устройством 210, чтобы определить контекст вычислительного устройства 210 или контекст пользователя вычислительного устройства 210. Модуль 278 контекста может зашифровывать или иным образом обрабатывать информацию, которая анализируется и/или сохраняется, чтобы удалить действительную идентичность пользователя перед сохранением или использованием персональной информации. Например, информация может обрабатываться модулем 278 контекста так, что любая персонально идентифицируемая информация удаляется при сохранении или отправке на удаленное вычислительное устройство (например, RSS 160) для обработки.

[0059] Контекст вычислительного устройства 210 может задавать одну или несколько характеристик, ассоциированных с вычислительным устройством 210 и/или пользователем вычислительного устройства 210 и его или ее физическим и/или виртуальным окружением в различных местоположениях и временах. Например, модуль 278 контекста может определять, как часть контекста вычислительного устройства 210, физическое местоположение, ассоциированное с вычислительным устройством 210 в конкретное время, на основе контекстной информации, ассоциированной с вычислительным устройством 210, из этого конкретного времени. По мере того, как изменяется контекстная информация (например, на основе информации датчика, указывающей движение во времени), модуль 278 контекста может обновлять физическое местоположение в определенном контексте вычислительного устройства 210.

[0060] Типы информации, которые определяют контекст вычислительного устройства для конкретного местоположения и/или времени, слишком многочисленны, чтобы их перечислять. В качестве некоторых примеров, контекст вычислительного устройства может задавать: акустический характерный признак (сигнатуру), видео характерный признак, местоположение, траекторию движения, направление, скорость, название учреждения, адрес улицы, тип места, здание, погодные условия и дорожную обстановку в различных местоположениях и временах. Контекст вычислительного устройства может дополнительно включать в себя информацию календаря, которая определяет встречу или событие, ассоциированное с различными местоположениями и временами, адреса веб–страниц, просматриваемых в различных местоположениях и временах, вводы текста, произведенные в полях данных веб–страниц, просматриваемых в различных местоположениях и временах (например, истории поиска или просмотра) и другие данные использования приложения, ассоциированные с различными местоположениями и временами. Контекст вычислительного устройства может дополнительно включать в себя информацию о потоковых передачах аудио и/или видео, доступных или транслируемых в присутствии вычислительного устройства в различных местоположениях и временах, телевизионные или кабельные/спутниковые трансляции, доступные или транслируемые в присутствии вычислительного устройства в различных местоположениях и временах, и информацию о других услугах, доступ к которым осуществляется вычислительным устройством в различных местоположениях и временах.

[0061] Модуль 278 контекста может совместно использовать контекст вычислительного устройства 210 с модулем 276 ESD, из которого модуль 276 ESD может определять, воспринимает ли пользователь вычислительного устройства 210 (например, просматривает, прослушивает и т.п. в присутствии события). Модуль 278 контекста может отвечать на запрос от модуля 276 ESD на текущий контекст или текущее состояние, ассоциированное с вычислительным устройством 210, путем вывода данных на модуль 278 ESD, который определяет текущее состояние или контекст пользователя.

[0062] Хранилище 272 данных запроса сконфигурировано, чтобы хранить поисковые запросы для последующего поиска в течение события. Каждый из поисковых запросов, сохраненных в хранилище 272 данных запроса, может быть маркирован одним или несколькими идентификаторами события и/или одним или несколькими идентификаторами подсобытия. Модуль 276 ESD может выполнять поиск идентификатора события или идентификатора подсобытия и в ответ извлекать один или несколько поисковых запросов, которые маркированы идентификаторами.

[0063] Хранилище 273 данных характерных признаков событий сконфигурировано, чтобы хранить характерные признаки, которые соответствуют конкретным подсобытиям события. Характерные признаки (сигнатуры) могут представлять собой акустические сигнатуры, видео сигнатуры, радио сигнатуры или какой–либо другой тип уникального кода, генерируемого из контекстной информации, выбираемой вычислительным устройством в присутствии события. Каждая из сигнатур, сохраненных в хранилище 273 данных запроса, может быть доступной для поиска. Например, модуль 276 ESD может выполнять поиск в базе данных конкретной части контекстной информации (например, звуковой выборки, видео выборки, изображения и т.д.) и в ответ извлекать один или несколько идентификаторов события или подсобытия.

[0064] Модуль 274 планирования запроса сконфигурирован, чтобы определять один или несколько поисковых запросов для последующего исполнения в течение события и отображать или планировать один или несколько поисковых запросов для последующего исполнения в соответственные времена или при появлении соответственных подсобытий события. Соответственное время для исполнения поиска для конкретного поискового запроса может соответствовать хронологической части хронологической временной шкалы события или может соответствовать конкретному действию, которое, как ожидается, произойдет в течение события. Другими словами, модуль 274 планирования запроса может идентифицировать, в начальное время, событие, которое множество пользователей других вычислительных устройств, вероятно, будут воспринимать в последующее время, кэшировать (например, в хранилище 272 данных запроса), для поиска в последующее время, множество поисковых запросов.

[0065] Модуль 274 планирования запроса может генерировать “курируемый (контролируемый) поток” поисковых запросов для исполнения в течение события. Этот контролируемый поток может быть динамическим или предварительно созданным.

[0066] Модуль 274 планирования запроса может автоматически планировать, по меньшей мере для одного из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса. Например, для живых событий, таких как спортивные события, парады и политические события, модуль 274 планирования запроса может создавать контролируемый поток динамически. Поскольку множество людей могут воспринимать одно и то же событие в одно и то же время, модуль 274 планирования запроса может создавать контролируемый поток один раз и совместно использовать контролируемый поток с таким количеством других вычислительных устройств, как это требуется для одновременного исполнения на каждом соответственном устройстве. Даже хотя контролируемый поток может использоваться совместно, некоторая персонализация все еще может происходить, например, воздерживаясь от исполнения поиска для конкретного поискового запроса на основе персональных предпочтений пользователей.

[0067] Модуль 274 планирования запроса может вручную планировать, по меньшей мере для одного из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса на основе пользовательского ввода. Например, для предварительно записанных медиа, таких как фильмы, записанная музыка, живые подготовленные выступления, модуль 274 планирования запроса может предварительно генерировать контролируемый поток на основе пользовательского ввода посредством пользовательского интерфейса для модуля 274 планирования запроса. Предварительно сгенерированный контролируемый поток может затем обновляться и контролироваться вручную редакторами или наблюдателями контента, чтобы улучшить восприятие позже.

[0068] Модуль 274 планирования запроса может обеспечивать возможность гибридного автоматического и ручного планирования поисковых запросов. Например, для живых событий, таких как спортивные события, парады и политические события, модуль 274 планирования запроса может создавать контролируемый поток динамически. Однако контролируемый поток может обновляться в течение события через панель управления, где человек (человек–куратор (организатор)) способен побуждать модуль 274 планирования запроса вводить поисковые запросы в “прямую трансляцию”.

[0069] В дополнение к опоре на модуль 274 планирования запроса, модуль 270 второго экрана может обеспечивать возможность создателям контента третьей стороны (например, киностудиям, музыкальным продюсерам, корпоративным клиентам, предпринимателям, правительствам и т.п.), которые обеспечены инструментами и возможностями, создавать настроенные контролируемые потоки свои собственные тщательно подобранные последовательности операций для своего контента. Третьи стороны могут принять решение аннотировать сцены фильма или TV–шоу более подробно, обратить внимание на информацию, как они того желают, или даже продвигать определенных актеров особыми способами. Это может давать производителям контента стимул создавать действительно полноценные потоковые передачи (конкретные карты в конкретные времена при восприятии медиа), чтобы расширить их медиа. Для предприятия, этот принцип мог бы использоваться, чтобы создавать источник вторичной информации для презентаций или объявлений компании.

[0070] Модуль 274 планирования запроса может полагаться на модель, чтобы идентифицировать темы или ключевые слова, ассоциированные с событием, и генерировать, на основе тем или ключевых слов, множество поисковых запросов. Модуль 274 планирования запроса может сохранять поисковые запросы в хранилище 272 данных запроса и маркировать сохраненные поисковые запросы идентификатором события. Модуль 274 планирования запроса может маркировать предопределенные поисковые запросы, сохраненные в хранилище 272 данных запроса, идентификатором подсобытия события для более быстрого извлечения, если модуль 276 ESD обнаруживает появление подсобытия.

[0071] Модуль 274 планирования запроса может определять множество запросов для последующего исполнения в течение события на основе множества запросов, которые он может определять для другого, но подобного события. Другими словами, модуль 274 планирования запроса может определять множество поисковых запросов для первого события, которые включают в себя один или несколько предыдущих поисковых запросов, для которых поиск выполнялся в течение второго события, которое имело место в более раннее время. Второе событие может отличаться от первого события, однако второе событие может быть ассоциировано с темами или ключевыми словами, ассоциированными с первым событием. Например, модуль 274 планирования запроса может определить один или несколько первых запросов для исполнения в течение баскетбольного матча между командами A и B в субботу. На следующий день (воскресенье), модуль 274 планирования запроса может определить вторую группу запросов для исполнения в течение баскетбольного матча между командами C и D. Вторая группа запросов может включать в себя некоторые или все из одного или нескольких первых запросов, которые он определил в субботу для матча между командами A и B, поскольку оба события представляли собой баскетбольные матчи.

[0072] Модуль 276 ESD сконфигурирован, чтобы определять, воспринимает ли пользователь вычислительного устройства 210 конкретное подсобытие события, и если да, побуждать модуль 270 второго экрана исполнять поиск поискового запроса, который был предварительно запланирован или отображен на конкретное подсобытие. Модуль 276 ESD может побуждать модуль 270 второго экрана выполнять поиск для конкретного поискового запроса, в то же время продолжая определять, что пользователь вычислительного устройства воспринимает событие.

[0073] Модуль 276 ESD может определять, что пользователь вычислительного устройства 2010 воспринимает событие, в ответ на определение, что внешнее аудио или видео, захваченное посредством вычислительного устройства 210, включает в себя указания звуков или изображений, ассоциированных с соответственным временем в течение события, в которое поиск для конкретного поискового запроса из множества поисковых запросов запланирован для выполнения поиска. Например, модуль 276 ESD может принимать контекстную информацию от модуля 278 контекста, который включает в себя часть внешнего аудио или видео, захваченного микрофоном или камерой компонентов 244 ввода. Модуль 276 ESC может сравнивать контекстную информацию с характерными признаками события, сохраненными в хранилище 273 данных, чтобы определить, совпадает ли внешнее аудио или видео с конкретным событием и/или подсобытием конкретного события. В ответ на идентификацию события или подсобытия, модуль 276 ESD может выполнять поиск в хранилище 272 данных запроса для одного или нескольких поисковых запросов, маркированных идентификатором идентифицированного события или подсобытия. Модуль 276 ESD может получать поисковый запрос, который был маркирован идентификатором события или подсобытия, идентифицированного из контекстной информации, и побуждать модуль 270 второго экрана вызывать модуль 164 поиска RSS 160, чтобы исполнить поиск с использованием поискового запроса. Модуль 270 второго экрана может побуждать UIC 212 отображать часть 118A информации, возвращенной из поиска, например, как пользовательский интерфейс 116.

[0074] По мере того, как изменяется контекст вычислительного устройства 210, модуль 276 ESD может непрерывно получать поисковые запросы, которые маркированы идентификаторами обнаруженных подсобытий, и побуждать модуль 270 второго экрана вызывать модуль 164 поиска RSS 160, чтобы исполнять последующие поиски с использованием недавно полученных поисковых запросов. Модуль 270 второго экрана может побуждать UIC 212 обновлять его отображение пользовательского интерфейса 116 и отображать дополнительные части 118B–118N информации, возвращенной из последующих поисков.

[0075] Модуль 276 ESD может обеспечивать возможность модулю 270 второго экрана оставаться синхронизированным с восприятием события, даже если событие поставлено на паузу или запущено заново. Например, для предварительно записанного медиа (фильмов, музыки и т. д.), модуль 276 ESD может непрерывно наблюдать контекстную информацию, полученную от модуля 278 контекста, чтобы знать, когда следует побудить модуль 270 второго экрана начать поиск для показа конкретной информации (например, 118A) и когда следует прокрутить эту информацию и показать новую информацию (например, 118B–118N). Когда событие поставлено на паузу, модуль 276 ESD может побуждать модуль 270 второго экрана воздержаться от прокрутки пользовательского интерфейса 116 и продолжить прокрутку пользовательского интерфейса 116, чтобы показать дополнительные части 118, когда событие продолжается. И поскольку модуль 276 ESD непрерывно прослушивает в течение события, модуль 276 ESD может побуждать модуль 270 второго экрана всегда отображать информацию поиска, которая релевантна конкретному подсобытию (например, даже если событие быстро прокручивается вперед или реверсируется).

[0076] Модуль 270 второго экрана может запаковывать информацию, отображаемую посредством UIC 212, на интерфейс на основе карты, который отображается как пользовательский интерфейс 116. Каждая карта может отображаться, в то время как конкретное подсобытие происходит, должно произойти или недавно произошло.

[0077] Для события фильма типы информации, содержащейся в карте как одна из частей 118 контента поиска, включают в себя: биографию актера, другие фильмы, в которых участвовал актер, информацию места – где происходила конкретная сцена, карты, сюжет, история, справочная информация – для исторических фильмов, краткие резюме важной исторической справочной информации. Отсылки на события, людей и места, мета–информация о фильме, например, если это выдающийся или важный фильм, может быть показана карта, объясняющая почему (награды академий, новаторский фильм, важный по какой–то причине) и в конце фильма, связанные или сходные фильмы, чтобы подтолкнуть к дополнительному изучению или просмотру. Также, во время фильма, дополнительные фильмы, которые связывают или помогают объяснить происходящее, могут предлагаться пользователю для просмотра. В конце фильма, связанный или сходный контент может быть показан и предложен.

[0078] Для музыкального события типы информации, содержащейся в карте как одна из частей 118 поиска контента, включают в себя: другие записи того же самого человека и людей в музыкальной группе, когда музыкант–гость присутствует на записи, показ информации об этом человеке, когда он/она услышаны впервые, музыкальные влияния, связанные исполнители, видео той же самой песни, того же самого исполнителя и предстоящие выступления исполнителя в вашей области. Также, в течение музыкального события, дополнительная музыка, которая связывает или помогает объяснить происходящее, может предлагаться пользователю для прослушивания. В конце музыкального события, связанный или сходный контент может быть показан и предложен.

[0079] Для телевизионного события типы информации, содержащейся в карте как одна из частей 118 поиска контента, включают в себя информацию, аналогичную информации о фильме, но также включают в себя обновления и краткое содержание предыдущих эпизодов, карту о специальных или неожиданных гостях, когда появляется гость, и т.д.

[0080] Для спортивных событий типы информации, содержащейся в карте как одна из частей 118 поиска контента, включают в себя: статистику, очки, прошлые результаты встреч с нынешней командой противника, повторные воспроизведения важных моментов, сразу после того, как возникает момент, биографии игроков, прошлое, сообщения в печати, будущие матчи, где они участвуют в состязании плей–офф, другие происходящие матчи, которые имеют отношение или релевантны текущему матчу – обновления счета, особенно, и предстоящие матчи в вашей области.

[0081] Для других событий типы информации, содержащейся в карте как одна из частей 118 поиска контента, включают в себя справочную информацию о событии, историю о том, когда оно произошло, биографии участвовавших людей, новости, происходящие в области события, погоду рядом с событием, детали поездки к местоположению события или любую или всю другую информацию о событии.

[0082] В некоторых примерах, модуль 270 второго экрана может побуждать пользовательский интерфейс 116 иметь два типа восприятий. Первый тип восприятия может быть предназначен для новых восприятий события – таким образом, когда пользователь вычислительного устройства 210 воспринимает событие первый раз, и второй тип восприятия может соответствовать тому, когда пользователь воспринимает событие повторно, например, во второй раз, третий раз и т.п. При просмотре или прослушивании нового восприятия, модуль 270 второго экрана может вызывать то, что пользовательский интерфейс 116 выглядит как поток проактивного поиска с картами, которые содержат контент. Кластеры могут использоваться, чтобы содержать сцену, песню или другие логические группы в восприятии. После просмотра или прослушивания потоковой передачи, пользователь может иметь возможность повторно посетить потоковую передачу. Модуль 270 второго экрана может вызывать то, что каждая часть 118 контента поддерживается в списке, показываемом как список или как сетка с иконкой. Часть 118 контента может содержать название, дату последнего просмотра и последовательность каждой потоковой передачи. Пользователь может затем просмотреть потоковую передачу в любое время. С кластерами, аннотированными посредством сцены, дорожки или другого разделителя, пользователь может иметь возможность проследовать туда, к чему относятся карты, без действительного потребления медиа в это же самое время.

[0083] В некоторых примерах, модуль 270 второго экрана может вызывать декорирование и “тематическую настройку” пользовательского интерфейса 116 подходящим и дополняющим событие способом. Например, во время просмотра фильма, заголовки или справочная информация могут использовать графику, шрифт или цвет, который ассоциирован с фильмом.

[0084] В некоторых примерах, модуль 270 второго экрана может обеспечивать возможность совместного использования или способность приглашать других пользователей других вычислительных устройств просматривать пользовательский интерфейс 116. Например, при помощи автоматической синхронизации, контент может передаваться потоком для множества людей. Например, чтобы пригласить кого–нибудь присоединиться во время просмотра, модуль 270 второго экрана может вызвать показ иконки совместного использования как части одной из частей 118, которая приглашает приглашаемого пользователя воспринимать тот же самый контент, который воспринимает пользователь вычислительного устройства 210.

[0085] Фиг. 3 представляет собой блок–схему, иллюстрирующую примерное вычислительное устройство, которое представляет графический контент для отображения в удаленном устройстве, в соответствии с одним или несколькими методами настоящего раскрытия. Графический контент, в основном, может включать в себя любую визуальную информацию, которая может выводиться для отображения, такую как текст, изображения, группу движущихся изображений, лишь в качестве нескольких примеров. Пример, показанный на фиг. 3, включает в себя вычислительное устройство 310, PSD 312, блок 342 связи, мобильное устройство 386 и компонент 390 визуального отображения. В некоторых примерах, PSD 312 может представлять собой чувствительный к присутствию дисплей, как описано на фиг. 1–2. Хотя на фиг. 1 и 2 в качестве примера показано отдельное вычислительное устройство 110, вычислительное устройство, такое как вычислительное устройство 310, может, в основном, представлять собой любой компонент или систему, которая включает в себя процессор или другую подходящую вычислительную среду для исполнения инструкций программного обеспечения и, например, не обязательно должны включать в себя чувствительный к присутствию дисплей.

[0086] Как показано в примере на фиг. 3, вычислительное устройство 310 может представлять собой процессор, который включает в себя функциональность, как описано в отношении процессоров 240 на фиг. 2. В таких примерах, вычислительное устройство 310 может быть оперативно соединено с PSD 312 посредством канала 362A связи, который может представлять собой системную шину или другое подходящее соединение. Вычислительное устройство 310 может также быть оперативно соединено с блоком 342 связи, дополнительно описанным ниже, посредством канала 362B связи, который может также представлять собой системную шину или другое подходящее соединение. Хотя на фиг. 3 в качестве примера показано отдельно, вычислительное устройство 310 может быть оперативно соединено с PSD 312 и блоком 342 связи любым числом из одного или нескольких каналов связи.

[0087] В другом примере, таком как проиллюстрировано ранее вычислительным устройством 110 на фиг. 1–2, вычислительное устройство может относиться к портативному или мобильному устройству, такому как мобильные телефоны (включая смартфоны), ноутбуки и т.д. В некоторых примерах, вычислительное устройство может представлять собой стационарный компьютер, планшет, платформу смарт–телевизора, камеру, персональный цифровой ассистент (PDA), сервер или мэйнфреймы.

[0088] PSD 312 может включать в себя компонент 302 отображения и компонент 304 чувствительного к присутствию ввода. Компонент 302 отображения может, например, принимать данные от вычислительного устройства 310 и отображать графический контент. В некоторых примерах, компонент 304 чувствительного к присутствию ввода может определять один или несколько пользовательских вводов (например, непрерывные жесты, жесты с несколькими касаниями, жесты с одним касанием) в PSD 312 с использованием емкостных, индуктивных и/или оптических методов распознавания и отправлять указания такого пользовательского ввода на вычислительное устройство 310 с использованием канала 362A связи. В некоторых примерах, компонент 304 чувствительного к присутствию ввода может быть физически расположен поверх компонента 302 отображения, так что когда пользователь располагает блок ввода на графическом элементе, отображаемом компонентом 302 отображения, местоположение, в котором компонент 304 чувствительного к присутствию ввода соответствует местоположению компонента 302 отображения, в котором отображается графический элемент.

[0089] Как показано на фиг. 3, вычислительное устройство 310 может также включать в себя и/или быть оперативно соединено с блоком 342 связи. Блок 342 связи может включать в себя функциональность блока 242 связи, как описано на фиг. 2. Примеры блока 342 связи могут включать в себя карту сетевого интерфейса, Ethernet–карту, оптический приемопередатчик, радиочастотный приемопередатчик или любой другой тип устройства, которое может отправлять и принимать информацию. Другие примеры таких блоков связи могут включать в себя линии связи Bluetooth, 3G и WiFi, интерфейсы универсальной последовательной шины (USB) и т.д. Вычислительное устройство 310 может также включать в себя и/или быть оперативно соединено с одним или несколькими другими устройствами (например, устройствами ввода, компонентами вывода, памятью, устройствами хранения), которые не показаны на фиг. 3 в целях краткости и иллюстрации.

[0090] Фиг. 3 также иллюстрирует мобильное устройство 386 и компонент 390 визуального отображения. Мобильное устройство 386 и компонент 390 визуального отображения могут включать в себя, каждое, средства вычисления соединения. Примеры мобильного устройства 386 могут включать в себя устройства чтения электронных книг, устройства трансформируемых ноутбуков, гибридные планшеты и т.д. Примеры компонента 390 визуального отображения могут включать в себя другие устройства, такие как телевизоры, компьютерные мониторы и т.д. В некоторых примерах, компонент 390 визуального отображения может представлять собой бортовой дисплей транспортного средства или дисплей навигации (например, в автомобиле, летательном аппарате или некотором другом транспортном средстве). В некоторых примерах, компонент 390 визуального отображения может представлять собой дисплей домашней автоматики или некоторый другой тип дисплея, который отделен от вычислительного устройства 310.

[0091] Как показано на фиг. 3, мобильное устройство 386 может включать в себя чувствительный к присутствию дисплей 388. Компонент 390 визуального отображения может включать в себя чувствительный к присутствию дисплей 392. Чувствительные к присутствию дисплеи 388, 392 могут включать в себя поднабор функциональности или всю функциональность чувствительных к присутствию дисплеев 112, 212 и/или 312, как описано в настоящем раскрытии. В некоторых примерах, чувствительные к присутствию дисплеи 388, 392 могут включать в себя дополнительную функциональность. В любом случае, чувствительный к присутствию дисплей 392, например, может принимать данные от вычислительного устройства 310 и отображать графический контент. В некоторых примерах, чувствительный к присутствию дисплей 392 может определять один или несколько пользовательских вводов (например, непрерывные жесты, жесты с несколькими касаниями, жесты с одним касанием) на экране проектора с использованием емкостных, индуктивных и/или оптических методов распознавания и отправлять указания такого пользовательского ввода с использованием одного или нескольких блоков связи на вычислительное устройство 310.

[0092] Как описано выше, в некоторых примерах, вычислительное устройство 310 может выводить графический контент для отображения в PSD 312, который соединен с вычислительным устройством 310 системной шиной или другим подходящим каналом связи. Вычислительное устройство 310 может также выводить графический контент для отображения в одном или нескольких удаленных устройствах, таких как мобильное устройство 386 и компонент 390 визуального отображения. Например, вычислительное устройство 310 может исполнять одну или несколько инструкций, чтобы генерировать и/или модифицировать графический контент в соответствии с методами настоящего раскрытия. Вычислительное устройство 310 может выводить данные, которые включают в себя графический контент, на блок связи вычислительного устройства 310, такого как блок 342 связи. Блок 342 связи может отправлять данные на одно или несколько удаленных устройств, таких как мобильное устройство 386 и/или компонент 390 визуального отображения. Таким образом, вычислительное устройство 310 может выводить графический контент для отображения в одном или нескольких удаленных устройствах. В некоторых примерах, одно или несколько удаленных устройств может выводить графический контент на чувствительный к присутствию дисплей, который включен и/или оперативно связан с соответственными удаленными устройствами.

[0093] В некоторых примерах, вычислительное устройство 310 может не выводить графический контент на PSD 312, который оперативно связан с вычислительным устройством 310. В других примерах, вычислительное устройство 310 может выводить графический контент для отображения как в PSD 312, который связан с вычислительным устройством 310 каналом 362A связи, так и в одном или нескольких удаленных устройствах. В таких примерах, графический контент может отображаться по существу одновременно в каждом соответственном устройстве. В некоторых примерах, графический контент, сгенерированный вычислительным устройством 310 и выведенный для отображения в PSD 312, может отличаться от отображения графического контента, выведенного для отображения в одном или нескольких удаленных устройствах.

[0094] Вычислительное устройство 310 может отправлять и принимать данные с использованием любых подходящих методов связи. Например, вычислительное устройство 310 может быть оперативно связано с внешней сетью 374 с использованием сетевой линии связи 373A. Каждое из удаленных устройств, проиллюстрированных на фиг. 3, может быть оперативно связано с внешней сетью 374 посредством одной из соответственных сетевых линий связи 373B или 373C. Внешняя сеть 374 может включать в себя сетевые концентраторы, сетевые переключатели, сетевые маршрутизаторы и т.д., которые оперативно взаимосвязаны, тем самым обеспечивая возможность обмена информацией между вычислительным устройством 310 и удаленными устройствами, проиллюстрированными на фиг. 3. В некоторых примерах, сетевые линии связи 373A–373C могут представлять собой Ethernet, ATM или другие сетевые соединения. Такие соединения могут представлять собой беспроводные и/или проводные соединения.

[0095] В некоторых примерах, вычислительное устройство 310 может быть оперативно связано с одним или несколькими из удаленных устройств, включенных на фиг. 3, с использованием прямой связи 378 между устройствами. Прямая связь 378 между устройствами может включать в себя связь, посредством которой вычислительное устройство 310 отправляет и принимает данные напрямую с удаленным устройством, с использованием проводной или беспроводной связи. Таким образом, в некоторых примерах прямой связи 378 между устройствами, данные, отправленные вычислительным устройством 310, могут не пересылаться одним или несколькими дополнительными устройствами перед приемом в удаленном устройстве, и наоборот. Примеры прямой связи 378 между устройствами могут включать в себя Bluetooth, связь в ближней зоне, универсальную последовательную шину, WiFi, инфракрасное соединение и т.д. Одно или несколько из удаленных устройств, проиллюстрированных на фиг. 3, могут быть оперативно связаны с вычислительным устройством 310 линиями связи 376A–376C. В некоторых примерах, линии связи 376A–376C могут представлять собой соединения, использующие Bluetooth, связь в ближней зоне, универсальную последовательную шину, инфракрасное соединение и т.д. Такие соединения могут представлять собой беспроводные и/или проводные соединения.

[0096] В соответствии с методами раскрытия, вычислительное устройство 310 может быть оперативно связано с компонентом 390 визуального отображения с использованием внешней сети 374. Вычислительное устройство 310 может определять множество поисковых запросов для последующего поиска в течение события и планировать, для каждого из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса.

[0097] В ответ на определение, что пользователь вычислительного устройства 310 воспринимает событие в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска, вычислительное устройство 310 может выполнять поиск для конкретного поискового запроса и выводить в течение события указание информации, возвращенной из исполнения конкретного поискового запроса. Например, вычислительное устройство 310 может отправлять данные, которые включают в себя графическое представление информации, возвращенной из поиска для поискового запроса, на компонент 390 визуального отображения с использованием внешней сети 374. Компонент 390 визуального отображения, в ответ на прием данных с использованием внешней сети 374, может побуждать PSD 392 выводить графическое представление для отображения непосредственно перед, после или в то время как пользователь вычислительного устройства 310 воспринимает событие.

[0098] Фиг. 4 и 5 представляют собой блок–схемы последовательности операций, иллюстрирующие примерные операции, выполняемые примерной вычислительной системой, сконфигурированной, чтобы представлять информацию, связанную с событием, которая была возвращена из поисков, исполняемых в предопределенное время, когда пользователь вычислительного устройства воспринимает событие, в соответствии с одним или несколькими аспектами настоящего раскрытия. Операции 400–440 и 500–550 могут выполняться посредством вычислительного устройства, такого как вычислительное устройство 210, вычислительной системы, такой как RSS 160, или комбинацией вычислительного устройства и вычислительной системы, такой как система 100. Для простоты описания, фиг. 4 и 5 описаны в контексте вычислительного устройства 210 на фиг. 2.

[0099] Как показано на фиг. 4, при работе, вычислительное устройство 210 может определять множество поисковых запросов для последующего поиска в течение события (400). Например, модель модуля 274 планирования запроса могла определить и сохранить в хранилище 272 данных запроса один или несколько поисковых запросов, поиск которых выполнили другие пользователи других вычислительных устройств в течение сходного события, для события, которое пользователь вычислительного устройства 210 намеревается воспринять.

[0100] Вычислительное устройство 210 может планировать, для каждого из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса (410). Например, при сохранении поисковых запросов в хранилище 272 данных, модуль 274 планирования может маркировать каждый запрос идентификатором временной метки или идентификатором подсобытия, указывающим, при каких условиях в процессе ассоциированного события следует выполнять поиск для поискового запроса.

[0101] Вычислительное устройство 210 может получать ясное и однозначное согласие от пользователя использовать и анализировать информацию о пользователе и вычислительном устройстве 210 (415). Например, вычислительное устройство 210 может обеспечивать пользователя возможностью давать согласие или удалять согласие на сбор вычислительным устройством 210 контекстной информации и/или другой информации о пользователе. Без согласия, вычислительное устройство 210 может воздержаться от выполнения этапов 420–440.

[0102] Вычислительное устройство 210 может определять, воспринимает ли пользователь вычислительного устройства 210 событие в соответствующее время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска (420). Например, модуль 276 ESD может принимать контекстную информацию от модуля 278 контекста, указывающую, что внешние звуки или видео захватываются компонентами 244 ввода в текущее время. Модуль 276 ESD может сравнивать контекстную информацию с характерными признаками, сохраненными в хранилище 273 данных, чтобы получить один или несколько идентификаторов события или подсобытия, ассоциированных с внешними звуками или видео.

[0103] Если пользователь не воспринимает событие в соответствующее время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска (420, ветвь Нет), то вычислительное устройство 210 продолжает определять, воспринимает ли пользователь вычислительного устройства 210 событие в соответствующее время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска (420). Например, если никакой из характерных признаков в хранилище 273 данных не совпадает с внешним аудио или видео, захваченным модулем 278 контекста, модуль 276 ESD может воздержаться от обнаружения появления события или подсобытия.

[0104] Если пользователь воспринимает событие в соответствующее время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска (420, ветвь Да), то вычислительное устройство 210 может выполнять поиск для конкретного поискового запроса (430) и выводить в течение события указание информации, возвращенной из поиска для конкретного поискового запроса (440). Например, в ответ на определение, что характерный признак в хранилище 273 данных совпадает с внешним аудио или видео, захваченным модулем 278 контекста, модуль 276 ESD может выполнять поиск в хранилище 272 данных каких–либо поисковых запросов, которые были маркированы идентификатором подсобытия, ассоциированным с совпадающим характерным признаком.

[0105] Модуль 276 ESD может побуждать модуль 270 второго экрана вызывать модуль 164 поиска RSS, чтобы побуждать модуль 164 поиска возвращать информацию поиска, связанную с запросом, маркированным совпадающим идентификатором подсобытия. Модуль 270 второго экрана может побуждать UIC 210 отображать графическое указание и/или выводить звуковое указание информации поиска, чтобы дополнять пользовательское восприятие события.

[0106] Как показано на фиг. 5, при работе, вычислительное устройство 210 может определять множество поисковых запросов, связанных с событием для последующего поиска, в то время как пользователь вычислительного устройства 210 просматривает или прослушивает событие (500). Например, модель модуля 274 планирования запроса могла определить и сохранить в хранилище 272 данных запроса один или несколько поисковых запросов, для которых поиск выполнялся другими пользователями других вычислительных устройств в течение сходного события, для события, которое пользователь вычислительного устройства 210 намеревается воспринять или может воспринять в некоторое время в будущем.

[0107] Вычислительное устройство 210 может связывать каждый из множества поисковых запросов с соответствующим подсобытием в течение события или соответствующим истекшим временем события (510). Например, при сохранении поисковых запросов в хранилище 272 данных, модуль 274 планирования может маркировать каждый запрос идентификатором временной метки или идентификатором подсобытия, указывающим, при каких условиях в течение ассоциированного события следует выполнять поиск для поискового запроса.

[0108] Вычислительное устройство 210 может получать ясное и однозначное согласие от пользователя использовать и анализировать информацию о пользователе и вычислительном устройстве 210 (515). Например, вычислительное устройство 210 может обеспечивать пользователя возможностью давать согласие или удалять согласие на сбор вычислительным устройством 210 контекстной информации и/или другой информации о пользователе. Без согласия, вычислительное устройство 210 может воздержаться от выполнения этапов 520–550.

[0109] Вычислительное устройство 210 может определять, просматривает ли или прослушивает ли пользователь вычислительного устройства 210 событие (520). Например, модуль 276 ESD может принимать контекстную информацию от модуля 278 контекста, указывающую внешние звуки или видео, захватываемые компонентами 244 ввода в текущее время. Модуль 276 ESD может сравнивать контекстную информацию с характерными признаками, сохраненными в хранилище 273 данных, чтобы получить один или несколько идентификаторов события или подсобытия, ассоциированных с внешними звуками или видео.

[0110] Если пользователь не просматривает или не прослушивает событие (520, ветвь Нет), то вычислительное устройство 210 продолжает определять, просматривает ли или прослушивает ли пользователь вычислительного устройства 210 событие (520). Например, если никакой из характерных признаков в хранилище 273 данных не совпадает с внешним аудио или видео, захваченным модулем 278 контекста, модуль 276 ESD может воздержаться от обнаружения появления события или подсобытия.

[0111] Если пользователь не просматривает или не прослушивает событие (520, ветвь Да), то вычислительное устройство 210 может определять, возникает ли соответствующее подсобытие или соответствующее истекшее время, связанное с одним из множества поисковых запросов (530). Например, в ответ на определение, что характерный признак в хранилище 273 данных совпадает с внешним аудио или видео, захваченным посредством модуля 278 контекста, модуль 276 ESD может выполнять поиск в хранилище 272 данных поисковых запросов, которые были маркированы идентификатором, ассоциированным с совпадающим характерным признаком.

[0112] Если никакая метка поискового запроса не совпадает с идентификатором совпадающего характерного признака, то вычислительное устройство 210 может продолжить определять, возникает ли соответствующее подсобытие или соответствующее истекшее время, связанное с одним из множества поисковых запросов (530, ветвь Нет). Однако, если метка поискового запроса из поискового запроса из хранилища 272 данных совпадает с идентификатором совпадающего характерного признака, то вычислительное устройство 210 может выполнять поиск для поискового запроса, который связан с соответствующим подсобытием или соответствующим истекшим временем, которое возникает (540, путь Нет). Например, модуль 276 ESD может побуждать модуль 270 второго экрана вызывать модуль 164 поиска RSS, чтобы побуждать модуль 164 поиска возвращать информацию поиска, связанную с запросом, маркированным совпадающим идентификатором подсобытия.

[0113] Вычислительное устройство 210 может отправлять, для отображения пользователю, информацию, возвращенную из поиска (550). Например, модуль 270 второго экрана может побуждать UIC 210 отображать графическое указание и/или выводить звуковое указание информации поиска, чтобы дополнять пользовательское восприятие события. Например, графическое указание может отображаться как пользовательский интерфейс 116 согласно фиг. 1. После отображения графического указания или выведения звукового указания вычислительное устройство 210 может возвратиться к этапу (520).

[0114] Пункт 1. Способ, содержащий: определение множества поисковых запросов для последующего поиска в течение события; планирование, для каждого из множества поисковых запросов, соответственного времени в течение события, чтобы выполнить поиск для соответствующего поискового запроса; и в ответ на определение, что пользователь вычислительного устройства воспринимает событие, в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: выполнение поиска для конкретного поискового запроса; и выведение, вычислительным устройством, в течение события указания информации, возвращенной из исполнения конкретного поискового запроса.

[0115] Пункт 2. Способ пункта 1, причем выполняется поиск для конкретного поискового запроса, в то же время продолжая определять, что пользователь вычислительного устройства воспринимает событие.

[0116] Пункт 3. Способ любого из пунктов 1–2, причем в соответственное время для по меньшей мере одного из множества поисковых запросов соответствует хронологической части хронологической временной шкалы события.

[0117] Пункт 4. Способ любого одного из пунктов 1–3, причем в соответственное время для по меньшей мере одного из множества поисковых запросов соответствует конкретному действию, которое, как ожидается, произойдет в течение события.

[0118] Пункт 5. Способ любого одного из пунктов 1–4, причем вычислительное устройство автоматически планирует, для по меньшей мере одного из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса.

[0119] Пункт 6. Способ любого одного из пунктов 1–5, причем вычислительное устройство планирует, для по меньшей мере одного из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса на основе пользовательского ввода.

[0120] Пункт 7. Способ любого одного из пунктов 1–6, дополнительно содержащий: идентификацию, в начальное время, события в ответ на определение, что множество пользователей других вычислительных устройств, вероятно, воспримут событие в последующее время; и кэширование, вычислительным устройством, для поиска в последующее время, множества поисковых запросов.

[0121] Пункт 8. Способ любого одного из пунктов 1–7, причем определение множества поисковых запросов для последующего поиска в течение события содержит: идентификацию тем или ключевых слов, ассоциированных с событием; и генерирование, на основе тем или ключевых слов, множества поисковых запросов.

[0122] Пункт 9. Способ пункта 8, причем событие представляет собой первое событие, и множество поисковых запросов включают в себя один или несколько предыдущих поисковых запросов, для которых поиск выполнялся в течение второго события, второе событие отличается от первого события, второе событие ассоциировано с темами или ключевыми словами, ассоциированными с первым событием.

[0123] Пункт 10. Способ любого одного из пунктов 1–9, дополнительно содержащий: определение, что пользователь вычислительного устройства воспринимает событие, в ответ на определение, что внешнее аудио или видео, захваченное вычислительным устройством, включает в себя указания звуков или изображений, ассоциированных с соответственным временем в течение события, в которое поиск для конкретного поискового запроса из множества поисковых запросов запланирован для поиска.

[0124] Пункт 11. Вычислительная система, содержащая: по меньшей мере один процессор; и память, содержащую инструкции, которые, при исполнении, побуждают по меньшей мере один процессор: определять множество поисковых запросов для последующего поиска в течение события; планировать, для каждого из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса; и в ответ на определение, что пользователь вычислительного устройства воспринимает событие в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: выполнять поиск для конкретного поискового запроса; и автоматически отправлять, на вычислительное устройство для последующего отображения в течение события, указание информации, возвращенной из поиска для конкретного поискового запроса.

[0125] Пункт 12. Вычислительная система пункта 11, причем инструкции, при исполнении, побуждают по меньшей мере один процессор выполнять поиск для конкретного поискового запроса, в то же время продолжая определять, что пользователь вычислительного устройства воспринимает событие.

[0126] Пункт 13. Вычислительная система любого одного из пунктов 11–12, причем в соответственное время для по меньшей мере одного из множества поисковых запросов соответствует хронологической части хронологической временной шкалы события.

[0127] Пункт 14. Вычислительная система любого одного из пунктов 11–13, причем в соответственное время для по меньшей мере одного из множества поисковых запросов соответствует конкретному действию, которое, как ожидается, произойдет в течение события.

[0128] Пункт 15. Вычислительная система любому одного из пунктов 11–14, причем указание информации, возвращенной из поиска для конкретного поискового запроса, включает в себя инструкции для побуждения вычислительного устройства отображать информацию в конкретное время в течение события, которое происходит после соответственного времени в течение события, в которое конкретный поисковый запрос из множества поисковых запросов был запланирован для поиска.

[0129] Пункт 16. Считываемый компьютером носитель хранения, содержащий инструкции, которые, при исполнении, побуждают по меньшей мере один процессор вычислительной системы: определять множество поисковых запросов для последующего поиска в течение события; планировать, для каждого из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса; и в ответ на определение, что пользователь вычислительного устройства воспринимает событие в соответственное время в течение события, в которое конкретный поисковый запрос из множества поисковых запросов запланирован для поиска: выполнять поиск для конкретного поискового запроса; и автоматически отправлять, на вычислительное устройство для последующего отображения в течение события, указание информации, возвращенной из поиска для конкретного поискового запроса.

[0130] Пункт 17. Считываемый компьютером носитель хранения пункта 16, причем инструкции, при исполнении, побуждают по меньшей мере один процессор выполнять поиск для конкретного поискового запроса, в то же время продолжая определять, что пользователь вычислительного устройства воспринимает событие.

[0131] Пункт 18. Считываемый компьютером носитель хранения любого одного из пунктов 16–17, причем в соответственное время для по меньшей мере одного из множества поисковых запросов соответствует хронологической части хронологической временной шкалы события.

[0132] Пункт 19. Считываемый компьютером носитель хранения любого одного из пунктов 16–18, причем в соответственное время для по меньшей мере одного из множества поисковых запросов соответствует конкретному действию, которое, как ожидается, произойдет в течение события.

[0133] Пункт 20. Считываемый компьютером носитель хранения любого одного из пунктов 16–19, причем инструкции, при исполнении, побуждают по меньшей мере один процессор: автоматически планировать, для по меньшей мере одного из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса; или планировать, для по меньшей мере одного из множества поисковых запросов, соответственное время в течение события, чтобы выполнить поиск для соответствующего поискового запроса на основе пользовательского ввода, принятого посредством вычислительной системы от человека–создателя события.

[0134] Пункт 21. Вычислительная система пункта 11, содержащая средства для выполнения любого из способов пунктов 1–10.

[0135] Пункт 22. Считываемый компьютером носитель хранения пункта 16, дополнительно содержащий инструкции, которые, при исполнении, конфигурируют один или несколько процессоров вычислительной системы пункта 11, чтобы выполнять любой из способов пунктов 1–10.

[0136] Пункт 23. Вычислительное устройство, содержащее средства для выполнения любого из способов пунктов 1–10.

[0137] Пункт 24. Считываемый компьютером носитель хранения, содержащий инструкции, которые, при исполнении, побуждают по меньшей мере один процессор вычислительного устройства выполнять любой из способов пунктов 1–10.

[0138] В одном или нескольких примерах, описанные функции могут быть реализованы в аппаратных средствах, программном обеспечении, прошивке или любой их комбинации. При реализации в программном обеспечении, функции могут храниться или передаваться, как одна или несколько инструкций или код, на считываемом компьютером носителе и исполняться посредством блока обработки на основе аппаратных средств. Считываемый компьютером носитель может включать в себя считываемые компьютером носители хранения или носители, который соответствует осязаемому носителю, такому как носители хранения данных или коммуникационные среды, включая любой носитель, который облегчает перенос компьютерной программы из одного места в другое, например, в соответствии с протоколом связи. Таким образом, считываемый компьютером носитель в принципе может соответствовать (1) осязаемому считываемому компьютером носителю хранения, который является непереходным (не–временным), или (2) коммуникационной среде, такой как сигнал или несущая волна. Носители хранения данных могут представлять собой любые доступные носители, доступ к которым может осуществляться посредством одного или нескольких компьютеров или одного или нескольких процессоров, чтобы извлекать инструкции, код и/или структуры данных для реализации методов, описанных в настоящем раскрытии. Компьютерный программный продукт может включать в себя считываемый компьютером носитель.

[0139] В качестве примера и не для ограничения, такие считываемые компьютером носители хранения могут содержать RAM, ROM, EEPROM, CD–ROM или другое устройство хранения на оптическом диске, устройство хранения на магнитном диске или другие магнитные устройства хранения, флэш–память или любой другой носитель хранения, который может использоваться, чтобы хранить желательный программный код в форме инструкций или структур данных и доступ к которому может осуществляться посредством компьютера. Также, любое соединение может надлежащим образом определяться как считываемый компьютером носитель. Например, если инструкции передаются из веб–сайта, сервера или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, скрученной пары, цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасная, радио и микроволновая, то коаксиальный кабель, оптоволоконный кабель, скрученная пара, DSL или беспроводные технологии, такие как инфракрасная, радио и микроволновая, включены в определение носителя. Следует понимать, однако, что считываемые компьютером носители хранения и среды и носители хранения данных не включают в себя соединения, несущие волны, сигналы или другие переходные среды, но вместо этого направлены на непереходные, осязаемые носители хранения. Магнитный диск (disk) и оптический диск (disc), как использовано в настоящем документе, включает в себя компакт–диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD), флоппи–диск и диск Blu–ray, где магнитные диски (disks) обычно воспроизводят данные магнитным способом, в то время как оптические диски (discs) воспроизводят данные оптическим способом при помощи лазеров. Комбинации описанного выше также должны быть включены в объем считываемого компьютером носителя.

[0140] Инструкции могут исполняться посредством одного или нескольких процессоров, таких как один или несколько цифровых сигнальных процессоров (DSP), универсальных микропроцессоров, специализированных интегральных схем (ASIC), программируемых вентильных матриц (FPGA) или другие эквивалентные интегральные или дискретные логические схемы. Соответственно, термин “процессор”, как использовано в настоящем документе, может относиться к любой из предыдущей структуры или любой другой структуре, подходящей для реализации методов, описанных в настоящем документе. К тому же, в некоторых аспектах, функциональность, описанная в настоящем документе, может быть обеспечена в выделенных модулях аппаратных средств и/или программного обеспечения. Также, методы могут быть полностью реализованы в одной или нескольких схемах или логических элементах.

[0141] Методы настоящего раскрытия могут быть реализованы самыми различными приборами или устройствами, включая беспроводной телефон, интегральную схему (IC) или набор IC (например, чипсет). Различные компоненты, модули или блоки описаны в настоящем раскрытии с акцентом на функциональных аспектах устройств, сконфигурированных, чтобы выполнять раскрытые методы, но не обязательно требуют реализации посредством различных блоков аппаратных средств. Напротив, как описано выше, различные блоки могут комбинироваться в аппаратном блоке или обеспечиваться совокупностью взаимодействующих аппаратных блоков, включая один или несколько процессоров как описано выше, во взаимосвязи с подходящим программном обеспечением и/или прошивкой.

[0142] Были описаны различные варианты осуществления. Эти и другие варианты осуществления соответствуют объему следующей формулы изобретения.

1. Машинореализуемый способ предоставления пользователю информации, релевантной событиям, содержащий этапы, на которых:

получают данные, показывающие, какие поиски выполнялись посредством услуги поиска, когда медиа-услугой выводились различные типы событий, которые воспринимались пользователями множества вычислительных устройств;

определяют на основе этих данных популярные поисковые запросы, посредством которых осуществлялся поиск данным множеством вычислительных устройств, в то время как пользователи воспринимали один и тот же тип события;

формируют на основе упомянутых популярных поисковых запросов правило машинно–обучаемой модели, которое задает конкретный поисковый запрос из этих популярных поисковых запросов, чтобы выполнять его, когда произойдет конкретное действие при восприятии пользователем вычислительного устройства будущего вывода упомянутого того же типа события;

сохраняют этот конкретный поисковый запрос с идентификатором упомянутого конкретного действия;

определяют, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события, в ответ на определение того, что внешнее аудио или видео, захваченное данным вычислительным устройством, включает в себя указания звуков или изображений, относящихся к тому же типу события; и

в ответ на упомянутое определение того, что пользователь вычислительного устройства воспринимает текущий вывод того же типа события:

определяют, произошло ли либо должно ли произойти упомянутое конкретное действие во время текущего вывода, имеющего упомянутый тот же тип события,

в ответ на определение того, что данное конкретное действие произошло или должно произойти во время текущего вывода, имеющего упомянутый тот же тип события, извлекают на основе идентификатора этого конкретного действия упомянутый конкретный поисковый запрос,

выполняют поиск посредством этого конкретного поискового запроса и

выводят посредством упомянутого вычислительного устройства во время текущего вывода, имеющего упомянутый тот же тип события, указание информации, возвращенной из упомянутого выполнения поиска посредством конкретного поискового запроса.

2. Способ по п. 1, в котором упомянутое выполнение поиска посредством конкретного поискового запроса содержит этапы, на которых:

получают вспомогательную информацию о текущем выводе, имеющем упомянутый тот же тип события; и,

продолжая определять, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события, модифицируют упомянутый конкретный поисковый запрос на основе этой вспомогательной информации до упомянутого выполнения поиска посредством конкретного поискового запроса.

3. Способ по п. 1, дополнительно содержащий этап, на котором планируют соответственное время во время текущего вывода, имеющего упомянутый тот же тип события, при этом упомянутое определение того, произошло ли либо должно ли произойти конкретное действие во время текущего вывода того же типа события, содержит этап, на котором определяют, соответствует ли упомянутое соответственное время во время текущего вывода того же типа события части хронологической временной шкалы события.

4. Способ по п. 3, в котором упомянутое вычислительное устройство автоматически планирует упомянутое соответственное время во время текущего вывода того же типа события, чтобы выполнить поиск посредством упомянутого конкретного поискового запроса.

5. Способ по п. 3, в котором упомянутое вычислительное устройство планирует упомянутое соответственное время во время текущего вывода того же типа события, чтобы выполнить поиск посредством упомянутого конкретного поискового запроса, на основе пользовательского ввода.

6. Способ по п. 1, дополнительно содержащий этапы, на которых:

идентифицируют, в начальное время, текущий вывод, имеющий упомянутый тот же тип события, в ответ на определение того, что множество пользователей других вычислительных устройств, скорее всего, будут воспринимать этот тот же тип события в последующее время; и

кэшируют посредством упомянутого вычислительного устройства упомянутый конкретный поисковый запрос для упомянутого извлечения данного конкретного поискового запроса во время текущего вывода того же типа события.

7. Способ по п. 2, в котором упомянутая вспомогательная информация содержит темы или ключевые слова, ассоциированные с упомянутым тем же типом события.

8. Способ по п. 7, в котором упомянутый тот же тип события содержит первое событие и второе событие, причем второе событие отличается от первого события, и каждое из первого события и второго события ассоциированы с темами или ключевыми словами в упомянутой вспомогательной информации.

9. Способ по п. 1, в котором текущий вывод, имеющий упомянутый тот же тип события, содержит текущий вывод аудио или видео другим устройством, которое отличается от упомянутого вычислительного устройства, при этом упомянутое определение того, что внешнее аудио или видео, захваченное вычислительным устройством, включает в себя указания звуков или изображений, относящихся к тому же типу события, содержит этап, на котором определяют, что внешнее аудио или видео, захваченное данным вычислительным устройством, совпадает с аудио или видео, выводимым упомянутым другим устройством.

10. Вычислительная система, выполненная с возможностью предоставления пользователю информации, релевантной событиям, при этом система содержит:

по меньшей мере один процессор и

память, содержащую инструкции, которые при их исполнении предписывают по меньшей мере одному процессору:

получать данные, показывающие, какие поиски выполнялись посредством услуги поиска, когда медиа-услугой выводились различные типы событий, которые воспринимались пользователями множества вычислительных устройств;

определять на основе этих данных популярные поисковые запросы, посредством которых осуществлялся поиск данным множеством вычислительных устройств, в то время как пользователи воспринимали один и тот же тип события;

формировать на основе упомянутых популярных поисковых запросов правило машинно–обучаемой модели, которое задает конкретный поисковый запрос из этих популярных поисковых запросов, чтобы выполнять его, когда произойдет конкретное действие при восприятии пользователем вычислительного устройства будущего вывода упомянутого того же типа события;

сохранять этот конкретный поисковый запрос с идентификатором упомянутого конкретного действия;

определять, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события, на основе определения того, что внешнее аудио или видео, захваченное данным вычислительным устройством, включает в себя указания звуков или изображений, относящихся к тому же типу события; и

в ответ на упомянутое определение того, что пользователь вычислительного устройства воспринимает текущий вывод того же типа события:

определять, произошло ли либо должно ли произойти упомянутое конкретное действие во время текущего вывода, имеющего упомянутый тот же тип события,

в ответ на определение того, что данное конкретное действие произошло или должно произойти во время текущего вывода, имеющего упомянутый тот же тип события, извлекать на основе идентификатора этого конкретного действия упомянутый конкретный поисковый запрос,

выполнять поиск посредством этого конкретного поискового запроса и

автоматически отправлять в упомянутое вычислительное устройство для последующего отображения во время текущего вывода, имеющего упомянутый тот же тип события, указание информации, возвращенной из упомянутого выполнения поиска посредством конкретного поискового запроса.

11. Вычислительная система по п. 10, в которой инструкции при их исполнении предписывают по меньшей мере одному процессору выполнять упомянутый поиск посредством конкретного поискового запроса путем, по меньшей мере:

получения вспомогательной информации о текущем выводе, имеющем упомянутый тот же тип события; и

модифицирования упомянутого конкретного поискового запроса на основе этой вспомогательной информации до упомянутого выполнения поиска посредством конкретного поискового запроса, продолжая определять, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события.

12. Вычислительная система по п. 10, в которой инструкции при их исполнении дополнительно предписывают по меньшей мере одному процессору планировать соответственное время во время текущего вывода, имеющего упомянутый тот же тип события, и в которой инструкции при их исполнении дополнительно предписывают по меньшей мере одному процессору выполнять упомянутое определение того, произошло ли либо должно ли произойти конкретное действие во время текущего вывода того же типа события, посредством, по меньшей мере, определения того, соответствует ли упомянутое соответственное время во время текущего вывода того же типа события части хронологической временной шкалы события.

13. Вычислительная система по п. 10, при этом упомянутое указание информации, возвращенной из выполнения поиска посредством конкретного поискового запроса, включает в себя инструкции для предписания упомянутому вычислительному устройству отображать эту информацию во время упомянутого того же типа события.

14. Машиночитаемый носитель информации, содержащий инструкции, которые при их исполнении предписывают по меньшей мере одному процессору вычислительной системы:

получать данные, показывающие, какие поиски выполнялись посредством услуги поиска, когда медиа-услугой выводились различные типы событий, которые воспринимались пользователями множества вычислительных устройств;

определять на основе этих данных популярные поисковые запросы, посредством которых осуществлялся поиск данным множеством вычислительных устройств, в то время как пользователи воспринимали один и тот же тип события;

формировать на основе упомянутых популярных поисковых запросов правило машинно–обучаемой модели, которое задает конкретный поисковый запрос из этих популярных поисковых запросов, чтобы выполнять его, когда произойдет конкретное действие при восприятии пользователем вычислительного устройства будущего вывода упомянутого того же типа события;

сохранять этот конкретный поисковый запрос с идентификатором упомянутого конкретного действия;

определять, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события, на основе определения того, что внешнее аудио или видео, захваченное данным вычислительным устройством, включает в себя указания звуков или изображений, относящихся к тому же типу события; и

в ответ на упомянутое определение того, что пользователь вычислительного устройства воспринимает текущий вывод того же типа события:

определять, произошло ли либо должно ли произойти упомянутое конкретное действие во время текущего вывода, имеющего упомянутый тот же тип события,

в ответ на определение того, что данное конкретное действие произошло или должно произойти во время текущего вывода, имеющего упомянутый тот же тип события, извлекать на основе идентификатора этого конкретного действия упомянутый конкретный поисковый запрос,

выполнять поиск посредством этого конкретного поискового запроса и

автоматически отправлять в упомянутое вычислительное устройство для последующего отображения во время текущего вывода, имеющего упомянутый тот же тип события, указание информации, возвращенной из упомянутого выполнения поиска посредством конкретного поискового запроса.

15. Машиночитаемый носитель информации по п. 14, в котором инструкции при их исполнении предписывают по меньшей мере одному процессору выполнять упомянутый поиск посредством конкретного поискового запроса путем, по меньшей мере:

получения вспомогательной информации о текущем выводе, имеющем упомянутый тот же тип события; и

модифицирования упомянутого конкретного поискового запроса на основе этой вспомогательной информации до упомянутого выполнения поиска посредством конкретного поискового запроса, продолжая определять, что упомянутый пользователь вычислительного устройства воспринимает текущий вывод, имеющий упомянутый тот же тип события.

16. Машиночитаемый носитель информации по п. 14, в котором инструкции при их исполнении дополнительно предписывают по меньшей мере одному процессору планировать соответственное время во время текущего вывода, имеющего упомянутый тот же тип события, и в которой инструкции при их исполнении дополнительно предписывают по меньшей мере одному процессору выполнять упомянутое определение того, произошло ли либо должно ли произойти конкретное действие во время текущего вывода того же типа события, посредством, по меньшей мере, определения того, соответствует ли упомянутое соответственное время во время текущего вывода того же типа события части хронологической временной шкалы события.

17. Машиночитаемый носитель информации по п. 16, в котором инструкции при их исполнении предписывают по меньшей мере одному процессору:

автоматически планировать упомянутое соответственное время во время текущего вывода того же типа события, чтобы выполнить поиск посредством упомянутого конкретного поискового запроса, или

планировать упомянутое соответственное время во время текущего вывода того же типа события, чтобы выполнить поиск посредством упомянутого конкретного поискового запроса, на основе пользовательского ввода.