Способ и устройство для синхронизации интерактивного содержимого
Изобретение относится к технике связи, в частности к способу и устройству для синхронизации и воспроизведения интерактивного содержимого. Технический результат - обеспечение синхронизации и воспроизведения различных мультимедийных элементов. Устройство включает в себя блок определения синхронизированных мультимедийных элементов и интерфейс прикладных программ (API). Блок определения синхронизированных мультимедийных элементов определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым. Блок передачи API передает API, соответствующий интерактивной управляющей команде, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные блоком определения синхронизированных мультимедийных элементов как синхронизированные с AV содержимым. 7 н. и 33 з.п. ф-лы, 11 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к способу и устройству для синхронизации интерактивного содержимого и, в частности, к способу и устройству для синхронизации и воспроизведения интерактивного содержимого.
Уровень техники
В настоящее время языки разметки на основе Internet позволяют пользователям манипулировать различными текстами и мультимедийными элементами и конструировать Web-страницы в более динамическом и красочном виде, чем прежде. В последнее время стало возможным осуществлять воспроизведение специального аудиовизуального (AV) содержимого типа содержимого цифрового универсального диска (DVD) одновременно с множеством мультимедийных элементов. Широко используемый язык разметки гипертекста (HTML) позволяет создавать документ с разметкой, используя определенные теги и атрибуты для воспроизведения AV содержимого и мультимедийных элементов в документе с разметкой, но нет никакого способа синхронизированного воспроизведения специальных мультимедийных элементов с AV содержимым. Согласно родственным областям техники путем использования расширяемого языка разметки (XML) типа языка синхронизированной мультимультимедийной интеграции (SMIL) и атрибутов времени, начальной и конечная точками и продолжительностью времени воспроизведения мультимедийных элементов, включенных в браузер, можно манипулировать как тегами и атрибутами. Однако методика управления навигацией путем синхронизации воспроизведенного содержимого недоступна. Кроме того, для управления каждым элементом с целью реализации такой синхронизации необходимы многочисленные теги и атрибуты, что усложняет создание документа с разметкой.
Раскрытие изобретения
В настоящем изобретении предлагается способ и устройство для эффективного осуществления синхронизации и воспроизведения различных мультимедийных элементов, обеспечивающие одновременную навигацию специального AV содержимого типа содержимого цифрового универсального диска (DVD) и мультимедийных элементов, синхронизированных со специальным AV содержимым, в ответ на ввод сигнала от пользователя путем включения информации о мультимедийных элементах, касающейся того, синхронизированы ли мультимедийные элементы с AV содержимым, в информацию об AV/интерактивном содержимом.
Согласно одной особенности настоящего изобретения предлагается устройство для синхронизации интерактивного содержимого. Устройство включает в себя блок определения синхронизированных мультимедийных элементов, который определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым, и блок передачи интерфейса прикладных программ (API), который передает API, соответствующий интерактивной управляющей команде, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные как синхронизированные с AV содержимым блоком определения синхронизированных мультимедийных элементов.
Согласно другой особенности настоящего изобретения предлагается устройство для синхронизации и воспроизведения интерактивного содержимого. Устройство включает в себя блок синхронизации интерактивного содержимого, который определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым, и передает интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде, модуль воспроизведения AV содержимого, который осуществляет прием API, переданного от блока синхронизации интерактивного содержимого, и воспроизводит AV содержимое согласно полученному API, и модуль воспроизведения синхронизированных мультимедийных элементов, который принимает API, переданный от блока синхронизации интерактивного содержимого, и воспроизводит мультимедийные элементы, определенные блоком синхронизации интерактивного содержимого как синхронизированные с AV содержимым.
Согласно еще одной другой особенности настоящего изобретения предлагается способ синхронизации интерактивного содержимого, заключающийся в том, что определяют синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым, и передают интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные как синхронизированные с AV содержимым.
Согласно дополнительной другой особенности настоящего изобретения предлагается способ синхронизации и воспроизведения интерактивного содержимого, заключающийся в том, что определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым, и передают интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде; осуществляют прием API и воспроизведение AV содержимого согласно полученному API и воспроизводят мультимедийные элементы, определенные как синхронизированные с AV содержимым.
Дополнительные особенности и/или преимущества изобретения будут частично рассмотрены в приводимом ниже описании и частично будут очевидными из описания или могут быть изучены в процессе практического использования изобретения.
Краткое описание чертежей
Фиг. 1 - схематическое изображение устройства для синхронизации и воспроизведения интерактивного содержимого согласно примеру осуществления настоящего изобретения;
Фиг. 2 иллюстрирует конфигурацию устройства для синхронизации интерактивного содержимого согласно примеру осуществления настоящего изобретения;
Фиг. 3 иллюстрирует типичный документ с разметкой, выражающий интерактивное содержимое, согласно настоящему изобретению;
Фиг. 4 иллюстрирует типичный документ с разметкой, выражающий интерактивное содержимое, согласно настоящему изобретению;
Фиг. 5 иллюстрирует интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде, согласно настоящему изобретению;
Фиг. 6 иллюстрирует типичный документ с разметкой, выражающий интерактивное содержимое, согласно настоящему изобретению;
Фиг. 7 иллюстрирует управляющую команду для модуля воспроизведения AV содержимого и подключаемого проигрывателя согласно настоящему изобретению;
Фиг. 8 - блок-схема последовательности этапов при реализации способа синхронизации и воспроизведения интерактивного содержимого согласно другому примеру осуществления настоящего изобретения;
Фиг. 9 - блок-схема последовательности этапов при реализации способа синхронизации интерактивного содержимого согласно другому примеру осуществления настоящего изобретения;
Фиг. 10 - детальная блок-схема этапа 91 на фиг. 9;
Фиг. 11 - детальная блок-схема этапа 92 на фиг. 9.
Осуществление изобретения
Далее подробные ссылки будут делаться на примеры осуществления настоящего изобретения, иллюстрируемые прилагаемыми чертежами, на которых одни и те же позиции относятся к одинаковым элементам. Целью приводимого ниже описания примеров осуществления является объяснение настоящего изобретения путем ссылок на фигуры.
Фиг. 1 - схематическое изображение устройства для синхронизации и воспроизведения интерактивного содержимого согласно примеру осуществления настоящего изобретения.
Устройство для синхронизации и воспроизведения интерактивного содержимого включает в себя блок 11 считывания содержимого, буфер 12 содержимого, блок 13 синхронизации интерактивного содержимого, модуль 14 воспроизведения AV содержимого, модуль 15 воспроизведения синхронизированных мультимедийных элементов и модуль 16 воспроизведения несинхронизированных мультимедийных элементов.
Блок 11 считывания содержимого считывает AV/интерактивное содержимое, включая AV содержимое и интерактивное содержимое, с носителя данных типа постоянной памяти на DVD-диске (DVD-ROM) или постоянной памяти на компакт-диске (CD-ROM) или считывает AV/интерактивное содержимое путем его загрузки из Internet. Буфер 12 содержимого буферизует AV/интерактивное содержимое, считанное блоком 12 считывания содержимого. Буфер 12 содержимого требуется для стабильного воспроизведения AV/интерактивного содержимого и может не требоваться в идеальной среде с очень высокими скоростями считывания.
Блок 13 синхронизации интерактивного содержимого проводит синтаксический анализ интерактивного содержимого, включенного в AV/интерактивное содержимое, буферизованное буфером 12 содержимого. При этом, интерактивное содержимое, включая информацию, которая управляет воспроизведением AV содержимого и мультимедийных элементов, включенных в AV/интерактивное содержимое, предварительно считанное из буфера 12 содержимого, затем подвергается синтаксическому анализу. В идеальной среде интерактивное содержимое, включенное в AV/интерактивное содержимое, считанное блоком 11 считывания содержимого, может быть непосредственно подвергнуто синтаксическому анализу. Обычно интерактивное содержимое означает содержимое, которое позволяет пользователям управлять изображениями на DVD в интерактивном режиме и основано преимущественно на усовершенствованной навигации (ENAV), предложенной на форуме по DVD (http://www.dvdforum.org).
Блок 13 синхронизации интерактивного содержимого интерпретирует интерактивное содержимое, включенное в подвергнутое синтаксическому анализу AV/интерактивное содержимое, определяет, синхронизированы ли мультимедийные элементы, включенные в AV/интерактивное содержимое, с AV содержимым, осуществляет прием интерактивной управляющей команды от пользователя и передает интерфейс прикладных программ (API), соответствующий полученной интерактивной управляющей команде, модулю 14 воспроизведения AV содержимого и модулю 15 воспроизведения синхронизированных мультимедийных элементов. Причем AV содержимое является основным содержимым для синхронизации, а другое содержимое синхронизировано с этим AV содержимым. AV содержимое, которое является основным содержимым для синхронизации, как правило представляет собой содержимое DVD. Определение мультимедийных элементов, которые должны быть синхронизированы с AV содержимым, выполняется путем интерпретации интерактивного содержимого. Поэтому, управление такими синхронизированными мультимедийными элементами может быть осуществлено независимо от других мультимедийных элементов. Другими словами, соответствующий API передается модулю 14 воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю 15 воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные как синхронизированные с AV содержимым. Причем API означает способ, задаваемый операционными системами или другими прикладными программами для запроса действий операционных систем или других прикладных программ. API реализуется путем вызова функции, обеспечивающей подключение к специальной подпрограмме в программе.
Модуль 14 воспроизведения AV содержимого осуществляет прием API, переданный от блока 13 синхронизации интерактивного содержимого, и воспроизводит AV содержимое согласно полученному API. Модуль 15 воспроизведения синхронизированных мультимедийных элементов осуществляет прием API, переданный от блока 13 синхронизации интерактивного содержимого, и воспроизводит мультимедийные элементы, определенные блоком 13 синхронизации интерактивного содержимого как синхронизированные с AV содержимым, согласно полученному API. Если пользователь вводит интерактивную управляющую команду типа воспроизведения или останова путем нажатия специальной клавиши на дистанционном контроллере, блок 13 синхронизации интерактивного содержимого осуществляет прием интерактивной управляющей команды и передает API, соответствующий полученной интерактивной управляющей команде, модулю 14 воспроизведения AV содержимого и модулю 15 воспроизведения синхронизированных мультимедийных элементов. Затем модуль 14 воспроизведения AV содержимого и модуль 15 воспроизведения синхронизированных мультимедийных элементов осуществляют прием переданного API и воспроизводят соответственно AV содержимое и мультимедийные элементы согласно полученному API. Таким образом AV содержимое и мультимедийные элементы воспроизводятся синхронизировано один с другим согласно намерению изготовителя AV/интерактивного содержимого.
Модуль 16 воспроизведения несинхронизированных мультимедийных элементов воспроизводит мультимедийные элементы, определенные блоком 13 синхронизации интерактивного содержимого как несинхронизированные с AV содержимым. Воспроизведение мультимедийных элементов типа баннерных рекламных объявлений, которые воспроизводятся асинхронно с AV содержимым, может осуществляться с повторением и непрерывно.
Модуль 15 воспроизведения синхронизированных мультимедийных элементов и модуль 16 воспроизведения несинхронизированных мультимедийных элементов включены в модуль воспроизведения интерактивного содержимого. Кроме того, модуль воспроизведения для браузеров неподвижных изображений также включен в модуль воспроизведения интерактивного содержимого. Таким образом AV изображения (как правило изображения на DVD), реализуемые AV содержимым, браузеры, реализуемые интерактивным содержимым, и мультимедийные элементы смешиваются и затем отображаются на одном экране дисплея.
Фиг. 2 иллюстрирует конфигурацию устройства для синхронизации интерактивного содержимого согласно примеру осуществления настоящего изобретения.
Устройство для синхронизации интерактивного содержимого включает в себя блок 21 определения синхронизированных мультимедийных элементов и блок 22 передачи API.
Блок 21 определения синхронизированных мультимедийных элементов проводит синтаксический анализ и интерпретирует интерактивное содержимое, включая AV содержимое и мультимедийные элементы, и определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое с AV содержимым. Причем AV содержимое, как правило, представляет собой содержимое DVD, интерактивное содержимое выражено документом с разметкой, а устройство для синхронизации интерактивного содержимого реализуется браузером. Информация, указывающая на то, синхронизированы ли мультимедийные элементы с AV содержимым или нет, может быть включена в документ с разметкой в формах мета-тегов, вновь определенных тегов или атрибутов, сценариев или двоичных данных.
Блок 21 определения синхронизированных мультимедийных элементов включает в себя блок 211 синтаксического анализа интерактивного содержимого и блок 212 интерпретации интерактивного содержимого.
Блок 211 синтаксического анализа интерактивного содержимого проводит синтаксический анализ интерактивного содержимого, выраженного документом с разметкой, и создает дерево объектной модели документов (DOM). Дерево DOM представляет логическую древовидную структуру с помощью моделирующих элементов, включенных в структурный документ, подобный документу с разметкой, как единичный объект. Блок 212 интерпретации интерактивного содержимого интерпретирует дерево DOM, созданное блоком 211 синтаксического анализа интерактивного содержимого, и определяет, являются ли элементы в каждом узле дерева DOM мультимедийными элементами, синхронизированными с AV содержимым.
Блок 22 передачи API осуществляет прием интерактивной управляющей команды от пользователя и передает API, соответствующий полученной интерактивной управляющей команде, модулю 202 воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю 203 воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные блоком 21 определения синхронизированных мультимедийных элементов как синхронизированные с AV содержимым. Интерактивная управляющая команда включает в себя команду воспроизведения, команду останова, команду просмотра предыдущего экрана и команду просмотра следующего экрана. Обычно ввод интерактивной управляющей команды осуществляется пользователем посредством терминала ввода типа дистанционного контроллера. Модуль 203 воспроизведения синхронизированных мультимедийных элементов может быть реализован с помощью браузера, который отображает интерактивное содержимое, но, как правило, реализуется с помощью подключаемого проигрывателя. Подключаемый модуль обеспечивает возможность отображения файлов различных форматов, которые не могут быть отображены в браузере, в окне браузера с использованием программного обеспечения, запрограммированного третьим лицом. Другими словами, подключаемый модуль позволяет открывать файлы различных форматов, вызываемые документом с разметкой. Поскольку подключаемый модуль работает в Web-браузере, создается впечатление, что Web-браузер отображает файлы, которые на самом деле не могут быть отображены в Web-браузере без открытия окна Web-браузера. Например, подключаемый проигрыватель, использующий подключаемый модуль, может представлять собой медиапроигрыватель для WINDOWS, флэш-проигрыватель, проигрыватель потокового аудиовидео и т.д. Поскольку мультимедийные элементы представляют собой в основном аудиофайлы, файлы с изображением, движущимся в режиме реального времени, и анимационные файлы с движущимся изображением, воспроизводимые медиапроигрывателями для WINDOWS, флэш-проигрывателями или проигрывателями потокового аудиовидео, то они могут быть воспроизведены с использованием подключаемого проигрывателя.
В частности, блок 22 передачи API включает в себя блок 221 приема интерактивной управляющей команды и блок 222 передачи API, соответствующего интерактивной управляющей команде.
Блок 221 приема интерактивной управляющей команды осуществляет прием интерактивной управляющей команды типа команды воспроизведения, команды останова, команды просмотра предыдущего экрана или команды просмотра следующего экрана. Блок 222 передачи API, соответствующего интерактивной управляющей команде, передает API, соответствующий интерактивной управляющей команде, полученной от блока 221 приема интерактивной управляющей команды, модулю 202 воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю 203 воспроизведения синхронизированных мультимедийных элементов типа медиапроигрывателя для WINDOWS, флэш-проигрывателя или проигрывателя потокового аудиовидео, который воспроизводит мультимедийные элементы типа аудиофайлов, файлов с изображением, движущимся в режиме реального времени, и анимационных файлов с движущимся изображением, определенных блоком 21 определения синхронизированных мультимедийных элементов как синхронизированные с AV содержимым.
Другими словами, блок 222 передачи API, соответствующего интерактивной управляющей команде, формирует дерево DOM путем проведения синтаксического анализа интерактивного содержимого и таким образом распознает элементы в каждом узле дерева DOM. При этом блок 222 передачи API, соответствующего интерактивной управляющей команде, реагирует на ввод интерактивной управляющей команды, осуществляемый пользователем посредством дистанционного контроллера. Если элементы в каждом узле дерева DOM могут быть обработаны в браузере, то браузер отображает элементы. Если элементы в каждом узле дерева DOM не могут быть обработаны в браузере, они отображаются с использованием соответствующего подключаемого проигрывателя, который позволяет отображать такие элементы. Как только пользователь вводит интерактивную управляющую команду посредством ввода специальной клавиши, используя дистанционный контроллер, происходит событие, соответствующее интерактивной управляющей команде. Если соответствующее событие предназначено для команды воспроизведения, команды останова, команды просмотра предыдущего экрана или команды просмотра следующего экрана, т.e. для навигации, блок 222 передачи API, соответствующего интерактивной управляющей команды, передает API, соответствующий событию ввода, модулю 202 воспроизведения AV содержимого и модулю 203 воспроизведения синхронизированных мультимедийных элементов 203, т.е. подключаемому проигрывателю, который воспроизводит мультимедийные элементы, синхронизированные с AV содержимым. При этом, когда дерево DOM сформировано раньше, API не передается подключаемому проигрывателю, который воспроизводит мультимедийные элементы, несинхронизированные с AV содержимым, при использовании полученной в результате распознавания информации о синхронизации с AV содержимым. Таким образом возможно осуществить синхронизированное воспроизведение с AV содержимым только тех мультимедийных элементов, которые синхронизированы с AV содержимым.
Фиг. 3 иллюстрирует типичный документ с разметкой, который выражает интерактивное содержимое, согласно настоящему изобретению.
Документ с разметкой на фиг. 3 предоставляется изготовителем AV/интерактивного содержимого для того, чтобы позволить браузеру распознать, должны ли мультимедийные элементы быть синхронизированы с AV содержимым, когда AV/интерактивное содержимое в дополнение к AV содержимому включает в себя мультимедийные элементы.
Как показано на фиг. 3, документ с разметкой указывает с помощью тегов <object>, что два флэш-анимационных файла должны воспроизводиться с AV содержимым (причем, с содержимым DVD). В первом теге <object> определено воспроизведение содержимого DVD. Во втором и третьем тегах <object> определено воспроизведение флэш-анимационных файлов. Изготовитель использует тег <meta> для указания, что мультимедийные элементы, включенные в документ с разметкой, должны быть синхронизированы с содержимым DVD. Кроме того, изготовитель определяет атрибут "name" тега <meta> как "synchronization_id", а атрибут "content" тега <meta> как "2". Таким образом можно увидеть, что флэш-анимационные файлы, включенные в документ тегом <object>, имеющим атрибут "id=2", должны быть синхронизированы с содержимым DVD после интерпретации документа с разметкой.
Поскольку содержимое DVD может быть воспроизведено в форме блока видеообъектов (VOBU), то для мультимедийных элементов типа аудиофайлов и анимационных файлов, которые синхронизированно воспроизводятся с содержимым DVD, может дополнительно потребоваться информации о расписании в форме VOBU. В настоящем изобретении путь, по которому мультимедийные элементы синхронизировано воспроизводятся с содержимым DVD, не будет рассмотрен, поскольку эта методика известна. Таким образом, флэш-анимационный файл, включенный во второй тег <object>, отделен от AV содержимого, а флэш-анимационный файл, включенный в третий тег <object>, должен синхронизировано воспроизводиться с AV содержимым. Кроме того, с помощью атрибута "type" предоставляется информация о подключаемом проигрывателе, который может воспроизводить соответствующие мультимедийные элементы.
Фиг. 4 иллюстрирует типичный документ с разметкой, который выражает интерактивное содержимое, согласно настоящему изобретению.
Документ с разметкой на фиг. 4 предоставляется изготовителем AV/интерактивного содержимого для того, чтобы позволить браузеру распознать, должны ли мультимедийные элементы быть синхронизированы с AV содержимым, когда AV/интерактивное содержимое в дополнение к AV содержимому включает в себя мультимедийные элементы.
Как показано на фиг. 4, документ с разметкой указывает с помощью тегов <object>, что два флэш-анимационных файла должны воспроизводиться с AV содержимым (причем, с содержимым DVD). В первом теге <object> определено воспроизведение содержимого DVD. Во втором и третьем тегах <object> определено воспроизведение флэш-анимационных файлов. Однако в отличие от документа с разметкой, показанного на фиг. 3, информация о синхронизации с AV содержимым не зарегистрирована в специальном теге типа тега <meta>. Вместо этого, атрибут "synchronization" вновь определен в тегах <object> и таким образом обеспечена возможность распознавания содержимого DVD, которое должны быть синхронизировано с AV содержимым. Как показано на фиг. 4, "synchronization" включает в себя в качестве значения атрибута булево выражение. Если булево выражение представляет собой "true", то флэш-анимационные файлы должны быть синхронизированы с AV содержимым. Если булево выражение представляет собой "false", то флэш-анимационные файлы не должны быть синхронизированы с AV содержимым. Таким образом, флэш-анимационный файл, включенный во второй тег <object>, отделен от AV содержимого, а флэш-анимационный файл, включенный в третий тег <object>, должен быть синхронизирован с AV содержимым. Кроме того, с помощью атрибута "type" предоставляется информация о подключаемом проигрывателе, который может воспроизводить соответствующие мультимедийные элементы.
На фиг. 3 и 4 информация о синхронизации с AV содержимым определена в формах тега <meta> и атрибутов соответственно. Однако информация о синхронизации с AV содержимым может быть определена в форме нового тега или языка программирования типа Java script. Другими словами, информация о синхронизации с AV содержимым может быть включена в документ с разметкой различными способами. Изготовители AV/интерактивного содержимого включают информацию о том, должны ли мультимедийные элементы, включенные в их AV/интерактивное содержимое, быть синхронизированы с AV содержимым, в документ с разметкой. Таким образом, браузер, реализованный настоящим изобретением, может управлять мультимедийными элементами так же, как AV содержимым с помощью соответствующей информации о синхронизации с AV содержимым в ответ на ввод сигнала от пользователя.
Фиг. 5 иллюстрирует API, соответствующий интерактивной управляющей команде настоящего изобретения.
Для случая, когда пользователь желает обеспечить навигацию AV содержимого посредством устройства ввода пользователя типа дистанционного контроллера, должен быть предусмотрен API, соответствующий интерактивной управляющей команде. При этом, когда имеется ссылка на API, соответствующий событию ввода специальной клавиши с дистанционного контроллера, как на интерфейс RCKeyEvent, интерфейс RCKeyEvent обеспечивает специальную информацию, связанную с действием дистанционного контроллера. Атрибут кода клавиши представляет значение кода клавиши, которое предварительно назначено клавише на дистанционном контроллере, а имя клавиши представляет имя клавиши на дистанционном контроллере. Интерфейс RCKeyEvent, как показано на фиг. 5, используется в дереве DOM.
События в RCKeyEvent на фиг. 5 могут происходить при "rckeypress", "rckeydown" или "rckeyup". Среди событий в RCKeyEvent минимальные коды клавиш, требуемые для навигации AV содержимого в режиме ENAV, предложенной на форуме по DVD (http://www.dvdforum.org), представляют собой "12", "13", "16" и "17". При нажатии клавиш, которым назначены "12", "13", "16" и "17", в режиме ENAV, передается соответствующий API и таким образом может осуществляться управление модулем 14 воспроизведения AV содержимого и модулем воспроизведения интерактивного содержимого, показанными на фиг. 1. Согласно настоящему изобретению управление другими мультимедийными элементами, которые должны быть воспроизведены синхронизировано с AV содержимым, должно осуществляться так, чтобы обеспечить возможность такой же навигации мультимедийных элементов, как и AV содержимого. Другими словами, управляющая команда, соответствующая навигационному событию в устройстве ввода пользователя, должна быть передана подключаемому проигрывателю, который воспроизводит каждый мультимедийный элемент так же, как модуль 14 воспроизведения AV содержимого.
Таким образом браузер передает соответствующий API подключаемому проигрывателю, который воспроизводит мультимедийные элементы, синхронизированные с AV содержимым, так же, как модуль воспроизведения AV содержимого, когда пользователь нажимает клавиши "PlayPause", "Stop", "Prev" и "Next", которым назначены коды клавиш "12", "13", "16" и "17", в режиме ENAV.
Фиг. 6 иллюстрирует типичный документ с разметкой, выражающий интерактивное содержимое, согласно настоящему изобретению.
Как показано на фиг. 6, в документе с разметкой, флэш-анимационный файл, который не должен быть синхронизирован с AV содержимым, и медиафайл с движущимся изображением для WINDOWS, который должен быть синхронизирован с AV содержимым, заданы как мультимедийные элементы, отличные от AV содержимого. Флэш-проигрыватель и медиапроигрыватель для WINDOWS заданы как подключаемый проигрыватель, который воспроизводит флэш-анимационный файл и медиафайл с движущимся изображением для WINDOWS.
Фиг. 7 иллюстрирует управляющую команду для модуля 14 воспроизведения AV содержимого и подключаемого проигрывателя согласно настоящему изобретению.
Как показано в таблице на фиг. 7, если событие, соответствующее "Play" инициируется пользователем в режиме ENAV, браузер передает API под названием dvdVideo.InputRCKey 12 модулю 14 воспроизведения AV содержимого, медиапроигрывателю для WINDOWS, заданному как MediaPlayer.Play( ), и флэш-проигрывателю, заданному как FlashPlayer.Play( ). Другими словами, согласно таблице на фиг. 7, предопределенные соответствующие интерфейсы API передаются всем модулям воспроизведения и подключаемым проигрывателям, которые воспроизводят мультимедийные элементы. Однако, как указано выше, так как браузеру уже известны мультимедийные элементы, синхронизированные с AV содержимым, по информации о синхронизации с AV содержимым, которая включена в документ с разметкой, мультимедийным элементам, которые не должны быть синхронизированы с AV содержимым, передача интерфейсов API не осуществляется. Таким образом обеспечивается одинаковое управление AV содержимым и мультимедийными элементами, которые должны быть синхронизированы с AV содержимым, в ответ на навигационное событие пользователя.
На фиг. 8 представлена блок-схема последовательности этапов при реализации способа синхронизации и воспроизведения интерактивного содержимого согласно примеру осуществления настоящего изобретения.
Способ синхронизации и воспроизведения интерактивного содержимого заключается в следующем.
На этапе 81 AV/интерактивное содержимое, включая AV содержимое и интерактивное содержимое, считываются с предопределенного носителя данных или считываются путем загрузки из Internet. На этапе 82 считанное AV/интерактивное содержимое буферизуется. В идеальной среде с очень высокой скоростью считывания этап 82 может быть опущен. На этапе 83 интерактивное содержимое, включенное в буферизованное AV/интерактивное содержимое, подвергается синтаксическому анализу или интерактивное содержимое, включенное в считанное AV/интерактивное содержимое, непосредственно подвергается синтаксическому анализу в идеальной среде, подвергнутое синтаксическому анализу интерактивное содержимое интерпретируется и определяется, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с AV содержимым. Если на этапе 84 мультимедийные элементы, включенные в интерактивное содержимое, определены как синхронизированные с AV содержимым, то осуществляется прием интерактивной управляющей команды от пользователя и на этапе 85 передается API, соответствующий полученной интерактивной управляющей команде. На этапе 86 осуществляется прием переданного API и AV содержимое воспроизводится согласно полученному API. На этапе 87 осуществляется прием переданного API и мультимедийные элементы, синхронизированные с AV содержимым, воспроизводятся согласно полученному API. Если на этапе 84 мультимедийные элементы, включенные в интерактивное содержимое, определены как несинхронизированные с AV содержимым, то мультимедийные элементы воспроизводятся независимо от интерактивной управляющей команды.
На фиг. 9 представлена блок-схема последовательности этапов при реализации способа синхронизации интерактивного содержимого согласно примеру осуществления настоящего изобретения.
Способ синхронизации интерактивного содержимого заключается в следующем.
На этапе 91 интерактивное содержимое, включая мультимедийные элементы, подвергается синтаксическому анализу и интерпретации и определяется, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с AV содержимым. Причем, AV содержимое, как правило, представляет собой содержимое DVD, а интерактивное содержимое выражено документом с разметкой. В документе с разметкой информация о том, синхронизированы ли мультимедийные элементы с AV содержимым, может быть включена в формах тегов <meta>, вновь определенных тегов, вновь определенных атрибутов, сценариев или двоичных данных.
На этапе 92 при приеме интерактивной управляющей команды от пользователя соответствующий полученной интерактивной управляющей команде API передается модулю 202 воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю 203 воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные как синхронизированные с AV содержимым, как показано на фиг. 2. Причем интерактивная управляющая команда может представлять собой команду воспроизведения, команду останова, команду просмотра предыдущего экрана или команду просмотра следующего экрана, а модуль 203 воспроизведения синхронизированных мультимедийных элементов - подключаемый проигрыватель. Подключаемый проигрыватель может представлять собой медиапроигрыватель для WINDOWS, флэш-проигрыватель или проигрыватель потокового аудиовидео. Аудиофайлы, файлы с изображением, движущимся в режиме реального времени, и анимационные файлы с движущимся изображением являются мультимедийными элементами, которые воспроизводятся в медиапроигрывателе для WINDOWS, флэш-проигрывателе или проигрывателе потокового аудиовидео, отличными от AV содержимого.
На фиг. 10 представлена детальная блок-схема этапа 91 на фиг. 9. Этап 91 на фиг. 9 заключается в следующем.
На этапе 101 интерактивное содержимое, выраженное документом с разметкой, подвергается синтаксическому анализу и создается дерево DOM. На этапе 102 созданное DOM дерево интерпретируется и определяется, являются ли элементы в каждом узле созданного дерева DOM мультимедийные элементами, синхронизированными с AV содержимым.
На фиг. 11 представлена детальная блок-схема этапа 92 на фиг. 9. Этап 92 на фиг. 9 заключается в следующем.
На этапе 111 осуществляется прием интерактивной управляющей команды типа команды воспроизведения, команды останова, команды просмотра предыдущего экрана или команды просмотра следующего экрана от пользователя. На этапе 112 API, соответствующий полученной интерактивной управляющей команде, передается модулю 202 воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю 203 воспроизведения синхронизированных мультимедийных элементов типа медиапроигрывателя для WINDOWS, флэш-проигрывателя или проигрывателя потокового аудиовидео, который воспроизводит мультимедийные элементы типа аудиофайлов, файлов потокового видео и анимационных файлов с движущимся изображением, которые определены как синхронизированные с AV содержимым.
Настоящее изобретение может быть осуществлено как компьютерно-считываемый код на компьютерно-считываемом носителе и реализовано в обычном цифровом компьютере, который реализует программу, использующую компьютерно-считываемый носитель.
Структуры данных, используемые в примерах осуществления настоящего изобретения, могут быть зарегистрированы на компьютерно-считываемом носителе с использованием всех видов регистрирующих устройств.
Компьютерно-считываемый носитель включает в себя магнитный носитель данных (например, ROM, дискеты и жесткие диски), носители информации с оптическим считыванием (например, CD-ROM и DVD) и несущие колебания (например, передачи по Internet).
Выше приведено и описано несколько примеров осуществления настоящего изобретения, однако специалистам в данной области техники должно быть очевидно, что в него могут быть внесены изменения, не нарушающие принципов и не выходящие за пределы существа изобретения, область действия которого определена в формуле изобретения и ее эквивалентах.
Промышленная применимость
Согласно настоящему изобретению обеспечивается одновременная навигация специального AV содержимого типа содержимого DVD и мультимедийных элементов, синхронизированных со специальным AV содержимым, в ответ на ввод сигнала от пользователя путем включения информации, указывающей на то, синхронизированы ли мультимедийные элементы в AV/интерактивном содержимом, включая мультимедийные элементы, с AV содержимым или нет. Также возможно эффективное осуществление синхронизации и воспроизведение различных мультимедийных элементов. Для реализации такой синхронизации необходимо задать только теги или атрибуты, которые определены для включения информации о синхронизации с AV содержимым. Таким образом пользователь может без труда создавать документы с разметкой.
1. Устройство для синхронизации интерактивного содержимого, содержащее
блок определения синхронизированных мультимедийных элементов, который определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым; и
блок передачи интерфейса прикладных программ (API), который передает API, соответствующий интерактивной управляющей команде, модулю воспроизведения AV содержимого, осуществляющему воспроизведение AV содержимого, и модулю воспроизведения синхронизированных мультимедийных элементов, осуществляющему воспроизведение мультимедийных элементов, определенных как синхронизированные с AV содержимым блоком определения синхронизированных мультимедийных элементов.
2. Устройство по п.1, в котором AV содержимое представляет собой содержимое цифрового универсального диска (DVD), а интерактивное содержимое выражено документом с разметкой и/или представляет собой ресурсы, ссылки на которые содержатся в документе с разметкой.
3. Устройство по п.2, в котором блок определения синхронизированных мультимедийных элементов проводит синтаксический анализ и интерпретацию интерактивного содержимого, выраженного документом с разметкой, включая информацию о том, синхронизированы ли мультимедийные элементы с AV содержимым, в виде метатегов, вновь определенных тегов, вновь определенных атрибутов, сценариев или двоичных данных, и определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с AV содержимым.
4. Устройство по п.3, в котором блок определения синхронизированных мультимедийных элементов содержит
блок синтаксического анализа интерактивного содержимого, который проводит синтаксический анализ интерактивного содержимого, выраженного документом с разметкой, и создает дерево объектной модели документов (DOM); и
блок интерпретации интерактивного содержимого, который интерпретирует дерево DOM, созданное блоком синтаксического анализа интерактивного содержимого, и определяет, являются ли элементы в каждом узле созданного дерева DOM мультимедийными элементами, синхронизированными с AV содержимым.
5. Устройство по п.1, в котором интерактивная управляющая команда представляет собой команду воспроизведения, команду останова, команду просмотра предыдущего экрана или команду просмотра следующего экрана, а модуль воспроизведения синхронизированных мультимедийных элементов - подключаемый проигрыватель.
6. Устройство по п.5, в котором подключаемый проигрыватель представляет собой медиапроигрыватель для WINDOWS, флэш-проигрыватель или проигрыватель потокового аудиовидео.
7. Устройство по п.6, в котором мультимедийные элементы включают в себя аудиофайлы, файлы с изображением, движущимся в режиме реального времени, и анимационные файлы с движущимся изображением, воспроизводимые в медиапроигрывателе для WINDOWS, флэш-проигрывателе или проигрывателе потокового аудиовидео.
8. Устройство по п.7, в котором блок передачи API содержит
блок приема интерактивной управляющей команды, осуществляющий прием интерактивной управляющей команды, представляющей собой команду воспроизведения, команду останова, команду просмотра предыдущего экрана или команду просмотра следующего экрана, от пользователей; и
блок передачи API, соответствующего интерактивной управляющей команде, передающий API, соответствующий интерактивной управляющей команде, полученной блоком приема интерактивной управляющей команды, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимультимедийных элементов, представляющему собой медиапроигрыватель для WINDOWS, флэш-проигрыватель или проигрыватель потокового аудиовидео, который воспроизводит аудиофайлы, файлы с потоковым видео и анимационные файлы, определенные блоком определения синхронизированных мультимедийных элементов как мультимедийные элементы, синхронизированные с AV содержимым.
9. Устройство для синхронизации и воспроизведения интерактивного содержимого, содержащее
блок считывания содержимого, который считывает содержимое, включающее в себя аудиовизуальное (AV) содержимое и интерактивное содержимое;
блок синхронизации интерактивного содержимого, который определяет, синхронизированы ли мультимедийные элементы, включенные в указанное интерактивное содержимое, включенное в указанное содержимое, с указанным аудиовизуальным (AV) содержимым, включенным в указанное содержимое, и передает интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде;
модуль воспроизведения AV содержимого, который осуществляет прием API, переданного от блока синхронизации интерактивного содержимого, и воспроизводит AV содержимое согласно полученному API; и
модуль воспроизведения синхронизированных мультимедийных элементов, осуществляющий прием API, переданного от блока синхронизации интерактивного содержимого, и воспроизведение мультимедийных элементов, определенных блоком синхронизации интерактивного содержимого как синхронизированные с AV содержимым.
10. Устройство по п.9, дополнительно содержащее блок считывания содержимого, который считывает AV/интерактивное содержимое, включая AV содержимое и интерактивное содержимое, с заданного носителя данных или считывает AV/интерактивное содержимое путем загрузки из Internet.
11. Устройство по п.10, в котором блок синхронизации интерактивного содержимого проводит синтаксический анализ интерактивного содержимого, включенного в AV/интерактивное содержимое, считанное блоком считывания содержимого.
12. Устройство по п.10, дополнительно содержащее буфер содержимого, который буферизует AV/интерактивное содержимое, считанное блоком считывания содержимого.
13. Устройство по п.12, в котором блок синхронизации интерактивного содержимого проводит синтаксический анализ и интерпретацию интерактивного содержимого, включенного в AV/интерактивное содержимое, буферизованное буфером содержимого, и определяет, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с AV содержимым.
14. Устройство по п.9, дополнительно содержащее модуль воспроизведения несинхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные блоком синхронизации интерактивного содержимого как несинхронизированные с AV содержимым.
15. Способ синхронизации интерактивного содержимого, заключающийся в том, что
определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым; и
передают интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные как синхронизированные с AV содержимым.
16. Способ по п.15, в котором AV содержимое представляет собой содержимое цифрового универсального диска (DVD), а интерактивное содержимое выражено документом с разметкой и/или представляет собой ресурсы, ссылки на которые содержатся в документе с разметкой.
17. Способ по п.16, в котором определение синхронизированных с AV содержимым мультимедийных элементов, включенных в интерактивное содержимое, заключается в том, что дополнительно проводят синтаксический анализ и интерпретацию интерактивного содержимого, выраженного документом с разметкой, включая информацию о том, синхронизированы ли мультимедийные элементы с AV содержимым, в виде метатегов, вновь определенных тегов, вновь определенных атрибутов, сценариев или двоичных данных, и определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое с AV содержимым.
18. Способ по п.17, в котором определение синхронизированных с AV содержимым мультимедийных элементов, включенных в интерактивное содержимое, заключается в том, что
проводят синтаксический анализ интерактивного содержимого, выраженного документом с разметкой, и создают дерево объектной модели документов (DOM); а также
интерпретируют дерево DOM, созданное блоком синтаксического анализа интерактивного содержимого, и определяют, являются ли элементы в каждом узле созданного дерева DOM мультимедийными элементами, синхронизированными с AV содержимым.
19. Способ по п.15, в котором интерактивная управляющая команда представляет собой команду воспроизведения, команду останова, команду просмотра предыдущего экрана или команду просмотра следующего экрана, а модуль воспроизведения синхронизированных мультимедийных элементов - подключаемый проигрыватель.
20. Способ по п.19, в котором подключаемый проигрыватель представляет собой медиапроигрыватель для WINDOWS, флэш-проигрыватель или проигрыватель потокового аудиовидео.
21. Способ по п.20, в котором мультимедийные элементы включают в себя аудиофайлы, файлы с изображением, движущимся в режиме реального времени, и анимационные файлы с движущимся изображением, воспроизводимые в медиапроигрывателе для WINDOWS, флэш-проигрывателе или проигрывателе потокового аудиовидео.
22. Способ по п.21, в котором передача API заключается в том, что
осуществляют прием интерактивной управляющей команды, представляющей собой команду воспроизведения, команду останова, команду просмотра предыдущего экрана или команду просмотра следующего экрана, от пользователя; и
передают API, соответствующий полученной интерактивной управляющей команде, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимультимедийных элементов, представляющему собой медиапроигрыватель для WINDOWS, флэш-проигрыватель или проигрыватель потокового аудиовидео, который воспроизводит аудиофайлы, файлы с потоковым видео и анимационные файлы, определенные как мультимедийные элементы, синхронизированные с AV содержимым.
23. Способ синхронизации и воспроизведения интерактивного содержимого, заключающийся в том, что
определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым, и передают интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде; осуществляют прием переданного API и воспроизведение AV содержимого согласно полученному API; и
осуществляют прием переданного API и воспроизведение мультимедийных элементов, определенных как синхронизированные с AV содержимым.
24. Способ по п.23, в котором определение синхронизированных мультимедийных элементов, включенных в интерактивное содержимое, заключается в том, что дополнительно осуществляют
считывание AV/интерактивного содержимого, включая AV содержимое и интерактивное содержимое, с заданного носителя данных или считывание AV/интерактивного содержимого путем загрузки AV/интерактивного содержимого из Internet.
25. Способ по п.24, в котором определение синхронизированных с AV содержимым мультимедийных элементов, включенных в интерактивное содержимое, заключается в том, что проводят синтаксический анализ интерактивного содержимого, включенного в AV/интерактивное содержимое, считанное блоком считывания содержимого.
26. Способ по п.24, в котором дополнительно буферизуют считанное AV/интерактивное содержимое.
27. Способ по п.26, в котором определение синхронизированных с AV содержимым мультимедийных элементов, включенных в интерактивное содержимое, заключается в том, что проводят синтаксический анализ и интерпретацию интерактивного содержимого, включенного в буферизованное AV/интерактивное содержимое, и определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с AV содержимым.
28. Способ по п.23, в котором дополнительно воспроизводят мультимедийные элементы, определенные как синхронизированные с AV содержимым.
29. Компьютерно-считываемый носитель записи с программой для реализации способа синхронизации интерактивного содержимого, заключающегося в том, что
определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым; и
передают интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде, модулю воспроизведения AV содержимого, который воспроизводит AV содержимое, и модулю воспроизведения синхронизированных мультимедийных элементов, который воспроизводит мультимедийные элементы, определенные как синхронизированные с AV содержимым.
30. Компьютерно-считываемый носитель записи с программой для реализации способа синхронизации и воспроизведения интерактивного содержимого, заключающегося в том, что
определяют, синхронизированы ли мультимедийные элементы, включенные в интерактивное содержимое, с аудиовизуальным (AV) содержимым, и передают интерфейс прикладных программ (API), соответствующий интерактивной управляющей команде;
осуществляют прием переданного API и воспроизведение AV содержимого согласно полученному API и
осуществляют прием переданного API и воспроизведение мультимедийных элементов, определенных как синхронизированные, с AV содержимым.
31. Способ синхронизации потока данных, заключающийся в том, что
осуществляют прием потока данных;
проводят синтаксический анализ потока данных на AV содержимое и интерактивное содержимое;
идентифицируют интерактивное содержимое, синхронизированное с AV содержимым как синхронизированное интерактивное содержимое, а несинхронизированное с AV содержимым, как несинхронизированное интерактивное содержимое и осуществляют прием управляющей команды, соответствующей навигационному событию, а также
избирательно декодируют AV содержимое и синхронизированное интерактивное содержимое на основе результата идентификации синхронизированного интерактивного содержимого и в соответствии с полученной управляющей командой, соответствующей навигационному событию.
32. Способ по п.31, в котором дополнительно осуществляют
избирательное декодирование несинхронизированного интерактивного содержимого.
33. Способ по п.31, в котором избирательное декодирование заключается в использовании интерфейса прикладных программ (API), соответствующего управляющей команде, соответствующей навигационному событию, для избирательного декодирования AV содержимого и синхронизированного интерактивного содержимого.
34. Способ по п.31, в котором дополнительно осуществляют
буферизацию полученного потока данных для обеспечения возможности более стабильного воспроизведения AV содержимого и интерактивных данных потока.
35. Способ по п.31, в котором AV содержимое содержит цифровой универсальный диск (DVD).
36. Способ по п.35, в котором интерактивное содержимое обеспечивает пользователям возможность управления AV содержимым DVD на основе усовершенствованных (ENAV) команд, соответствующих навигационным событиям.
37. Способ по п.36, в котором управление избирательным декодированием осуществляют так, чтобы обеспечить такую же навигацию синхронизированного содержимого, как и AV содержимого, в ответ на управляющую команду, соответствующую навигационному событию.
38. Способ по п.31, в котором интерактивное содержимое содержит документ с разметкой, включая информацию, которая управляет избирательным декодированием AV содержимого и мультимедийных элементов в интерактивном содержимом.
39. Способ по п.38, в котором избирательное декодирование заключается в том, что дополнительно осуществляют
создание дерева объектной модели документов (DOM) из подвергнутого синтаксическому анализу интерактивного содержимого и
идентификацию каждого узла дерева DOM, представляющего мультимедийные элементы, синхронизированные с AV содержимым.
40. Способ по п.39, в котором дополнительно осуществляют идентификацию подключаемого модуля, соответствующего мультимедийным элементам, синхронизированным с AV содержимым, который используется для избирательного декодирования мультимедийных элементов, синхронизированных с AV содержимым.
