Способ и устройство для смешивания аудиопотока и носитель информации

Изобретение относится к носителю данных, который хранит информацию о смешивании, и способу и устройству для смешивания аудиопотоков. Носитель данных включает в себя, по меньшей мере, один аудиопоток, который содержит множество аудиоданных, полученных из соответствующего множества каналов, и информацию о смешивании, используемую для смешивания, по меньшей мере, частей множества аудиоданных. Информация о смешивании записана в интерактивных данных для обеспечения взаимодействия с пользователем. Это позволяет смешивать и воспроизводить разные типы компонентов каналов без изменения форматов каналов разных аудиопотоков и делает возможным выполнение динамического смешивания множества компонентов каналов, предоставляя возможность адаптации для изменения аудиоконтента и его характеристик. 14 н. и 41 з.п. ф-лы, 14 ил.

 

Область, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для смешивания множества аудиоданных, полученных из соответствующего множества каналов.

Уровень техники

Фиг.1 представляет собой схематическое изображение обычного пользовательского интерфейса для регулировки громкости аудиоплеера, установленного на персональном компьютере (ПК) или т.п. Пользователь может регулировать громкость аудиоплеера, используя интерфейс управления громкости, как показано на Фиг.1. Когда пользователь регулирует громкость аудиоплеера, поднимая или опуская кнопку 100 громкости с помощью клавиатуры или мыши, в это же время выполняется аудиосмешивание на полученных аудиоданных из соответствующего множества каналов. Однако аудиосмешивание произвольно определяется аудиоплеером, независимо от количества каналов аудиопотоков и типов каналов.

Например, когда воспроизводится аудиопоток, содержащий аудиоданные, полученные из двух каналов, уровни выходных сигналов первых аудиоданных из первого канала и вторых аудиоданных из второго канала задаются в аудиоплеере. Таким образом, уровни выходных сигналов первых и вторых аудиоданных регулируются до заданных уровней выходных сигналов, и отрегулированные уровни выходных сигналов первых и вторых аудиоданных смешиваются.

Однако вышеуказанное произвольное аудиосмешивание имеет некоторые проблемы. Во-первых, для провайдера контента невозможно предоставлять первые аудиоданные и вторые аудиоданные, полученные из двух отдельных каналов в одно и то же время, в то же время регулируя уровни выходных сигналов до требуемых уровней и смешивая первые и вторые аудиоданные. Это происходит, поскольку, существующие способы аудиосмешивания не позволяют выполнять смешивание и в то же время соответствовать намерениям провайдеров контента. Другими словами, поскольку уровни выходных сигналов аудиоданных регулируются, и аудиосмешивание выполняют как заданное в аудиоплеере, установленном в персональном компьютере, едва ли возможно соответствующим образом отражать намерения производителя контента при аудиосмешивании.

Во-вторых, как только способ аудиосмешивания определяется относительно аудиоконтента, такого как слова песни или сценарий фильма, способ смешивания поддерживается пока не завершено воспроизведение. То есть невозможно динамически менять способ аудиосмешивания, выполняемого над аудиоконтентом. Таким образом, не может быть выполнена какая-либо адаптация для любого аудиоконтента или характеристик.

В-третьих, только компоненты одного типа канала могут быть смешаны во время смешивания компонентов канала одного типа аудиоконтента с такими компонентами другого типа аудиоконтента. Другими словами, даже если провайдеры контента желают предоставить аудиоконтент, полученный путем смешивания аудиоданных из различных каналов, такой контент создать невозможно. Более конкретно, если один тип аудиоконтента содержит в себе многоканальные данные и другой тип аудиоконтента содержит в себе двухканальные данные, сложно смешать двухканальные данные с компонентом объемного звучания многоканальных данных без изменения формата канала двухканальных данных. Для смешивания двухканальных данных с компонентом канала многоканальных данных двухканальные данные должны быть преобразованы в формат многоканальных данных, то есть формат их канала вследствие этого должен быть изменен до передачи. Таким образом, передача двухканальных данных требует использования ресурсов выделенных для многоканальных данных, тем самым приводя к напрасной трате ресурсов. В особенности эта проблема становится важной, при одновременном воспроизведении части MP3 музыки, загружаемой через Интернет, и воспроизведении видео, содержащем многоканальный аудиокомпонент, такое как DVD видео. MP3 музыка включает в себя два канала, правый и левый каналы. Таким образом, во время воспроизведения DVD видео, аудиоданные канала MP3 из правого и левого каналов смешиваются соответственно только с аудиоданными правого и левого канала многоканального аудио, содержащегося в DVD видео. Также уровни выходного сигнала смешанных аудиоданных должны быть изменены в зависимости от характеристик аудиоплеера. Следовательно, для провайдера контента сложно отрегулировать MP3 музыку до требуемого уровня выходного сигнала, и смешать MP3 музыку с многоканальными аудиоданными объемного звучания, содержащимися в DVD видео.

Раскрытие изобретения

Настоящее изобретение предоставляет способ аудиосмешивания и устройство смешивания и воспроизведения различных типов компонентов канала без изменения форматов каналов аудиопотоков, которые составляют разные типы аудиоконтентов, и носитель данных, который хранит информацию аудиосмешивания.

Настоящее изобретение также предоставляет способ аудиосмешивания и устройство, выполненное с возможностью динамического изменения способа аудиосмешивания, выполненный на компонентах множества каналов, таким образом, предоставляя возможность изменения аудиоконтента или характеристик, и носитель данных, который хранит информацию аудиосмешивания.

Согласно одному из аспектов настоящего изобретения, предоставляется носитель данных, содержащий, по меньшей мере, один аудиопоток, который содержит большое количество аудиоданных, полученных из множества соответствующих каналов, и информацию о смешивании, используемую для смешивания, по меньшей мере, частей множества аудиоданных.

Информация о смешивании содержит информацию о коэффициенте смешивания, используемую для регулировки уровней выходных сигналов аудиоданных. Также, информация о смешивании дополнительно содержит информацию об отношениях смешивания, которая определяет аудиоданные, полученные из множества аудиоданных.

Информацию о смешивании записывают в программные данные, что дает возможность взаимодействия с пользователем. Программные данные включают в себя java данные, созданные с помощью языка программирования java.

Согласно другому аспекту настоящего изобретения, предоставляется носитель данных, содержащий первый аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов, второй аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов, и информацию о смешивании, которая записывается в интерактивных данных для смешивания, по меньшей мере, одних аудиоданных из первого аудиопотока с, по меньшей мере, одними аудиоданными из второго аудиопотока.

Информация о смешивании записывается в программные данные, что дает возможность взаимодействия с пользователем на основании интерфейса, определенного между платформой, считывающей информацию о смешивании и языком java, реализующим информацию о смешивании. Программные данные включают в себя java данные, созданные с помощью языка программирования java.

Согласно другому аспекту настоящего изобретения, предоставляется способ воспроизведения аудиопотока, причем способ включает в себя декодирование, по меньшей мере, одного аудиопотока, содержащего множество аудиоданных, полученных из соответствующего множества каналов; и смешивание аудиоданных из, по меньшей мере, двух каналов из множества каналов, на основании информации о смешивании, записанной в интерактивных данных.

Согласно другому аспекту настоящего изобретения, предоставляется устройство, которое воспроизводит аудиопоток, причем данное устройство включает в себя декодер, который декодирует аудиопоток, включающий в себя множество аудиоданных, полученных из соответствующего множества каналов, и смеситель, который смешивает, по меньшей мере, две части декодированных аудиоданных, основываясь на информации о смешивании.

Согласно другому аспекту настоящего изобретения, предоставляется устройство, которое воспроизводит аудиопоток, причем данное устройство включает в себя декодер, который декодирует первый аудиопоток, включающий в себя множество аудиоданных, полученных из соответствующего множества каналов, и декодирует второй аудиопоток, содержащий в себе множество аудиоданных, полученных из соответствующего множества каналов; и смеситель, который смешивает аудиоданные из, по меньшей мере, одного канала из множества каналов первого аудиопотока и аудиоданные из, по меньшей мере, одного канала из множества каналов второго аудиопотока, основываясь на информации о смешивании. Информация о смешивании записывается в интерактивных данных.

Дополнительные аспекты и/или преимущества настоящего изобретения будут представлены далее отчасти в описании, которое следует ниже и отчасти, будут очевидны из описания, или могут быть освоены при реализации настоящего изобретения.

Краткое описание чертежей

Эти и/или другие аспекты и преимущества изобретения будут очевидны и более очевидны из последующего описания вариантов осуществления, рассмотренных совместно с прилагаемыми чертежами, на которых:

Фиг.1 представляет собой схему общепринятого пользовательского интерфейса для регулировки громкости аудиоплеера, установленного на персональном компьютере (ПК) или т.п.;

Фиг.2А представляет собой блок-схему, иллюстрирующую структуру воспроизводящего устройства согласно варианту осуществления настоящего изобретения;

Фиг.2В представляет собой блок-схему, иллюстрирующую структуру варианта осуществления воспроизводящего устройства по Фиг.2А;

Фиг.3А и 3В иллюстрируют примеры аудиопотока, содержащего множество аудиоданных, полученных из соответствующего множества каналов, согласно настоящему изобретению;

Фиг.4 представляет собой блок-схему, иллюстрирующую структуру другого варианта осуществления воспроизводящего устройства по Фиг.2А, которое смешивает первый аудиопоток по Фиг.3А и второй аудиопоток по Фиг.3В;

Фиг.5 иллюстрирует структуру данных информации о смешивании согласно варианту осуществления настоящего изобретения;

Фиг.6 иллюстрирует таблицу смешивания, содержащую в себе информацию о смешивании по Фиг.5, согласно варианту осуществления настоящего изобретения;

Фиг.7 представляет собой сравнительную диаграмму, иллюстрирующую динамическое смешивание, согласно настоящему изобретению;

Фиг.8 иллюстрирует пример программного кода интерфейса, такого как интерфейс прикладных программ (ИПП), который определяет информацию о смешивании согласно настоящему изобретению;

Фиг.9 иллюстрирует пример кода интерфейса по Фиг.8, который определяет информацию о смешивании, добавленную в размеченный документ, используя ECMAScript;

Фиг.10 иллюстрирует пример кода JAVA Package, который определяет IDL Definition, показанное на Фиг.8, с тем, чтобы использовать IDL Definition в java программе;

Фиг.11 иллюстрирует пример кода java программы, в которую информация о смешивании добавляется с использованием JAVA Package по Фиг.10;

Фиг.12 представляет собой блок-схему последовательности операций, иллюстрирующую способ воспроизведения аудиопотока, согласно варианту осуществления настоящего изобретения;

Фиг.13 представляет собой блок-схему последовательности операций, иллюстрирующую способ воспроизведения аудиопотока, согласно другому варианту осуществления настоящего изобретения; и

Фиг.14А и 14В иллюстрируют вариант осуществления операции 1306 по Фиг.13.

Осуществление изобретения

Рассмотрим теперь более подробно варианты осуществления настоящего изобретения, примеры которых показаны на прилагаемых чертежах, в которых одинаковые ссылочные позиции относятся к одинаковым элементам. Варианты осуществления описаны ниже для объяснения настоящего изобретения с помощью соответствующих чертежей.

Для лучшего понимания настоящего изобретения сначала будет описано "смешивание" согласно настоящему изобретению. Смешивание может рассматриваться как одно из следующего: (i) регулировка уровней выходных сигналов аудиоданных из, по меньшей мере, двух каналов многоканального аудиопотока; (ii) регулировка соответствующих уровней выходных сигналов аудиоданных из, по меньшей мере, двух соответствующих каналов многоканального аудиопотока и комбинирование отрегулированных аудиоданных из одного канала с аудиоданными из, по меньшей мере, одного другого канала; и (iii) комбинирование аудиоданных из соответствующего множества каналов многоканального аудиопотока, и вывод комбинированного результата на спикер. Также способы смешивания с (i) по (iii) подходят для аудиоданных из соответствующего множества каналов множества многоканальных аудиопотоков. Далее, динамическое смешивание включает в себя "смешивание" согласно настоящему изобретению.

Фиг.2А представляет собой блок-схему, иллюстрирующую структуру воспроизводящего устройства согласно варианту осуществления настоящего изобретения. Ссылаясь на Фиг.2А, воспроизводящее устройство смешивает аудиоданные из, по меньшей мере, одного многоканального аудиопотока, основываясь на информации о смешивании, согласно настоящему изобретению. Воспроизводящее устройство включает в себя декодер 1 и смеситель 2. Декодер 1 декодирует многоканальный аудиопоток, который содержит множество аудиоданных, различаемых с помощью их соответствующего множества каналов. Смеситель 2 смешивает декодированное множество аудиоданных, основываясь на информации о смешивании. Более конкретно, смеситель 2 регулирует уровни выходных сигналов аудиоданных из множества аудиопотоков, и комбинирует аудиоданные, находящиеся в аудиопотоке с аудиоданными, находящимися в другом аудиопотоке, основываясь на информации о смешивании. Если аудиопоток содержит множество видов информации о смешивании относительно аудиопотока, смеситель 2 совершает динамическое смешивание аудиопотока путем регулировки уровней выходного сигнала согласно контенту или другим условиям. Динамическое смешивание более подробно будет описано ниже.

Фиг.2В представляет собой блок-схему, иллюстрирующую структуру варианта осуществления воспроизводящего устройства по Фиг.2А. Обращаясь к Фиг.2В, воспроизводящее устройство включает в себя декодер 1, смеситель 2, сетевой приемопередатчик 3 и устройство 4 считывания. Сетевой приемопередатчик 3 передает информацию и получает информацию из сети. В частности, сетевой приемопередатчик 3 согласно настоящему изобретению принимает аудиопоток и/или информацию о смешивании через сеть. Устройство 4 считывания считывает аудиопоток и/или информацию о смешивании с дискового носителя данных, такого как жесткий диск (HD), компакт диск (CD), или цифрового универсального диска (DVD). Множество аудиоданных в аудиопотоке получают из соответствующего множества каналов и различают с помощью соответствующих каналов. Информация о смешивании может быть получена либо из сети, либо через дисковый носитель данных. Детальное описание информации о смешивании будет дано ниже.

Декодер 1 декодирует первый и второй аудиопотоки, предоставленные сетевым приемопередатчиком 3 или устройством 4 считывания. Смеситель 2 смешивает декодированные аудиоданные из первого многоканального аудиопотока с декодированными аудиоданными из второго многоканального аудиопотока, основываясь на информации о смешивании, полученной из сетевого приемопередатчика 3 или устройства 4 считывания. Более конкретно, смеситель 2 регулирует уровень выходного сигнала аудиоданных из каждого аудиопотока, объединяет аудиоданные, находящиеся в одном аудиопотоке с аудиоданными, находящимися в другом аудиопотоке, основываясь на информации о смешивании, и передает объединенный результат на спикер.

Фиг.3А и 3В иллюстрируют примеры аудиопотоков, содержащих множество аудиоданных, полученных из соответствующего множества каналов, согласно настоящему изобретению.

Обращаясь к Фиг.3А, первый аудиопоток содержит аудиоданные, которые получены из пяти каналов L, C, R, LS, и RS. Здесь L, C, R, LS, и RS обозначают левый канал, центральный канал, правый канал, левый канал объемного звучания, и правый канал объемного звучания, соответственно. Каналы L, R, и C обеспечивают стабильные виртуальные источники звука и каналы LS и RS обеспечивают трехмерные (3D), источники реалистичного звука. Согласно настоящему изобретению множество аудиоданных содержит соответствующую информацию канала. Например, если аудиоданные получены из канала LS, информация из канала, содержащаяся в аудиоданных, указывает на аудиоданные соответствующие каналу LS.

Обращаясь к Фиг.3В, второй аудиопоток содержит аудиоданные, которые получены из двух каналов L и R. Здесь, L и R означают левый канал и правый канал, соответственно. Второй аудиопоток, то есть двухканальный аудиопоток, дает возможность воспроизведения звука, который смещается в правом и левом направлении. Как разъяснялось в связи с Фиг.3А, соответствующие аудиоданные из соответствующих каналов содержат соответствующую информацию каналов. Например, если аудиоданные получены из канала L, информация канала, содержащаяся в аудиоданных, указывает аудиоданные, соответствующие каналу L.

Фиг.4 представляет собой блок-схему, иллюстрирующую структуру другого варианта осуществления воспроизводящего устройства по Фиг.2А, которое смешивает первый аудиопоток по Фиг.3А и второй аудиопоток по Фиг.3В. По Фиг.4, воспроизводящее устройство включает в себя блок декодирования 1, имеющий первый декодер 11, второй декодер 12, и смеситель 2. Первый декодер 11 декодирует первый аудиопоток, содержащий аудиоданные соответствующие пяти каналам, и по отдельности выводит декодированные аудиоданные соответствующие пяти каналам L, C, R, LS, и RS. Выходные аудиоданные посылают в смеситель 2 в виде пяти отдельных данных каналов. Второй декодер 12 декодирует второй аудиопоток, содержащий аудиоданные, соответствующие двум каналам L и R, и отдельно выводят декодированные аудиоданные, соответствующие двум каналам L и R. Выходные аудиоданные также посылают в смеситель 2 в виде двух отдельных данных каналов.

Смеситель 2 включает в себя усилители 21-27, которые усиливают уровни выходных сигналов аудиоданных, введенных из первого декодера 11 и второго декодера 12, и включает в себя сумматоры 28 и 29, которые объединяют множество аудиоданных из, по меньшей мере, двух каналов. На Фиг.4, два сумматора, то есть сумматоры 28 и 29, приведены в качестве примера, но ограничений на количество сумматоров не существует. В случае необходимости, смеситель 2 согласно настоящему изобретению может включать в себя большее число сумматоров для объединения аудиоданных из каналов, не показанных на Фиг.4.

Основываясь на информации о смешивании, смеситель 2 использует усилители 21-23 для увеличения выходных уровней сигналов аудиоданных из каналов L, R и C, которые вводят из первого декодера 11 с коэффициентом смешивания 1, и используют усилители 24 и 25 для увеличения выходных уровней сигналов аудиоданных из каналов LS и RS с коэффициентом смешивания 0,5. Аналогично, основываясь на информации о смешивании, смеситель 2 использует усилители 26 и 27 для увеличения выходных уровней сигналов аудиоданных из каналов L и R, которые вводят из второго декодера 12 с коэффициентом смешивания 0,5, используя усилители 26 и 27. Далее смеситель 2 использует сумматоры 28 и 29 для объединения аудиоданных отрегулированных выходных уровней сигналов с аудиоданными из каналов LS и RS. То есть, аудиоданные из канала L второго аудиопотока и аудиоданные из канала R второго аудиопотока объединяются соответственно с аудиоданными из каналов LS и RS первого аудиопотока. Результаты объединения выводят через каналы LS и RS. Таким образом, смеситель 2 выводит конечные аудиоданные через пять каналов L, C, R, LS, и RS.

Фиг.5 иллюстрирует структуру данных информации о смешивании согласно варианту осуществления настоящего изобретения. По Фиг.5, информация о смешивании содержит информацию об отношениях смешивания и/или информацию о коэффициенте смешивания. Информация об отношениях смешивания определяется из множества аудиоданных, которые выбираются и объединяются, и информация о коэффициенте смешивания определяет коэффициенты смешивания, которые используются во время регулировки выходных уровней сигналов аудиоданных, предназначенные для смешивания. В другом случае, информация о смешивании может включать в себя либо информацию об отношениях смешивания, либо информацию о коэффициенте смешивания.

Фиг.6 иллюстрирует таблицу смешивания, содержащую информацию о смешивании по Фиг.5, согласно варианту осуществления настоящего изобретения. По Фиг.6, таблица смешивания, которая используется смесителем 2, включенным в воспроизводящее устройство по Фиг.4, содержит информацию о смешивании, которая включает в себя информацию об отношениях смешивания и информацию о коэффициенте смешивания. Более конкретно, информация об отношениях смешивания определяет идентификаторы для аудиопотоков, поступающих на смеситель 2; компоненты канала аудиопотоков, поступающих на смеситель 2; идентификаторы аудиопотока и компоненты канала, которые должны быть объединены с компонентами канала другого последующего аудиопотока; и коэффициент смешивания, используемый для регулировки выходных уровней сигналов аудиоданных. Таблица смешивания показывает, что выходные уровни сигналов аудиоданных, полученные из каналов L, R, и C первого аудиопотока, умножаются на коэффициент смешивания 1, и выходные уровни сигналов аудиоданных каналов LS и RS умножаются на коэффициент смешивания 0,5. То есть выходные уровни сигналов аудиоданных каналов LS и RS уменьшены в два раза, и отрегулированные аудиоданные объединяются с аудиоданными каналов L и R второго аудиопотока. При этом выходные уровни сигналов аудиоданных из каналов L и R второго аудиопотока умножаются на коэффициент смешивания 0,5. То есть выходные уровни сигналов аудиоданных из каналов L и R второго аудиопотока также уменьшены в два раза, и отрегулированные аудиоданные объединяются с аудиоданными каналов LS и RS первого аудиопотока.

Например, если аудиопоток представляет собой AC3 поток и второй аудиопоток представляет собой MP3 поток, смеситель 2 понижает выходные уровни сигналов аудиоданных из каналов LS и RS AC3 потока наполовину; понижает выходные сигналы аудиоданных из каналов L и R MP3 потока наполовину; объединяет отрегулированные аудиоданные из каналов LS и RS и отрегулированные аудиоданные из каналов L и R, и передает объединенные данные через каналы LS и RS, как показано в таблице смешивания.

Фиг.7 представляет собой диаграмму динамического смешивания, согласно настоящему изобретению. Более конкретно, Фиг.7 иллюстрирует аудиопоток, который содержит аудиоданные, полученные из соответствующих каналов L и R, аудиопоток воспроизводится вместе с видео данными. При этом может быть нежелательным использование фиксированного коэффициента смешивания во время воспроизведения. Например, это может применяться, когда кинофильм показывается с комментарием производителя. Если комментарий воспроизводится одинаковым уровнем выходного сигнала как в спокойных сценах, так и в шумных батальных сценах, уровень выходного сигнала может быть достаточно высоким, чтобы соответствовать атмосфере спокойной сцены и достаточно низким, чтобы соответствовать атмосфере батальной сцены. Для решения данной проблемы, рекомендуется, чтобы провайдер контента предоставлял множество таблиц смешивания, которые содержат коэффициенты смешивания для должным образом отрегулированных выходных уровней сигналов аудиоданных, для того чтобы соответствовать атмосфере соответствующих сцен в картине. Если количество таблиц смешивания превышает одну, должна быть дополнительно предоставлена информация опорного таймирования. Информация опорного таймирования определяет моменты времени, когда смеситель 2 воспроизводящего устройства, показанного на Фиг.4, должен обратиться к множеству таблиц смешивания. Смеситель 2 позволяет динамическое смешивание с помощью регулировки выходных уровней сигнала разных аудиоданных, как указывается в информации опорного таймирования, в котором выходные уровни сигнала умножаются на различные коэффициенты смешивания, занесенные во множество таблиц смешивания. Смешивание согласно настоящему изобретению включает в себя динамическое смешивание, в котором аудиосмешивание осуществляется, основываясь на разной информации о смешивании в разные моменты времени, при воспроизведении контента согласно контенту и цели провайдера контента. Информация о смешивании согласно настоящему изобретению может быть включена в интерактивные данные, хранимые вместе с аудио/видео AV данными, например, видео данные высокого разрешения в обычном DVD видео формате. Интерактивные данные указывают разметку данных и/или программные данные, используемые для обнаружения AV данных для взаимодействия с пользователем или во время просмотра ресурсов Интернета. Размеченные данные включают в себя размеченный документ, написанный на языке разметки, такой как гипертекстовый язык описания документов (HTML) или расширяемый язык разметки (XML); или размеченный ресурс, такой как графический файл, файл изображения, или звуковой файл, который вводится в размеченный документ. Программные данные указывают программный файл, который включен в размеченный документ или сделан отдельно от размеченного документа, и снабжает пользователя различными приложениями. Обычно программные данные выполнены на языке сценариев или языке java.

Например, информация о смешивании в интерактивном формате данных является прикладным программным интерфейсом (API). Для API должен быть определен интерфейс между конкретной платформой, которая воспроизводит информацию о смешивании, хранимую на носителе данных, таком как DVD, и конкретным языком, которым описана информация о смешивании. Конкретный язык может представлять собой JAVAScript или ECMAScript в размеченном документе, или соответствовать языку JAVA в java данных.

Фиг.8 иллюстрирует пример программного кода интерфейса, такого как API, который определяет информацию о смешивании согласно настоящему изобретению. Интерфейс по Фиг.8 представляет собой интерфейс между платформой и размеченным документом, используя IDL Definition. По Фиг.8, первый тип потока канала указывает соответствующие каналы целевого аудиопотока для аудиосмешивания с заданными целыми числами. Обычно, первый поток обозначает обычный DVD аудио или аудиопоток, хранимый на Blu-ray диске (BD). Второй тип потока канала также указывает соответствующие каналы целевого аудиопотока для аудиосмешивания, используя заданные целые числа. Обычно, второй поток обозначает аудиопоток, который дополнительно воспроизводится совместно с аудиоданными, сохраненными на DVD или BD. В данном описании, для удобства описаны два канала потоков, но количество каналов не ограничено.

В разделе атрибуты по Фиг.8, audioFirstStremMixLevel и audioSecondStreamMixLevel обозначают коэффициенты смешивания, используемые для смешивания первого и второго потоков, то есть, уровни громкости первого и второго потоков. Уровни смешивания определяются ранжированием коэффициентов от 0 до 255. Также SecondStream_SyncTo_FirstStreamPTS обозначает информацию опорного таймирования для аудиосмешивания, указывающую, что второй аудиопоток воспроизводится синхронно с первым аудиопотоком в конкретных точках PTS первого аудиопотока.

Также интерфейс по Фиг.8 иллюстрирует метод setChannel() смешивания заранее заданных компонентов канала первого и второго аудиопотоков, и метод play() для воспроизведения аудиоданных.

Фиг.9 иллюстрирует пример кода интерфейса по Фиг.8, который определяет информацию о смешивании, добавленную к размеченному документу, используя ECMAScript.

Фиг.10 иллюстрирует пример кода JAVA Package, который определяет IDL Definition, показанный на Фиг.8, для того, чтобы использовать IDL Definition в java программах. Фактически, импорт JAVA Package в java программу предоставляет возможность использования атрибутов и методов, определенных по Фиг.8.

Фиг.11 иллюстрирует пример кода java программы, в которую информация о смешивании добавляется, используя JAVA Package по Фиг.10.

В дальнейшем, способ или воспроизведение аудиоданных согласно варианту осуществления настоящего изобретения будут описаны со ссылкой на прилагаемые чертежи.

Фиг.12 представляет собой блок-схему последовательности операций, иллюстрирующую способ воспроизведения аудиопотока, согласно варианту осуществления настоящего изобретения. По Фиг.12 воспроизводящее устройство декодирует аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов (этап 1201). Затем, декодированные аудиоданные из, по меньшей мере, двух каналов из множества каналов смешиваются, основываясь на информации о смешивании (этап 1202). Здесь, множество аудиоданных может принадлежать либо одному аудиопотоку, либо разным аудиопотокам.

Фиг.13 представляет собой блок-схему последовательности операций, иллюстрирующую способ воспроизведения аудиопотока согласно другому варианту осуществления настоящего изобретения. По Фиг.13 воспроизводящее устройство принимает по сети первый аудиопоток, содержащий множество аудиоданных, которые получены из соответствующего множества каналов (этап 1301). Затем, воспроизводящее устройство принимает по сети информацию о смешивании (этап 1302). Затем, первый аудиопоток, полученный из сети, декодируется (этап 1303). Затем, второй аудиопоток, содержащий множество аудиоданных, которые получены из соответствующего множества каналов, считывается с дискового носителя данных (этап 1304). Затем, второй аудиопоток декодируется (этап 1305). Затем, воспроизводящее устройство смешивает аудиоданные из первого аудиопотока и аудиоданные из второго аудиопотока, основываясь на информации о смешивании (этап 1306).

Фиг.14А и 14В иллюстрируют варианты осуществления этапа 1306 по Фиг.13. Обращаясь к Фиг.14А, воспроизводящее устройство регулирует выходные уровни сигналов аудиоданных из множества аудиопотоков, основываясь на информации о коэффициенте смешивания, содержащейся в информации о смешивании, и смешивает отрегулированные аудиоданные, основываясь на информации об отношениях смешивания, содержащейся в информации о смешивании (этап 1401).

Ссылаясь на Фиг.14В, устройство воспроизведения детектирует множество аудиоданных, которые объединяются, основываясь на информации об отношениях о смешивании и информации канала, содержащейся в множестве аудиоданных; регулирует выходные уровни сигналов детектированного множества аудиоданных, основываясь на информации о коэффициенте смешивания, и смешивает отрегулированное множество аудиоданных (этап 1402).

Промышленная применимость

Как описано выше, согласно настоящему изобретению можно смешивать и воспроизводить разные типы компонентов канала без изменения форматов канала разных аудиопотоков. Кроме того, также возможно осуществлять динамическое смешивание на множестве компонентов канала, таким образом, разрешая адаптацию для изменения в аудиоконтенте и характеристик в нем и, таким образом, воспроизводя аудиоданные более подходящим образом. В частности, согласно настоящему изобретению, поскольку информация о смешивании описана в интерактивных данных, позволяя взаимодействие с пользователем, существует возможность обеспечения пользователя большим числом приложений.

Хотя были показаны и описаны несколько реализаций настоящего изобретения, специалисты в данной области техники признают, что в данном варианте осуществления могут быть сделаны изменения без отступления от принципов и сущности настоящего изобретения, объем которого определен в формуле изобретения и ее эквивалентах.

1. Носитель данных, содержащий

по меньшей мере, один аудиопоток, который содержит множество аудиоданных, полученных из соответствующего множества каналов; и

информацию о смешивании, используемую для смешивания, по меньшей мере, частей множества аудиоданных, причем информация о смешивании записана в интерактивных данных для обеспечения взаимодействия с пользователем.

2. Носитель данных по п.1, в котором информация о смешивании содержит информацию о коэффициенте смешивания, которая используется для регулировки выходных уровней сигнала аудиоданных.

3. Носитель данных по п.2, в котором информация о смешивании дополнительно содержит информацию об отношениях смешивания, которая определяет аудиоданные, полученные из множества аудиоданных.

4. Носитель данных по п.1, в котором информация о смешивании записана в интерактивных данных, которые воспроизводятся вместе с заранее заданными AV данными, для обеспечения взаимодействия с пользователем.

5. Носитель данных по п.4, в котором информация о смешивании записана в размеченном документе на языке разметки, что дает возможность взаимодействия с пользователем, или записана в программных данных, которые записаны в различных файлах размеченного документа, и предоставляют пользователю заданное приложение.

6. Носитель данных по п.5, в котором программные данные содержат java данные, созданные на языке программирования java.

7. Носитель данных по п.4, в котором информация о смешивании записана в программных данных, которые дают возможность взаимодействия с пользователем.

8. Носитель данных по п.7, в котором программные данные содержат java данные, созданные на языке программирования java.

9. Носитель данных, содержащий

первый аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов;

второй аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов; и

информацию о смешивании, которая записана в интерактивных данных для смешивания, по меньшей мере, одних аудиоданных из первого аудиопотока с, по меньшей мере, одними аудиоданными из второго аудиопотока.

10. Носитель данных по п.9, в котором информация о смешивании содержит информацию о коэффициенте смешивания, которая определяет выходные уровни сигналов аудиоданных.

11. Носитель данных по п.9, в котором информация о смешивании дополнительно содержит информацию об отношениях смешивания, которая определяет аудиоданные, полученные из множества аудиоданных.

12. Носитель данных по п.9, в котором информация о смешивании содержит множество таблиц смешивания в отношении каждого из первого и второго аудиопотоков.

13. Носитель данных по п.12, в котором информация опорного таймирования, предназначенная для ссылки, включена в каждую таблицу смешивания.

14. Носитель данных по п.9, в котором каждые аудиоданные содержат информацию канала, соответствующую связанным каналам.

15. Носитель данных по п.9, в котором информация о смешивании записана в размеченном документе на языке разметки, что дает возможность взаимодействия с пользователем, или записана в программных данных, которые записаны в разных файлах размеченного документа, и предоставляет пользователю заданное приложение.

16. Носитель данных по п.9, в котором информация о смешивании записана в размеченном документе на языке разметки, что дает возможность взаимодействия с пользователем, или записана в java данных, которые записаны в разных файлах размеченного документа, и в котором информация о смешивании записана, основываясь на интерфейсе, определенном между платформой, считывающей информацию о смешивании и языком java, реализующим информацию о смешивании.

17. Носитель данных по п.16, в котором интерфейс определяет информацию о типе канала потока, которая определяет аудиоданные первого аудиопотока и аудиоданные второго аудиопотока, используя заданные целые числа, в котором информация о типе канала потока имеет атрибуты, представляющие информацию о коэффициенте смешивания, которая определяет выходные уровни сигналов аудиоданных.

18. Носитель данных по п.17, в котором информация о смешивании содержит информацию о типе канала потока и атрибутах.

19. Носитель данных по п.17, в котором интерфейс определяет информацию опорного таймирования, которая определяет момент времени, в которые следует обращаться к информации о смешивании, и определяет способ смешивания компонентов канала первого и второго аудиопотоков.

20. Носитель данных по п.19, в котором способ содержит метод setChannel и метод play для воспроизведения данных.

21. Носитель данных по п.9, в котором информация о смешивании записана в программных данных, которые дают возможность взаимодействия с пользователем, и в котором информация о смешивании записана, основываясь на интерфейсе, определенном между платформой, считывающей информацию о смешивании и языком программирования java, реализующим информацию о смешивании.

22. Носитель данных по п.21, в котором программные данные содержат java данные, созданные на языке программирования java.

23. Способ воспроизведения аудиопотока, содержащий

декодирование, по меньшей мере, одного аудиопотока, содержащего множество аудиоданных, полученных из соответствующего множества каналов; и

смешивание аудиоданных из, по меньшей мере, двух каналов множества каналов, основываясь на информации о смешивании, записанной в интерактивных данных для обеспечения взаимодействия с пользователем.

24. Способ по п.23, в котором смешивание аудиоданных содержит смешивание аудиоданных, полученных из, по меньшей мере, двух каналов множества каналов, основываясь на информации о смешивании, записанной в размеченном документе на языке разметки, что дает возможность взаимодействия с пользователем, или записанной в программных данных, которые записаны в разных файлах размеченного документа, и предоставляет пользователю заданные приложения.

25. Способ по п.23, в котором смешивание аудиоданных содержит регулировку выходных уровней сигналов аудиоданных и смешивание отрегулированных выходных уровней сигналов, основываясь на информации о смешивании, включающей информацию о типе канала потока и атрибутов информации о типе канала потока, причем информация о типе канала потока, которая определяет множество аудиоданных и получена из соответствующего множества каналов, использует заданные целые числа, и атрибуты, которые представляют информацию о коэффициенте смешивания, определяющую выходные уровни сигналов множества аудиоданных и выходные сигналы каналов.

26. Устройство, которое воспроизводит аудиопоток, содержащее

декодер, который декодирует аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов; и

смеситель, который смешивает, по меньшей мере, две части декодированных аудиоданных, основываясь на информации о смешивании, причем информация о смешивании записана в интерактивных данных для обеспечения взаимодействия с пользователем.

27. Устройство по п.26, в котором смеситель регулирует выходные уровни сигналов аудиоданных, основываясь на информации о коэффициенте смешивания, содержащейся в информации о смешивании.

28. Устройство по п.26, в котором смеситель объединяет аудиоданные из, по меньшей мере, двух каналов множества каналов, основываясь на информации об отношениях смешивания, содержащейся в информации о смешивании.

29. Устройство по п.26, в котором смеситель регулирует выходные уровни сигналов аудиоданных и смешивает аудиоданные, полученные из, по меньшей мере, двух каналов множества каналов, основываясь на информации о смешивании, которая записана в размеченном документе на языке разметки, что дает возможность взаимодействия с пользователем, или записана в программных данных, которые записаны в разных файлах из размеченного документа, и предоставляет пользователю заданное приложение.

30. Устройство по п.26, в котором смеситель регулирует выходные уровни сигналов аудиоданных и смешивает аудиоданные, полученные из, по меньшей мере, двух каналов из множества каналов, основываясь на информации о смешивании, включающей в себя информацию о типе канала потока и атрибуты информации о типе канала потока, причем информация о типе канала потока определяет аудиоданные, полученные из заданных каналов аудиопотоков, причем заданные целые числа и атрибуты представляют информацию о коэффициенте смешивания, которая определяет выходные уровни сигналов аудиоданных.

31. Устройство, которое воспроизводит аудиопоток, содержащее

декодер, который декодирует первый аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов, и декодирует второй аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов; и

смеситель, который смешивает аудиоданные из, по меньшей мере, одного канала множества каналов для первого аудиопотока и аудиоданные из, по меньшей мере, одного канала множества каналов для второго аудиопотока, основываясь на информации о смешивании.

32. Устройство по п.31, дополнительно содержащее сетевой приемопередатчик, который получает, по меньшей мере, один из первого и второго аудиопотоков через сеть.

33. Устройство по п.31, дополнительно содержащее устройство считывания, которое считывает, по меньшей мере, один из первого и второго аудиопотоков с дискового носителя данных.

34. Устройство по п.31 дополнительно содержащее

сетевой приемопередатчик, который принимает, по меньшей мере, один канал из первого и второго аудиопотоков через сеть; и

устройство считывания, которое считывает другие аудиопотоки с дискового носителя данных.

35. Устройство по п.34, в котором сетевой приемопередатчик получает информацию о смешивании через сеть.

36. Устройство по п.34, в котором устройство считывания считывает информацию о смешивании из дискового носителя данных.

37. Устройство по п.31, в котором смеситель регулирует выходные уровни сигналов аудиоданных, основываясь на информации о коэффициенте смешивания, содержащейся в информации о смешивании, причем информация о коэффициенте смешивания используется для регулировки выходных уровней сигналов аудиоданных.

38. Устройство по п.31, в котором смеситель объединяет аудиоданные из, по меньшей мере, двух каналов из множества каналов для множества аудиопотоков, основываясь на информации об отношениях смешивания, содержащейся в информации о смешивании, причем информация об отношениях смешивания определяет аудиоданные, полученные из множества аудиоданных.

39. Устройство по п.31, в котором смеситель детектирует аудиоданные, основываясь на информации об отношениях смешивания, определяющей аудиоданные, полученные из множества аудиоданных, и информацию канала, содержащуюся в аудиоданных, и регулирует выходные уровни сигналов детектированных аудиоданных, основываясь на информации о коэффициенте смешивания, содержащейся в информации о смешивании, причем информация о коэффициенте смешивания используется для регулировки выходных уровней сигналов детектированных аудиоданных.

40. Устройство по п.31, в котором смеситель выполняет динамическое смешивание, основываясь на информации о смешивании.

41. Устройство по п.31, в котором смеситель регулирует выходные уровни сигналов данных и смешивает аудиоданные, полученные из, по меньшей мере, двух каналов из множества каналов, основываясь на информации, описанной в интерактивных данных.

42. Устройство по п.31, в котором смеситель регулирует выходные уровни сигналов аудиоданных и смешивает аудиоданные, полученные из, по меньшей мере, двух каналов из множества каналов, основываясь на информации о смешивании, которая записана в размеченном документе на языке разметки, что дает возможность взаимодействия с пользователем, или записана в программных данных, которые записаны в разных файлах размеченного документа, и предоставляет пользователю заданное приложение.

43. Устройство по п.31, в котором смеситель регулирует выходные уровни сигналов аудиоданных и смешивает аудиоданные, полученные из, по меньшей мере, двух каналов из множества каналов, основываясь на информации о смешивании, включающей в себя информацию о типе канала потока и атрибуты информации о типе канала потока, причем информация о типе канала потока определяет аудиоданные, полученные из заданных каналов, при этом заданные целые числа и атрибуты представляют информацию о коэффициенте смешивания, которая определяет выходные уровни сигналов аудиоданных.

44. Носитель данных, содержащий

по меньшей мере, один аудиопоток, содержащий множество аудиоданных, полученных из множества каналов; и

информацию о смешивании, используемую для объединения, по меньшей мере, частей множества аудиоданных без изменения форматов каналов упомянутого, по меньшей мере одного, аудиопотока.

45. Носитель данных по п.44, в котором информация о смешивании записана в интерактивных данных, воспроизводимых вместе с заданными аудио/видео данными для обеспечения взаимодействия с пользователем.

46. Носитель данных, содержащий

первый аудиопоток, содержащий множество аудиоданных, полученных из первого источника множества каналов;

второй аудиопоток, содержащий множество аудиоданных, полученных из второго источника множества каналов; и

информацию о смешивании, записанную в интерактивных данных для объединения, по меньшей мере, одних аудиоданных из первого аудиопотока с, по меньшей мере, одними аудиоданными из второго аудиопотока без изменения форматов каналов разных аудиопотоков.

47. Носитель данных по п.46, в котором информация о смешивании записана в размеченном документе на языке разметки, который разрешает взаимодействие с пользователем, или записана в программных данных, записанных в разных файлах размеченного документа, и предоставляет пользователю заданное приложение.

48. Способ воспроизведения аудиопотока, содержащий

декодирование, по меньшей мере, одного аудиопотока, содержащего множество аудиоданных, полученных из множества каналов; и

смешивание и воспроизведение аудиоданных из, по меньшей мере, двух каналов из множества каналов, основываясь на информации о смешивании, записанной в интерактивных данных без изменения форматов каналов упомянутого, по меньшей мере одного, аудиопотока.

49. Устройство, которое воспроизводит аудиопоток, содержащее

декодер, который декодирует, по меньшей мере, один аудиопоток, содержащий множество аудиоданных, полученных из соответствующего множества каналов; и

смеситель, который смешивает, по меньшей мере, две части декодированных аудиоданных, основываясь на информации о смешивании, записанной в интерактивных данных без изменения форматов каналов упомянутого по меньшей мере одного аудиопотока.

50. Устройство по п.49, в котором смеситель регулирует выходные уровни сигналов аудиоданных, основываясь на информации о коэффициенте смешивания, содержащейся в информации о смешивании, записанной в интерактивных данных.

51. Устройство аудиосмешивания, содержащее

декодер и смеситель, смешивающие и воспроизводящие разные типы компонентов каналов без изменения форматов каналов аудиопотоков, составляющих различные типы аудиоконтента.

52. Способ аудиосмешивания, содержащий

смешивание и воспроизведение разных типов компонентов каналов без изменения форматов каналов аудиопотоков, составляющих разные типы аудиоконтента.

53. Носитель данных, выполненный с возможностью его чтения устройством аудиосмешивания, содержащий

программируемый код, который при его выполнении устройством аудиосмешивания реализует смешивание и воспроизведение разных типов компонентов каналов без изменения форматов каналов аудиопотоков, составляющих разные типы аудиоконтента.

54. Воспроизводящее устройство, содержащее

декодер и смеситель, регулирующие выходные уровни сигналов аудиоданных из множества аудиопотоков, основываясь на информации о коэффициенте смешивания, содержащейся в информации о смешивании, и смешивающие отрегулированные аудиоданные, основываясь на информации об отношениях смешивания, содержащейся в информации о смешивании.

55. Способ воспроизведения, содержащий

детектирование множества аудиоданных, которые должны быть объединены, основываясь на информации об отношениях смешивания и информации канала, содержащейся во множестве аудиоданных;

регулирование выходных уровней сигналов детектированного множества аудиоданных, основываясь на информации о коэффициенте смешивания, записанной в интерактивных данных для обеспечения взаимодействия с пользователем; и

смешивание отрегулированного множества аудиоданных.

Приоритет по пунктам:

28.12.2002 по пп.31-40, 44, 51-54;

10.10.2003 по пп.1-30, 41-43, 45-50, 55.