Устройство и способ для формирования многоканального сигнала или набора параметрических данных
Владельцы патента RU 2355046:
ФРАУНХОФЕР-ГЕЗЕЛЛЬШАФТ ЦУР ФЕРДЕРУНГ ДЕР АНГЕВАНДТЕН ФОРШУНГ Е.Ф. (DE)
Изобретение относится к области многоканальной связи, в частности к параметрической многоканальной обработке в кодерах/декодерах для формирования и/или считывания гибкого синтаксиса данных и для связывания параметрических данных с данными понижающего микширования и/или каналами передачи. Технический результат - обеспечение корректной связи между параметрическими данными и декодированными данными канала передачи. Для гибкой сигнализации синхронного режима или асинхронного режима в многоканальном параметрическом восстановлении в поток данных вводится контрольный сигнал конфигурации параметров, который используется средством конфигурирования на стороне многоканального декодера для конфигурирования средства многоканального восстановления. Если контрольный сигнал конфигурации параметров имеет первое значение, то средство конфигурирования осуществляет поиск дополнительной конфигурационной информации в своих входных данных, а если контрольный сигнал конфигурации параметров имеет другое значение, то средство конфигурации выполняет конфигурационную настройку средства многоканального восстановления на основе информации об алгоритме кодирования, с помощью которого кодировались данные канала передачи, эффективным и гибким образом обеспечивается то, что всегда имеет место корректная связь между параметрическими данными и декодированными данными канала передачи. 9 н. и 8 з.п. ф-лы, 8 ил.
Настоящее изобретение относится к способам параметрической многоканальной обработки и, в частности к кодерам/декодерам для формирования и/или считывания гибкого синтаксиса данных и для связывания параметрических данных с данными понижающего микширования и/или каналами передачи.
В дополнение к двум стереофоническим каналам рекомендованное многоканальное объемное представление включает в себя центральный канал C и два объемных канала, то есть левый объемный канал Ls и правый объемный канал Rs, а дополнительно, если применим, канал сабвуфера, также упоминаемый как канал LFE (LFE=низкочастотное расширение). Этот эталонный звуковой формат также упоминается как стереофонический 3/2 (плюс LFE), а также, в последнее время, как многоканальный 5.1; указанное обозначение указывает на то, что есть три фронтальных канала и два объемных канала. Вообще, требуется пять или шесть каналов передачи. В среде воспроизведения, по меньшей мере, пять акустических систем требуются в соответствующих пяти разных положениях для получения оптимальной, так называемой зоны наилучшего восприятия на определенном расстоянии от пяти правильно размещенных акустических систем. Однако, что касается этого размещения, сабвуфер является используемым до известной степени относительно свободно.
Есть несколько технологий для уменьшения объема данных, требуемых для передачи многоканального аудиосигнала. Такие технологии также называются технологиями с уплотнением стереоинформации. Для этой цели сделана ссылка на фиг. 5. Фиг. 5 показывает устройство 60 с уплотнением стереоинформации. Это устройство может быть устройством, реализующим, например, технологию кодирования с изменением глубины стереобазы (технологию IS) или технологию кодирования бинауральными контрольными сигналами (технологию BCC). Такое устройство обычно принимает по меньшей мере два канала (CH1, CH2,... CHn) в качестве входного сигнала и выводит по меньшей мере один единственный несущий канал (понижающее микширование) и параметрические данные, то есть один или более наборов параметров. Параметрические данные определены так, что аппроксимация каждого исходного канала (CH1, CH2,... CHn) может вычисляться в декодере.
Обычно, несущий канал будет включать в себя выборки поддиапазонов, спектральные коэффициенты или выборки временной области и т.д., которые обеспечивают сравнительно точное представление лежащего в основе сигнала, тогда как наборы параметрических данных и/или параметров не включают в себя никаких выборок или спектральных коэффициентов. Вместо этого параметрические данные включают в себя параметры управления для управления предопределенным алгоритмом восстановления, таким как взвешивание путем умножения, временной сдвиг, частотный сдвиг. Параметрические данные, поэтому, включают в себя лишь сравнительно грубое представление сигнала или ассоциированного канала. Выраженный количественно объем данных, требуемый несущим каналом (который является сжатым, то есть кодированным, например, посредством AAC) будет находиться в диапазоне от 60 до 70 кбит/с, в то время как объем данных, требуемый дополнительной параметрической информацией, имеет порядок от 1,5 кбит/с для канала. Одним из примеров параметрических данных являются известные масштабные коэффициенты, информация изменения глубины стереобазы или параметры бинауральных контрольных сигналов, как описано ниже.
Технология кодирования с изменением глубины стереобазы описана в препринте 3799 AES, озаглавленном «Intensity Stereo Coding» («Кодирование с изменением глубины стереобазы»), J. Herre, K. H. Brandenburg, D. Lederer, February 1994, Amsterdam. Вообще, концепция изменения глубины стереобазы основана на преобразовании главной оси, которое должно применяться к данным обоих стереофонических аудиоканалов. Если большинство точек на графике размещаются вокруг первой главной оси, выигрыш кодирования может достигаться поворотом обоих сигналов на определенный угол перед кодированием. Однако это не всегда применяется к реальным технологиям стереофонической обработки. Восстановленные сигналы для левого и правого каналов состоят из по-разному взвешенных или масштабированных вариантов одного и того же переданного сигнала. Тем не менее восстановленные сигналы отличаются по амплитуде, но они идентичны по своей фазовой информации. Огибающие энергии по времени обоих исходных аудиоканалов, однако, поддерживаются посредством операции селективного масштабирования, обычно реализуемой частотно-селективным способом. Это соответствует человеческому восприятию звука на высоких частотах, где доминирующие пространственные контрольные сигналы определяются огибающими энергии.
В дополнение, в практических реализациях, передаваемый сигнал, то есть несущий канал, формируется из суммарного сигнала левого канала и правого канала вместо поворота обеих составляющих. Кроме того, эта обработка, то есть формирование параметров изменения глубины стереобазы для выполнения операции масштабирования, выполняется частотно-селективным способом, то есть, независимо друг от друга для каждой полосы масштабного коэффициента, то есть для каждого сегмента частот кодера. Предпочтительно, оба канала объединяются для формирования объединенного или «несущего» канала. В дополнение к объединенному каналу определяется информация изменения глубины стереобазы, которая зависит от энергии первого канала, энергии второго канала или энергии комбинированного, или суммарного канала.
Технология BCC описана в документе 5574 AES, «Binaural cue coding applied to stereo and multichannel audio compression» («Кодирование бинауральными контрольными сигналами применительно к сжатию стереофонического и многоканального звука»), C. Faller, F. Baumgarte, May 2002, Munich. При BCC-кодировании некоторое количество входных аудиоканалов преобразуется в спектральное представление с использованием основанного на ДПФ (дискретном преобразовании Фурье) преобразования с перекрывающимися окнами. Результирующий спектр делится на неперекрывающиеся сегменты. Каждый сегмент обладает шириной полосы, пропорциональной эквивалентной прямоугольной ширине полосы (ERB). Так называемые межканальные разности уровней (ICLD), а также так называемые межканальные временные разности (ICTD) оцениваются для каждого сегмента, то есть для каждой полосы и для каждого кадра k, то есть блока временных выборок. Параметры ICLD и ICTD дискретизируются и кодируются, чтобы получить битовый BCC-поток. Межканальные разности уровней и межканальные временные разности задаются для каждого канала относительно опорного канала. В частности, параметры рассчитываются согласно предопределенным формулам в зависимости от конкретных разбиений сигнала, который должен обрабатываться.
На стороне декодера декодер принимает монофонический сигнал и битовый BCC-поток, то есть первый набор параметров для межканальных временных разностей и второй набор параметров для межканальных разностей уровней за кадр. Монофонический сигнал преобразуется в частотную область и вводится в блок синтеза, также принимающий декодированные значения ICLD и ICTD. В блоке синтеза или блоке восстановления BCC-параметры (ICLD и ICTD) используются для выполнения операции взвешивания монофонического сигнала для восстановления многоканального сигнала, который затем после частотно/временного преобразования представляет восстановление исходного многоканального аудиосигнала.
В случае BCC модуль 60 уплотнения стереоинформации действует для вывода дополнительной канальной информации, так что параметрические данные канала являются дискретизированными и кодированными параметрами ICLD или ICTD, при этом один из исходных каналов может использоваться в качестве опорного канала для кодирования дополнительной канальной информации. Обычно несущий канал формируется из суммы участвующих исходных каналов.
Конечно, вышеприведенные технологии обеспечивают только монофоническое представление для декодера, который способен декодировать только несущий канал, но не может формировать параметрические данные для формирования одного или более приближений более чем одного входного канала.
Технология кодирования аудио, упоминаемая как технология BCC, дополнительно описана в заявках US 2003/0219130 A1, 2003/0026441 A1 и 2003/0035553 A1 на выдачу патентов США. Кроме того, см. «Binaural Cue Coding. Part II: Schemes and Applications» («Кодирование бинауральными контрольными сигналами. Часть II: схемы и применения»), C. Faller and F. Baumgarte, IEEE Transactions On Audio and Speech Proc, Vol. 11, No. 6, November 1993; а также см. C. Faller and F. Baumgarte «Binaural Cue Coding applied to Stereo and Multi-Channel Audio compression» («Кодирование бинауральными контрольными сигналами применительно к сжатию стереофонического и многоканального звука»), Preprint, 112th Convention of the Audio Engineering Society (AES), May 2002, and J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, C. Spenger «MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio» («Объемное звучание MP3: эффективное и совместимое кодирование многоканального звука»), 116th AES Convention, Berlin, 2004, Preprint 6049. Ниже более подробно представлена типичная общая схема BCC для кодирования многоканального аудио по фиг. с 6 по 8. Фиг. 6 показывает общую схему BCC-кодирования для кодирования/передачи многоканальных аудиосигналов. Многоканальный аудиовходной сигнал подается на вход 110 BCC-кодера 112 и «подвергается понижающему микшированию» в так называемом блоке 114 понижающего микширования, то есть преобразуется в одиночный суммирующий канал. В представленном примере сигналом на входе 110 является 5-канальный объемный сигнал, содержащий левый фронтальный канал и правый фронтальный канал, левый объемный канал и правый объемный канал, а также центральный канал. Обычно блок понижающего микширования формирует суммарный сигнал простым сложением этих пяти каналов в монофонический сигнал. В данной области техники известны и другие схемы понижающего микширования, результатом которых является формирование, с использованием многоканального входного сигнала, сигнала понижающего микширования, содержащего одиночный канал или содержащего некоторое количество каналов понижающего микширования, которое, в любом случае, является меньшим, чем количество исходных входных каналов. В представленном примере операция понижающего микширования могла бы быть реализована, если бы четыре несущих канала формировались из пяти входных каналов. Одиночный входной канал и/или некоторое количество выходных каналов выводятся по линии 115 суммарного сигнала.
Дополнительная информация, полученная блоком 116 BCC-анализа, выводится на линию 117 дополнительной информации. В блоке BCC-анализа могут рассчитываться межканальные разности уровней (ICLD), межканальные временные разности (ICTD) или значения межканальной корреляции (значения ICC). Таким образом, есть три разных набора параметров, а именно, межканальные разности уровней (ICLD), межканальные временные разности (ICTD) и значения межканальной корреляции (ICC), для восстановления в блоке 122 BCC-синтеза.
Суммарный сигнал и дополнительная информация с наборами параметров обычно передаются в BCC-декодер 120 в дискретизированном и кодированном формате. BCC-декодер разделяет переданный (и декодированный, в случае кодированной передачи) суммарный сигнал на некоторое количество поддиапазонов и выполняет масштабирование, задержки и дополнительную обработку, чтобы формировать поддиапазоны нескольких каналов, которые должны быть восстановлены. Обработка выполняется так, что параметры (контрольные сигналы) ICLD, ICTD и ICC восстановленного многоканального сигнала на выходе 121 подобны соответствующим контрольным сигналам для исходного многоканального сигнала на входе 110 в BCC-кодер 112. Для этой цели BCC-декодер 120 включает в себя блок 122 BCC-синтеза и блок 123 обработки дополнительной информации.
Ниже иллюстрируется выполнение блока 122 BCC-синтеза по фиг. 7. Суммарный сигнал на линии 115 вводится в блок время/частотного преобразования, обычно реализуемый в виде гребенки 125 фильтров FB. На выходе блока 125 есть некоторое количество N сигналов поддиапазонов или, в предельном случае, блок спектральных коэффициентов, если гребенка 125 фильтров аудиосигнала выполняет преобразование, формирующее N спектральных коэффициентов из N выборок во временной области.
Блок 122 BCC-синтеза дополнительно включает в себя каскад 126 задержки, каскад 127 изменения уровня, каскад 128 корреляционной обработки и каскад IFB 129, представляющий гребенку обратных фильтров. На выходе каскада 129 восстановленный многоканальный аудиосигнал, содержащий, например, пять каналов в случае 5-канальной системы объемного звучания, может выводиться на множество акустических систем 124, как проиллюстрировано на фиг. 6.
Фиг. 7 дополнительно иллюстрирует, что входной сигнал s(n) преобразуется в частотную область или область гребенки фильтров посредством элемента 125. Сигнал, выдаваемый элементом 125, размножается, так что получаются несколько вариантов одного и того же сигнала, как показано узлом 130. Количество вариантов исходного сигнала равно количеству выходных каналов в выходном сигнале, который должен быть восстановлен. Если каждый вариант исходного сигнала подвергнут определенной задержке d1, d2,..., di,..., dN в узле 130, результатом является состояние на выходах блоков 126, которое включает в себя варианты одного и того же сигнала, но с разными задержками. Параметры задержки рассчитываются блоком 123 обработки дополнительной информации по фиг. 6 и выводятся из межканальных временных разностей, которые были определены блоком 116 BCC-анализа.
То же самое применяется к параметрам a1, a2,..., ai,..., aN умножения, которые также рассчитываются блоком 123 обработки дополнительной информации на основании межканальных разностей уровней, определенных блоком 116 BCC-анализа.
Параметры ICC рассчитываются блоком 116 BCC-анализа и используются для управления выполняемыми функциями блока 128, так что определенные значения корреляции между задержанными и манипулированными по уровню сигналами получаются на выходах блока 128. Следует отметить, что очередность каскадов 126, 127, 128 может отличаться от показанной на фиг. 7.
Дополнительно следует отметить, что при поблочной обработке аудиосигнала BCC-анализ также выполняется поблочно. Более того, BCC-анализ также выполняется почастотно, то есть частотно-селективным способом. Это значит, что для каждой спектральной полосы, есть параметр ICLD, параметр ICTD и параметр ICC для каждого блока. Параметры ICTD для, по меньшей мере, одного блока для, по меньшей мере, одного канала по всем полосам, таким образом, представляют набор параметров ICTD. То же самое применяется к набору параметров ICLD, представляющему все параметры ICLD для, по меньшей мере, одного блока по всем частотным полосам для восстановления, по меньшей мере, одного выходного канала. То же самое, в свою очередь, применяется к набору параметров ICC, который вновь включает в себя несколько отдельных параметров ICC для, по меньшей мере, одного блока по различным полосам для восстановления, по меньшей мере, одного выходного канала на основе входного канала или суммарного канала.
Фиг. 8 показывает состояние, иллюстрирующее определение BCC-параметров. Обычно, параметры ICLD, ICTD и ICC могут определяться между любыми парами каналов. Типично, определение параметров ICLD и ICTD выполняется между опорным каналом и каждым другим входным каналом, так что есть отдельный набор параметров для каждого из входных каналов, кроме опорного канала. Это также проиллюстрировано на фиг. 8А.
Однако параметры ICC могут определяться по-разному. Вообще, параметры ICC могут формироваться в кодере между любыми парами каналов, что также схематично проиллюстрировано на фиг. 8В. В этом случае декодер мог бы выполнять ICC-синтез, с тем, чтобы получался приблизительно такой же результат, как был представлен в исходном сигнале между любыми парами каналов. Однако было предложено рассчитывать параметры только ICC между двумя самыми мощными каналами в любой момент времени, то есть для каждого временного кадра. Эта схема представлена на фиг. 8С, которая показывает пример, в котором в один момент времени, рассчитывается и передается параметр ICC между каналами 1 и 2 и в котором в другой момент времени рассчитывается параметр ICC между каналами 1 и 5. Декодер затем синтезирует межканальную корреляцию между двумя самыми мощными каналами в декодере и примеряет дополнительные, типично эвристические правила для синтеза межканальной когерентности для оставшихся пар каналов.
Что касается расчета, например, параметров a1, … aN умножения на основании переданных параметров ICLD, сделана ссылка на упомянутый документ 5574 AES. Параметры ICLD представляют распределение энергии в исходном многоканальном сигнале. Без потери общности, фиг. 8А показывает, что есть четыре параметра ICLD, представляющих разность энергий между всеми другими каналами и левым фронтальным каналом. В блоке 123 обработки дополнительной информации параметры a1,..., aN умножения выводятся из параметров ICLD, так что полная энергия всех восстановленных выходных каналов является такой же, как представленная для переданного суммарного сигнала, или, по меньшей мере, пропорциональной этой энергии. Одним из путей для определения этих параметров является 2-стадийная последовательность операций, в которой на первой стадии коэффициент усиления для левого фронтального канала устанавливается в 1, тогда как коэффициенты усиления для других каналов по фиг. 8С устанавливаются в переданные значения ICLD. Затем, на второй стадии энергия всех пяти каналов рассчитывается и сравнивается с энергией переданного суммарного сигнала. Затем все каналы масштабируются с понижением с использованием коэффициента масштабирования, который является идентичным для всех каналов, при этом коэффициент масштабирования выбирается так, что полная энергия всех восстановленных выходных каналов после масштабирования с понижением равна полной энергии переданного суммарного сигнала и/или переданных суммарных сигналов.
Что касается ICC измерения межканальной когерентности, передаваемой из BCC-кодера в BCC-декодер в качестве дополнительного набора параметров, следует отметить, что манипуляция когерентности могла бы выполняться посредством изменения коэффициентов усиления, например, посредством умножения весовых коэффициентов всех поддиапазонов на случайные числа, имеющие значения между 20log10-6 и 20log106. Псевдослучайная последовательность типично выбирается так, что дисперсия является приближенно равной для всех критических полос и что среднее значение является нулевым в пределах каждой критической полосы. Такая же последовательность используется для спектральных коэффициентов каждого отличающегося кадра или блока. Таким образом, ширина аудиопанорамы управляется изменениями дисперсий псевдослучайной последовательности. Большая дисперсия порождает большую акустическую ширину. Изменение дисперсии может выполняться в отдельных полосах, имеющих ширину критической полосы. Это дает возможность одновременного существования нескольких объектов в акустической панораме, при этом каждый объект имеет разную акустическую ширину. Подходящим распределением амплитуд для псевдослучайной последовательности является равномерное распределение по логарифмической шкале, такое как описанное в публикации 2002/0219130 A1 патента США.
Для того чтобы передавать пять каналов совместимым образом, например, в формате битового потока, который также пригоден для обычного стереодекодера, может использоваться так называемый метод матрицирования, описанный в «MUSICAM surround: a universal multi-channel coding system compatible with ISO 11172-3» («Объемное звучание MUSICAM: универсальная система многоканального кодирования, совместимая с ISO 11172-3»), G. Theile and G. Stoll, AES preprint 3403, October 1992, San Francisco.
Кроме того, дополнительный метод многоканального кодирования описан в публикации «Improved MPEG2 audio multi-channel encoding» («Усовершенствованное многоканальное MPEG-2-кодирование аудио»), B. Grill, J. Herre, K. H. Brandenburg, E. Eberlein, J. Roller, J. Mueller, AES preprint 3865, February 1994, Amsterdam, в котором матрица совместимости используется для получения каналов понижающего микширования из исходных входных каналов.
Таким образом, метод BCC предоставляет возможность эффективного и к тому же обратно совместимого кодирования многоканального аудиоматериала, как описано, например, в публикации E. Schuijer, J. Breebaart, H. Purnhagen, J. Engdegard, «Low-Complexity Parametric Stereo Coding» («Параметрическое стереофоническое кодирование низкой сложности»), 119th AES Convention, Berlin, 2004, Preprint 6073. В этом контексте также следует сослаться на стандарт MPEG-4 и, особенно, расширение на методы параметрической аудиозаписи, при этом эта часть стандарта также известна под обозначением ISO/IEC 14496-3: 2001/FDAM 2 (параметрическая аудиозапись). В этом отношении, в частности, должен быть упомянут синтаксис в таблице 8.9 стандарта MPEG-4, озаглавленной «syntax of the ps.data()» («синтаксис ps.data()»), в частности, синтаксические элементы «enable_icc» и «enable_ipdopd», которые используются для включения и отключения передачи параметра ICC и фазы, соответствующей межканальным временным разностям. Дополнительно должны быть упомянуты синтаксические элементы «icc_data()» «ipd_data()» и «opd_data()».
Таким образом известные параметрические многоканальные методы используются с применением одного или нескольких передаваемых несущих каналов, при этом M передаваемых каналов формируются из N исходных каналов, чтобы вновь восстановить N выходных каналов или некоторое количество K выходных каналов, при этом K равно или меньше, чем количество исходных каналов N.
Как можно видеть из фиг. 6, BCC-анализ типично является отдельной обработкой для формирования параметрических данных с одной стороны и одного или более каналов передачи (каналов понижающего микширования) с другой стороны из многоканального сигнала, содержащего N исходных каналов. Типично, эти каналы понижающего микширования затем сжимаются, например, посредством типичного стереофонического/монофонического кодера MP3 или AAC, хотя это не показано на фиг. 6, так что на выходной стороне есть битовый поток, представляющий данные канала передачи в сжатом виде, и что, кроме того, есть еще один битовый поток, представляющий параметрические данные. BCC-анализ, таким образом, происходит отдельно от фактического аудиокодирования каналов понижающего микширования и/или суммарного сигнала 115 по фиг. 6.
Сторона декодера выполнена подобным же образом. Декодер с многоканальной возможностью, прежде всего, будет декодировать битовый поток, включающий в себя сжатый сигнал понижающего микширования в зависимости от используемого алгоритма кодирования и вновь выдавать один или более каналов передачи на выходной стороне, то есть типично, в виде временной последовательности данных PCM (PCM=импульсная кодовая модуляция). Затем, будет выполняться BCC-синтез как отдельная обособленная и изолированная постобработка, которая автономно осуществляет передачу сигналов с потоком параметрических данных и снабжается данными для формирования, на выходной стороне, нескольких выходных каналов, предпочтительно равных количеству исходных входных каналов, из аудиодекодированного сигнала понижающего микширования.
Таким образом, преимуществом BCC-анализа является то, что он содержит отдельную гребенку фильтров для целей BCC-анализа и отдельную гребенку фильтров для целей BCC-синтеза, например, так что она является отдельной от гребенки фильтров аудиокодера/декодера, чтобы не приводить ни к никаким компромиссам касательно сжатия аудио с одной стороны и многоканального восстановления с другой стороны. Вообще говоря, сжатие аудио, таким образом, выполняется отдельно от многоканальной параметрической обработки, для оптимального оснащения для обеих областей применения.
Недостатком этой концепции является то, что полная сигнализация должна передаваться как для многоканального восстановления, так и для декодирования аудиосигнала. Это является особенно неблагоприятным, когда, что будет типичным случаем, как средство декодирования аудиосигнала, так и средство многоканального восстановления выполняют одинаковые или подобные этапы и, соответственно, требуют одинаковых и/или взаимозависимых конфигурационных настроек. Из-за концепции полного разделения данные сигнализации, таким образом, передаются дважды, что приводит к искусственному «расширению» объема данных, которое, в конечном счете, обусловлено тем, что выбрана раздельная концепция между аудиокодированием/декодированием и многоканальным анализом/синтезом.
С одной стороны, полное «привязывание» многоканального восстановления к аудиодекодированию могло бы существенно ограничить гибкость, так как в таком случае реально важная цель разделения обоих этапов обработки, чтобы выполнять каждый этап обработки оптимальным образом, была бы потерянной. Таким образом, могут возникнуть значительные потери качества, в частности, в случае нескольких следующих друг за другом стадий кодирования/декодирования, также упоминаемых как «тандемное» кодирование. Если есть полное привязывание BCC-данных к кодированным аудиоданным, многоканальное восстановление должно выполняться при каждом декодировании для выполнения многоканального синтеза вновь при записи. Так как свойством любого параметрического метода является то, что ему свойственны потери, потери будут накапливаться путем повторного анализа синтеза анализа, так что с каждым каскадом кодера/декодера ощутимое качество аудиосигнала дополнительно уменьшается.
В этом случае декодирование/кодирование аудиоданных без одновременной обработки анализа/синтеза параметрических данных было бы возможным, только если каждый аудиокодек в тандемной цепочке работал бы идентично, то есть имел бы одинаковую частоту дискретизации, длину блока, конфигурацию, длительность опережения, кадрирование, преобразование, …, то есть обладал бы в целом одинаковой конфигурацией, и если, в дополнение, также поддерживались границы соответствующих блоков. Такая концепция, однако, значительно ограничивала бы гибкость всей концепции. Особенно с учетом факта, что параметрические многоканальные методы предназначены для дополнения уже существующих стереофонических данных, например, дополнительными параметрическими данными, это ограничение является тем более неприятным. Так как уже существующие стереофонические данные исходят из разных кодеров, которые используют разные длины блоков или которые работают даже не в частотной области, а во временной области, и т.п., такое ограничение с самого начала довело бы концепцию последующего дополнения до абсурда.
Цель настоящего изобретения состоит в создании гибкой и эффективной концепции для формирования многоканального аудиосигнала или набора параметрических данных восстановления.
Эта цель достигается устройством для формирования многоканального сигнала по п. 1, способом для формирования многоканального сигнала по п. 14, устройством для формирования набора параметрических данных по п. 15, способом для формирования выходного сигнала параметрических данных по п. 18, устройством для формирования выходного сигнала параметрических данных по п. 19, способом для формирования выходного сигнала параметрических данных по п. 20, или компьютерной программой по п. 21.
Настоящее изобретение основано на том, что эффективность с одной стороны и гибкость с другой стороны могут быть достигнуты получением потока данных, который может включать в себя данные канала передачи и параметрические данные, содержать контрольный сигнал конфигурации параметров, который был вставлен на стороне кодера и оценивается на стороне декодера. Контрольный сигнал указывает, конфигурируется ли средство многоканального восстановления по входным данным, то есть по данным, передаваемым из кодера в декодер, или конфигурируется ли средство многоканального восстановления контрольным сигналом для алгоритма кодирования, с помощью которого были декодированы кодированные данные канала передачи. Средство многоканального восстановления содержит конфигурационную настройку, идентичную конфигурационной настройке аудиодекодера для декодирования кодированных данных канала передачи или, по меньшей мере, зависимую от этой настройки.
Если декодер обнаруживает первую ситуацию, то есть контрольный сигнал конфигурации параметров имеет первое значение, то декодер будет искать дополнительную конфигурационную информацию в принятых входных данных, чтобы надлежащим образом сконфигурировать средство многоканального восстановления, чтобы затем использовать информацию для осуществления конфигурационной настройки средства многоканального восстановления. Такая конфигурационная настройка может быть, например, длиной блока, опережением, частотой дискретизации, управляющими данными гребенки фильтров, так называемой гранулярной информацией (число BCC-блоков в кадре), конфигурациями каналов (например, выходной сигнал 5.1 формируется всякий раз, когда есть «mp3»), информацией о том, какие параметрические данные обязательны в масштабируемом случае (например, ICLD), а какие нет (ICTD), и т.п.
Если, однако, декодер определяет, что контрольный сигнал конфигурации параметров обладает вторым значением, отличным от первого значения, то средство многоканального восстановления будет выбирать конфигурационные настройки в средстве многоканального восстановления в зависимости от информации об алгоритме кодирования аудиосигнала, на котором основано кодирование/декодирование данных канала передачи, то есть каналов понижающего микширования.
В отличие от раздельной концепции параметрических данных с одной стороны и сжатых данных понижающего микширования с другой стороны заявленное устройство для формирования многоканального аудиосигнала заимствует конфигурацию средства многоканального восстановления в фактически совершенно отдельных и автономных данных и/или в находящемся выше по потоку декодере аудиосигнала, работающем автономно, чтобы конфигурировать самого себя.
Концепция изобретения особенно действенна в предпочтительном варианте осуществления, когда принимаются во внимание разные алгоритмы кодирования аудиосигнала. В этом случае большой объем явной информации сигнализации должен был передаваться для достижения синхронной работы, то есть работы, при которой средство многоканального восстановления работает синхронно с аудиодекодером, а именно, соответствующими продолжительностями опережения и т.п. для каждого отличающегося алгоритма кодирования, чтобы фактически независимый алгоритм многоканального восстановления работал синхронно с алгоритмом декодирования аудиосигнала.
Согласно изобретению контрольный сигнал конфигурации параметров, для которого достаточно одного бита, сигнализирует декодеру, что для цели этой конфигурации он должен посмотреть, какой аудиокодер находится ниже его по потоку. Вслед за этим декодер будет принимать информацию о том, какой аудиокодер в текущий момент находится выше по потоку относительно некоторого количества разных аудиокодеров. После получения этой информации он предпочтительно будет обращаться к конфигурационной таблице в многоканальном декодере с этой идентификацией алгоритма аудиокодирования, чтобы извлечь оттуда конфигурационную информацию, предопределенную для каждого из возможных алгоритмов аудиокодирования, чтобы осуществить, по меньшей мере, одну конфигурационную настройку средства многоканального восстановления. Это обеспечивает значительную экономию в скорости передачи данных по сравнению со случаем, в котором конфигурация сигнализируется в потоке данных явным образом, в котором нет учитываемого фактора между средством многоканального восстановления и декодером аудиосигнала и в котором также нет соответствующего изобретению заимствования данных аудиодекодера средством многоканального восстановления.
С другой стороны, концепция изобретения, по-прежнему обеспечивает высокую гибкость, присущую явной сигнализации конфигурационной информации, так как, вследствие контрольного сигнала конфигурации параметров, для которого достаточно одиночного бита в потоке данных, есть возможность передавать фактически всю конфигурационную информацию в потоке данных, если необходимо, или - в качестве смешанной формы - передавать, по меньшей мере, часть параметрической конфигурационной информации в потоке данных и получать другую часть необходимой информации из набора заложенной информации.
В предпочтительном варианте осуществления настоящего изобретения данные, передаваемые из кодера в декодер, дополнительно включают в себя контрольный сигнал продления, сигнализирующий декодеру, должен ли он вообще изменять конфигурационные настройки в сравнении с уже существующими или ранее просигнализированными конфигурационными настройками, или должен ли он продолжать, как раньше, либо в качестве реакции на определенную настройку контрольного сигнала продления контрольный сигнал конфигурации параметров считывается, чтобы определить, имеет ли место согласованность средства многоканального восстановления относительно аудиодекодера, или в передаваемых данных содержится, по меньшей мере частично, явная информация касательно конфигурации.
Предпочтительные варианты осуществления настоящего изобретения пояснены ниже более подробно со ссылками на чертежи, на которых:
фиг. 1 - принципиальная структурная схема заявленного устройства для формирования набора параметрических данных, используемого на стороне кодера;
фиг. 2 - принципиальная структурная схема устройства для формирования многоканального аудиосигнала, используемого на стороне декодера;
фиг. 3 - основная блок-схема последовательности операций способа работы средства конфигурации по фиг. 2 в предпочтительном варианте осуществления настоящего изобретения;
фиг. 4a - схематичное представление потоков данных для синхронной работы между аудиодекодером и средством многоканального восстановления;
фиг. 4b - схематичное представление потоков данных для асинхронной работы между аудиодекодером и средством многоканального восстановления;
фиг. 4c - предпочтительный вариант осуществления устройства для формирования многоканального аудиосигнала в синтаксической форме;
фиг. 5 - обобщенное представление многоканального кодера;
фиг. 6 - схематичная структурная схема тракта BCC-кодера/BCC-декодера;
фиг. 7 - принципиальная структурная схема блока BCC-синтеза по фиг. 6;
фиг. с 8А по 8С - представление типичных сценариев для расчета наборов параметров ICLD, ICTD и ICC.
Фиг. 1 показывает структурную принципиальную схему заявленного устройства для формирования набора параметрических данных, при этом набор параметрических данных может выводиться на выходе 10 устройства, показанного на фиг. 1. Набор параметрических данных содержит параметрические данные, которые, наряду с данными канала передачи, не проиллюстрированными на фиг. 1, но которые будет обсуждены позже, представляют N исходных каналов, при этом данные канала передачи типично будут включать в себя M каналов передачи, при этом количество M каналов передачи является меньшим, чем количество N исходных каналов, и равным или большим, чем 1.
Устройство, показанное на фиг. 1, которое находится на стороне кодера, включает в себя многоканальное параметрическое средство 11, предназначенное для выполнения, например, BCC-анализа или анализа изменения глубины стереобазы, либо тому подобного. В этом случае, многоканальное параметрическое средство 11 будет принимать N исходных каналов на входе 12. В качестве альтернативы многоканальное параметрическое средство 11 также может быть выполнено в виде средства транскодирования для формирования параметрических данных на выходах средства 11 с использованием существующих необработанных параметрических данных, подаваемых на вход 13 необработанных параметров. Если параметрические данные являются простыми BCC-данными, как они обеспечиваются любым средством BCC-анализа, обработка многоканального параметрического средства 11 будет состоять просто в функции копирования данных со входа 13 на выход средства 11. Однако многоканальное параметрическое средство 11 также может быть предназначено для изменения синтаксиса потока необработанных параметрических данных, например, для добавления данных сигнализации или для записи наборов параметров, которые могут декодироваться, по меньшей мере, частично независимо от каждого другого из существующих необработанных параметрических данных.
Устройство, показанное на фиг. 1, дополнительно включает в себя средство 14 сигнализации для определения и ассоциирования контрольного сигнала PKH конфигурации параметров с параметрическими данными на выходе средства 11. В частности, средство сигнализации предназначено для определения контрольного сигнала конфигурации параметров, чтобы он имел первое значение, когда конфигурационная информация, содержащаяся в наборе параметрических данных, должна использоваться для многоканального восстановления. В качестве альтернативы, средство 14 сигнализации будет определять контрольный сигнал конфигурации параметров, чтобы он имел второе значение, когда конфигурационные данные, которые основаны на алгоритме кодирования, должны использоваться и/или были использованы для кодирования данных канала передачи, должны использоваться для многоканального восстановления.
Заявленное устройство по фиг. 1 включает в себя средство 15 записи данных для ассоциирования конфигурационной информации с параметрическими данными и контрольным сигналом конфигурации параметров, чтобы, в конечном счете, получать набор параметрических данных на выходе 10. Набор 10 параметрических данных, таким образом, включает в себя параметрические данные из многоканального параметрического средства 11, контрольный сигнал PKH конфигурации параметров из средства 14 сигнализации, если применимы конфигурационные данные из средства 15 записи конфигурационных данных В наборе параметрических данных эти элементы набора данных скомпонованы согласно предопределенному синтаксису и типично мультиплексируются с разделением времени, как условно изображено элементом, упоминаемым как средство 16 объединения, на фиг. 1.
В предпочтительном варианте осуществления настоящего изобретения средство 14 сигнализации присоединено к средству 15 записи конфигурационных данных через линию 17 управления для активизации средства 15 записи конфигурационных данных, только когда контрольный сигнал конфигурации параметров имеет первое значение, то есть при многоканальном восстановлении, никакая конфигурационная информации, представленная в декодере, не будет доступна никаким способом, но когда есть явная сигнализация, то есть, когда дополнительная конфигурационная информация представлена в наборе параметрических данных. В другом случае, когда контрольный сигнал конфигурации параметров имеет второе значение, средство 15 записи конфигурационных данных не активизируется для введения данных в набор параметрических данных на выходе 10, так как такие данные не считывались бы декодером и/или не запрашивались бы декодером, как описано ниже. В случае смешанного решения взамен всей сигнализации в потоке данных сигнализируется только часть конфигурации, в то время как оставшаяся часть берется, например, из таблицы конфигурации в декодере.
Средство 14 сигнализации включает в себя вход 18 управления, через который средство 14 сигнализации информируется о том, должен ли контрольный сигнал конфигурации параметров иметь первое или второе значение. Как описано со ссылкой на фиг. 4a и 4b, при так называемой «синхронной» работе, предпочтительно выбирать контрольный сигнал конфигурации параметров, имеющий второе значение, для получения информации об алгоритме кодирования в таком режиме на стороне декодера и для создания конфигурационных настроек в средстве многоканального восстановления на стороне декодера в зависимости от этого. При асинхронной работе, однако, вход 18 управления будет управлять средством сигнализации так, что оно определяет первое значение для контрольного сигнала конфигурации параметров, которое будет интерпретироваться декодером так, что конфигурационная информация имеется в самих данных, а алгоритм аудиокодирования, на котором основаны данные канала передачи, использоваться не будет.
Следует отметить, что набор параметрических данных и/или выходной сигнал параметрических данных не должны иметь жесткую форму по отношению друг к другу. Таким образом, контрольный сигнал конфигурации, конфигурационные данные и параметрические данные необязательно должны передаваться вместе в потоке или пакете, но также могут вводиться в декодер отдельно друг от друга.
Ниже описана так называемая «синхронная» работа со ссылкой на фиг. 4а. Фиг. 4а иллюстрирует параметрические данные в виде последовательности кадров 40, при этом последовательность кадров 40 имеет заголовок 41, в котором содержится контрольный сигнал конфигурации параметров, сформированный средством 14 сигнализации, и в котором, если применимо, содержится дополнительная конфигурационная информация, сформированная средством 15 записи конфигурационных данных. Параметрические данные на выходе средства 11 содержатся в кадрах 1, 2, 3, 4, вследствие чего они также называются данными полезной нагрузки на фиг. 4а.
Контрольный сигнал FSH продления, который указан на фиг. 1 на выходе средства 14 сигнализации и также указан в заголовке 41 на фиг. 4а, заставляет декодер поддерживать, то есть продлевает конфигурационную настройку, заранее сообщенную ему, когда он имеет определенное значение, а если контрольный сигнал FSH продления имеет другое значение, то принимается решение, на основе контрольного сигнала конфигурации параметров, будут ли конфигурационные настройки осуществляться в средстве многоканального восстановления на основе конфигурационной информации в потоке данных или на основе конфигурационных данных, извлеченных посредством контрольного сигнала для алгоритма аудиокодирования на стороне декодера.
Фиг. 4а также представляет последовательность 42 блоков кодированных данных передачи во временной связи, которая содержит четыре кадра: кадр 1, кадр 2, кадр 3, кадр 4. Временная связь параметрических данных с кодированными данными канала передачи проиллюстрирована вертикальными стрелками на фиг. 4а. Таким образом, блок кодированных данных канала передачи всегда будет относиться к блоку входных данных и/или, когда используются перекрывающиеся окна, будет устанавливаться опережение, по меньшей мере, на столько, сколько данных в блоке обрабатываются заново по сравнению с предыдущим блоком, а при синхронной работе будет синхронным с длиной блока и/или опережением, с которым получаются параметрические данные. Это гарантирует, что связь между параметрами восстановления с одной стороны и данными канала передачи с другой стороны не теряется.
Это пояснено на коротком примере. При условии 5-канального входного сигнала этот 5-канальный входной сигнал будет содержать пять разных аудиоканалов, включающих в себя временные выборки с момента времени x до момента времени y, соответственно. В каскаде 114 понижающего микширования по фиг. 6 затем формируется, по меньшей мере, один канал передачи, который будет синхронным с многоканальными входными данными. Порция данных канала передачи с момента времени x до момента времени y, таким образом, будет соответствовать порции соответствующих многоканальных входных данных с момента времени x до момента времени y. Кроме того, средство 116 BCC-анализа по фиг. 6 формирует, например, параметрические данные, вновь точно для временного интервала данных канала передачи от момента времени x до момента времени y, так что на стороне декодера вновь могут формироваться соответствующие данные выходного канала с момента времени x до момента времени y из данных канала передачи с момента времени x до момента времени y и параметрических данных с момента времени x до момента времени y.
Синхронная работа реализуется автоматически, когда кадрирование, с которым записываются и формируются параметрические данные, является идентичным кадрированию, с которым работает аудиокодер для сжатия одного или более каналов передачи. Таким образом, если кадры параметрических данных и кодированных данных канала передачи (40 и 42 на фиг. 4а) всегда относятся к одному и тому же временному интервалу, устройство многоканального восстановления всегда может легко обрабатывать данные, соответствующие аудиокадру, и одновременно обрабатывать кадр параметров.
При синхронной работе длина кадра аудиокодера, используемого для передачи данных понижающего микширования, таким образом, равна длине кадра, используемого параметрической многоканальной схемой. Подобным образом, конечно, существует вероятность, что имеет место целочисленное отношение между длинами кадров и параметрическими данными и кодированными данными канала передачи. В этом случае даже дополнительная информация для параметрического многоканального кодирования может мультиплексироваться в кодированный битовый поток аудиосигнала понижающего микширования, так что может формироваться единый битовый поток. В случае «подгонки» уже существующих стереофонических данных по-прежнему было бы два разных потока данных. Однако могло бы быть отношение 1:1 и/или m:1, или m:n между двумя последовательностями кадров. Растры кадрирования никогда бы не смещались относительно друг друга. Таким образом, имеется однозначная связь между кадрами аудиоданных и соответствующими кадрами данных дополнительной параметрической информации. Этот режим может быть удобным для различных применений.
Согласно изобретению контрольный сигнал конфигурации параметров может иметь первое значение в таком случае. Это означает, что нет никакой или имеется только часть конфигурационной информации в заголовке 41, потому что средство многоканального восстановления само себя снабжает информацией об используемом аудиокодере и в зависимости от нее выбирает свою конфигурационную настройку, то есть, например, количество временных выборок для опережения или длину блока и т.п.
Фиг. 4b иллюстрирует асинхронный режим. Этот режим имеет место в случае, когда данные 42' канала передачи, например, не имеют кадровой структуры, а представляют собой поток выборок PCM. В качестве альтернативы, такое асинхронное состояние может возникать, когда аудиокодер имеет неравномерную кадровую структуру или просто кадровую структуру с длиной кадра и/или кадровым растром, отличающимися от кадрового растра параметрических данных 40. В этом случае параметрическая многоканальная схема кодирования и средство аудиокодирования/декодирования рассматриваются как изолированные и отдельные каскады обработки, которые не зависят друг от друга. Это особенно полезно в случае так называемых сценариев тандемного кодирования, в которых есть несколько последовательных стадий кодирования/декодирования. Если бы параметрические данные жестко привязывались к сжатым аудиоданным, многоканальный синтез и последующий многоканальный анализ были бы должны выполняться одновременно при каждом кодировании/декодировании. Так как эти операции являются операциями с потерями, то потери могли бы постепенно накапливаться, что могло бы привести к ухудшению многоканального представления.
В такой тандемной цепочке установка контрольного сигнала конфигурации параметров во второе значение и запись конфигурационной информации в поток данных дают возможность конфигурационной настройки средства многоканального восстановления в декодере независимо от используемого аудиокодера. Таким образом, данные понижающего микширования могут декодироваться/кодироваться любым способом, всегда без необходимости выполнять многоканальный синтез или многоканальный анализ одновременно. Ввод конфигурационной информации в поток данных и, предпочтительно, в поток параметрических данных, согласно синтаксису параметрических данных, дает возможность устанавливать такую связь параметрических данных с временными выборками декодированных данных канала передачи, которая автономна и не определяется правилами обработки кадра кодера, как при синхронной работе.
При асинхронной работе ухудшение многоканальных звуковых характеристик, таким образом, предотвращается, потому что не всегда выполняется многоканальный анализ/синтез. Размер кадра для параметрического многоканального кодирования/декодирования, таким образом, не обязательно должен быть связан с размером кадра аудиокодера.
Устройство по фиг. 1 может быть реализовано как в виде кодера, так и в виде так называемого «прямого транскодера». В первом случае, многоканальное параметрическое средство рассчитывает параметрические данные самостоятельно. Во втором случае, оно принимает параметрические данные уже в определенной форме и снабжает соответствующий изобретению выходной сигнал параметрических данных контрольным сигналом конфигурации параметров и связанными конфигурационными данными. Прямой транскодер, таким образом, формирует соответствующий изобретению выходной сигнал параметрических данных из любых выходных данных.
Реверсирование этого измерения выполняется так называемым «обратным транскодером», который из соответствующего изобретению выходного сигнала параметрических данных формирует некоторый выходной сигнал, в котором больше не содержится контрольного сигнала конфигурации параметров, однако, в котором также полностью содержатся конфигурационные данные, так что никакое использование алгоритма аудиокодирования не является необходимым при многоканальном восстановлении для конфигурации.
Согласно изобретению обратный транскодер выполнен в виде устройства для формирования выходного сигнала параметрических данных, который вместе с данными канала передачи, включающими в себя M каналов передачи, представляет N исходных каналов, при этом M является меньшим, чем N, и равным или большим, чем 1, с использованием входных данных, при этом входные данные содержат контрольный сигнал (41) конфигурации параметров, который имеет первое значение, указывающее, что конфигурационная информация для средства многоканального восстановления содержится во входных данных или имеет второе значение, указывающее, что средство многоканального восстановления должно использовать конфигурационную информацию в зависимости от алгоритма (23) кодирования, с помощью которого были декодированы данные канала передачи из их кодированного варианта. Он содержит средство записи для записи конфигурационных данных, при этом средство записи предназначено для считывания входных данных, чтобы интерпретировать (30) контрольный сигнал конфигурации параметров и извлекать информацию об алгоритме (23) кодирования, с помощью которого были декодированы данные канала передачи из их кодированного варианта, и для вывода их в качестве конфигурационных данных, когда контрольный сигнал конфигурации параметров имеет второе значение.
Ниже описана структурная принципиальная схема устройства для формирования многоканального аудиосигнала согласно предпочтительному варианту осуществления настоящего изобретения по фиг. 2. Для формирования многоканального аудиосигнала используются входные данные, которые включают в себя данные канала передачи, представляющие M каналов передачи, и которые дополнительно включают в себя параметрические данные 21, чтобы получать K выходных каналов. M каналов передачи и параметрические данные вместе представляют N исходных каналов, при этом M является меньшим, чем N, и равным или большим, чем 1, и при этом K является большим, чем M. Кроме того, входные данные включают в себя контрольный сигнал PKH конфигурации параметров, а данные 20 канала передачи являются декодированным вариантом данных 22 канала передачи, кодированных согласно алгоритму кодирования. В варианте осуществления, показанном на фиг. 2, алгоритм декодирования реализуется аудиодекодером 23, имеющим алгоритм кодирования, работающий, например, согласно концепции MP3 или согласно MPEG-2 (AAC) или согласно любой другой концепции кодирования.
Устройство для использования на стороне декодера, показанное на фиг. 2, включает в себя средство 24 многоканального восстановления, предназначенное для формирования K выходных каналов на выходе 25 из данных 20 канала передачи и параметрических данных 21.
Кроме того, заявленное устройство, показанное на фиг.2, включает в себя средство 26 конфигурирования, предназначенное для конфигурирования средства 24 многоканального восстановления посредством сигнализирования конфигурационной настройки через линию 27 сигнализации. Средство 26 конфигурирования принимает входные данные и, предпочтительно, параметрические данные 21 для считывания и соответствующей обработки контрольного сигнала конфигурации параметров, контрольного сигнала FSH продления и, возможно, представленных конфигурационных данных. Кроме того, средство конфигурирования включает в себя вход 28 сигнализации алгоритма кодирования для получения информации об алгоритме аудиокодирования, на котором основаны декодированные данные канала передачи, то есть алгоритме кодирования, выполняемом аудиокодером 23. Информация может быть получена разными путями, например, из анализа декодированных данных канала передачи, если они позволяют определить с помощью какого алгоритма кодирования они были кодированы/декодированы. В качестве альтернативы, аудиодекодер 23 сам может сообщать свою идентичность средству 26 конфигурации. Кроме того еще, в качестве альтернативы, средство 26 конфигурирования также может синтаксически анализировать кодированные данные 22 канала передачи, чтобы определять контрольный сигнал из кодированных данных канала передачи, согласно которому выполнялось кодирование с использованием алгоритма кодирования. Такая «сигнатура алгоритма кодирования» обычно будет содержаться в каждом выходном потоке данных кодера.
Предпочтительная реализация средства конфигурирования описана ниже со ссылкой на структурную схему по фиг. 3а. Средство 26 конфигурирования предназначено для считывания контрольного сигнала PKH конфигурации параметров из входных данных и для его интерпретации, как проиллюстрировано на этапе 30. Если контрольный сигнал конфигурации параметров имеет первое значение, то средство конфигурирования продолжает считывать поток параметрических данных для извлечения конфигурационной информации (или, по меньшей мере, части конфигурационной информации) в потоке параметрических данных, как проиллюстрировано на этапе 31. Однако, если на этапе 30 определено, что контрольный сигнал PKH конфигурации параметров имеет второе значение, то средство конфигурации получает информацию об алгоритме кодирования, на котором основаны декодированные данные канала передачи, на этапе 32.
Если имеется несколько в принципе возможных алгоритмов кодирования, для которых предназначено заявленное устройство для формирования многоканального сигнала, то после этапа 32 выполняется этап 33, на котором средство многоканального восстановления определяет (33) конфигурационную настройку на основании информации, имеющейся на стороне декодера. Это может быть сделано, например, в форме справочной таблицы (LUT). Если в результате выполнения этапа 32 получен контрольный сигнал идентификации аудиокодера, то на этапе 33 выполняется обращение к справочной таблице с использованием контрольного сигнала идентификации аудиокодера, при этом контрольный сигнал идентификации аудиокодера используется в качестве индекса. На основе связи с индексом определяются различные конфигурационные настройки, такие как длина блока, частота выборок, опережение и т.п., связанные с таким аудиокодером.
Конфигурационная настройка затем применяется к средству многоканального восстановления на этапе 34. Однако, если на этапе 30 выбрано первое значение контрольного сигнала конфигурации параметров, та же самая конфигурационная настройка осуществляется на основании конфигурационной информации, содержащейся в потоке параметрических данных, как представлено стрелкой между этапом 31 и этапом 34 по фиг. 3.
Соответствующая изобретению схема является гибкой, так как она поддерживает как явные, так и неявные способы сигнализации конфигурационной информации. Для этого служит контрольный сигнал PKH конфигурации параметров, который предпочтительно вводится как флаг, и, в лучшем случае, требует только одного бита для указания сигнализации конфигурационной информации как таковой. Параметрический многоканальный декодер может затем оценивать этот флаг. Если этот флаг сигнализирует наличие явно доступной конфигурационной информации, то используется эта конфигурационная информация. Если флаг указывает неявную сигнализацию, то декодер будет использовать информацию об используемом способе аудио или речевого кодирования и применять конфигурационную информацию на основании сигнализированного способа кодирования. Для этой цели параметрический многоканальный декодер и/или средство многоканального восстановления предпочтительно имеет справочную таблицу, содержащую стандартную конфигурационную информацию для определенного количества аудо или речевых кодеров. Однако также есть возможности иные, чем справочная таблица, которые могут, например, включать в себя схемно реализованные решения и т.д. В принципе, декодер может обеспечивать конфигурационную информацию предопределенной информацией, присутствующей в ней самой, в зависимости от фактически представленной информации идентификации кодера.
Эта концепция особенно полезна тем, что может быть реализована полная конфигурация параметрической схемы с минимальными дополнительными усилиями, при этом в предельном случае будет достаточно единственного бита, что противоположно ситуации, когда вся конфигурационная информация должна явным образом записываться в сам поток данных, со значительно большим объемом битов.
Согласно изобретению сигнализация может переключаться, что позволяет просто манипулировать многоканальными данными, если представление данных канала передачи изменяется, например, когда данные канала передачи декодируются и позднее кодируются вновь, то есть, когда имеет место ситуация тандемного кодирования.
Таким образом, соответствующий изобретению принцип позволяет экономить биты сигнализации в случае синхронной работы, с одной стороны, и переключаться на асинхронную работу, с другой стороны, по необходимости, то есть обеспечивает возможность эффективной по затратам битов реализации и гибкой обработки, особенно полезной в связи с «добавлением» существующих стереофонических данных к многоканальному представлению.
Ниже со ссылкой на фиг. 4с описана примерная реализация заявленного устройства для формирования многоканального аудиосигнала с примером синтаксического псевдокода. Сначала считывается значение переменной «useSameBccConfig» («использовать ту же самую конфигурацию BCC»). Здесь переменная служит в качестве контрольного сигнала продления. То есть имеется только продление для интерпретации контрольного сигнала конфигурации параметров, если эта переменная, то есть контрольный сигнал продления, имея значение, равное, например, 1. Если контрольный сигнал продления не равен 1, то есть имеет другое значение, то используется ранее переданная конфигурация. Если в средстве многоканального восстановления еще нет конфигурации, оно должно ожидать получения самой первой конфигурационной информации и/или конфигурационной настройки.
Ниже описан анализ контрольного сигнала конфигурации параметров. Переменная «codecToBccConfigAlignment» («кодек для синхронизации конфигурации BCC») служит в качестве контрольного сигнала PKH конфигурации параметров. Если эта переменная равна 1, то есть имеет второе значение, то декодер не использует никакую дополнительную конфигурационную информацию, а определяет конфигурационную информацию на основании идентификации кодера, такой как MP3, CoderX (Кодер X) или CoderY (Кодер Y), как показано строками, начинающимися с «case», на фиг. 4с. Следует отметить, в качестве примера, что синтаксис, показанный на фиг. 4с, поддерживает только MP3, CoderX и CoderY. Однако могут быть добавлены любые другие наименования/обозначения кодирования.
Если, например, MP3 определено в качестве информации о кодере, переменная bccConfigID (идентификатор конфигурации BCC) устанавливается, например, в MP3_V1, что является конфигурацией для MP3-кодера с версией V1 синтаксиса. Затем декодер конфигурируется определенным набором параметров, на основании этой идентификации конфигурации BCC. Таким образом, например, длина блока в 576 выборок активизируется в качестве конфигурационной настройки. Соответственно, сигнализируется кадрирование, имеющее эту длину блока. Альтернативными/дополнительными конфигурационными настройками могут быть частота выборок и т.п. Однако, если контрольный сигнал конфигурации параметров (codecToBccConfigAlignment) имеет первое значение, то есть, например, значение 0, то декодер принимает конфигурационную информацию из потока данных явным образом, то есть он принимает отдельный bccConfigID из потока данных, то есть из входных данных. Последующая процедура такая же, как описана выше. В этом случае, однако, идентификация декодера для декодирования кодированных данных канала передачи не используется для целей конфигурации средства многоканального восстановления.
Таким образом, bccConfigID может использоваться для цели декодирования данных канала передачи, в случае MP3-аудиодекодера, для конфигурирования средства многоканального восстановления. С другой стороны, также может иметься любой другой идентификатор bccConfigID конфигурационной информации в потоке данных, оцениваемый независимо от того, является или нет используемый аудиокодер MP3-кодером. То же самое применяется к другим предопределенным конфигурационным настройкам конфигурации, таким как CoderX и CoderY, при которых конфигурационная информация (bccConfigID) устанавливается индивидуально. В предпочтительных вариантах осуществления, в потоке данных имеется дополнительная конфигурационная информация, которая сигнализирует декодеру, что он должен использовать как предопределенную конфигурационную информацию, представленную в декодере, так и явным образом переданную конфигурационную информацию.
Помимо вышеописанных вариантов осуществления настоящее изобретение также может применяться к другим многоканальным сигналам, которые не являются аудиосигналами, таким как параметрически кодированные видеосигналы, и т.п.
В зависимости от обстоятельств заявленный способ для формирования и/или декодирования может быть реализован в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена на цифровом запоминающем носителе, в частности, гибком диске или CD (компакт-диске), содержащем управляющие сигналы, которые могут считываться электронным образом, который может взаимодействовать с программируемой компьютерной системой для выполнения способа. Изобретение, таким образом, также заключается в компьютерном программном продукте, содержащем управляющую программу для выполнения способа, сохраненного на машиночитаемом носителе, когда компьютерный программный продукт работает на компьютере. Другими словами, изобретение также может быть реализовано в виде компьютерной программы, содержащей управляющую программу для выполнения способа, когда компьютерная программа работает на компьютере.
1. Устройство для формирования многоканального сигнала с использованием входных данных, которые включают в себя данные канала передачи, представляющие М каналов передачи, и параметрические данные для получения К выходных каналов, при этом М каналов передачи и параметрические данные вместе представляют N исходных каналов, М является меньшим, чем N, и равным или большим, чем 1, К является большим, чем М, и входные данные содержат контрольный сигнал (41) конфигурации параметров, содержащее:
средство (24) многоканального восстановления, предназначенное для формирования К выходных каналов из данных канала передачи и параметрических данных; и
средство (26) конфигурирования для конфигурирования средства многоканального восстановления, при этом средство конфигурирования предназначено для
считывания входных данных для интерпретирования (30) контрольного сигнала конфигурации параметров,
если контрольный сигнал конфигурации параметров имеет первое значение, то извлечения (31) конфигурационной информации, содержащейся во входных данных, и осуществления (34) конфигурационной настройки средства многоканального восстановления, и
если контрольный сигнал конфигурации параметров имеет второе значение, отличающееся от первого значения, то конфигурирования (34)
средства многоканального восстановления с использованием информации об алгоритме (23) кодирования, с помощью которого данные канала передачи были закодированы, из их кодированного варианта, так что конфигурационная настройка средства многоканального восстановления идентична конфигурационной настройке алгоритма (23) кодирования или зависит от конфигурационной настройки алгоритма (23) кодирования.
2. Устройство по п.1, в котором данные канала передачи содержат поток данных канала передачи, имеющий синтаксис данных канала передачи,
при этом параметрические данные содержат поток параметрических данных, имеющий синтаксис параметрических данных, причем синтаксис данных канала передачи отличается от синтаксиса параметрических данных, и контрольный сигнал конфигурации параметров вставлен в параметрические данные согласно этому синтаксису,
при этом средство (26) конфигурирования предназначено для считывания параметрических данных согласно синтаксису параметрических данных и извлечения (30) контрольного сигнала конфигурации параметров.
3. Устройство по п.1 или 2, в котором средство (24) многоканального восстановления предназначено для выполнения обработки блоками, при этом данные канала передачи являются последовательностью выборок, и конфигурационная настройка включает в себя длину блока или количество выборок опережения, которые обрабатываются заново средством (24) многоканального восстановления в каждой обработке блока.
4. Устройство по п.3, в котором данные канала передачи являются временными выборками, по меньшей мере, одного канала передачи, а средство (24) многоканального восстановления содержит гребенку фильтров для преобразования блока временных выборок данных канала передачи в представление в частотной области.
5. Устройство по одному из предыдущих пунктов, в котором параметрические данные содержат последовательность блоков значений параметров, при этом блоки значений параметров связаны с временным интервалом, по меньшей мере, одного канала передачи, и средство (24) многоканального восстановления выполнено таким образом, что конфигурационная настройка обеспечивает использование блока значений параметров и связанного временного интервала, по меньшей мере, одного канала передачи, для формирования К выходных каналов.
6. Устройство по одному из предыдущих пунктов, в котором алгоритм (23) кодирования является одним из множества различных алгоритмов кодирования,
при этом средство (26) конфигурирования содержит средство справочной таблицы, которое включает в себя индекс и набор конфигурационной информации, связанный с индексом, для алгоритма кодирования, который соответственно содержит конфигурационную настройку для алгоритмов кодирования,
средство (26) конфигурирования предназначено для определения индекса для справочной таблицы по информации об алгоритме кодирования и для определения (33) из нее конфигурационной информации для средства многоканального восстановления.
7. Устройство по одному из предыдущих пунктов, в котором входные данные содержат конфигурационную информацию для средства (24) многоканального восстановления в случае контрольного сигнала конфигурации параметров, имеющего первое значение, и содержат только часть или не содержат конфигурационной информации для средства многоканального восстановления, если контрольный сигнал конфигурации параметров имеет второе значение.
8. Устройство по одному из предыдущих пунктов, в котором средство (26) конфигурирования предназначено для извлечения только части требуемой конфигурационной информации из входных данных, если контрольный сигнал конфигурации параметров имеет второе значение, и для использования оставшейся части конфигурационной информации из предварительно заданной конфигурационной информации, известной средству многоканального восстановления.
9. Устройство по одному из предыдущих пунктов, в котором средство (26) конфигурирования предназначено для получения информации об алгоритме кодирования по линии связи, посредством которой средство конфигурирования может присоединяться к декодеру, который формирует данные канала передачи из кодированных данных канала передачи, или для получения информации об алгоритме кодирования посредством считывания данных канала передачи или кодированных данных канала передачи, если контрольный сигнал конфигурации параметров имеет второе значение.
10. Устройство по одному из предыдущих пунктов, в котором входные данные дополнительно содержат контрольный сигнал (41) продления, при этом средство (26) конфигурирования предназначено для считывания и интерпретирования (29) контрольного сигнала продления, чтобы осуществлять жестко заданную или предварительно сигнализированную конфигурационную настройку средства многоканального восстановления в случае контрольного сигнала продления, имеющего первое значение, и для конфигурирования (30) только средства многоканального восстановления на основе контрольного сигнала конфигурации параметров в случае контрольного сигнала продления, имеющего второе значение, отличающееся от первого значения.
11. Устройство по п.10, в котором контрольный сигнал продления связан с параметрическими данными согласно синтаксису параметрических данных и представляет собой флаг в потоке параметрических данных.
12. Устройство по одному из предыдущих пунктов, в котором контрольный сигнал конфигурации параметров связан с параметрическими данными согласно синтаксису параметрических данных и представляет собой флаг в потоке параметрических данных.
13. Устройство по п.11 или 12, в котором каждый из контрольного сигнала продления или контрольного сигнала конфигурации параметров включает в себя одиночный бит.
14. Способ формирования многоканального сигнала с использованием входных данных, которые включают в себя данные канала передачи, представляющие М каналов передачи, и параметрические данные для получения К выходных каналов, при этом М каналов передачи и параметрические данные вместе представляют N исходных каналов, М является меньшим, чем N, и равным или большим, чем 1, К является большим, чем М, и входные данные содержат контрольный сигнал (41) конфигурации параметров, заключающийся в том, что:
восстанавливают (24) К выходных каналов по данным канала передачи и параметрическим данным согласно алгоритму восстановления; конфигурируют (26) алгоритм восстановления посредством следующих подэтапов, на которых:
считывают входные данные для интерпретирования (30) контрольного сигнала конфигурации параметров;
если контрольный сигнал конфигурации параметров имеет первое значение, то извлекают (31) конфигурационную информацию, содержащуюся во входных данных, и осуществляют (34) настройку конфигурации алгоритма восстановления, и
если контрольный сигнал конфигурации параметров имеет второе значение, отличающееся от первого значения, то осуществляют (34) конфигурационную настройку алгоритма восстановления с использованием информации об алгоритме (23) кодирования, с помощью которого были кодированы данные канала передачи, из их кодированного варианта, так что конфигурационная настройка идентична конфигурационной настройке алгоритма (23) кодирования или зависит от конфигурационной настройки алгоритма (23) кодирования.
15. Устройство для формирования выходного сигнала параметрических данных, который, наряду с данными канала передачи, включающими в себя М каналов передачи, представляет N исходных каналов, при этом М является меньшим, чем N, и равным или большим, чем 1, содержащее:
многоканальное параметрическое средство (11) для предоставления параметрических данных;
средство (14) сигнализации для определения контрольного сигнала конфигурации параметров, при этом контрольный сигнал конфигурации параметров имеет первое значение, когда конфигурационная информация, содержащаяся в выходном сигнале параметрических данных, должна использоваться для средства многоканального восстановления, и контрольный сигнал конфигурации параметров имеет второе значение, когда конфигурационные данные должны использоваться для многоканального восстановления, которое основано на алгоритме кодирования, который должен использоваться для кодирования М каналов передачи; и
средство (15) записи конфигурационных данных для вывода конфигурационной информации для получения выходного сигнала параметрических данных.
16. Устройство по п.15, в котором средство (15) записи конфигурационных данных предназначено для вставки контрольного сигнала продления в набор параметрических данных, при этом контрольный сигнал продления обеспечивает использование жестко заданной предварительно сигнализированной настройки конфигурации при многоканальном восстановлении, если он имеет первое значение, и обеспечивает выполнение конфигурирования многоканального восстановления с использованием контрольного сигнала конфигурации параметров, если контрольный сигнал продления имеет второе значение, отличающееся от первого значения.
17. Устройство по п.15 или 16, в котором средство записи конфигурационных данных не связывает или связывает только часть необходимой конфигурационной информации с набором параметрических данных, если контрольный сигнал конфигурации параметров имеет второе значение (17).
18. Способ формирования выходного сигнала параметрических данных, который, наряду с данными канала передачи, включающими в себя М каналов передачи, представляет N исходных каналов, при этом М является меньшим, чем N, и равным или большим, чем 1, заключающийся в том, что:
предоставляют (11) параметрические данные;
определяют (14) контрольный сигнал конфигурации параметров, при этом контрольный сигнал конфигурации параметров имеет первое значение, когда конфигурационная информация, содержащаяся в выходном сигнале параметрических данных, должна использоваться для алгоритма многоканального восстановления, и контрольный сигнал конфигурации параметров имеет второе значение, когда конфигурационные данные должны использоваться для многоканального восстановления, которое основано на алгоритме кодирования, который должен использоваться для кодирования М каналов передачи; и
выводят (15) конфигурационную информацию, чтобы получить выходной сигнал параметрических данных.
19. Устройство для формирования выходного сигнала параметрических данных, который вместе с данными канала передачи, включающими в себя М каналов передачи, представляет N исходных каналов, при этом М является меньшим, чем N, и равным или большим, чем 1, с использованием входных данных, при этом входные данные содержат контрольный сигнал (41) конфигурации параметров, который имеет первое значение, указывающее, что конфигурационная информация для средства многоканального восстановления содержится во входных данных, или имеет второе значение, указывающее, что средство многоканального восстановления должно использовать конфигурационную информацию в зависимости от алгоритма (23) кодирования, с помощью которого кодировался канал передачи, из его кодированного варианта, содержащее:
средство записи для записи конфигурационных данных, при этом средство записи предназначено для
считывания входных данных, чтобы (30) интерпретировать контрольный сигнал конфигурации параметров, и
если контрольный сигнал конфигурации параметров имеет второе значение, то извлечения и вывода в качестве конфигурационных данных информации об алгоритме (23) кодирования, с помощью которого кодировались данные канала передачи, из их кодированного варианта.
20. Способ формирования выходного сигнала параметрических данных, который вместе с данными канала передачи, включающими в себя М каналов передачи, представляет N исходных каналов, при этом М является меньшим, чем N, и равным или большим, чем 1, с использованием входных данных, при этом входные данные содержат контрольный сигнал (41) конфигурации параметров, который имеет первое значение, указывающее, что конфигурационная информация для средства многоканального восстановления содержится во входных данных, или имеет второе значение, указывающее, что средство многоканального восстановления должно использовать конфигурационную информацию в зависимости от алгоритма (23) кодирования, с помощью которого кодировался канал передачи, из его кодированного варианта, заключающийся в том, что:
считывают входные данные, чтобы интерпретировать (30) контрольный сигнал конфигурации параметров, и
если контрольный сигнал конфигурации параметров имеет второе значение, то извлекают информацию об алгоритме (23) кодирования, с помощью которого кодировались данные канала передачи, из их кодированного варианта, и выводят извлеченные конфигурационные данные.
21. Машиночитаемый носитель, содержащий компьютерную программу для выполнения способа формирования многоканального сигнала с использованием входных данных по п.14, при исполнении компьютерной программы на компьютере.
22. Машиночитаемый носитель, содержащий компьютерную программу для выполнения способа формирования выходного сигнала параметрических данных по п.18, при исполнении компьютерной программы на компьютере.
23. Машиночитаемый носитель, содержащий компьютерную программу для выполнения способа формирования выходного сигнала параметрических данных по п.20, при исполнении компьютерной программы на компьютере.
