Устройство и способ для улучшенного пространственного кодирования аудиообъектов

Изобретение относится к аудиокодированию/аудиодекодированию. Технический результат – повышение точности воспроизведения аудиосигнала. Устройство содержит процессор параметров для вычисления информации микширования и процессор понижающего микширования, предназначенный для формирования одного или нескольких выходных аудиоканалов и для приема потока данных, содержащего транспортные аудиоканалы в транспортном аудиосигнале. Процессор параметров конфигурируется для приема информации понижающего микширования и для приема ковариационной информации, а также для вычисления информации микширования в зависимости от информации понижающего микширования и в зависимости от ковариационной информации. Процессор понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиоканалов из транспортного аудиосигнала в зависимости от информации микширования. Ковариационная информация указывает информацию о разности уровней для одного из одного или нескольких сигналов аудиоканалов и дополнительно указывает информацию о разности уровней для одного из одного или нескольких сигналов аудиообъектов. 7 н. и 11 з.п. ф-лы, 10 ил.

 

Настоящее изобретение имеет отношение к аудиокодированию/аудиодекодированию, в частности, к пространственному аудиокодированию и пространственному кодированию аудиообъектов, а конкретнее, к устройству и способу для улучшенного пространственного кодирования аудиообъектов.

Инструменты пространственного аудиокодирования широко известны в данной области техники и стандартизованы, например, в стандарте MPEG-Surround. Пространственное аудиокодирование начинается с исходных входных каналов, например, пяти или семи входных каналов, которые идентифицируются по их размещению в настройке воспроизведения, то есть левый канал, центральный канал, правый канал, левый канал окружения, правый канал окружения и канал низкочастотного расширения. Пространственный аудиокодер, как правило, получает один или несколько каналов понижающего микширования из исходных каналов, а кроме того, получает параметрические данные, относящиеся к пространственным меткам, например межканальные разности уровней в значениях когерентности каналов, межканальные разности фаз, межканальные разницы времени и т. п. Один или несколько каналов понижающего микширования передаются вместе с параметрической дополнительной информацией, указывающей пространственные метки, пространственному аудиодекодеру, который декодирует канал понижающего микширования и ассоциированные параметрические данные, чтобы получить в конечном счете выходные каналы, которые являются приблизительной версией исходных входных каналов. Размещение каналов в настройке вывода обычно неизменно и представляет собой, например, формат 5.1, формат 7.1 и т. п.

Такие аудиоформаты на основе каналов широко используются для хранения или передачи многоканального аудиоконтента, где каждый канал относится к определенному громкоговорителю в заданном положении. Точное воспроизведение этого вида форматов требует настройки громкоговорителей, где динамики размещаются в тех же положениях, что и динамики, которые использовались во время создания аудиосигналов. Хотя увеличивающееся количество громкоговорителей улучшает воспроизведение по-настоящему многонаправленных объемных аудиосцен, становится все сложнее выполнять это требование - особенно в домашней обстановке типа гостиной.

Необходимость конкретной настройки громкоговорителей можно обойти с помощью объектно-ориентированного подхода, где сигналы громкоговорителя подготавливаются специально для настройки воспроизведения.

Например, инструменты пространственного кодирования аудиообъектов широко известны в данной области техники и стандартизованы в стандарте SAOC MPEG (SAOC=пространственное кодирование аудиообъектов). В отличие от пространственного аудиокодирования, начинающего с исходных каналов, пространственное кодирование аудиообъектов начинает с аудиообъектов, которые не выделены автоматически для определенной настройки воспроизведения. Вместо этого размещение аудиообъектов в сцене воспроизведения гибкое и может определяться пользователем путем ввода некоторой информации о подготовке в декодер пространственного кодирования аудиообъектов. В качестве альтернативы или дополнительно информация о подготовке, то есть информация о том, в какое положение в настройке воспроизведения нужно обычно помещать некоторый аудиообъект по прошествии времени, может передаваться в качестве дополнительной информации или метаданных. Чтобы добиться определенного сжатия данных, некоторое количество аудиообъектов кодируется кодером SAOC, который вычисляет из входных объектов один или несколько транспортных каналов путем понижающего микширования объектов в соответствии с некоторой информацией понижающего микширования. Кроме того, кодер SAOC вычисляет параметрическую дополнительную информацию, представляющую межобъектные метки, например разности уровней объектов (OLD), значения когерентности объектов и т. п. Как и в SAC (SAC=пространственное аудиокодирование), межобъектные параметрические данные вычисляются для временных/частотных фрагментов параметра, то есть для некоторого кадра аудиосигнала, содержащего, например, 1024 или 2048 выборок, рассматриваются 28, 20, 14 или 10 и т. п. полос обработки, чтобы параметрические данные существовали в конечном счете для каждого кадра и каждой полосы обработки. В качестве примера, когда некая аудиочасть содержит 20 кадров, и когда каждый кадр подразделяется на 28 полос обработки, количество временных/частотных фрагментов параметра равно 560.

В объектно-ориентированном подходе звуковое поле описывается дискретными аудиообъектами. Это требует метаданных объектов, которые, среди прочего, описывают изменяющееся во времени положение каждого источника звука в трехмерном (3D) пространстве.

Первой идеей кодирования метаданных на известном уровне техники является формат обмена описанием пространственного звука (SpatDIF), формат описания аудиосцены, который по-прежнему находится в разработке [M1]. Он задуман как формат обмена для объектно-ориентированных звуковых сцен и не предоставляет никакого способа сжатия для траекторий объектов. SpatDIF использует текстовый формат Открытого управления звуком (OSC) для структурирования метаданных объектов [M2]. Однако простое текстовое представление не является возможным вариантом для сжатой передачи траекторий объектов.

Другой идеей метаданных на известном уровне техники является Формат описания аудиосцен (ASDF) [M3], текстовое решение, которое обладает таким же недостатком. Данные структурируются с помощью расширения Языка синхронизированной мультимедийной интеграции (SMIL), который является подмножеством Расширяемого языка разметки (XML) [M4], [M5].

Дополнительной идеей метаданных на известном уровне техники является двоичный формат аудио для сцен (AudioBIFS), двоичный формат, который является частью спецификации MPEG-4 [M6], [M7]. Он тесно связан с основанным на XML языком моделирования виртуальной реальности (VRML), который был разработан для описания аудиовизуальных объемных (3D) сцен и интерактивных приложений виртуальной реальности [M8]. Сложная спецификация AudioBIFS использует графы сцен для задания маршрутов перемещений объектов. Основным недостатком AudioBIFS является то, что он не предназначен для работы в реальном масштабе времени, где требованием является ограниченная задержка системы и произвольный доступ к потоку данных. Кроме того, кодирование положений объектов не использует ограниченное выявление направленности у человека. Для неизменного положения слушателя в аудиовизуальной сцене данные объектов можно квантовать с гораздо меньшим количеством разрядов [M9]. Поэтому кодирование метаданных объектов, которое применяется в AudioBIFS, неэффективно в отношении сжатия данных.

US 2009/326958 A1 раскрывает способ и устройство аудиодекодирования и способ и устройство аудиокодирования, которые могут эффективно обрабатывать объектно-ориентированные аудиосигналы. Способ аудиодекодирования включает в себя прием первого и второго аудиосигналов, которые кодируются по объектам; формирование третьей информации об энергии объекта на основе первой информации об энергии объекта, включенной в первый аудиосигнал, и второй информации об энергии объекта, включенной во второй аудиосигнал; и формирование третьего аудиосигнала путем объединения первого и второго сигналов объектов и третьей информации об энергии объекта.

Цель настоящего изобретения - предоставить усовершенствованные идеи для пространственного кодирования аудиообъектов. Цель настоящего изобретения достигается с помощью устройства по п. 1, устройства по п. 14, системы по п. 16, способа по п. 17, способа по п. 18 и компьютерной программы по п. 19.

Предоставляется устройство для формирования одного или нескольких выходных аудиоканалов. Устройство содержит процессор параметров для вычисления информации микширования и процессор понижающего микширования для формирования одного или нескольких выходных аудиоканалов. Процессор понижающего микширования конфигурируется для приема транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов. Один или несколько сигналов аудиоканалов микшируются в транспортный аудиосигнал, и один или несколько сигналов аудиообъектов микшируются в транспортный аудиосигнал, и где количество одного или нескольких транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов. Процессор параметров конфигурируется для приема информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в один или несколько транспортных аудиоканалов, и где процессор параметров конфигурируется для приема ковариационной информации. Кроме того, процессор параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования и в зависимости от ковариационной информации. Процессор понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиоканалов из транспортного аудиосигнала в зависимости от информации микширования. Ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов, и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов. Однако ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов.

Кроме того, предоставляется устройство для формирования транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов. Устройство содержит микшер каналов/объектов для формирования одного или нескольких транспортных аудиоканалов в транспортном аудиосигнале и выходной интерфейс. Микшер каналов/объектов конфигурируется для формирования транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов, путем микширования одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов в транспортный аудиосигнал в зависимости от информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов нужно микшировать в один или несколько транспортных аудиоканалов, где количество одного или нескольких транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов. Выходной интерфейс конфигурируется для вывода транспортного аудиосигнала, информации понижающего микширования и ковариационной информации. Ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов, и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов. Однако ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов.

Кроме того, предоставляется система. Система содержит устройство для формирования транспортного аудиосигнала, как описано выше, и устройство для формирования одного или нескольких выходных аудиоканалов, как описано выше. Устройство для формирования одного или нескольких выходных аудиоканалов конфигурируется для приема транспортного аудиосигнала, информации понижающего микширования и ковариационной информации от устройства для формирования транспортного аудиосигнала. Кроме того, устройство для формирования выходных аудиоканалов конфигурируется для формирования одного или нескольких выходных аудиоканалов в зависимости от транспортного аудиосигнала, в зависимости от информации понижающего микширования и в зависимости от ковариационной информации.

Кроме того, предоставляется способ для формирования одного или нескольких выходных аудиоканалов. Способ содержит:

- Прием транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов, где один или несколько сигналов аудиоканалов микшируются в транспортный аудиосигнал, где один или несколько сигналов аудиообъектов микшируются в транспортный аудиосигнал, и где количество одного или нескольких транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов.

- Прием информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в один или несколько транспортных аудиоканалов.

- Прием ковариационной информации.

- Вычисление информации микширования в зависимости от информации понижающего микширования и в зависимости от ковариационной информации. И:

- Формирование одного или нескольких выходных аудиоканалов.

Формирование одного или нескольких выходных аудиоканалов из транспортного аудиосигнала проводится в зависимости от информации микширования. Ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов, и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов. Однако ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов.

Кроме того, предоставляется способ для формирования транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов. Способ содержит:

- Формирование транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов, путем микширования одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов в транспортный аудиосигнал в зависимости от информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов нужно микшировать в один или несколько транспортных аудиоканалов, где количество одного или нескольких транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов. И:

- Вывод транспортного аудиосигнала, информации понижающего микширования и ковариационной информации.

Ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов, и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов. Однако ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов.

Кроме того, предоставляется компьютерная программа для реализации вышеописанного способа, когда исполняется на компьютере или процессоре сигналов.

Ниже подробнее описываются варианты осуществления настоящего изобретения со ссылкой на фигуры, на которых:

Фиг. 1 иллюстрирует устройство для формирования одного или нескольких выходных аудиоканалов в соответствии с вариантом осуществления,

Фиг. 2 иллюстрирует устройство для формирования транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов, в соответствии с вариантом осуществления,

Фиг. 3 иллюстрирует систему в соответствии с вариантом осуществления,

Фиг. 4 иллюстрирует первый вариант осуществления кодера объемного аудио,

Фиг. 5 иллюстрирует первый вариант осуществления декодера объемного аудио,

Фиг. 6 иллюстрирует второй вариант осуществления кодера объемного аудио,

Фиг. 7 иллюстрирует второй вариант осуществления декодера объемного аудио,

Фиг. 8 иллюстрирует третий вариант осуществления кодера объемного аудио,

Фиг. 9 иллюстрирует третий вариант осуществления декодера объемного аудио, и

Фиг. 10 иллюстрирует блок совместной обработки в соответствии с вариантом осуществления.

Перед подробным описанием предпочтительных вариантов осуществления настоящего изобретения описывается новая система кодека объемного (3D) аудио.

На известном уровне техники не существует никакой гибкой технологии, объединяющей канальное кодирование с одной стороны и кодирование объектов с другой стороны, чтобы получить приемлемое качество аудио на низких скоростях передачи разрядов.

Это ограничение обходится новой системой кодека объемного аудио.

Перед подробным описанием предпочтительных вариантов осуществления описывается новая система кодека объемного аудио.

Фиг. 4 иллюстрирует кодер объемного аудио в соответствии с вариантом осуществления настоящего изобретения. Кодер объемного аудио конфигурируется для кодирования входных аудиоданных 101, чтобы получить выходные аудиоданные 501. Кодер объемного аудио содержит входной интерфейс для приема множества аудиоканалов, указанных с помощью CH, и множества аудиообъектов, указанных с помощью OBJ. Кроме того, как проиллюстрировано на фиг. 4, входной интерфейс 1100 дополнительно принимает метаданные, связанные с одним или несколькими из множества аудиообъектов OBJ. Кроме того, кодер объемного аудио содержит микшер 200 для микширования множества объектов и множества каналов, чтобы получить множество предварительно микшированных каналов, в котором каждый предварительно микшированный канал содержит аудиоданные канала и аудиоданные по меньшей мере одного объекта.

Кроме того, кодер объемного аудио содержит базовый кодер 300 для базового кодирования входных данных базового кодера, компрессор 400 метаданных для сжатия метаданных, связанных с одним или несколькими из множества аудиообъектов.

Кроме того, кодер объемного аудио может содержать контроллер 600 режимов для управления микшером, базовым кодером и/или выходным интерфейсом 500 в одном из нескольких режимов работы, где в первом режиме базовый кодер конфигурируется для кодирования множества аудиоканалов и множества аудиообъектов, принятых входным интерфейсом 1100, без какого-либо взаимодействия с микшером, то есть без какого-либо микширования с помощью микшера 200. Однако во втором режиме, в котором был активен микшер 200, базовый кодер кодирует множество микшированных каналов, то есть вывод, сформированный блоком 200. В этом последнем случае предпочтительно уже не кодировать никакие данные объектов. Вместо этого микшером 200 уже используются метаданные, указывающие положения аудиообъектов, для подготовки объектов по каналам, как указано метаданными. Другими словами, микшер 200 использует метаданные, связанные с множеством аудиообъектов, чтобы предварительно подготовить аудиообъекты, а затем предварительно подготовленные аудиообъекты микшируются с каналами для получения микшированных каналов на выходе микшера. В этом варианте осуществления не обязательно могут передаваться любые объекты, и это также применяется к сжатым метаданным, которые выведены блоком 400. Однако, если микшируются не все введенные в интерфейс 1100 объекты, а микшируется только некоторое количество объектов, тогда только оставшиеся немикшированные объекты и ассоциированные метаданные все-таки передаются соответственно в базовый кодер 300 или компрессор 400 метаданных.

Фиг. 6 иллюстрирует дополнительный вариант осуществления кодера объемного аудио, который дополнительно содержит кодер 800 SAOC. Кодер 800 SAOC конфигурируется для формирования одного или нескольких транспортных каналов и параметрических данных из входных данных в пространственный кодер аудиообъектов. Как проиллюстрировано на фиг. 6, входные данные в пространственный кодер аудиообъектов являются объектами, которые не обработаны устройством предварительной подготовки/микшером. В качестве альтернативы при условии, что обходят устройство предварительной подготовки/микшер, как в первом режиме, где активно кодирование отдельного канала/объекта, все введенные во входной интерфейс 1100 объекты кодируются кодером 800 SAOC.

Кроме того, как проиллюстрировано на фиг. 6, базовый кодер 300 предпочтительно реализуется в виде кодера USAC, то есть в виде кодера, который определен и стандартизован в стандарте MPEG-USAC (USAC=унифицированное кодирование речи и аудио). Выход всего кодера объемного аудио, проиллюстрированного на фиг. 6, является потоком данных MPEG 4, потоком данных MPEG H или потоком объемных аудиоданных, содержащим структуры типа контейнеров для отдельных типов данных. Кроме того, метаданные указываются как данные "OAM", и компрессор 400 метаданных на фиг. 4 соответствует кодеру 400 OAM для получения сжатых данных OAM, которые вводятся в кодер 300 USAC, который, как видно на фиг. 6, дополнительно содержит выходной интерфейс для получения выходного потока данных MP4, содержащего не только кодированные данные каналов/объектов, но также сжатые данные OAM.

Фиг. 8 иллюстрирует дополнительный вариант осуществления кодера объемного аудио, где в отличие от фиг. 6 кодер SAOC может быть сконфигурирован либо для кодирования с помощью алгоритма кодирования SAOC каналов, предоставленных в устройстве 200 предварительной подготовки/микшере, не активном в этом режиме, либо, в качестве альтернативы, для SAOC-кодирования предварительно подготовленных каналов плюс объектов. Таким образом, на фиг. 8 кодер 800 SAOC может воздействовать на три разных вида входных данных, то есть каналы без каких-либо предварительно подготовленных объектов, каналы и предварительно подготовленные объекты или только объекты. Кроме того, на фиг. 8 предпочтительно предоставить дополнительный декодер 420 OAM, чтобы кодер 800 SAOC использовал для своей обработки такие же данные, как и на стороне декодера, то есть данные, полученные путем сжатия с потерями, а не исходные данные OAM.

Кодер объемного аудио из фиг. 8 может работать в нескольких отдельных режимах.

В дополнение к первому и второму режимам, которые обсуждались применительно к фиг. 4, кодер объемного аудио из фиг. 8 дополнительно может работать в третьем режиме, в котором базовый кодер формирует один или несколько транспортных каналов из отдельных объектов, когда было не активно устройство 200 предварительной подготовки/микшер. В качестве альтернативы или дополнительно в этом третьем режиме кодер 800 SAOC может формировать один или несколько альтернативных или дополнительных транспортных каналов из исходных каналов, то есть снова, когда было не активно устройство 200 предварительной подготовки/микшер, соответствующее микшеру 200 из фиг. 4.

В конечном счете кодер 800 SAOC может кодировать, когда кодер объемного аудио конфигурируется в четвертом режиме, каналы плюс предварительно подготовленные объекты, которые сформированы устройством предварительной подготовки/микшером. Таким образом, в четвертом режиме приложения с наименьшей скоростью передачи разрядов обеспечат хорошее качество благодаря тому, что каналы и объекты полностью преобразованы в отдельные транспортные каналы SAOC и ассоциированную дополнительную информацию, которая указана на фиг. 3 и 5 как "SAOC-SI", а кроме того, никакие сжатые метаданные не нужно передавать в этом четвертом режиме.

Фиг. 5 иллюстрирует декодер объемного аудио в соответствии с вариантом осуществления настоящего изобретения. Декодер объемного аудио в качестве входа принимает кодированные аудиоданные, то есть данные 501 из фиг. 4.

Декодер объемного аудио содержит декомпрессор 1400 метаданных, базовый декодер 1300, процессор 1200 объектов, контроллер 1600 режимов и постпроцессор 1700.

В частности, декодер объемного аудио конфигурируется для декодирования кодированных аудиоданных, а входной интерфейс конфигурируется для приема кодированных аудиоданных, причем кодированные аудиоданные содержат множество кодированных каналов и множество кодированных объектов и сжатых метаданных, связанных с множеством объектов в некотором режиме.

Кроме того, базовый декодер 1300 конфигурируется для декодирования множества кодированных каналов и множества кодированных объектов, а кроме того, декомпрессор метаданных конфигурируется для распаковки сжатых метаданных.

Кроме того, процессор 1200 объектов конфигурируется для обработки множества декодированных объектов, которое сформировано базовым декодером 1300, используя распакованные метаданные, чтобы получить заранее установленное количество выходных каналов, содержащих данные объектов и декодированные каналы. Эти выходные каналы, которые указаны по ссылке 1205, затем вводятся в постпроцессор 1700. Постпроцессор 1700 конфигурируется для преобразования количества выходных каналов 1205 в некий выходной формат, который может быть бинауральным выходным форматом или выходным форматом громкоговорителей, например выходным форматом 5.1, 7.1 и т. п.

Предпочтительно, чтобы декодер объемного аудио содержал контроллер 1600 режимов, который конфигурируется для анализа кодированных данных, чтобы обнаружить указание режима. Поэтому контроллер 1600 режимов на фиг. 5 подключается к входному интерфейсу 1100. Однако в качестве альтернативы контроллер режимов не обязательно должен быть там. Вместо этого гибкий аудиодекодер может предварительно настраиваться с помощью любого другого вида управляющих данных, например пользовательского ввода или любого другого управления. Декодер объемного аудио на фиг. 5, предпочтительно управляемый контроллером 1600 режимов, конфигурируется для обхода процессора объектов и подачи множества декодированных каналов в постпроцессор 1700. Это работа в режиме 2, то есть в режиме, в котором принимаются только предварительно подготовленные каналы, то есть когда в кодере объемного аудио из фиг. 4 применен режим 2. В качестве альтернативы, когда в кодере объемного аудио применен режим 1, то есть когда кодер объемного аудио выполнил кодирование отдельного канала/объекта, тогда не обходят процессор 1200 объектов, а множество декодированных каналов и множество декодированных объектов подаются в процессор 1200 объектов вместе с распакованными метаданными, сформированными декомпрессором 1400 метаданных.

Предпочтительно, чтобы указание того, нужно ли применять режим 1 или режим 2, включалось в кодированные аудиоданные, и тогда контроллер 1600 режимов анализирует кодированные данные для обнаружения указания режима. Режим 1 используется, когда указание режима указывает, что кодированные аудиоданные содержат кодированные каналы и кодированные объекты, а режим 2 применяется, когда указание режима указывает, что кодированные аудиоданные не содержат никаких аудиообъектов, то есть содержат только предварительно подготовленные каналы, полученные с помощью режима 2 в кодере объемного аудио из фиг. 4.

Фиг. 7 иллюстрирует предпочтительный вариант осуществления по сравнению с декодером объемного аудио из фиг. 5, и вариант осуществления из фиг. 7 соответствует кодеру объемного аудио из фиг. 6. В дополнение к реализации декодера объемного аудио из фиг. 5 декодер объемного аудио на фиг. 7 содержит декодер 1800 SAOC. Кроме того, процессор 1200 объектов из фиг. 5 реализуется как отдельное устройство 1210 подготовки объектов и микшер 1220, хотя в зависимости от режима функциональные возможности устройства 1210 подготовки объектов также можно реализовать с помощью декодера 1800 SAOC.

Кроме того, постпроцессор 1700 можно реализовать как устройство 1710 бинауральной подготовки или преобразователь 1720 формата. В качестве альтернативы также можно реализовать прямой вывод данных 1205 из фиг. 5, как проиллюстрировано ссылкой 1730. Поэтому предпочтительно выполнять обработку в декодере над наибольшим количеством каналов, например 22.2 или 32, чтобы обладать гибкостью, а затем проводить постобработку, если понадобится меньший формат. Однако, когда с самого начала становится понятно, что необходим только небольшой формат, например формат 5.1, то предпочтительно, как указано на фиг. 5 или 6 с помощью сокращенного пути 1727, чтобы могло применяться некоторое управление декодером SAOC и/или декодером USAC, чтобы избежать ненужных операций повышающего микширования и последующих операций понижающего микширования.

В предпочтительном варианте осуществления настоящего изобретения процессор 1200 объектов содержит декодер 1800 SAOC, и декодер SAOC конфигурируется для декодирования одного или нескольких транспортных каналов, выведенных базовым декодером, и ассоциированных параметрических данных, и использования распакованных метаданных для получения множества подготовленных аудиообъектов. С этой целью выход OAM подключается к блоку 1800.

Кроме того, процессор 1200 объектов конфигурируется для подготовки декодированных объектов, выведенных базовым декодером, которые не кодируются в транспортные каналы SAOC, а которые по отдельности кодируются обычно в одноканальные элементы, как указано устройством 1210 подготовки объектов. Кроме того, декодер содержит выходной интерфейс, соответствующий выходу 1730, для вывода результата из микшера в громкоговорители.

В дополнительном варианте осуществления процессор 1200 объектов содержит декодер 1800 пространственного кодирования аудиообъектов для декодирования одного или нескольких транспортных каналов и ассоциированной параметрической дополнительной информации, представляющей кодированные аудиосигналы или кодированные аудиоканалы, где декодер пространственного кодирования аудиообъектов конфигурируется для перекодирования ассоциированной параметрической информации и распакованных метаданных в перекодированную параметрическую дополнительную информацию, используемую для непосредственной подготовки выходного формата, например, как задано в предыдущей версии SAOC. Постпроцессор 1700 конфигурируется для вычисления аудиоканалов выходного формата с использованием декодированных транспортных каналов и перекодированной параметрической дополнительной информации. Выполняемая постпроцессором обработка может быть аналогична обработке MPEG Surround либо может быть любой другой обработкой, например обработкой BCC или чем-то в этом роде.

В дополнительном варианте осуществления процессор 1200 объектов содержит декодер 1800 пространственного кодирования аудиообъектов, сконфигурированный для непосредственного повышающего микширования и подготовки сигналов каналов для выходного формата, используя декодированные (базовым декодером) транспортные каналы и параметрическую дополнительную информацию.

Кроме того, и это важно, процессор 1200 объектов из фиг. 5 дополнительно содержит микшер 1220, который в качестве входа принимает данные, выведенные декодером 1300 USAC напрямую, когда существуют предварительно подготовленные объекты, микшированные с каналами, то есть когда был активен микшер 200 из фиг. 4. Более того, микшер 1220 принимает данные от устройства подготовки объектов, выполняющего подготовку объектов без декодирования SAOC. Кроме того, микшер принимает выходные данные декодера SAOC, то есть подготовленные объекты SAOC.

Микшер 1220 подключается к выходному интерфейсу 1730, устройству 1710 бинауральной подготовки и преобразователю 1720 формата. Устройство 1710 бинауральной подготовки конфигурируется для подготовки выходных каналов в двух бинауральных каналах, используя функции моделирования восприятия звука человеком или бинауральные импульсные характеристики помещения (BRIR). Преобразователь 1720 формата конфигурируется для преобразования выходных каналов в выходной формат, имеющий меньшее количество каналов, чем выходные каналы 1205 микшера, и преобразователю 1720 формата необходима информация о компоновке воспроизведения, например динамики 5.1 или что-то в этом роде.

Декодер объемного аудио из фиг. 9 отличается от декодера объемного аудио из фиг. 7 в том, что декодер SAOC не может формировать только подготовленные объекты, но также подготовленные каналы, и это тот случай, когда использован кодер объемного аудио из фиг. 8, и активно соединение 900 между каналами/предварительно подготовленными объектами и входным интерфейсом кодера 800 SAOC.

Кроме того, конфигурируется каскад 1810 векторного амплитудного панорамирования (VBAP), который принимает от декодера SAOC информацию о компоновке воспроизведения и который выводит матрицу подготовки в декодер SAOC, чтобы декодер SAOC в конечном счете мог предоставить подготовленные каналы без какой-либо дополнительной операции микшера в многоканальном формате 1205, то есть с 32 громкоговорителями.

Блок VBAP предпочтительно принимает декодированные данные OAM, чтобы получить матрицы подготовки. В более общем смысле это предпочтительно требует геометрической информации не только о компоновке воспроизведения, но также о положениях, где следует подготовить входные сигналы в компоновке воспроизведения. Эти геометрические входные данные могут быть данными OAM для объектов или информацией о положениях каналов для каналов, которые переданы с использованием SAOC.

Однако, если необходим только определенный выходной интерфейс, то каскад 1810 VBAP уже может предоставить необходимую матрицу подготовки, например, для выхода 5.1. Декодер 1800 SAOC затем выполняет прямую подготовку из транспортных каналов SAOC, ассоциированных параметрических данных и распакованных метаданных, прямую подготовку в необходимый выходной формат без какого-либо взаимодействия с микшером 1220. Однако, когда применяется некоторое микширование между режимами, то есть, где несколько каналов кодируются по SAOC, но не все каналы кодируются по SAOC, или где несколько объектов кодируются по SAOC, но не все объекты кодируются по SAOC, или когда только некоторое количество предварительно подготовленных объектов с каналами декодируется по SAOC, а оставшиеся каналы не обрабатываются по SAOC, тогда микшер соединит данные из отдельных входных частей, то есть напрямую из базового декодера 1300, из устройства 1210 подготовки объектов и из декодера 1800 SAOC.

Применяется следующая математическое обозначение:

N_Objects - количество сигналов входных аудиообъектов

N_Channels - количество входных каналов

N - количество входных сигналов;

N может быть равно N_Objects, N_Channels или N_Objects+N_Channels

N_DmxCh - количество каналов понижающего микширования (обработанных)

N_Samples - количество обработанных выборок данных

N_{OutputChannels} - количество выходных каналов на стороне декодера

D - матрица понижающего микширования с размером N_DmxCh × N

X - входной аудиосигнал с размером N × N_Samples

E_X - ковариационная матрица входных сигналов с размером N × N, заданная в виде E_X=X X^H

Y - аудиосигнал понижающего микширования с размером N_DmxCh × N_Samples, заданный в виде Y=DX

E_Y - ковариационная матрица сигналов понижающего микширования с размером N_DmxCh × N_DmxCh, заданная в виде E_Y=Y Y^H

G - матрица параметрической оценки источника с размером N × N_DmxCh, которая приблизительно равна E_X D^H (D E_X D^H)^-1

- параметрически восстановленные входные сигналы с размером N_Objects × N_Samples, которые приблизительно равны X и заданы в виде =GY

(⋅)^H - самосопряженный (эрмитов) оператор, который представляет сопряженную транспозицию (⋅)

R - матрица подготовки с размером N_{OutputChannels} × N

S - матрица формирования выходных каналов с размером N_{OutputChannels} × N_DmxCh, заданная в виде S=RG

Z - выходные каналы с размером N_{OutputChannels} × N_Samples, сформированные на стороне декодера из сигналов понижающего микширования, Z=SY

- нужные выходные каналы с размером N_{OutputChannels} × N_Samples,

Чтобы улучшить удобочитаемость уравнений без потери общности, в этом документе для всех введенных переменных опускаются индексы, обозначающие временную и частотную зависимость.

В контексте объемного (3D) аудио каналы громкоговорителей распределены по нескольким уровням высоты, что приводит к парам горизонтальных и вертикальных каналов. Совместного кодирования только двух каналов, которое задано в USAC, не достаточно для учета пространственных и перцепционных связей между каналами.

Чтобы учесть пространственные и перцепционные связи между каналами в контексте объемного (3D) аудио, можно было бы использовать SAOC-подобную параметрическую методику для восстановления входных каналов (сигналы аудиоканалов и сигналы аудиообъектов, которые кодируются кодером SAOC), чтобы получить восстановленные входные каналы на стороне декодера. Декодирование SAOC основывается на алгоритме минимальной среднеквадратической ошибки (MMSE):

= GY при G ≈ E_X D^H (D E_X D^H)^-1.

Вместо восстановления входных каналов для получения восстановленных входных каналов выходные каналы Z можно сформировать непосредственно на стороне декодера, принимая во внимание матрицу R подготовки.

Z=SY; при S=RG

Как видно, вместо явного восстановления входных аудиообъектов и входных аудиоканалов выходные каналы Z можно сформировать непосредственно путем применения матрицы S формирования выходных каналов к аудиосигналу Y понижающего микширования.

Чтобы получить матрицу S формирования выходных каналов, матрица R подготовки может, например, определяться или может быть, например, уже доступна. Кроме того, матрица G параметрической оценки источника может вычисляться, например, как описано выше. Затем матрицу S формирования выходных каналов можно получить в виде произведения матриц S=RG из матрицы R подготовки и матрицы G параметрической оценки источника.

Система объемного аудио может потребовать объединенного режима, чтобы кодировать каналы и объекты.

Вообще, для такого объединенного режима кодирование/декодирование SAOC может применяться двумя разными способами:

Одним подходом могло бы быть применение одного экземпляра SAOC-подобной параметрической системы, где такой экземпляр допускает обработку каналов и объектов. Это решение обладает недостатком, так как является сложным в вычислительном отношении, потому что большое количество входных сигналов увеличит количество транспортных каналов, чтобы сохранить аналогичное качество восстановления. В результате увеличится размер матрицы D E_X D^H, и увеличится сложность обращения. Кроме того, такое решение может вносить больше неустойчивостей численного решения, так как увеличивается размер матрицы D E_X D^H. Кроме того, в качестве другого недостатка обращение матрицы D E_X D^H может приводить к дополнительным перекрестным помехам между восстановленными каналами и восстановленными объектами. Это обусловлено тем, что некоторые коэффициенты в матрице G восстановления, которые предполагаются равными нулю, устанавливаются в ненулевые значения из-за числовых неточностей.

Другим подходом могло бы быть применение двух экземпляров SAOC-подобных параметрических систем: один экземпляр для канально-ориентированной обработки, а другой экземпляр - для объектно-ориентированной обработки. Такой подход обладал бы недостатком в том, что одна и та же информация передается дважды для инициализации гребенок фильтров и конфигурирования декодера. Кроме того, невозможно микшировать вместе каналы и объекты, если это необходимо, и следовательно, невозможно использовать корреляционные свойства между каналами и объектами.

Чтобы избежать недостатков подхода, который применяет разные экземпляры для аудиообъектов и аудиоканалов, варианты осуществления применяют первый подход и предоставляют систему улучшенного SAOC, допускающую эффективную обработку каналов, объектов или каналов и объектов с использованием только одного экземпляра системы. Хотя аудиоканалы и аудиообъекты обрабатываются соответственно одним и тем же экземпляром кодера и декодера, предоставляются эффективные идеи, чтобы можно было избежать недостатков первого подхода.

Фиг. 2 иллюстрирует устройство для формирования транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов, в соответствии с вариантом осуществления.

Устройство содержит микшер 210 каналов/объектов для формирования одного или нескольких транспортных аудиоканалов в транспортном аудиосигнале и выходной интерфейс 220.

Микшер 210 каналов/объектов конфигурируется для формирования транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов, путем микширования одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов в транспортный аудиосигнал в зависимости от информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов нужно микшировать в один или несколько транспортных аудиоканалов.

Количество одного или нескольких транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов. Таким образом, микшер 210 каналов/объектов допускает понижающее микширование одного или нескольких сигналов аудиоканалов плюс одного или нескольких сигналов аудиообъектов, так как микшер 210 каналов/объектов приспособлен для формирования транспортного аудиосигнала, который содержит меньше каналов, чем количество одного или нескольких сигналов аудиоканалов плюс количество одного или нескольких сигналов аудиообъектов.

Выходной интерфейс 220 конфигурируется для вывода транспортного аудиосигнала, информации понижающего микширования и ковариационной информации.

Например, микшер 210 каналов/объектов может конфигурироваться для подачи информации понижающего микширования, которая используется для понижающего микширования одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов, в выходной интерфейс 220. Кроме того, например, выходной интерфейс 220 может конфигурироваться, например, для приема одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов, а кроме того, может конфигурироваться для определения ковариационной информации на основе одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов. Либо выходной интерфейс 220 может конфигурироваться, например, для приема уже определенной ковариационной информации.

Ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов, и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов. Однако ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов.

Фиг. 1 иллюстрирует устройство для формирования одного или нескольких выходных аудиоканалов в соответствии с вариантом осуществления.

Устройство содержит процессор 110 параметров для вычисления информации микширования и процессор 120 понижающего микширования для формирования одного или нескольких выходных аудиоканалов.

Процессор 120 понижающего микширования конфигурируется для приема транспортного аудиосигнала, содержащего один или несколько транспортных аудиоканалов. Один или несколько сигналов аудиоканалов микшируются в транспортный аудиосигнал. Кроме того, один или несколько сигналов аудиообъектов микшируются в транспортный аудиосигнал. Количество одного или нескольких транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов.

Процессор 110 параметров конфигурируется для приема информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в один или несколько транспортных аудиоканалов. Кроме того, процессор 110 параметров конфигурируется для приема ковариационной информации. Процессор 110 параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования и в зависимости от ковариационной информации.

Процессор 120 понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиоканалов из транспортного аудиосигнала в зависимости от информации микширования.

Ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов, и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов. Однако ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов.

В варианте осуществления ковариационная информация может указывать, например, информацию о разности уровней для каждого из одного или нескольких сигналов аудиоканалов, и дополнительно может указывать, например, информацию о разности уровней для каждого из одного или нескольких сигналов аудиообъектов.

В соответствии с вариантом осуществления два или более сигнала аудиообъектов можно микшировать, например, в транспортный аудиосигнал, и два или более сигнала аудиоканалов можно микшировать, например, в транспортный аудиосигнал. Ковариационная информация может указывать, например, корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух или более сигналов аудиоканалов. Либо ковариационная информация может указывать, например, корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиообъектов и второго из двух или более сигналов аудиообъектов. Либо ковариационная информация может указывать, например, корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух или более сигналов аудиоканалов и указывает корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиообъектов и второго из двух или более сигналов аудиообъектов.

Информация о разности уровней для сигнала аудиообъекта может быть, например, разностью уровней объектов (OLD). "Уровень" может относиться, например, к уровню энергии. "Разность" может относиться, например, к разности по отношению к максимальному уровню среди сигналов аудиообъектов.

Корреляционная информация для пары из первого из сигналов аудиообъектов и второго из сигналов аудиообъектов может быть, например, межобъектной корреляцией (IOC).

Например, чтобы обеспечить оптимальную производительность 3D SAOC в соответствии с вариантом осуществления, рекомендуется использовать сигналы входных аудиообъектов с совместимой мощностью. Произведение двух входных аудиосигналов (нормализованных по соответствующим временным/частотным фрагментам) определяется как:

Здесь i и j являются индексами для сигналов x_i и x_j аудиообъектов соответственно, n указывает время, k указывает частоту, l указывает набор индексов времени, а m указывает набор индексов частоты. ε является аддитивной постоянной, чтобы избежать деления на ноль, например, ε=10^-9.

Абсолютная энергия объекта (NRG) у объекта с наибольшей энергией может вычисляться, например, в виде:

Отношение мощностей у соответствующих сигналов входных объектов (OLD) может задаваться, например, с помощью

.

Степень сходства входных объектов (IOC) может задаваться, например, с помощью взаимной корреляции:

.

Например, в варианте осуществления IOC могут передаваться для всех пар аудиосигналов i и j, для которых переменная bsRelatedTo[i][j] потока двоичных сигналов устанавливается в единицу.

Информация о разности уровней для сигнала аудиоканала может быть, например, разностью уровней каналов (CLD). "Уровень" может относиться, например, к уровню энергии. "Разность" может относиться, например, к разности по отношению к максимальному уровню среди сигналов аудиоканалов.

Корреляционная информация для пары из первого из сигналов аудиоканалов и второго из сигналов аудиоканалов может быть, например, межканальной корреляцией (ICC).

В варианте осуществления разность уровней каналов (CLD) можно задать точно так же, как вышеупомянутую разность уровней объектов (OLD), когда сигналы аудиообъектов в вышеприведенных формулах заменяются сигналами аудиоканалов. Кроме того, межканальную корреляцию (ICC) можно задать точно так же, как вышеупомянутую межобъектную корреляцию (IOC), когда сигналы аудиообъектов в вышеприведенных формулах заменяются сигналами аудиоканалов.

В SAOC кодер SAOC осуществляет понижающее микширование (в соответствии с информацией понижающего микширования, например, в соответствии с матрицей D понижающего микширования) множества сигналов аудиообъектов, чтобы получить один или несколько (например, меньшее количество) транспортных аудиоканалов. На стороне декодера декодер SAOC декодирует один или несколько транспортных аудиоканалов, используя принятую от кодера информацию понижающего микширования и используя принятую от кодера ковариационную информацию. Ковариационная информация может быть, например, коэффициентами ковариационной матрицы E, которая указывает разности уровней объектов у сигналов аудиообъектов и межобъектные корреляции между двумя сигналами аудиообъектов. В SAOC определенная матрица D понижающего микширования и определенная ковариационная матрица E используются для декодирования множества выборок одного или нескольких транспортных аудиоканалов (например, 2048 выборок одного или нескольких транспортных аудиоканалов). Применяя эту идею, экономят скорость передачи разрядов по сравнению с передачей одного или нескольких сигналов аудиообъектов без кодирования.

Варианты осуществления основываются на заключении, что хотя сигналы аудиообъектов и сигналы аудиоканалов демонстрируют значительные различия, кодер улучшенного SAOC может формировать транспортный аудиосигнал, чтобы в таком транспортном аудиосигнале микшировались не только сигналы аудиообъектов, но также сигналы аудиоканалов.

Сигналы аудиообъектов и сигналы аудиоканалов отличаются значительно. Например, каждый из множества сигналов аудиообъектов может представлять аудиоисточник звуковой сцены. Поэтому два аудиообъекта обычно могут быть сильно некоррелированными. В отличие от этого сигналы аудиоканалов представляют разные каналы звуковой сцены, как если бы они записываются разными микрофонами. Вообще, два таких сигнала аудиоканалов сильно коррелированы, в частности, по сравнению с корреляцией двух сигналов аудиообъектов, которые обычно сильно некоррелированы. Таким образом, варианты осуществления основываются на заключении, что сигналы аудиоканалов особенно выигрывают от передачи корреляции между парой сигналов аудиоканалов и использования этого переданного корреляционного значения для декодирования.

Кроме того, сигналы аудиообъектов и сигналы аудиоканалов отличаются в том, что сигналам аудиообъектов назначается информация о положении, указывающая, например, (предполагаемое) положение источника звука (например, аудиообъекта), из которого исходит сигнал аудиообъекта. Такая информация о положении (например, содержащаяся в информации метаданных) может использоваться при формировании выходных аудиоканалов из транспортного аудиосигнала на стороне декодера. Однако сигналы аудиоканалов, в отличие от этого, не показывают положения, и никакая информация о положении не назначается сигналам аудиоканалов. Однако варианты осуществления основываются на заключении, что все же эффективно кодировать по SAOC сигналы аудиоканалов вместе сигналами аудиообъектов, так как формирование сигналов аудиоканалов можно разделить на две подзадачи, а именно, определение информации о декодировании (например, определение матрицы G для разделения, см. ниже), для которой не нужна информация о положении, и определение информации о подготовке (например, путем определения матрицы R подготовки, см. ниже), для которой информация о положении сигналов аудиообъектов может применяться для подготовки аудиообъектов в выходных аудиоканалах, которые формируются.

Кроме того, настоящее изобретение основывается на заключении, что не существует никакой корреляции (или по меньшей мере никакой значительной) между любой парой из одного из сигналов аудиообъектов и одного из сигналов аудиоканалов. Поэтому кодер не передает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов. С помощью этого экономят значительную полосу пропускания передачи и значительное количество времени вычислений для кодирования и декодирования. Декодер, который конфигурируется для отказа от обработки такой незначительной корреляционной информации, экономит значительное количество времени вычислений при определении информации микширования (которая применяется для формирования выходных аудиоканалов из транспортного аудиосигнала на стороне декодера).

В соответствии с вариантом осуществления процессор 110 параметров может конфигурироваться, например, для приема информации о подготовке, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в один или несколько выходных аудиоканалов. Процессор 110 параметров может конфигурироваться, например, для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации и в зависимости от информации о подготовке.

Например, процессор 110 параметров может конфигурироваться, например, для приема множества коэффициентов матрицы R подготовки в качестве информации о подготовке и может конфигурироваться для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации и в зависимости от матрицы R подготовки. Например, процессор параметров может принимать коэффициенты матрицы R подготовки со стороны кодера или от пользователя. В другом варианте осуществления процессор 110 параметров может конфигурироваться, например, для приема информации метаданных, например информации о положении или информации об усилении, и может конфигурироваться, например, для вычисления коэффициентов матрицы R подготовки в зависимости от принятой информации метаданных. В дополнительном варианте осуществления процессор параметров может конфигурироваться для приема обоих вариантов (информации о подготовке от кодера и от пользователя) и для создания матрицы подготовки на основе обоих вариантов (что означает по существу, что реализуется интерактивность).

Либо процессор параметров может, например, принимать две подматрицы R_ch, R_obj подготовки в качестве информации о подготовке, где R=(R_ch, R_obj), где R_ch указывает, например, как микшировать сигналы аудиоканалов в выходные аудиоканалы, и где R_obj может быть матрицей подготовки, полученной из информации OAM, где R_obj может предоставляться, например, блоком 1810 VBAP из фиг. 9.

В конкретном варианте осуществления два или более сигнала аудиообъектов можно микшировать, например, в транспортный аудиосигнал, два или более сигнала аудиоканалов микшируются в транспортный аудиосигнал. В таком варианте осуществления ковариационная информация может указывать, например, корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух или более сигналов аудиоканалов. Кроме того, в таком варианте осуществления ковариационная информация (которая, например, передается со стороны кодера к стороне декодера) не указывает корреляционную информацию ни для какой пары из первого одного или нескольких сигналов аудиообъектов и второго одного или нескольких сигналов аудиообъектов, потому что корреляция между сигналами аудиообъектов может быть настолько малой, что ей можно пренебречь, и соответственно, она не передается для экономии скорости передачи разрядов и времени обработки. В таком варианте осуществления процессор 110 параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от информации о разности уровней каждого из одного или нескольких сигналов аудиоканалов, в зависимости от второй информации о разности уровней каждого из одного или нескольких сигналов аудиообъектов и в зависимости от корреляционной информации одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух или более сигналов аудиоканалов. Такой вариант осуществления применяет вышеописанное заключение, что корреляция между сигналами аудиообъектов обычно относительно низкая, и ей следует пренебрегать, тогда как корреляция между двумя сигналами аудиоканалов обычно относительно высокая, и ее следует учитывать. Время обработки можно экономить путем отказа от обработки несущественной корреляционной информации между сигналами аудиообъектов. Эффективность кодирования можно повысить путем обработки релевантной корреляции между сигналами аудиоканалов.

В конкретных вариантах осуществления один или несколько сигналов аудиоканалов микшируются в первую группу из одного или нескольких транспортных аудиоканалов, где один или несколько сигналов аудиообъектов микшируются во вторую группу из одного или нескольких транспортных аудиоканалов, где каждый транспортный аудиоканал из первой группы не содержится во второй группе, и где каждый транспортный аудиоканал из второй группы не содержится в первой группе. В таких вариантах осуществления информация понижающего микширования содержит первую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиоканалов микшируются в первую группу из одного или нескольких транспортных аудиоканалов, и информация понижающего микширования содержит вторую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиообъектов микшируются во вторую группу из одного или нескольких транспортных аудиоканалов. В таких вариантах осуществления процессор 110 параметров конфигурируется для вычисления информации микширования в зависимости от первой подинформации понижающего микширования, в зависимости от второй подинформации понижающего микширования и в зависимости от ковариационной информации, и процессор 120 понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиосигналов из первой группы из одного или нескольких транспортных аудиоканалов и из второй группы транспортных аудиоканалов в зависимости от информации микширования. При таком подходе повышается эффективность кодирования, так как между сигналами аудиоканалов звуковой сцены существует высокая корреляция. Кроме того, коэффициенты матрицы понижающего микширования, указывающей влияние сигналов аудиоканалов на транспортные аудиоканалы, которые кодируют сигналы аудиообъектов и наоборот, не нужно вычислять с помощью кодера, не нужно передавать и можно устанавливать в ноль с помощью декодера без потребности их обработки. Это экономит полосу пропускания передачи и время вычислений для кодера и декодера.

В варианте осуществления процессор 120 понижающего микширования конфигурируется для приема транспортного аудиосигнала в потоке двоичных сигналов, процессор 120 понижающего микширования конфигурируется для приема первого подсчета каналов, указывающего количество транспортных аудиоканалов, кодирующих только сигналы аудиоканалов, и процессор 120 понижающего микширования конфигурируется для приема второго подсчета каналов, указывающего количество транспортных аудиоканалов, кодирующих только сигналы аудиообъектов. В таком варианте осуществления процессор 120 понижающего микширования конфигурируется для идентификации, кодирует ли транспортный аудиоканал в транспортном аудиосигнале сигналы аудиоканалов, или кодирует ли транспортный аудиоканал в транспортном аудиосигнале сигналы аудиообъектов, в зависимости от первого подсчета каналов или в зависимости от второго подсчета каналов, либо в зависимости от первого подсчета каналов и второго подсчета каналов. Например, в потоке двоичных сигналов первыми появляются транспортные аудиоканалы, которые кодируют сигналы аудиоканалов, а позже появляются транспортные аудиоканалы, которые кодируют сигналы аудиообъектов. Тогда, если первый подсчет каналов равен, например, 3, а второй подсчет каналов равен, например, 2, то процессор понижающего микширования может сделать вывод, что три первых транспортных аудиоканала содержат кодированные сигналы аудиоканалов, а два последующих транспортных аудиоканала содержат кодированные сигналы аудиообъектов.

В варианте осуществления процессор 110 параметров конфигурируется для приема информации метаданных, содержащей информацию о положении, где информация о положении указывает положение для каждого из одного или нескольких сигналов аудиообъектов, и где информация о положении не указывает положение ни для какого из одного или нескольких сигналов аудиоканалов. В таком варианте осуществления процессор 110 параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации и в зависимости от информации о положении. Дополнительно или в качестве альтернативы информация метаданных дополнительно содержит информацию об усилении, где информация об усилении указывает значение усиления для каждого из одного или нескольких сигналов аудиообъектов, и где информация об усилении не указывает значение усиления ни для какого из одного или нескольких сигналов аудиоканалов. В таком варианте осуществления процессор 110 параметров может конфигурироваться для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации, в зависимости от информации о положении и в зависимости от информации об усилении. Например, процессор 110 параметров может конфигурироваться для вычисления информации микширования в зависимости, кроме того, от описанной выше подматрицы R_ch.

В соответствии с вариантом осуществления процессор 110 параметров конфигурируется для вычисления матрицы S микширования в качестве информации микширования, где матрица S микширования задается в соответствии с формулой S=RG, где G является матрицей декодирования, зависящей от информации понижающего микширования и зависящей от ковариационной информации, где R является матрицей подготовки, зависящей от информации метаданных. В таком варианте осуществления процессор (120) понижающего микширования может конфигурироваться для формирования одного или нескольких выходных аудиоканалов в выходном аудиосигнале путем применения формулы Z=SY, где Z - выходной аудиосигнал, и где Y - транспортный аудиосигнал. Например, R может зависеть от описанных выше подматриц R_ch и/или R_obj (например, R=(R_ch, R_obj)).

Фиг. 3 иллюстрирует систему в соответствии с вариантом осуществления. Система содержит устройство 310 для формирования транспортного аудиосигнала, как описано выше, и устройство 320 для формирования одного или нескольких выходных аудиоканалов, как описано выше.

Устройство 320 для формирования одного или нескольких выходных аудиоканалов конфигурируется для приема транспортного аудиосигнала, информации понижающего микширования и ковариационной информации от устройства 310 для формирования транспортного аудиосигнала. Кроме того, устройство 320 для формирования выходных аудиоканалов конфигурируется для формирования одного или нескольких выходных аудиоканалов в зависимости от транспортного аудиосигнала, в зависимости от информации понижающего микширования и в зависимости от ковариационной информации.

В соответствии с вариантами осуществления функциональные возможности системы SAOC, которая является объектно-ориентированной системы, которая осуществляет кодирование объектов, расширяются так, что могут кодироваться аудиообъекты (кодирование объектов) или аудиоканалы (канальное кодирование), либо аудиоканалы и аудиообъекты вместе (смешанное кодирование).

Описанный выше кодер 800 SAOC из фиг. 6 и 8 улучшается, чтобы он мог не только принимать в качестве входа аудиообъекты, но также мог принимать в качестве входа аудиоканалы, и чтобы кодер SAOC мог формировать каналы понижающего микширования (например, транспортные каналы SAOC), в которых кодируются принятые аудиообъекты и принятые аудиоканалы. В вышеописанных вариантах осуществления, например, из фиг. 6 и 8, такой кодер 800 SAOC в качестве входа принимает не только аудиообъекты, но также аудиоканалы, и формирует каналы понижающего микширования (например, транспортные каналы SAOC), в которых кодируются принятые аудиообъекты и принятые аудиоканалы. Например, кодер SAOC из фиг. 6 и 8 реализуется как устройство для формирования транспортного аудиосигнала (содержащего один или несколько транспортных аудиоканалов, например, один или несколько транспортных каналов SAOC), которое описано со ссылкой на фиг. 2, и варианты осуществления из фиг. 6 и 8 изменяются так, что не только объекты, но также один, некоторые или все каналы подаются в кодер 800 SAOC.

Описанный выше декодер 1800 SAOC из фиг. 7 и 9 улучшается, чтобы он мог принимать каналы понижающего микширования (например, транспортные каналы SAOC), в которых кодируются аудиообъекты и аудиоканалы, и чтобы он мог формировать выходные каналы (подготовленные сигналы каналов и подготовленные сигналы объектов) из принятых каналов понижающего микширования (например, транспортных каналов SAOC), в которых кодируются аудиообъекты и аудиоканалы. В вышеописанных вариантах осуществления, например, из фиг. 7 и 9, такой декодер 1800 SAOC принимает каналы понижающего микширования (например, транспортные каналы SAOC), в которых кодируются не только аудиообъекты, но также аудиоканалы, и формирует выходные каналы (подготовленные сигналы каналов и подготовленные сигналы объектов) из принятых каналов понижающего микширования (например, транспортных каналов SAOC), в которых кодируются аудиообъекты и аудиоканалы. Например, декодер SAOC из фиг. 7 и 9 реализуется как устройство для формирования одного или нескольких выходных аудиоканалов, которое описано со ссылкой на фиг. 1, и варианты осуществления из фиг. 7 и 9 изменяются так, что один, некоторые или все каналы, проиллюстрированные между декодером 1300 USAC и микшером 1220, не формируются (восстанавливаются) декодером 1300 USAC, а вместо этого восстанавливаются декодером 1800 SAOC из транспортных каналов SAOC (транспортных аудиоканалов).

В зависимости от применения можно пользоваться разными преимуществами системы SAOC, используя такую систему улучшенного SAOC.

В соответствии с некоторыми вариантами осуществления такая система улучшенного SAOC поддерживает произвольное количество каналов понижающего микширования и подготовку к произвольному количеству выходных каналов. В некоторых вариантах осуществления, например, количество каналов понижающего микширования (транспортных каналов SAOC) можно уменьшить (например, во время выполнения), чтобы значительно снизить общую скорость передачи разрядов. Это приведет к низким скоростям передачи разрядов.

Кроме того, в соответствии с некоторыми вариантами осуществления декодер SAOC в такой системе улучшенного SAOC может содержать, например, встроенное устройство гибкой подготовки, которое может позволять, например, взаимодействие с пользователем. С помощью этого пользователь может менять положение объектов в аудиосцене, ослаблять или повышать уровень отдельных объектов, полностью убирать объекты и т. п. Например, считая сигналы каналов объектами заднего плана (BGO), а сигналы объектов - объектами переднего плана (FGO), свойство интерактивности у SAOC может использоваться для применений типа усиления диалога (усиления центрального канала). С помощью такого свойства интерактивности пользователь может свободно манипулировать BGO и FGO в ограниченном диапазоне, чтобы повысить разборчивость диалога (например, диалог можно представить с помощью объектов переднего плана) или добиться равновесия между диалогом (например, представленным с помощью FGO) и внешним фоном (например, представленным с помощью BGO).

Кроме того, в соответствии с вариантами осуществления в зависимости от доступной сложности вычислений на стороне декодера декодер SAOC может автоматически снижать вычислительную сложность с помощью работы в режиме "низкой сложности вычислений", например, путем уменьшения количества декорреляторов и/или, например, путем подготовки непосредственно к компоновке воспроизведения и отключения последующего преобразователя 1720 формата, который описан выше. Например, информация о подготовке может управлять тем, как осуществлять понижающее микширование каналов системы 22.2 в каналы системы 5.1.

В соответствии с вариантами осуществления кодер улучшенного SAOC может обрабатывать переменное количество входных каналов (N_Channels) и входных объектов (N_Objects). Количества каналов и объектов передаются в поток двоичных сигналов, чтобы сигнализировать стороне декодера наличие траектории канала. Входные сигналы в кодер SAOC всегда упорядочены так, что сигналы каналов идут первыми, а сигналы объектов идут последними.

В соответствии с другим вариантом осуществления микшер 210 каналов/объектов конфигурируется для формирования транспортного аудиосигнала так, чтобы количество одного или нескольких транспортных аудиоканалов в транспортном аудиосигнале зависело от того, какая скорость передачи разрядов доступна для передачи транспортного аудиосигнала.

Например, количество каналов понижающего микширования (транспортных) может вычисляться, например, в зависимости от доступной скорости передачи разрядов и общего количества входных сигналов:

N_DmxCh=f (bitrate, N).

Коэффициенты понижающего микширования в D определяют микширование входных сигналов (каналов и объектов). В зависимости от применения структура матрицы D может задаваться такой, что каналы и объекты микшируются вместе или остаются отдельными.

Некоторые варианты осуществления основываются на заключении, что выгодно не микшировать объекты вместе с каналами. Чтобы не микшировать объекты вместе с каналами, матрицу понижающего микширования можно построить, например, в виде:

Чтобы сигнализировать раздельное микширование в поток двоичных сигналов, можно, например, передавать значения количества каналов понижающего микширования, назначенных траектории канала и количества каналов понижающего микширования, назначенных траектории объекта ().

Матрицы D_ch и D_obj блочного понижающего микширования имеют размеры: соответственно.

В декодере коэффициенты матрицы G ≈ E_X D^H (D E_X D^H)^-1 параметрической оценки источника вычисляются иным образом. Используя матричную форму, это можно выразить в виде:

при:

Значения ковариации сигналов каналов () и ковариации сигналов объектов () можно получить, например, из ковариационной матрицы входных сигналов (E_X) путем выбора только соответствующих диагональных блоков:

В качестве прямого следствия скорость передачи разрядов уменьшается путем отказа от отправки дополнительной информации (например, OLD, IOC) для восстановления взаимной ковариационной матрицы между каналами и объектами:

В соответствии с некоторыми вариантами осуществления и таким образом:

В соответствии с вариантом осуществления кодер улучшенного SAOC конфигурируется не передавать информацию о ковариации между каким-либо из аудиообъектов и каким-либо из аудиоканалов в декодер улучшенного SAOC.

Кроме того, в соответствии с вариантом осуществления декодер улучшенного SAOC конфигурируется не принимать информацию о ковариации между каким-либо из аудиообъектов и каким-либо из аудиоканалов.

Недиагональные блочные элементы в G не вычисляются, а устанавливаются в ноль. Поэтому избегают возможных перекрестных помех между восстановленными каналами и объектами. Кроме того, с помощью этого достигается уменьшение вычислительной сложности, так как нужно вычислять меньше коэффициентов в G.

Кроме того, в соответствии с вариантами осуществления, вместо обращения более крупной матрицы

D E_X D^H с размером ,

обращаются две следующие небольшие матрицы:

Обращение меньших матриц гораздо легче по вычислительной сложности, нежели обращение более крупной матрицы D E_X D^H.

Кроме того, путем обращения отдельных матриц и уменьшаются возможные неустойчивости численного решения по сравнению с обращением более крупной матрицы D E_X D^H. Например, в наихудшем случае, когда ковариационные матрицы транспортных каналов обладают линейными зависимостями вследствие подобий сигналов, полная матрица D E_X D^H может быть плохо обусловленной, тогда как отдельные меньшие матрицы могут быть хорошо обусловленными.

После того, как

вычисляется на стороне декодера, можно, например, параметрически оценить входные сигналы для получения восстановленных входных сигналов (сигналы входных аудиоканалов и сигналы входных аудиообъектов), например, с использованием:

Кроме того, как описано выше, подготовка может проводиться на стороне декодера, чтобы получить выходные каналы Z, например, путем применения матрицы R подготовки:

Вместо явного восстановления входных сигналов (сигналов входных аудиоканалов и сигналов входных аудиообъектов) для получения восстановленных входных каналов выходные каналы Z можно сформировать непосредственно на стороне декодера путем применения матрицы S формирования выходных каналов к аудиосигналу Y понижающего микширования.

Как уже описывалось выше, чтобы получить матрицу S формирования выходных каналов, матрица R подготовки может, например, определяться или может быть, например, уже доступна. Кроме того, матрица G параметрической оценки источника может вычисляться, например, как описано выше. Затем матрицу S формирования выходных каналов можно получить в виде произведения матриц S=RG из матрицы R подготовки и матрицы G параметрической оценки источника.

Что касается восстановленных сигналов аудиообъектов, можно учитывать сжатые метаданные об аудиообъектах, которые передаются от кодера к декодеру. Например, метаданные об аудиообъектах могут указывать информацию о положении каждого из аудиообъектов. Такая информация о положении может быть, например, азимутальным углом, углом возвышения и радиусом. Эта информация о положении может указывать положение аудиообъекта в трехмерном (3D) пространстве. Например, когда аудиообъект располагается близко к предполагаемому или реальному положению громкоговорителя, такой аудиообъект имеет больший вес в выходном канале для упомянутого громкоговорителя по сравнению с весом другого аудиообъекта, расположенного далеко от упомянутого громкоговорителя, в выходном канале. Например, векторное амплитудное панорамирование (VBAP) может применяться (см., например, [VBAP]) для определения коэффициентов подготовки в матрице R подготовки для аудиообъектов.

Кроме того, в некоторых вариантах осуществления сжатые метаданные могут содержать значение усиления для каждого из аудиообъектов. Например, для каждого сигнала аудиообъекта значение усиления может указывать коэффициент усиления для упомянутого сигнала аудиообъекта.

В отличие от аудиообъектов никакая информация о положении не передается от кодера к декодеру для сигналов аудиоканалов. Может применяться, например, дополнительная матрица (например, для преобразования 22.2 в 5.1) или единичная матрица (когда входная конфигурация каналов равна выходной конфигурации) для определения коэффициентов подготовки в матрице R подготовки для аудиоканалов.

Матрица R подготовки может иметь размер N_{OutputChannels} × N. Здесь для каждого из выходных каналов существует строка в матрице R. Кроме того, в каждой строке матрицы R подготовки N коэффициентов определяют вес N входных сигналов (входных аудиоканалов и входных аудиообъектов) в соответствующем выходном канале. Те аудиообъекты, которые расположены близко к громкоговорителю упомянутого выходного канала, имеют больший коэффициент, чем коэффициент аудиообъектов, расположенных далеко от громкоговорителя соответствующего выходного канала.

Например, векторное амплитудное панорамирование (VBAP) может применяться (см., например, [VBAP]) для определения веса сигнала аудиообъекта в каждом из аудиоканалов громкоговорителей. Например, по отношению к VBAP предполагается, что аудиообъект относится к виртуальному источнику.

Так как аудиоканалы не имеют положения, в отличие от аудиообъектов, коэффициенты, относящиеся к аудиоканалам в матрице подготовки, могут, например, не зависеть от информации о положении.

Ниже описывается синтаксис потока двоичных сигналов в соответствии с вариантами осуществления.

В контексте SAOC MPEG сигнализация возможных режимов работы (канально-ориентированный, объектно-ориентированный или объединенный режим) может выполняться с использованием, например, одной из двух следующих возможностей (первая возможность: с использованием признаков для сигнализации режима работы; вторая возможность: без использования признаков для сигнализации режима работы).

Таким образом, в соответствии с первым вариантом осуществления для сигнализации режима работы используются признаки.

Чтобы использовать признаки для сигнализации режима работы, синтаксис элемента SAOCSpecifigConfig() или элемента SAOC3DSpecifigConfig() может содержать, например:

Если переменная bsSaocChannelFlag потока двоичных сигналов устанавливается в единицу, то первые bsNumSaocChannels+1 входных сигналов расцениваются как канально-ориентированные сигналы. Если переменная bsSaocObjectFlag потока двоичных сигналов устанавливается в единицу, то последние bsNumSaocObjects+1 входных сигналов обрабатываются как сигналы объектов. Поэтому, если обе переменные потока двоичных сигналов (bsSaocChannelFlag, bsSaocObjectFlag) отличны от нуля, то сигнализируется наличие каналов и объектов в транспортных аудиоканалах.

Если переменная bsSaocCombinedModeFlag потока двоичных сигналов равна единице, то сигнализируется объединенный режим декодирования в потоке двоичных сигналов, и декодер будет обрабатывать bsNumSaocDmxChannels транспортных каналов с использованием полной матрицы D понижающего микширования (это означает, что сигналы каналов и сигналы объектов микшируются вместе).

Если переменная bsSaocCombinedModeFlag потока двоичных сигналов равна нулю, то сигнализируется независимый режим декодирования, и декодер будет обрабатывать (bsNumSaocDmxChannels+1)+(bsNumSaocDmxObjects+1) транспортных каналов с использованием матрицы блочного понижающего микширования, которая описана выше.

В соответствии с предпочтительным вторым вариантом осуществления не нужны никакие признаки для сигнализации режима работы.

Сигнализацию режима работы без использования признаков можно реализовать, например, путем применения следующего синтаксиса

Сигнализация:

Синтаксис SAOC3DSpecificConfig():

Ограничить нулем взаимную корреляцию между каналами и объектами:

Считать усиления понижающего микширования по-разному для случая, когда аудиоканалы и аудиообъекты микшируются в разные транспортные аудиоканалы, и когда они микшируются в транспортные аудиоканалы вместе:

Если переменная bsNumSaocChannels потока двоичных сигналов отличается от нуля, то первые bsNumSaocChannels входных сигналов расцениваются как канально-ориентированные сигналы. Если переменная bsNumSaocObjects потока двоичных сигналов отличается от нуля, то последние bsNumSaocObjects входных сигналов обрабатываются как сигналы объектов. Поэтому, если обе переменные потока двоичных сигналов отличны от нуля, то сигнализируется наличие каналов и объектов в транспортных аудиоканалах.

Если переменная bsNumSaocDmxObjects потока двоичных сигналов равна нулю, то сигнализируется объединенный режим декодирования в потоке двоичных сигналов, и декодер будет обрабатывать bsNumSaocDmxChannels транспортных каналов с использованием полной матрицы D понижающего микширования (это означает, что сигналы каналов и сигналы объектов микшируются вместе).

Если переменная bsNumSaocDmxObjects потока двоичных сигналов отличается от нуля, то сигнализируется независимый режим декодирования, и декодер будет обрабатывать bsNumSaocDmxChannels+bsNumSaocDmxObjects транспортных каналов с использованием матрицы блочного понижающего микширования, которая описана выше.

Ниже описываются аспекты обработки понижающего микширования в соответствии с вариантом осуществления:

Выходной сигнал процессора понижающего микширования (представленный в области гибридного QMF) подается в соответствующую гребенку фильтров синтеза, которая описана в ISO/IEC 23003-1:2007, дающую окончательный результат декодера 3D SAOC.

Процессор 110 параметров из фиг. 1 и процессор 120 понижающего микширования из фиг. 1 можно реализовать в виде блока совместной обработки. Такой блок совместной обработки иллюстрируется фиг. 1, где блоки U и R реализуют процессор 110 параметров путем предоставления информации микширования.

Выходной сигнал вычисляется из многоканального сигнала X понижающего микширования и декоррелированного многоканального сигнала X_d в виде:

где U представляет матрицу параметрического разделения.

Матрица микширования является матрицей микширования.

Декоррелированный многоканальный сигнал X_d задается в виде

Режим декодирования управляется элементом bsNumSaocDmxObjects потока двоичных сигналов:

bsNumSaocDmxObjects	Режим декодирования	Смысл
0	Объединенный	Входные канально-ориентированные сигналы и входные объектно-ориентированные сигналы микшируются вместе в Nch каналов.
>=1	Независимый	Входные канально-ориентированные сигналы микшируются в Nch каналов. Входные объектно-ориентированные сигналы микшируются в Nch каналов.

В случае объединенного режима декодирования матрица U параметрического разделения имеет вид:

U=ED*J.

Матрица J с размером N_dmx×N_dmx имеет вид J≈Δ^-1 при Δ=DED*.

В случае независимого режима декодирования матрица U разделения имеет вид:

Канально-ориентированная ковариационная матрица E_ch с размером N_ch×N_ch и объектно-ориентированная ковариационная матрица E_obj с размером N_obj×N_obj получаются из ковариационной матрицы E путем выбора только соответствующих диагональных блоков:

где матрица представляет взаимную ковариационную матрицу между входными каналами и входными объектами и не требует вычисления.

Канально-ориентированная матрица D_ch понижающего микширования с размером и объектно-ориентированная матрица D_obj понижающего микширования с размером получаются из матрицы D понижающего микширования путем выбора только соответствующих диагональных блоков:

Матрица с размером получается из определения матрицы J для

.

Матрица с размером получается из определения матрицы J для

Матрица вычисляется с использованием следующего уравнения:

Здесь сингулярные векторы V матрицы Δ получаются с использованием следующего характеристического уравнения

Регуляризованное обращение Λ^inv диагонального сингулярного числа Λ матрицы вычисляется в виде

Относительный скаляр регуляризации определяется с использованием абсолютной пороговой величины и максимального значения в виде

Ниже описывается матрица подготовки в соответствии с вариантом осуществления:

Матрица R подготовки, примененная к входным аудиосигналам S, определяет целевой подготовленный выход в виде Y=RS. Матрица R подготовки с размером N_out×N имеет вид

где R_ch с размером N_out×N_ch представляет матрицу подготовки, ассоциированную с входными каналами, а R_obj с размером N_out×N_obj представляет матрицу подготовки, ассоциированную с входными объектами.

Ниже описывается декоррелированный многоканальный сигнал X_d в соответствии с вариантом осуществления:

Декоррелированные сигналы X_d создаются, например, из декоррелятора, описанного в 6.6.2 в ISO/IEC 23003-1:2007, при bsDecorrConfig == 0 и, например, индексе X декоррелятора. Поэтому decorrFunc() обозначает, например, процесс декорреляции:

Хотя некоторые аспекты описаны применительно к устройству, понято, что эти аспекты также представляют собой описание соответствующего способа, где блок или устройство соответствует этапу способа или признаку этапа способа. По аналогии аспекты, описанные применительно к этапу способа, также представляют собой описание соответствующего блока или элемента либо признака соответствующего устройства.

Патентоспособный разложенный сигнал может храниться на цифровом носителе информации или может передаваться по передающей среде, например беспроводной передающей среде или проводной передающей среде, такой как Интернет.

В зависимости от некоторых требований к реализации варианты осуществления изобретения можно реализовать в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя информации, например дискеты, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные на нем электронно считываемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой так, что выполняется соответствующий способ.

Некоторые варианты осуществления в соответствии с изобретением содержат неизменяемый со временем носитель данных, имеющий электронно считываемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой так, что выполняется один из способов, описанных в этом документе.

Как правило, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причем программный код действует для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может храниться, например, на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных в этом документе способов, сохраненную на машиночитаемом носителе.

Другими словами, вариант осуществления патентоспособного способа поэтому является компьютерной программой, имеющей программный код для выполнения одного из описанных в этом документе способов, когда компьютерная программа выполняется на компьютере.

Дополнительный вариант осуществления патентоспособных способов поэтому является носителем данных (или цифровым носителем информации, или машиночитаемым носителем), содержащим записанную на нем компьютерную программу для выполнения одного из способов, описанных в этом документе.

Дополнительный вариант осуществления патентоспособного способа поэтому является потоком данных или последовательностью сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных в этом документе. Поток данных или последовательность сигналов могут конфигурироваться, например, для передачи по соединению передачи данных, например по Интернету.

Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, сконфигурированные или приспособленные для выполнения одного из способов, описанных в этом документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в этом документе.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей способов, описанных в этом документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнить один из способов, описанных в этом документе. Как правило, способы предпочтительно выполняются любым аппаратным устройством.

Вышеописанные варианты осуществления являются всего лишь пояснительными для принципов настоящего изобретения. Подразумевается, что модификации и изменения компоновок и подробностей, описанных в этом документе, будут очевидны другим специалистам в данной области техники. Поэтому есть намерение ограничиться только объемом предстоящей формулы изобретения, а не определенными подробностями, представленными посредством описания и объяснения вариантов осуществления в этом документе.

Источники информации

[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22-я региональная конференция AES UK, Кембридж, Соединенное Королевство, апрель 2007.

[SAOC2] J. Engdegård, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers и W. Oomen: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124-й съезд AES, Амстердам, 2008.

[SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)", Международный стандарт 23003-2 ISO/IEC JTC1/SC29/WG11 (MPEG).

[VBAP] Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning"; J. Audio Eng. Soc., ступень 45, выпуск 6, стр. 456-466, июнь 1997.

[M1] Peters, N., Lossius, T. и Schacher J. C., "SpatDIF: Principles, Specification, and Examples", 9-я Конференция по звуковому и музыкальному компьютингу, Копенгаген, Дания, июль 2012.

[M2] Wright, M., Freed, A., "Open Sound Control: A New Protocol for Communicating with Sound Synthesizers", Международная конференция по компьютерной музыке, Салоники, Греция, 1997.

[M3] Matthias Geier, Jens Ahrens и Sascha Spors. (2010), "Object-based audio reproduction and the audio scene description format", Org. Sound, том 15, № 3, стр. 219-227, декабрь 2010.

[M4] W3C, "Synchronized Multimedia Integration Language (SMIL 3.0)", декабрь 2008.

[M5] W3C, "Extensible Markup Language (XML) 1.0 (Fifth Edition)", ноябрь 2008.

[M6] MPEG, "ISO/IEC International Standard 14496-3 - Coding of audio-visual objects, Part 3 Audio", 2009.

[M7] Schmidt, J.; Schroeder, E. F. (2004), "New and Advanced Features for Audio Presentation in the MPEG-4 Standard", 116-ый съезд AES, Берлин, Германия, май 2004.

[M8] Web3D, "International Standard ISO/IEC 14772-1:1997 - The Virtual Reality Modeling Language (VRML), Part 1: Functional specification and UTF-8 encoding", 1997.

[M9] Sporer, T. (2012), "Codierung räumlicher Audiosignale mit leichtgewichtigen Audio-Objekten", материалы ежегодного собрания Немецкого общества аудиологии (DGA), Эрланген, Германия, март 2012.

1. Устройство для формирования одного или нескольких выходных аудиоканалов, причем устройство содержит:

процессор (110) параметров для вычисления информации микширования и

процессор (120) понижающего микширования для формирования одного или нескольких выходных аудиоканалов,

причем процессор (120) понижающего микширования конфигурируется для приема потока данных, содержащего транспортные аудиоканалы в транспортном аудиосигнале, причем один или несколько сигналов аудиоканалов микшируются в транспортный аудиосигнал, причем один или несколько сигналов аудиообъектов микшируются в транспортный аудиосигнал, и причем количество транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов,

причем процессор (110) параметров конфигурируется для приема информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в транспортные аудиоканалы, и причем процессор (110) параметров конфигурируется для приема ковариационной информации, и причем процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования и в зависимости от ковариационной информации, и

причем процессор (120) понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиоканалов из транспортного аудиосигнала в зависимости от информации микширования,

причем ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов, и причем ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов,

причем один или несколько сигналов аудиоканалов микшируются в первую группу из одного или нескольких транспортных аудиоканалов, причем один или несколько сигналов аудиообъектов микшируются во вторую группу из одного или нескольких транспортных аудиоканалов, причем каждый транспортный аудиоканал из первой группы не содержится во второй группе, и причем каждый транспортный аудиоканал из второй группы не содержится в первой группе, и

причем информация понижающего микширования содержит первую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиоканалов микшируются в первую группу транспортных аудиоканалов, и причем информация понижающего микширования содержит вторую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиообъектов микшируются во вторую группу из одного или нескольких транспортных аудиоканалов,

причем процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от первой подинформации понижающего микширования, в зависимости от второй подинформации понижающего микширования и в зависимости от ковариационной информации,

причем процессор (120) понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиосигналов из первой группы транспортных аудиоканалов и из второй группы транспортных аудиоканалов в зависимости от информации микширования,

причем процессор (120) понижающего микширования конфигурируется для приема первого подсчета каналов, указывающего количество транспортных аудиоканалов в первой группе транспортных аудиоканалов, и причем процессор (120) понижающего микширования конфигурируется для приема второго подсчета каналов, указывающего количество транспортных аудиоканалов во второй группе транспортных аудиоканалов, и

причем процессор (120) понижающего микширования конфигурируется для идентификации, принадлежит ли транспортный аудиоканал в потоке данных первой группе или второй группе, в зависимости от первого подсчета каналов или в зависимости от второго подсчета каналов, либо в зависимости от первого подсчета каналов и второго подсчета каналов.

2. Устройство по п. 1, в котором ковариационная информация указывает информацию о разности уровней для каждого из одного или нескольких сигналов аудиоканалов и дополнительно указывает информацию о разности уровней для каждого из одного или нескольких сигналов аудиообъектов.

3. Устройство по п. 1,

в котором два или более сигнала аудиообъектов микшируются в транспортный аудиосигнал и в котором два или более сигнала аудиоканалов микшируются в транспортный аудиосигнал,

в котором ковариационная информация указывает корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух или более сигналов аудиоканалов, либо

в котором ковариационная информация указывает корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиообъектов и второго из двух или более сигналов аудиообъектов, либо

в котором ковариационная информация указывает корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух и более сигналов аудиоканалов и указывает корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиообъектов и второго из двух или более сигналов аудиообъектов.

4. Устройство по п. 1,

в котором ковариационная информация содержит множество ковариационных коэффициентов в ковариационной матрице E_X с размером N × N, где N указывает количество одного или нескольких сигналов аудиоканалов плюс количество одного или нескольких сигналов аудиообъектов,

где ковариационная матрица E_X задается в соответствии с формулой

где указывает коэффициенты первой ковариационной подматрицы с размером N_Channels × N_Channels, где N_Channels указывает количество одного или нескольких сигналов аудиоканалов,

где указывает коэффициенты второй ковариационной подматрицы с размером N_Objects × N_Objects, где N_Objects указывает количество одного или нескольких сигналов аудиообъектов,

где 0 указывает нулевую матрицу,

в котором процессор (110) параметров конфигурируется для приема множества ковариационных коэффициентов в ковариационной матрице E_X, и

в котором процессор (110) параметров конфигурируется для установки в 0 всех коэффициентов ковариационной матрицы E_X, которые не приняты процессором (110) параметров.

5. Устройство по п. 1,

в котором информация понижающего микширования содержит множество коэффициентов понижающего микширования в матрице D понижающего микширования с размером N_DmxCh × N, где N_DmxCh указывает количество транспортных аудиоканалов, и где N указывает количество одного или нескольких сигналов аудиоканалов плюс количество одного или нескольких сигналов аудиообъектов,

где матрица D понижающего микширования задается в соответствии с формулой

где D_ch указывает коэффициенты первой подматрицы понижающего микширования с размером указывает количество транспортных аудиоканалов в первой группе транспортных аудиоканалов, и где N_Channels указывает количество одного или нескольких сигналов аудиоканалов,

где D_obj указывает коэффициенты второй подматрицы понижающего микширования с размером указывает количество транспортных аудиоканалов во второй группе транспортных аудиоканалов, и где N_Objects указывает количество одного или нескольких сигналов аудиоканалов,

где 0 указывает нулевую матрицу,

в котором процессор (110) параметров конфигурируется для приема множества коэффициентов понижающего микширования в матрице D понижающего микширования, и

в котором процессор (110) параметров конфигурируется для установки в 0 всех коэффициентов матрицы D понижающего микширования, которые не приняты процессором (110) параметров.

6. Устройство по п. 1,

в котором процессор (110) параметров конфигурируется для приема информации о подготовке, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в один или несколько выходных аудиоканалов,

в котором процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации и в зависимости от информации о подготовке.

7. Устройство по п. 6,

в котором процессор (110) параметров конфигурируется для приема множества коэффициентов матрицы R подготовки в качестве информации о подготовке, и

в котором процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации и в зависимости от матрицы R подготовки.

8. Устройство по п. 6,

в котором процессор (110) параметров конфигурируется для приема информации метаданных в качестве информации о подготовке, причем информация метаданных содержит информацию о положении,

причем информация о положении указывает положение для каждого из одного или нескольких сигналов аудиообъектов,

причем информация о положении не указывает положение ни для какого из одного или нескольких сигналов аудиоканалов,

в котором процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации и в зависимости от информации о положении.

9. Устройство по п. 8,

в котором информация метаданных дополнительно содержит информацию об усилении,

причем информация об усилении указывает значение усиления для каждого из одного или нескольких сигналов аудиообъектов,

причем информация об усилении не указывает значение усиления ни для какого из одного или нескольких сигналов аудиоканалов,

в котором процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от ковариационной информации, в зависимости от информации о положении и в зависимости от информации об усилении.

10. Устройство по п. 8,

в котором процессор (110) параметров конфигурируется для вычисления матрицы S микширования в качестве информации микширования, где матрица S микширования задается в соответствии с формулой

S=RG,

где G является матрицей декодирования, зависящей от информации понижающего микширования и зависящей от ковариационной информации,

где R является матрицей подготовки, зависящей от информации метаданных,

в котором процессор (120) понижающего микширования конфигурируется для формирования одного или нескольких выходных аудиоканалов в выходном аудиосигнале путем применения формулы

Z=SY,

где Z - выходной аудиосигнал, Y - транспортный аудиосигнал.

11. Устройство по п. 1,

в котором два или более сигнала аудиообъектов микшируются в транспортный аудиосигнал, и в котором два или более сигнала аудиоканалов микшируются в транспортный аудиосигнал,

в котором ковариационная информация указывает корреляционную информацию для одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух и более сигналов аудиоканалов,

в котором ковариационная информация не указывает корреляционную информацию ни для какой пары из первого одного или нескольких сигналов аудиообъектов и второго одного или нескольких сигналов аудиообъектов, и

в котором процессор (110) параметров конфигурируется для вычисления информации микширования в зависимости от информации понижающего микширования, в зависимости от информации о разности уровней каждого из одного или нескольких сигналов аудиоканалов, в зависимости от второй информации о разности уровней каждого из одного или нескольких сигналов аудиообъектов и в зависимости от корреляционной информации одной или нескольких пар из первого из двух или более сигналов аудиоканалов и второго из двух или более сигналов аудиоканалов.

12. Устройство для формирования транспортного аудиосигнала, содержащего транспортные аудиоканалы, причем устройство содержит:

микшер (210) каналов/объектов для формирования транспортных аудиоканалов в транспортном аудиосигнале и

выходной интерфейс (220),

причем микшер (210) каналов/объектов конфигурируется для формирования транспортного аудиосигнала, содержащего транспортные аудиоканалы, путем микширования одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов в транспортный аудиосигнал в зависимости от информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов нужно микшировать в транспортные аудиоканалы, причем количество транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов,

причем выходной интерфейс (220) конфигурируется для вывода транспортного аудиосигнала, информации понижающего микширования и ковариационной информации,

причем ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов, и причем ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов,

причем устройство конфигурируется для микширования одного или нескольких сигналов аудиоканалов в первую группу из одного или нескольких транспортных аудиоканалов, причем устройство конфигурируется для микширования одного или нескольких сигналов аудиообъектов во вторую группу из одного или нескольких транспортных аудиоканалов, причем каждый транспортный аудиоканал из первой группы не содержится во второй группе, и причем каждый транспортный аудиоканал из второй группы не содержится в первой группе, и

причем информация понижающего микширования содержит первую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиоканалов микшируются в первую группу транспортных аудиоканалов, и причем информация понижающего микширования содержит вторую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиообъектов микшируются во вторую группу транспортных аудиоканалов,

причем устройство конфигурируется для вывода первого подсчета каналов, указывающего количество транспортных аудиоканалов в первой группе транспортных аудиоканалов, и причем устройство конфигурируется для вывода второго подсчета каналов, указывающего количество транспортных аудиоканалов во второй группе транспортных аудиоканалов.

13. Устройство по п. 12, в котором микшер (210) каналов/объектов конфигурируется для формирования транспортного аудиосигнала так, чтобы количество транспортных аудиоканалов в транспортном аудиосигнале зависело от того, какая скорость передачи разрядов доступна для передачи транспортного аудиосигнала.

14. Система для формирования транспортного аудиосигнала и формирования одного или нескольких выходных аудиоканалов, содержащая:

устройство (310) по п. 12 для формирования транспортного аудиосигнала и

устройство (320) по п. 1 для формирования одного или нескольких выходных аудиоканалов,

причем устройство (320) конфигурируется для приема транспортного аудиосигнала, информации понижающего микширования и ковариационной информации от устройства (310), и

причем устройство (320) конфигурируется для формирования одного или нескольких выходных аудиоканалов из транспортного аудиосигнала в зависимости от информации понижающего микширования и в зависимости от ковариационной информации.

15. Способ для формирования одного или нескольких выходных аудиоканалов, причем способ содержит этапы, на которых:

принимают поток данных, содержащий транспортные аудиоканалы в транспортном аудиосигнале, причем один или несколько сигналов аудиоканалов микшируются в транспортный аудиосигнал, причем один или несколько сигналов аудиообъектов микшируются в транспортный аудиосигнал, и причем количество транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов,

принимают информацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов микшируются в транспортные аудиоканалы,

принимают ковариационную информацию,

вычисляют информацию микширования в зависимости от информации понижающего микширования и в зависимости от ковариационной информации, и

формируют один или несколько выходных аудиоканалов,

формируют один или несколько выходных аудиоканалов из транспортного аудиосигнала в зависимости от информации микширования,

причем ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов, и причем ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов,

причем один или несколько сигналов аудиоканалов микшируются в первую группу из одного или нескольких транспортных аудиоканалов, причем один или несколько сигналов аудиообъектов микшируются во вторую группу из одного или нескольких транспортных аудиоканалов, причем каждый транспортный аудиоканал из первой группы не содержится во второй группе, и причем каждый транспортный аудиоканал из второй группы не содержится в первой группе, и

причем информация понижающего микширования содержит первую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиоканалов микшируются в первую группу транспортных аудиоканалов, и причем информация понижающего микширования содержит вторую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиообъектов микшируются во вторую группу транспортных аудиоканалов,

причем информация микширования вычисляется в зависимости от первой подинформации понижающего микширования, в зависимости от второй подинформации понижающего микширования и в зависимости от ковариационной информации,

причем один или несколько выходных аудиосигналов формируются из первой группы транспортных аудиоканалов и из второй группы транспортных аудиоканалов в зависимости от информации микширования,

причем способ дополнительно содержит этап, на котором принимают первый подсчет каналов, указывающий количество транспортных аудиоканалов в первой группе транспортных аудиоканалов, и причем способ дополнительно содержит этап, на котором принимают второй подсчет каналов, указывающий количество транспортных аудиоканалов во второй группе транспортных аудиоканалов, и

причем способ дополнительно содержит этап, на котором идентифицируют, принадлежит ли транспортный аудиоканал в потоке данных первой группе или второй группе, в зависимости от первого подсчета каналов, или в зависимости от второго подсчета каналов, либо в зависимости от первого подсчета каналов и второго подсчета каналов.

16. Способ для формирования транспортного аудиосигнала, содержащего транспортные аудиоканалы, причем способ содержит этапы, на которых:

формируют транспортный аудиосигнал, содержащий транспортные аудиоканалы, путем микширования одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов в транспортный аудиосигнал в зависимости от информации понижающего микширования, указывающей информацию о том, как один или несколько сигналов аудиоканалов и один или несколько сигналов аудиообъектов нужно микшировать в транспортные аудиоканалы, причем количество транспортных аудиоканалов меньше количества одного или нескольких сигналов аудиоканалов плюс количества одного или нескольких сигналов аудиообъектов, и

выводят транспортный аудиосигнал, информацию понижающего микширования и ковариационную информацию,

причем ковариационная информация указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиоканалов и дополнительно указывает информацию о разности уровней по меньшей мере для одного из одного или нескольких сигналов аудиообъектов, и

причем ковариационная информация не указывает корреляционную информацию ни для какой пары из одного или нескольких сигналов аудиоканалов и одного или нескольких сигналов аудиообъектов,

причем один или несколько сигналов аудиоканалов микшируются в первую группу из одного или нескольких транспортных аудиоканалов, причем один или несколько сигналов аудиообъектов микшируются во вторую группу из одного или нескольких транспортных аудиоканалов, причем каждый транспортный аудиоканал из первой группы не содержится во второй группе, и причем каждый транспортный аудиоканал из второй группы не содержится в первой группе, и

причем информация понижающего микширования содержит первую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиоканалов микшируются в первую группу транспортных аудиоканалов, и причем информация понижающего микширования содержит вторую подинформацию понижающего микширования, указывающую информацию о том, как один или несколько сигналов аудиообъектов микшируются во вторую группу транспортных аудиоканалов, и

причем способ дополнительно содержит этап, на котором выводят первый подсчет каналов, указывающий количество транспортных аудиоканалов в первой группе транспортных аудиоканалов, и причем способ дополнительно содержит этап, на котором выводят второй подсчет каналов, указывающий количество транспортных аудиоканалов во второй группе транспортных аудиоканалов.

17. Компьютерно-читаемый носитель, содержащий компьютерную программу для реализации способа по п. 15 при исполнении на компьютере или процессоре сигналов.

18. Компьютерно-читаемый носитель, содержащий компьютерную программу для реализации способа по п. 16 при исполнении на компьютере или процессоре сигналов.