Устройство, способ и постоянный считываемый компьютером носитель для обработки сигналов

Изобретение относится к информационным технологиям. Технический результат направлен на снижение вычислительной нагрузки. Устройство обработки сигналов включает схему обработки, выполненную с возможностью: вычисления, на основе информации об угле расширения объекта, амбиофонического коэффициента усиления и вывода аудиосигнала, по меньшей мере частично, на основе вычисленного амбиофонического коэффициента усиления и входного аудиосигнала. 3 н. и 5 з.п. ф-лы, 17 ил.

 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству и способу обработки сигналов, а также к компьютерной программе, и, в частности, к устройству и способу обработки сигналов, которые позволяют уменьшить вычислительные нагрузки, а также к компьютерной программе.

Уровень техники

В настоящее время технология объектного аудио уже используется для фильмов, игр и т.п., и разработаны системы кодирования, способные обрабатывать объектное аудио. В частности, в качестве международного стандарта известен стандарт "Часть 3: 3D аудио, Экспертная группа по вопросам движущегося изображения (MPEG)-H" и т.п., (например, смотри непатентный документ 1).

Движущийся источник звука или тому подобное может обрабатываться как независимый аудиообъект, и в таких системах кодирования сигнальные данные аудиообъекта и информацию о положении объекта можно кодировать в виде метаданных, как в многоканальной звуковой системе, такой как традиционная 2-канальная звуковая система или 5.1-канальная звуковая система.

Таким образом, звук от конкретного источника звука можно легко обработать во время воспроизведения, например, можно регулировать уровень громкости звука конкретного источника звука, что затруднительно в традиционных системах кодирования, или добавить эффект в звук от конкретного источника звука.

Кроме того, в системе кодирования, описанной в непатентном документе 1, в дополнение к вышеупомянутому аудиообъекту можно обрабатывать амбиофонические данные (также называемые данными на основе амбиофонии высшего порядка (HOA)), которыми оперируют, используя пространственную акустическую информацию вокруг зрителя.

В связи с этим предполагается, что аудиообъект является точечным источником звука при представлении в сигнале динамика, сигнале наушников и т.п., и, следовательно, аудиообъект нельзя выразить в размере.

Таким образом, в системе кодирования, способной обрабатывать объектное аудио, такой как система кодирования, описанная в непатентном документе 1, информация, называемая расширением, которое выражает размер объекта, хранится в виде метаданных аудиообъекта.

Далее, в стандарте, приведенном, например, в непатентном документе 1, сигналы 19 расширенных аудиообъектов заново вырабатываются для одного аудиообъекта на основе расширения, представляются и во время воспроизведения выводятся в устройство воспроизведения, такое как динамик. Таким образом, аудиообъект можно выразить в псевдоразмере.

Перечень цитируемой литературы

Непатентный документ

Непатентный документ 1: INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio (Международный стандарт ISO/IEC 23008-3; первое издание 15 октября 2015 г.; Информационные технологии - Высокоэффективное кодирование и доставка мультимедийных услуг в разнородных окружающих средах - Часть 3: 3D аудио)

Сущность изобретения

Задачи, решаемые изобретением

Однако сигналы 19 расширенных аудиообъектов заново вырабатываются для одного аудиообъекта, как описано выше, что приводит к замечательному увеличению вычислительных нагрузок в процессе представления.

Настоящая технология была разработана с учетом такой ситуации и направлена на снижение вычислительных нагрузок.

Решение задачи

Устройство обработки сигналов согласно аспекту настоящей технологии включает в себя блок вычисления амбиофонического коэффициента усиления, выполненный с возможностью нахождения, на основе информации о расширении объекта, амбиофонического коэффициента усиления в случае, когда объект находится в заданном положении.

Устройство обработки сигналов может быть дополнительно снабжено блоком выработки амбиофонического сигнала, выполненным с возможностью выработки амбиофонического сигнала объекта на основе сигнала аудиообъекта объекта и амбиофонического коэффициента усиления.

Блок вычисления амбиофонического коэффициента усиления может найти амбиофонический коэффициент усиления в исходном положении на основе информации о расширении, предполагая, что объект находится в исходном положении и может выполнять процесс поворота над амбиофоническим коэффициентом усиления в исходном положении для нахождения амбиофонического коэффициента усиления на основе информации о положении объекта, указывающей заданное положение.

Блок вычисления амбиофонического коэффициента усиления может найти амбиофонический коэффициент усиления исходного положения на основе информации о расширении и таблицы коэффициентов усиления.

Таблица коэффициентов усиления может быть сконфигурирована таким образом, чтобы угол расширения был связан с амбиофоническим коэффициентом усиления в исходном положении.

Блок вычисления амбиофонического коэффициента усиления может выполнить процесс интерполяции на основе каждого амбиофонического коэффициента усиления в исходном положении, связанного с каждым из множества углов расширения в таблице коэффициентов усиления, для нахождения амбиофонического коэффициента усиления в исходном положении, соответствующего углу расширения, указанному в информации о расширении.

Амбиофонический коэффициент усиления в исходном положении можно представить в виде суммы соответствующих значений, полученных путем подстановки соответствующих углов, указывающих множество соответствующих пространственных положений, определенных для углов расширения, указанных в информации о расширении, в сферическую гармоническую функцию.

Способ обработки сигналов или программа согласно аспекту настоящей технологии включает в себя этап нахождения, на основе информации о расширении объекта, амбиофонического коэффициента усиления в случае, когда объект находится в заданном положении.

Согласно аспекту настоящей технологии, амбиофонический коэффициент усиления в случае, когда объект находится в заданном положении, может быть найден на основе информации о расширении объекта.

Эффекты изобретения

Согласно аспекту настоящей технологии можно уменьшить вычислительные нагрузки.

В дополнение к этому, эффект, описанный в данном документе, не обязательно должен быть ограничивающим и может представлять собой любой эффект, описанный в настоящем раскрытии.

Краткое описание чертежей

На фиг.1 показана схема, поясняющая метаданные аудиообъекта.

На фиг.2 показана схема, поясняющая 3D пространственное положение аудиообъекта.

На фиг.3 показана схема, поясняющая расширенные аудиообъекты.

На фиг.4 показана схема, поясняющая расширенные аудиообъекты.

На фиг.5 показана схема, поясняющая расширенные аудиообъекты.

На фиг.6 показана схема, иллюстрирующая примерную конфигурацию устройства обработки сигналов.

На фиг.7 показана схема, иллюстрирующая зависимость угла расширения от амбиофонического коэффициента усиления в переднем положении.

На фиг.8 показана блок-схема последовательности операций, поясняющая процесс представления содержания.

На фиг.9 показана схема, поясняющая метаданные аудиообъекта.

На фиг.10 показана схема, поясняющая расширенные аудиообъекты.

На фиг.11 показана схема, поясняющая расширенные аудиообъекты.

На фиг.12 показана схема, иллюстрирующая зависимость угла расширения от амбиофонического коэффициента усиления в переднем положении.

На фиг.13 показана схема, иллюстрирующая зависимость угла расширения от амбиофонического коэффициента усиления в переднем положении.

На фиг.14 показана схема, иллюстрирующая примерную конфигурацию декодера.

На фиг.15 показана схема, иллюстрирующая примерную конфигурацию декодера.

На фиг.16 показана схема, иллюстрирующая примерную конфигурацию кодера.

На фиг.17 показана схема, иллюстрирующая примерную конфигурацию компьютера.

Подробное описание изобретения

Варианты осуществления согласно настоящей технологии будут описаны ниже со ссылкой на чертежи.

Первый вариант осуществления

Настоящая технология

Настоящая технология направлена на непосредственное нахождение амбиофонического коэффициента усиления на основе информации о расширении и получение амбиофонического сигнала из результирующего амбиофонического коэффициента усиления и сигнала аудиообъекта, что позволяет уменьшить вычислительные нагрузки.

Сначала будет описано расширение аудиообъекта в соответствии со стандартом MPEG-H, часть 3: 3D аудио (которое в дальнейшем именуется также как информация о расширении).

На фиг.1 показана схема, иллюстрирующая примерный формат метаданных аудиообъекта, включающий в себя информацию о расширении.

Метаданные аудиообъекта кодируются с использованием формата, показанного на фиг.1, в расчете на один заданный интервал времени.

На фиг.1 параметр num_objects указывает количество аудиообъектов, включенных в битовый поток. Кроме того, параметр tcimsbf обозначает целое число c дополнением до двух, старший значащий бит первый, и параметр uimsbf обозначает целое число без знака, старший значащий бит первый.

В этом примере метаданные содержат в расчете на один аудиообъект следующие параметры: object_priority, расширение, position_azimuth, position_elevation, position_radius и gain_factor.

Параметр object_priority представляет собой информацию о приоритете, указывающую приоритет, когда аудиообъекта представляется в устройстве воспроизведения, таком как динамик. Например, в случае, когда аудиоданные воспроизводятся в устройстве с меньшими вычислительными ресурсами, предпочтительно может воспроизводиться сигнал аудиообъекта с высоким значением параметра object_priority.

Параметр spread (расширение) представляет собой метаданные (информацию о расширении), указывающие размер аудиообъекта, и задан в виде угла, указывающего расширение из пространственного положения аудиообъекта в стандарте MPEG-H, часть 3: 3D аудио. Параметр gain_factor представляет собой информацию, указывающую коэффициент усиления отдельного аудиообъекта.

Параметры position_azimuth, position_elevation и position_radius указывают угол азимута, угол возвышения и радиус (расстояние), которые указывают информацию о пространственном положении аудиообъекта, соответственно, и взаимосвязь между углом азимута, углом возвышения и радиусом показана, например, на фиг.2.

Это означает, что ось x, ось y и ось z, которые проходят через начало координат O и перпендикулярны друг другу (фиг.2), представляют собой оси в 3D системе ортогональных координат.

Теперь предположим, что прямая линия, соединяющая начало координат O и положение аудиообъекта OB11 в пространстве, представляет собой прямую линию r, и прямая линия, полученная путем проектирования прямой линии r на плоскость xy, представляет собой прямую линию L.

В данном случае угол, образованный осью x и прямой линией L, выбран в качестве угла азимута, указывающего положение аудиообъекта OB11 или параметр position_azimuth, и угол, образованный прямой линией r и плоскостью xy, выбран в качестве угла возвышения, указывающего положение аудиообъекта OB11 или параметр position_elevation. Кроме того, длина прямой линии r выбрана в качестве радиуса, указывающего положение аудиообъекта OB11 или параметра position_radius.

Возвращаясь к описанию фиг.1, параметры object_priority, spread (расширение), position_azimuth, position_elevation, position_radius и gain_factor, показанные на фиг.1, считываются на стороне декодирования, и используются в случае необходимости.

Ниже будет описан способ представления аудиообъекта с расширением (с информацией о расширении) в устройстве воспроизведения, таком как динамик в соответствии со стандартом MPEG-H, часть 3: 3D аудио.

Например, в случае, когда представляется нормальный аудиообъект без расширения, другими словами, с углом 0 градусов, указанным в расширении, используется способ, называемый векторным амплитудным панорамированием (VBAP).

Кроме того, описание VBAP представлено, например, в документе "Международный стандарт ISO/IEC 23008-3; первое издание 15 октября 2015 г.; Информационные технологии - Высокоэффективное кодирование и доставка мультимедийных услуг в разнородных окружающих средах - Часть 3: 3D аудио" и т.п., и его описание будет опущено.

Напротив, в случае, когда имеется расширение аудиообъекта, вектор p₀ – вектор p₁₈, которые указывают положения 19 расширенных аудиообъектов, находятся на основе расширения.

То есть вектор, указывающий положение, указанное с помощью метаданных аудиообъекта, подлежащего обработке, представлен в виде базового вектора p0. Кроме того, углы, указанные параметрами position_azimuth и position_elevation аудиообъекта, подлежащего обработке, представлены в виде углов φ и θ, соответственно. В данном случае базовый вектор v и базовый вектор u находятся с использованием приведенных ниже уравнений (1) и (2), соответственно.

Математическое выражение 1

[0044] Математическое выражение 2

Следует отметить, что "×" в уравнении (2) обозначает перекрестное произведение.

Далее, на основе двух базовых векторов v и u и вектора p₀ находят 18 векторов p₁’-p₁₈’ с помощью приведенного ниже уравнения (3).

Математическое выражение 3

Когда положения, указанные этими 18 векторами p₁’-p₁₈’, полученными в уравнении (3), и вектором p₀, соответственно, наносятся на трехмерную систему ортогональных координат, получается фиг.3. Кроме того, один кружок указывает положение, указанное одним вектором на фиг.3.

В данном случае, допустим, что в качестве α’ выбран угол α, указанный в параметре spread (расширение) аудиообъекта, и угол α ограничен между 0,001 градуса и 90 градусами, находим 19 векторов p_m (где m = 0, 1, ..., 18), модифицированных посредством расширения, как указано в приведенном ниже уравнении (4).

Математическое выражение 4

Полученный таким образом вектор p_m нормируется и, следовательно, вырабатывается 19 расширенных аудиообъектов, соответствующих расширению (информации о расширении). В данном случае, один расширенный аудиообъект представляет собой виртуальный объект в пространственном положении, указанном одним вектором p_m.

Сигналы 19 расширенных аудиообъектов представляются в устройстве воспроизведения, таком как динамик, и, таким образом, можно вывести звук одного аудиообъекта с пространственным расширением, соответствующим расширению.

На фиг.4 показана схема, иллюстрирующая 19 расширенных аудиообъектов, нанесенных на 3D систему ортогональных координат в случае, когда угол, указанный в параметре "расширение", равен 30 градусам. Кроме того, на фиг.5 показана схема, иллюстрирующая 19 расширенных аудиообъектов, нанесенных на 3D систему ортогональных координат в случае, когда угол, указанный в параметре "расширение", равен 90 градусам.

Один кружок указывает положение, указанное одним вектором на фиг.4 и фиг.5. То есть один кружок указывает один расширенный аудиообъект.

При воспроизведении сигнала аудиообъекта аудиосигнал, содержащий сигналы 19 расширенных аудиообъектов, воспроизводится в виде сигнала одного аудиообъекта, и, таким образом, аудиообъект можно выразить в размере.

Кроме того, в случае, когда угол, указанный в параметре "расширение", превышает 90 градусов, λ, указанная в приведенном ниже уравнении (5), представлена в виде коэффициента распределения, и результат представления в случае, когда угол, указанный в параметре "расширение", выбран равным 90 градусам, и выходной результат в случае, когда все динамики имеют постоянный коэффициент усиления, объединяются и выводятся в виде коэффициента λ распределения.

Математическое выражение 5

Как описано выше, 19 расширенных аудиообъектов вырабатываются на основе расширения (информации о расширении) в том случае, когда воспроизводится сигнал аудиообъекта, и аудиообъект выражен в псевдо-размере.

Однако 19 расширенных аудиообъектов вырабатываются для одного аудиообъекта, что приводит к значительному увеличению вычислительных нагрузок на процесс представления.

Таким образом, согласно настоящей технологии амбиофонический коэффициент усиления, основанный на информации о расширении, непосредственно находится без выработки 19 расширенных аудиообъектов для одного аудиообъекта с информацией о расширении во время представления, тем самым уменьшая вычислительные нагрузки.

Настоящая технология полезна, в частности, при декодировании и представлении битового потока, в котором совмещаются две системы объектного и амбиофонического аудио, при преобразовании и кодировании объектного аудио в амбиофоническое во время кодирования и т.п.

Примерная конфигурация устройства обработки сигналов

На фиг.6 показана схема, иллюстрирующая примерную конфигурацию одного варианта осуществления устройства обработки сигналов согласно настоящей технологии.

Устройство 11 обработки сигналов, показанное на фиг.6, включает в себя блок 21 вычисления амбиофонического коэффициента усиления, блок 22 амбиофонического поворота, блок 23 применения амбиофонической матрицы, блок 24 суммирования и блок 25 амбиофонического представления.

В устройство 11 обработки сигналов подается, в качестве аудиосигналов для воспроизведения звука содержания, входной амбиофонический сигнал в виде аудиосигнала с амбиофонической формой и входной сигнал аудиообъекта в виде аудиосигнала звука аудиообъекта.

Например, входной амбиофонический сигнал представляет собой сигнал амбиофонического канала C_{n, m}, соответствующего порядку n и порядку m сферической гармонической функции S_{n, m}(θ, φ). То есть входной амбиофонический сигнал каждого амбиофонического канала C_{n, m} подается в устройство 11 обработки сигналов.

Напротив, входной сигнал аудиообъекта представляет собой монофонический аудиосигнал для воспроизведения звука одного аудиообъекта, и входной сигнал аудиообъекта каждого аудиообъекта подается в устройство 11 обработки сигналов.

Кроме того, для каждого аудиообъекта в устройство 11 обработки сигналов подается информация о положении объекта и информация о расширении в виде метаданных.

В данном случае, информация о положении объекта содержит параметры position_azimuth, position_elevation и position_radius, описанные выше.

Параметр position_azimuth указывает угол азимута, указывающий пространственное положение аудиообъекта, параметр position_elevation указывает угол возвышения, указывающий пространственное положение аудиообъекта, и параметр position_radius указывает радиус, указывающий пространственное положение аудиообъекта.

Кроме того, информация о расширении представляет собой расширение, описанное выше, и представляет собой информацию об угле, указывающую размер аудиообъекта или степень расширения звукового образа аудиообъекта.

Кроме того, описание будет представлено исходя из того, что в устройство 11 обработки сигналов подается входной сигнал аудиообъекта, информация о положении объекта и информация о расширении для одного аудиообъекта для того, чтобы упростить приведенное ниже описание.

Однако, хотя и не ограничиваясь этим, в устройство 11 обработки сигналов, конечно, может подаваться входной сигнал аудиообъекта, информация о положении объекта и информация о расширении для множества аудиообъектов.

Блок 21 вычисления амбиофонического коэффициента усиления находит амбиофонический коэффициент усиления на основе предоставленной информации о расширении, предполагая, что аудиообъект находится в переднем положении, и подает его в блок 22 амбиофонического поворота.

Кроме того, переднее положение находится в переднем направлении, если смотреть из положения пользователя в качестве указателя на пространство, и где параметры position_azimuth и position_elevation в качестве информации о положении объекта равны 0 градусам, соответственно. Другими словами, положение при position_azimuth = 0 и position_elevation = 0 является передним положением.

Амбиофонический коэффициент усиления амбиофонического канала C_{n, m} аудиообъекта особенно в случае, когда аудиообъект находится в переднем положении, будет в дальнейшем называться амбиофоническим коэффициентом G_{n, m} усиления в переднем положении.

Например, амбиофонический коэффициент G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m} представлен следующим образом.

То есть входной сигнал аудиообъекта умножается на амбиофонический коэффициент G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m}, чтобы представлять собой амбиофонический сигнал каждого амбиофонического канала C_{n, m}, другими словами, сигнал в амбиофоническом виде.

В данном случае, когда звук аудиообъекта воспроизводится на основе сигнала, содержащего амбиофонический сигналы соответствующих амбиофонических каналов C_{n, m}, звуковой образ звука аудиообъекта ориентируется в переднем положении.

Кроме того, в этом случае звук аудиообъекта имеет расширение с углом, указанным в информации о расширении. То есть расширение звука можно выразить также, как и в случае, где вырабатываются 19 расширенных аудиообъектов с использованием информации о расширении.

В данном случае, зависимость угла, указанного в информации о расширении (который в дальнейшем также называется углом расширения), от амбиофонического коэффициента G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m}, показана на фиг.7. Кроме того, по вертикальной оси на фиг.7 отложено значение амбиофонического коэффициента G_{n, m} усиления в переднем положении, и по горизонтальной оси отложен угол расширения.

Кривые L11 – L17 на фиг.7 указывают амбиофонический коэффициент G_{n, m} амбиофонического канала C_{n, m} усиления в переднем положении для каждого угла расширения.

В частности, кривая L11 указывает амбиофонический коэффициент G_{1, 1} усиления в переднем положении амбиофонического канала C_{1, 1}, когда порядок n и порядок m сферической гармонической функции S_{n, m}(θ, φ) равны 1, соответственно, или когда порядок n = 1 и порядок m = 1.

Аналогичным образом, кривая L12 указывает амбиофонический коэффициент G_{0, 0} усиления в переднем положении амбиофонического канала C_{0, 0}, соответствующего порядку n = 0 и порядку m = 0, и кривая L13 указывает амбиофонический коэффициент G_{2, 2} усиления в переднем положении амбиофонического канала C_{2, 2}, соответствующего порядку n = 2 и порядку m = 2.

Кроме того, кривая L14 указывает амбиофонический коэффициент G_{3, 3} усиления в переднем положении амбиофонического канала C_{3, 3}, соответствующего порядку n = 3 и порядку m = 3, и кривая L15 указывает амбиофонический коэффициент G_{3, 1} усиления в переднем положении амбиофонического канала C_{3, 1}, соответствующего порядку n = 3 и порядку m = 1.

Кроме того, кривая L16 указывает амбиофонический коэффициент G_{2, 0} усиления в переднем положении амбиофонического канала C_{2, 0}, соответствующего порядку n = 2 и порядку m = 0, и кривая L17 указывает амбиофонический коэффициент G_{n, m} усиления амбиофонических каналов C_{n, m}, соответствующих порядку n и порядку m (где 0 ≤ n ≤ 3, -3 ≤ m ≤ 3), в отличие от вышеупомянутых случаев. То есть кривая L17 указывает амбиофонические коэффициенты усиления в переднем положении амбиофонических каналов C_1,-1, C_{1, 0}, C_{2, 1}, C_2,-1, C_2,-2, C_{3, 0}, C_3,-1, C_{3, 2}, C_3,-2 и C_3,-3. В данном случае амбиофонические коэффициенты усиления в переднем положении, указанные кривой L17, равны 0 независимо от угла расширения.

Кроме того, определение сферической гармонической функции S_{n, m}(θ, φ) подробно описано в главе F.1.3 в документе "Международный стандарт ISO/IEC 23008-3; первое издание 15 октября 2015 г.; - Высокоэффективное кодирование и доставка мультимедийных услуг в разнородных окружающих средах - Часть 3: 3D аудио", и поэтому его описание будет опущено.

Зависимости угла расширения от амбиофонического коэффициента G_{n, m} усиления в переднем положении можно найти заранее.

В частности, угол возвышения и угол азимута, указывающие 3D пространственное положение расширенного аудиообъекта, найденное в зависимости от угла расширения, представлены как θ и φ, соответственно.

В частности, угол возвышения и угол азимута i-го (где 0 ≤ i ≤ 18) расширенного аудиообъекта из 19 расширенных аудиообъектов обозначены θ_i и φ_i, соответственно. Кроме того, угол θ_i возвышения и угол φ_i азимута соответствуют описанным выше параметрам position_elevation и position_azimuth, соответственно.

В этом случае угол θ_i возвышения и угол φ_i азимута расширенного аудиообъекта подставляют в сферическую гармоническую функцию S_{n, m}(θ, φ), и суммируют результирующие сферические гармонические функции S_{n, m}(θ_i, φ_i) для 19 расширенных аудиообъектов, тем самым находя амбиофонический коэффициент G_{n, m} усиления в переднем положении. То есть амбиофонический коэффициент G_{n, m} усиления в переднем положении можно получить путем вычисления следующего уравнения (6).

Математическое выражение 6

При вычислении уравнения (6) сумма 19 сферических гармонических функций S_{n, m}(θ_i, φ_i), полученных для одного и того же амбиофонического канала C_{n, m}, представлена в виде амбиофонического коэффициента G_{n, m} усиления в переднем положении амбиофонического канала C_{n, m}.

То есть пространственные положения множества объектов или в этом случае 19 расширенных аудиообъектов определяются для угла расширения, указанного в информации о расширении, и углы, указывающие положение каждого расширенного аудиообъекта, представляют собой угол θ_i возвышения и угол φ_i поворота.

Далее, значение, полученное путем подстановки угла θ_i, возвышения и угла φ_i азимута расширенного аудиообъекта в сферическую гармоническую функцию, представляет собой сферическую гармоническую функцию S_{n, m}(θ_i, φ_i), и сумма сферических гармонических функций, S_{n, m}(θ_i, φ_i), полученных для 19 расширенных аудиообъектов, представлена в виде амбиофонического коэффициента G_{n, m} усиления в переднем положении.

В примере, показанном на фиг.7, по существу только амбиофонические каналы C_{0, 0}, C_{1, 1}, C_{2, 0}, C_{2, 2}, C_{3, 1} и C_{3, 3} имеют амбиофонический коэффициент G_{n, m} усиления в переднем положении, и амбиофонические коэффициенты G_{n, m} усиления в переднем положении других амбиофонических каналов C_{n, m} равны 0.

Например, блок 21 вычисления амбиофонического коэффициента усиления может использовать уравнение (6) на основе информации о расширении для вычисления амбиофонического коэффициента G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m}; однако в данном случае амбиофонический коэффициент G_{n, m} усиления в переднем положении получается с помощью таблицы коэффициентов усиления.

То есть блок 21 вычисления амбиофонического коэффициента усиления предварительно вырабатывает и сохраняет таблицу коэффициентов усиления, в которой каждый угол расширения и амбиофонический коэффициент G_{n, m} усиления в переднем положении связаны друг с другом в расчете на один амбиофонический канал C_{n, m}.

Например, в таблице коэффициентов усиления значение каждого угла расширения может быть связано со значением амбиофонического коэффициента G_{n, m} усиления в переднем положении, соответствующего углу расширения. Кроме того, значение амбиофонического коэффициента G_{n, m} усиления в переднем положении, соответствующего диапазону значений угла расширения, может быть связано, например, с диапазоном.

В дополнение к этому, разрешение угла расширения в таблице коэффициентов усиления необходимо определить только в зависимости от количества ресурсов устройства для воспроизведения звука содержаний на основе входного сигнала аудиообъекта или т.п. или от качества воспроизведения, требуемого во время воспроизведения содержаний.

Кроме того, как видно из фиг.7, амбиофонический коэффициент G_{n, m} усиления в переднем положении изменяется в меньшей степени при изменении угла расширения при маленьком угле расширения. Таким образом, в таблице коэффициентов усиления диапазон значений угла расширения, связанного с одним амбиофоническим коэффициентом G_{n, m} усиления в переднем положении, или ширину шага угла расширения можно увеличить для маленького угла расширения, и ширину шага можно уменьшить при увеличении угла расширения.

Кроме того, в случае, когда угол расширения, указанный в информации о расширении, принимает промежуточное значение двух углов расширения в таблице коэффициентов усиления или т.п., амбиофонический коэффициент G_{n, m} усиления в переднем положении можно найти путем выполнения процесса интерполяции, такого как линейная интерполяция.

В таком случае, например, блок 21 вычисления амбиофонического коэффициента усиления выполняет процесс интерполяции на основе амбиофонического коэффициента G_{n, m} усиления в переднем положении, связанного с углом расширения в таблице коэффициентов усиления, тем самым находя амбиофонический коэффициент G_{n, m} усиления в переднем положении, соответствующий углу расширения, указанному в информации о расширении.

В частности, например, предполагается, что угол расширения, указанный в информации о расширении, равен 65 градусам. Кроме того, предполагается, что угол расширения, равный 60 градуса, связан с амбиофоническим коэффициентом G_{n, m} усиления в переднем положении, равным 0,2, и угол расширения, равный 70 градусам, связан с амбиофоническим коэффициентом G_{n, m} усиления в переднем положении, равным 0,3 в таблице коэффициентов усиления.

В данном случае блок 21 вычисления амбиофонического коэффициента усиления вычисляет амбиофонический коэффициент G_{n, m} усиления в переднем положении (0,25), соответствующий углу расширения 65 градусов в процессе линейной интерполяции на основе информации о расширении и таблицы коэффициентов усиления.

Как описано выше, блок 21 вычисления амбиофонического коэффициента усиления предварительно сохраняет таблицу коэффициентов усиления, полученную путем выражения амбиофонического коэффициента G_{n, m} усиления в переднем положении соответствующих амбиофонических каналов C_{n, m}, изменяющихся в зависимости от угла расширения в таблице.

Тем образом, амбиофонический коэффициент G_{n, m} усиления в переднем положении можно получить непосредственно из таблицы коэффициентов усиления без дополнительной выработки 19 расширенных аудиообъектов из информации о расширении. Вычислительные нагрузки можно дополнительно уменьшить за счет использования таблицы коэффициентов усиления, по сравнению со случаем, когда непосредственно вычисляется амбиофонический коэффициент G_{n, m} усиления в переднем положении.

В дополнении к этому, далее будет описан пример, в котором амбиофонический коэффициент усиления в случае, когда аудиообъект находится в переднем положении, вычисляется с помощью блока 21 вычисления амбиофонического коэффициента усиления. Однако амбиофонический коэффициент усиления в случае, когда аудиообъект находится в другом исходном положении, не ограниченном передним положением, можно найти с помощью блока 21 вычисления амбиофонического коэффициента усиления.

Возвращаясь к описанию фиг.6, блок 21 вычисления амбиофонического коэффициента усиления вычисляет амбиофонический коэффициент G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m} на основе предоставленной информации о расширении и сохраненной таблицы коэффициентов усиления и затем подает результирующий амбиофонический коэффициент G_{n, m} усиления в переднем положении в блок 22 амбиофонического поворота.

Блок 22 амбиофонического поворота выполняет процесс поворота амбиофонического коэффициента G_{n, m} усиления в переднем положении, поданного из блока 21 вычисления амбиофонического коэффициента усиления на основе предоставленной информации о положении объекта.

Блок 22 амбиофонического поворота подает амбиофонический коэффициент G’_{n, m} усиления для положения объекта каждого амбиофонического канала C_{n, m}, полученного в процессе поворота, в блок 23 применения амбиофонической матрицы.

В данном случае, амбиофонический коэффициент G’_{n, m} усиления для положения объекта представляет собой амбиофонический коэффициент усиления, предполагая, что аудиообъект находится в положении, указанном в информации о положении объекта, другими словами, в фактическом положении аудиообъекта.

Таким образом, в процессе поворота положение аудиообъекта поворачивается и перемещается от переднего положения до первоначального положения аудиообъекта, и после поворота и перемещения вычисляется амбиофонический коэффициент усиления как амбиофонический коэффициент G’_{n, m} усиления для положения объекта.

Другими словами, амбиофонический коэффициент G_{n, m} усиления в переднем положении, соответствующий переднему положению, поворачивается и перемещается, и вычисляется амбиофонический коэффициент G’_{n, m} усиления для положения объекта, соответствующий фактическому положению аудиообъекта, которое указано в информации о положении объекта.

В процессе поворота находится произведение матрицы M поворота, которая зависит от угла поворота аудиообъекта, другими словами, угла поворота амбиофонического коэффициента усиления, и матрицы G, включающей в себя амбиофонический коэффициент G_{n, m} усиления в переднем положении соответствующих амбиофонических каналов C_{n, m}, как указано в приведенном ниже уравнении (7). Далее, элементы результирующей матрицы G’ представляются в качестве амбиофонического коэффициента усиления G’_{n, m} для положения объекта соответствующих амбиофонических каналов C_{n, m}. В данном случае угол поворота представляет собой угол поворота, когда аудиообъект поворачивается из переднего положения в положение, указанное в информации о положении объекта.

Математическое выражение 7

Кроме того, матрица M поворота описана, например, в работе "Wigner-D functions, J. Sakurai, J. Napolitano, “Modern Quantum Mechanics", Addison-Wesley, 2010" и т.п., и матрица M поворота представляет собой блочно-диагональную матрицу, указанную в приведенном ниже уравнении (8) в случае амбиофонии 2-го порядка.

Математическое выражение 8

В примере, указанном в уравнении (8), матричные элементы в недиагональных блочных элементах в матрице M поворота равны 0, тем самым уменьшая вычислительные затраты на процесс умножения амбиофонического коэффициента G_{n, m} усиления в переднем положении на матрицу M поворота.

Как описано выше, блок 21 вычисления амбиофонического коэффициента усиления и блок 22 амбиофонического поворота вычисляют амбиофонический коэффициент G’_{n, m} усиления для положения объекта аудиообъекта на основе информации о расширении и информации о положении объекта.

Блок 23 применения амбиофонической матрицы преобразует поданный входной сигнал аудиообъекта в сигнал амбиофонической формы на основе амбиофонического коэффициента G’_{n, m} усиления для положения объекта, поданного из блока 22 амбиофонического поворота.

В данном случае, допустим, что входной сигнал аудиообъекта, который является монофоническим временным сигналом, обозначен O_bj(t), блок 23 применения амбиофонической матрицы вычисляет следующее уравнение (9) для нахождения выходного амбиофонического сигнала C_{n, m}(t) каждого амбиофонического канала C_{n, m}.

Математическое выражение 9

В уравнении (9) входной сигнал O_bj(t) аудиообъекта умножается на амбиофонический коэффициент усиления для положения объекта G’_{n, m} заданного амбиофонического канала C_{n, m}, тем самым получая выходной амбиофонический сигнал C_{n, m}(t) амбиофонического канала C_{n, m}.

Уравнение (9) вычисляется для каждого амбиофонического канала C_{n, m} так, что входной сигнал аудиообъекта O_bj(t) преобразуется в сигнал амбиофонической формы, содержащий выходные амбиофонические сигналы C_{n, m}(t) каждого амбиофонического канала C_{n, m}.

Полученные таким образом выходные амбиофонические сигналы C_{n, m}(t) воспроизводят звук, аналогичный звуку на основе входного сигнала аудиообъекта, воспроизводимого при выработке 19 расширенных аудиообъектов с использованием информации о расширении.

То есть выходной амбиофонический сигнал C_{n, m}(t) представляет собой сигнал амбиофонической формы для воспроизведения звука аудиообъекта с возможностью ориентации звукового образа в положении, указанном в информации о положении объекта, и выражения расширения звука, указанного в информации о расширении.

Входной сигнал O_bj(t) аудиообъекта преобразуется таким образом в выходной амбиофонический сигнал C_{n, m}(t), тем самым реализуя воспроизведение аудио с меньшим объемом обработки. То есть можно уменьшить вычислительные нагрузки в процессе представления.

Блок 23 применения амбиофонической матрицы подает таким образом полученный выходной амбиофонический сигнал C_{n, m}(t) каждого амбиофонического канала C_{n, m} в блок 24 суммирования.

Такой блок 23 применения амбиофонической матрицы функционирует как блок выработки амбиофонического сигнала для выработки выходного амбиофонического сигнала C_{n, m}(t) на основе входного сигнал O_bj(t) аудиообъекта и амбиофонического коэффициента G’_{n, m} усиления для положения объекта.

Блок 24 суммирования суммирует выходной амбиофонический сигнал C_{n, m}(t), поданный из блока 23 применения амбиофонической матрицы, и поданный входной амбиофонический сигнал в расчете на один амбиофонический канал C_{n, m} и подает результирующий амбиофонический сигнал C’_{n, m}(t) в блок 25 амбиофонического представления. То есть блок 24 суммирования микширует выходной амбиофонический сигнал C_{n, m}(t) и входной амбиофонический сигнал.

Блок 25 амбиофонического представления находит выходной аудиосигнал O_k(t), поданный в каждый выходной динамик, на основе амбиофонического сигнала C’_{n, m}(t) каждого амбиофонического канала C_{n, m}, поданного из блока 24 суммирования, и матрицу, называемую матрицей декодирования, которая соответствует 3D пространственным положениям выходных динамиков (не показаны).

Например, вектор-столбец (матрица), содержащий амбиофонические сигналы C’_{n, m}(t) соответствующих амбиофонических каналов C_{n, m}, обозначен вектором C, и вектор-столбец (матрица), содержащий выходные аудиосигналы O_k(t) соответствующих аудиоканалов k, соответствующих соответствующим выходным динамикам, обозначен вектором O. Кроме того, матрица декодирования обозначена как D.

В этом случае блок 25 амбиофонического представления вычисляет произведение матрицы D декодирования и вектора C для вычисления вектора O, как это указано, например, в приведенном ниже уравнении (10).

Математическое выражение 10

Кроме того, матрица D декодирования представляет собой матрицу с амбиофоническими каналами C_{n, m} в виде строк и аудиоканалами k в виде столбцов в уравнении (10).

Для способа создания матрицы D декодирования используются различные способы. Например, матрицу D декодирования можно найти непосредственно путем вычисления обратной матрицы по отношению к матрице, имеющей, в качестве своих элементов, сферические гармонические функции S_{n, m}(θ, φ), которые находятся путем подстановки угла θ возвышения и угла φ азимута, которые указывают 3D пространственное положение выходного динамика.

В дополнение к этому, метод расчета матрицы декодирования для повышения качества выходных аудиосигналов описан, например, в главе 12.4.3.3 "Международного стандарта ISO/IEC 23008-3, Первое издание 2015-10-15, Информационные технологии. Высокоэффективное кодирование и доставка мультимедиа в неоднородных средах. Часть 3. 3D аудио".

Блок 25 амбиофонического представления выводит таким образом полученный выходной аудиосигнал O_k(t) каждого аудиоканала k, например, в выходной динамик, соответствующий аудиоканалу k.

Описание процесса представления содержания

Далее следует описание работы устройства 11 обработки сигналов. То есть ниже, со ссылкой на блок-схему последовательности операций, показанную на фиг.8, будет описан процесс представления содержания, выполняемый устройством 11 обработки сигналов.

На этапе S11 блок 21 вычисления амбиофонического коэффициента усиления вычисляет амбиофонический коэффициент G_{n, m} усиления в переднем положении в расчете на один амбиофонический канал C_{n, m} на основе предоставленной информации о расширении и подает его в блок 22 амбиофонического поворота.

Например, блок 21 вычисления амбиофонического коэффициента усиления считывает, из сохраненной таблицы коэффициентов усиления, амбиофонический коэффициент G_{n, m} усиления в переднем положении, связанный с углом расширения, указанным в предоставленной информации о расширении, тем самым получая амбиофонический коэффициент G_{n, m} усиления в переднем положении амбиофонического канала C_{n, m}. В данном случае блок 21 вычисления амбиофонического коэффициента усиления выполняет при необходимости процесс интерполяции для нахождения амбиофонического коэффициента G_{n, m} усиления в переднем положении.

На этапе S12 блок 22 амбиофонического поворота выполняет процесс поворота в отношении амбиофонического коэффициента G_{n, m} усиления в переднем положении, поданного из блока 21 вычисления амбиофонического коэффициента усиления на основе предоставленной информации о положении объекта.

То есть блок 22 амбиофонического поворота вычисляет описанное выше уравнение (7), на основе матрицы M поворота, заданной с помощью информации о положении объекта, например, для вычисления амбиофонического коэффициента G’_{n, m} усиления для положения объекта каждого амбиофонического канала C_{n, m}.

Блок 22 амбиофонического поворота подает результирующий амбиофонический коэффициент G’_{n, m} усиления для положения объекта в блок 23 применения амбиофонической матрицы.

На этапе S13 блок 23 применения амбиофонической матрицы вырабатывает выходной амбиофонический сигнал C_{n, m}(t) на основе амбиофонического коэффициента G’_{n, m} усиления для положения объекта, поданного из блока 22 амбиофонического поворота, и поданного входного сигнала аудиообъекта.

Например, блок 23 применения амбиофонической матрицы вычисляет уравнение (9), описанное выше, тем самым вычисляя выходной амбиофонический сигнал C_{n, m}(t) в расчете на один амбиофонический канал C_{n, m}. Блок 23 применения амбиофонической матрицы подает результирующий выходной амбиофонический сигнал C_{n, m}(t) в блок 24 суммирования.

На этапе S14 блок 24 суммирования микширует выходной амбиофонический сигнал C_{n, m}(t), поданный из блока 23 применения амбиофонической матрицы, и поданный входной амбиофонический сигнал.

То есть блок 24 суммирования суммирует выходной амбиофонический сигнал C_{n, m}(t) и входной амбиофонический сигнал в расчете на один амбиофонический канал C_{n, m} и подает результирующий амбиофонический сигнал C’_{n, m}(t) в блок 25 амбиофонического представления.

На этапе S15 блок 25 амбиофонического представления вырабатывает выходной аудиосигнал O_k(t) каждого аудиоканала k на основе амбиофонического сигнала C’_{n, m}(t), поданного из блока 24 суммирования.

Например, блок 25 амбиофонического представления вычисляет уравнение (10), приведенное выше, тем самым получая выходной аудиосигнал O_k(t) каждого аудиоканала k.

После получения аудиосигнала выходного сигнала O_k(t) блок 25 амбиофонического представления выводит результирующий выходной аудиосигнал O_k(t) на следующий этап, и процесс представления содержания заканчивается.

Как описано выше, устройство 11 обработки сигналов вычисляет амбиофонический коэффициент усиления для положения объекта на основе информации о расширении и информации о положении объекта, и преобразует входной сигнал аудиообъекта в сигнал амбиофонической формы на основе амбиофонического коэффициента усиления для положения объекта. Входной аудиосигнал объекта преобразуется таким образом в сигнал амбиофонической формы, тем самым уменьшая вычислительные нагрузки для процесса представления.

Второй вариант осуществления

Амбиофонический коэффициент усиления

В данном случае, как предполагалось выше, расширение или форма аудиообъекта изменяется только с помощью одного угла расширения. Однако способ реализации овального расширения с помощью двух углов α_width и α_height расширения описан в MPEG-H, 3D аудио, фаза 2.

Например, описание MPEG-H, 3D аудио, фаза 2 подробно представлено в документе "Международный стандарт ISO/IEC 23008-3: 2015/FDAM3: 2016 г.: Информационные технологии - Высокоэффективное кодирование и доставка мультимедийных услуг в разнородных окружающих средах - Часть 3: 3D аудио, изменение 3: MPEG-H, 3D аудио, фаза 2).

Устройство 11 обработки сигналов может получить амбиофонический коэффициент усиления в переднем положении из информации о расширении также в случае, когда используются два таких угла расширения.

Ниже будет описан пример, в котором информация о расширении включает в себя угол α_width расширения в горизонтальном направлении, другими словами, в направлении угла азимута, и угол α_height расширения в вертикальном направлении, другими словами, в направлении угла возвышения.

На фиг.9 показана схема, иллюстрирующая примерный формат метаданных аудиообъекта в случае, когда информация о расширении включает в себя угол α_width расширения и угол α_height расширения. Кроме того, будет опущено описание частей, показанных на фиг.9 и соответствующих тем, которые показаны на фиг.1.

В примере, показанном на фиг.9, spread_width[i] и spread_height[i] сохраняются в информации о расширении вместо spread[i] в примере, показанном на фиг.1.

В этом примере параметр spread_width[i] обозначает угол α_width расширения i-го аудиообъекта, и параметр spread_height[i] обозначает угол α_height расширения i-го аудиообъекта.

В способе, основанном на MPEG-H, 3D аудио, фаза 2, отношение αr между двумя углами α_width и α_height расширения сначала находится в соответствии со следующим уравнением (11).

Математическое выражение 11

Затем базовый вектор v, указанный в уравнении (1), описанном выше, умножается на отношение αr углов расширения, тем самым корректируя базовый вектор v, как указано в приведенном ниже уравнении (12).

Математическое выражение 12

Кроме того, v’ в уравнении (12) означает скорректированный базовый вектор, умноженный на отношение αr углов расширения.

Кроме того, описанные выше уравнение (2) и уравнение (3), вычисляются в том виде, как они есть, и используется угол α’ в уравнении (4), в котором угол α_width расширения ограничен между 0,001 градуса и 90 градусами. Кроме того, для вычисления угол α_width расширения используется в качестве угла α в уравнении (5).

В способе, основанном на MPEG-H, 3D аудио, фаза 2, в ходе вышеупомянутых вычислений вырабатываются 19 расширенных аудиообъектов, и аудиообъект выражается в псевдо-размере.

Например, когда 19 расширенных аудиообъектов, полученных в случае, когда угол α_width расширения и угол α_height расширения равны 10 градусам и 60 градусам, соответственно, наносятся на трехмерную систему ортогональных координат, получается фиг.10. Кроме того, один кружок указывает один расширенный аудиообъект на фиг.10.

Аналогичным образом, когда 19 расширенных аудиообъектов, полученных в случае, когда, угол α_width расширения и угол α_height расширения равны 90 градусам и 30 градусам, соответственно, наносятся на трехмерную систему ортогональных координат, например, получается фиг.11. Кроме того, один кружок указывает один расширенный аудиообъект, показанный на фиг.11.

Кроме того, в случае, когда угол α_width расширения и угол α_height расширения включены в информацию о расширении, как в способе, основанном на MPEG-H, 3D аудио, фаза 2 и т.п., вырабатываются 19 расширенных аудиообъектов. Таким образом, вычислительные нагрузки в процессе представления остаются высокими.

Напротив, как и в случае, когда угол α_width расширения и угол α_height расширения включены в информацию о расширении, устройство 11 обработки сигналов может получить амбиофонический коэффициент G_{n, m} усиления в переднем положении, используя таблицу коэффициентов усиления аналогичным образом так же, как и в первом варианте осуществления, описанном выше.

То есть согласно первому варианту осуществления блок 21 вычисления амбиофонического коэффициента усиления сохраняет таблицу коэффициентов усиления, в котором один амбиофонический коэффициент G_{n, m} усиления в переднем положении связан с одним углом расширения, указанным в информации о расширении, например.

Напротив, в случае, когда угол α_width расширения и угол α_height расширения включены в информацию о расширении, таблица коэффициентов усиления, в которой один амбиофонический коэффициент G_{n, m} усиления в переднем положении связан с комбинацией угла α_width расширения и угла расширения, α_height, сохраняется в блоке 21 вычисления амбиофонического коэффициента усиления.

Например, зависимость угла α_width расширения и угла α_height расширения от амбиофонического коэффициента G_{0, 0} усиления в переднем положении амбиофонического канала C_{0, 0} равна 0, как показано на фиг.12.

Кроме того, на фиг.12 по оси j отложен угол α_width расширения, по оси k отложен угол α_height расширения, и по оси l отложен амбиофонический коэффициент G_{0, 0} усиления в переднем положении.

В этом примере криволинейная поверхность SF11 указывает амбиофонический коэффициент G_{0, 0} усиления в переднем положении, определенный для каждой комбинации угла α_width расширения и угла α_height расширения.

В частности, кривая, проходящая от точки, где угол α_width расширения и угол α_height расширения равны 0 градусам, соответственно, до точки, где угол α_width расширения и угол α_height расширения равны 90 градусами, соответственно, на криволинейной поверхности SF11 соответствует кривой L12, показанной на фиг.7.

Блок 21 вычисления амбиофонического коэффициента усиления сохраняет таблицу, полученную в виде зависимости, указанной на такой криволинейной поверхности SF11, в виде таблицы коэффициентов усиления амбиофонического канала C_{0, 0}.

Аналогичным образом, зависимость угла α_width расширения и угла α_height расширения от амбиофонического коэффициента G_{3, 1} усиления в переднем положении амбиофонического канала C_{3, 1} показана, например, на фиг.13.

Кроме того, на фиг.13 по оси j отложен угол α_width расширения, по оси k отложен угол α_height расширения, и по оси l отложен амбиофонический коэффициент G_{3, 1} усиления в переднем положении.

В этом примере криволинейная поверхность SF21 указывает амбиофонический коэффициент G_{3, 1} усиления в переднем положении, определенный для каждой комбинации угла α_width расширения и угла α_height расширения.

Блок 21 вычисления амбиофонического коэффициента усиления сохраняет таблицу коэффициентов усиления, в которой угол α_width расширения и угол α_height расширения связаны с амбиофоническим коэффициентом G_{n, m} усиления в переднем положении в расчете на один амбиофонический канал C_{n, m}.

Таким образом, также как и в случае, когда угол α_width расширения и угол α_height расширения включены в информацию о расширении, блок 21 вычисления амбиофонического коэффициента усиления вычисляет на этапе S11 (фиг.8) амбиофонический коэффициент G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m}, используя таблицу коэффициентов усиления. То есть блок 21 вычисления амбиофонического коэффициента усиления считывает амбиофонический коэффициент G_{n, m} усиления в переднем положении из таблицы коэффициентов усиления на основе угла α_width расширения и угла α_height расширения, включенных в предоставленную информацию о расширении, тем самым получая амбиофонический коэффициент G_{n, m} усиления в переднем положении каждого амбиофонического канала C_{n, m}. В дополнение к этому, при необходимости в этом случае также выполняется процесс интерполяции.

Таким образом, устройство 11 обработки сигналов может непосредственно получить амбиофонический коэффициент G_{n, m} усиления в переднем положении из таблицы коэффициентов усиления без выработки 19 расширенных аудиообъектов. Кроме того, входной сигнал аудиообъекта может быть преобразован в сигнал амбиофонической формы с использованием амбиофонического коэффициента G_{n, m} усиления в переднем положении. Тем самым можно уменьшить вычислительные нагрузки в процессе представления.

Как описано выше, настоящая технология применима также к овальному расширению, рассмотренному в MPEG-H, 3D аудио, фаза 2. Кроме того, настоящая технология применима также к расширению в сложной форме, такой как квадрат или звезда, не описанной в MPEG-H, 3D аудио, фаза 2.

Способ преобразования входного сигнала аудиообъекта в сигнал амбиофонической формы без выработки 19 расширенных аудиообъектов в соответствии со стандартом, описанным в MPEG-H, часть 3: 3D аудио или MPEG-H, 3D аудио, фаза 2, был описан в соответствии с первым вариантом осуществления и вторым вариантом осуществления. Однако, если не нужно рассматривать соответствие стандартам, обработку в способе можно выполнить в соответствии с настоящей технологией, описанной выше, исходя из предположения, что более 19 объектов распределены схожим образом внутри аудиообъекта с расширением. Кроме того в таком случае, можно получить более высокий эффект уменьшения вычислительных затрат в соответствии с настоящей технологией.

Приложение 1 настоящей технологии

Конкретные применения настоящей технологии, описанные выше, будут описаны ниже.

Описание приводится сначала исходя из предположения, что настоящая технология применяется в декодере аудиокодека.

Например, типичный декодер имеет конфигурацию, показанную на фиг.14.

Декодер 51, показанный на фиг.14, включает в себя основной декодер 61, блок 62 представления объекта, блок 63 амбиофонического представления и микшер 64.

Когда в декодер 51 подается входной битовый поток, процесс декодирования выполняется над входным битовым потоком в основном декодере 61, и, таким образом, получаются канальный сигнал, сигнал аудиообъекта, метаданные аудиообъекта и амбиофонический сигнал.

В данном случае канальный сигнал представляет собой аудиосигнал каждого аудиоканала. Кроме того, метаданные аудиообъекта включают в себя информацию о положении объекта и информацию о расширении.

Затем в блоке 62 представления объекта выполняется процесс представления на основе 3D пространственного положения выходного динамика (не показан).

Метаданные, введенные в блок 62 представления объекта, включают в себя информацию о расширении в дополнение к информации о положении объекта, указывающей 3D пространственное положение аудиообъекта.

Например, в случае, когда угол расширения, указанный в информации о расширении не равен 0 градусам, вырабатываются виртуальные объекты, которые зависят от угла расширения, или 19 расширенных аудиообъектов. Затем процесс представления выполняется над 19 расширенными аудиообъектами, и результирующие аудиосигналы соответствующих аудиоканалов подаются в микшер 64 в виде выходных сигналов объекта.

Кроме того, в блоке 63 амбиофонического представления вырабатывается матрица декодирования на основе 3D пространственного положения выходных динамиков и количества амбиофонических каналов. Блок 63 амбиофонического представления затем производит вычисление, аналогичное уравнению (10), описанному выше, на основе матрицы декодирования и амбиофонического сигнала, поданного из основного декодера 61, и подает результирующий амбиофонический выходной сигнал в микшер 64.

Микшер 64 выполняет процесс микширования канального сигнала из основного декодера 61, выходного сигнала объекта из блока 62 представления объекта и амбиофонического выходного сигнала из блока 63 амбиофонического представления для того, чтобы выработать окончательный выходной аудиосигнал. То есть канальный сигнал, выходной сигнал объекта и амбиофонический выходной сигнал добавляются в расчете на один аудиоканал, чтобы представлять собой выходной аудиосигнал.

В таком декодере 51 увеличивается объем обработки процесса представления, выполняемого, в частности, в блоке 62 представления объекта.

Напротив, в случае, когда настоящая технология применяется в декодере, декодер имеет конфигурацию, показанную, например, на фиг.15.

Декодер 91, показанный на фиг.15, включает в себя основной декодер 101, блок 102 преобразования объектного/амбиофонического сигнала, блок 103 суммирования, блок 104 амбиофонического представления и микшер 105.

В декодере 91 процесс декодирования выполняется над входным битовым потоком в основном декодере 101 для того, чтобы получить канальный сигнал, сигнал аудиообъекта, метаданные аудиообъекта и амбиофонический сигнал.

Основной декодер 101 подает канальный сигнал, полученный в процессе декодирования, в микшер 105, подает сигнал аудиообъекта и метаданные в блок 102 преобразования объектного/амбиофонического сигнала и подает амбиофонический сигнал в блок 103 суммирования.

Блок 102 преобразования объектного/амбиофонического сигнала включает в себя блок 21 вычисления амбиофонического коэффициента усиления, блок 22 амбиофонического поворота и блок 23 применения амбиофонической матрицы, которые показаны на фиг.6.

Блок 102 преобразования объектного/амбиофонического сигнала вычисляет амбиофонический коэффициент усиления для положения объекта каждого амбиофонического канала на основе информации о положении объекта и информации о расширении, включенной в метаданные, поданные из основного декодера 101.

Кроме того, блок 102 преобразования объектного/амбиофонического сигнала находит амбиофонический сигнал каждого амбиофонического канала и подает его в блок 103 суммирования на основе вычисленного амбиофонического коэффициента усиления для положения объекта и поданного сигнала аудиообъекта.

То есть блок 102 преобразования объектного/амбиофонического сигнала преобразует сигнал аудиообъекта в амбиофонический сигнал амбиофонической формы на основе метаданных.

Как описано выше, сигнал аудиообъекта может быть непосредственно преобразован в амбиофонический сигнал во время преобразования из сигнала аудиообъекта в амбиофонический сигнал без выработки 19 расширенных аудиообъектов. Таким образом, можно еще больше уменьшить объем вычислений по сравнению со случаем, когда процесс представления выполняется в блоке 62 представления объекта, показанном на фиг.14.

Блок 103 суммирования микширует амбиофонический сигнал, поданный из блока 102 преобразования объектного/амбиофонического сигнала, и амбиофонический сигнал, поданный из основного декодера 101. То есть блок 103 суммирования суммирует амбиофонический сигнал, поданный из блока 102 преобразования объектного/амбиофонического сигнала, и амбиофонический сигнал, поданный из основного декодера 101, в расчете на один амбиофонический канал и подает результирующий амбиофонический сигнал в блок 104 амбиофонического представления.

Блок 104 амбиофонического представления вырабатывает амбиофонический выходной сигнал на основе амбиофонического сигнала, поданного из блока 103 суммирования, и матрицу декодирования на основе 3D пространственного положения выходных динамиков и количества амбиофонических каналов. То есть блок 104 амбиофонического представления производит вычисление, аналогичное уравнению (10), описанному выше, для выработки амбиофонического выходного сигнала каждого аудиоканала и подачи его в микшер 105.

Микшер 105 микширует канальный сигнал, поданный из основного декодера 101, и амбиофонический выходной сигнал, поданный из блока 104 амбиофонического представления, и выводит результирующий выходной аудиосигнал на следующий этап. То есть канальный сигнал и амбиофонический выходной сигнал суммируются в расчете на один аудиоканал, чтобы представлять собой выходной аудиосигнал.

Если настоящая технология применима к декодеру таким способом, то можно значительно уменьшить объем вычислений во время представления.

Приложение 2 настоящей технологии

Кроме того, не ограничиваясь декодером, настоящая технология применима также к кодеру для выполнения процесса предварительного представления.

Например, необходимо уменьшить битовую скорость выходного битового потока, выходящего из кодера, или количество каналов обработки аудиосигналов в декодере.

В данном случае предполагается, что входной канальный сигнал, входной сигнал аудиообъекта и входной амбиофонический сигнал, которые находятся во взаимно различных формах, вводятся в кодер.

В то же время процесс преобразования выполняется над входным канальным сигналом и входным сигналом аудиообъекта, и все сигналы приобретают амбиофоническую форму с целью выполнения процесса кодирования в основном кодере, тем самым уменьшая количество обрабатываемых каналов и скорость передачи битов выходного битового потока. Таким образом, можно также уменьшить объем обработки в декодере.

Этот процесс называется обычно процессом предварительного представления. В случае, когда информация расширения включена в метаданные аудиообъекта, как описано выше, 19 расширенных аудиообъектов вырабатываются в зависимости от угла расширения. Затем выполняется процесс преобразования 19 расширенных аудиообъектов в сигналы амбиофонической формы, и, таким образом, увеличивается объем обработки.

Таким образом, входной аудиосигнал объекта преобразуется в сигнал амбиофонической формы с использованием настоящей технологии, тем самым уменьшая объем обработки или объем вычислений в кодере.

В случае, когда все сигналы принимают таким образом амбиофоническую форму, кодер согласно настоящей технологии имеет конфигурацию, показанную, например, на фиг.16.

Кодер 131, показанный на фиг.16, включает в себя блок 141 преобразования канального/амбиофонического сигнала, блок 142 преобразования объектного/амбиофонического сигнала, микшер 143 и основной кодер 144.

Блок 141 преобразования канального/амбиофонического сигнала преобразует поданный входной канальный сигнал каждого аудиоканала в амбиофонический выходной сигнал и затем подает его в микшер 143.

Например, в блок 141 преобразования канального/амбиофонического сигнала подаются компоненты, аналогичные компонентам блока 21 вычисления амбиофонического коэффициента усиления, в блок 23 применения амбиофонической матрицы, показанный на фиг.6. Блок 141 преобразования канального/амбиофонического сигнала выполняет процесс, аналогичный процессу, который выполняется в устройстве 11 обработки сигналов, тем самым преобразуя входной канальный сигнал в амбиофонический выходной сигнал амбиофонической формы.

Кроме того, блок 142 преобразования объектного/амбиофонического сигнала включает в себя блок 21 вычисления амбиофонического коэффициента усиления, блок 22 амбиофонического поворота и блок 23 применения амбиофонической матрицы, которые показаны на фиг.6.

Блок 142 преобразования объектного/амбиофонического сигнала находит амбиофонический выходной сигнал каждого амбиофонического канала на основе предоставленных метаданных аудиообъекта и входного сигнала аудиообъекта, и подает его в микшер 143.

То есть блок 142 преобразования объектного/амбиофонического сигнала преобразует входной сигнал аудиообъекта в амбиофонический выходной сигнал амбиофонической формы на основе метаданных.

Как описано выше, когда входной сигнал аудиообъекта преобразуется в амбиофонический выходной сигнал, входной сигнал аудиообъекта может быть непосредственно преобразован в амбиофонический выходной сигнал без выработки 19 расширенных аудиообъектов. Таким образом, можно значительно уменьшить объем вычислений.

Микшер 143 микширует поданный входной амбиофонический сигнал, амбиофонический выходной сигнал, поданный из блока 141 преобразования канального/амбиофонического сигнала, и амбиофонический выходной сигнал, поданный из блока 142 преобразования объектного/амбиофонического сигнала.

То есть сигналы одного и того же амбиофонического канала, включающего в себя входной амбиофонический сигнал и амбиофонический выходной сигнал, суммируются при смешивании. Микшер 143 подает амбиофонический сигнал, полученный в результате смешивания, в основной кодер 144.

Основной кодер 144 кодирует амбиофонический сигнал, поданный из микшера 143, и выводит результирующий выходной битовый поток.

Входной сигнальный канал или входной сигнал аудиообъекта преобразуется в сигнал амбиофонической формы с использованием настоящей технологии как в случае, когда в кодере 131 выполняется таким образом процесс предварительного представления, тем самым уменьшая объем вычислений.

Как описано выше, согласно настоящей технологии амбиофонический коэффициент усиления можно непосредственно получить и преобразовать в амбиофонический сигнал без выработки расширенного аудиообъекта в зависимости от информации о расширении, включенной в метаданные аудиообъекта, тем самым значительно уменьшая объем вычислений. В частности, настоящая технология имеет большое преимущество при декодировании битового потока, включающего в себя сигнал аудиообъекта и амбиофонический сигнал, или при преобразовании сигнала аудиообъекта в амбиофонический сигнал во время процесса предварительного представления в кодере.

Примерная конфигурация компьютера

В данном случае последовательность фрагментов обработки, описанных выше, может быть выполнена в виде аппаратных средств или программного обеспечения. В случае, когда фрагменты обработки выполняются в программном обеспечении, программа, конфигурирующая программное обеспечение, устанавливается на компьютере. Например, в данном случае компьютер включает в себя компьютер, включенный в состав специализированных аппаратных средств, персонального компьютера общего назначения, способного выполнять различные функции путем установки в него различных программ, и т.п.

На фиг.17 показана блок-схема, иллюстрирующая примерную конфигурацию аппаратных средств компьютера, выполняющего вышеописанные фрагменты обработки с помощью программ.

Центральное процессорное устройство (ЦПУ) 501, постоянное запоминающее устройство (ПЗУ) 502 и оперативное запоминающее устройство (ОЗУ) 503 соединены между собой через шину 504 компьютера.

Шина 504 дополнительно соединена с интерфейсом 505 ввода/вывода. Интерфейс 505 ввода/вывода соединен с блоком 506 ввода, блоком 507 вывода, блоком 508 записи, блоком 509 связи и накопителем 510.

Блок 506 ввода включает в себя клавиатуру, мышь, микрофон, устройство формирования изображения и т.п. Блок 507 вывода включает в себя дисплей, динамик и т.п. Блок 508 записи включает в себя жесткий диск, энергонезависимую память и т.п. Блок 509 связи включает в себя сетевой интерфейс и т.п. Накопитель 510 приводит в действие съемный носитель 511 информации, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память.

Например, в сконфигурированном таким образом компьютере программы, записанные в блоке 508 записи, загружаются через интерфейс 505 ввода/вывода и шину 504 и исполняются в ОЗУ 503, так что ЦПУ 501 выполняет обработку, описанную выше.

Программы, исполняемые компьютером (ЦПУ 501), могут быть записаны и предоставлены, например, на съемном носителе 511 информации в виде упакованного носителя. Кроме того, программы могут быть переданы через проводную или беспроводную среду передачи, такую как локальная сеть, Интернет или цифровое спутниковое вещание.

Съемный носитель 511 информации устанавливается в накопителе 510 компьютера с тем, чтобы программы можно было установить в блоке 508 записи через интерфейс 505 ввода/вывода. Кроме того, программы можно принимать в блоке 509 связи и устанавливать в блоке 508 записи через проводную или беспроводную среду передачи. Кроме того, программы могут быть предварительно установлены в ПЗУ 502 или блоке 508 записи.

В дополнение к этому, программы, выполняемые компьютером, могут быть программами, с помощью которых фрагменты обработки выполняются во временной последовательности в порядке, описанном в настоящем описании, или могут быть программами, с помощью которых фрагменты обработки выполняются параллельно или с необходимыми временными интервалами, например, по вызову.

Кроме того, варианты осуществления настоящей технологии не ограничены вышеописанными вариантами осуществления, и различные модификации могут быть выполнены без отклонения от сущности настоящей технологии.

Например, настоящая технология может принимать конфигурацию облачных вычислений, в которой функция распределена и совместно обрабатывается в многочисленных устройствах посредством сети.

Кроме того, каждый этап, описанный в приведенной выше блок-схеме последовательности операций, может быть выполнен в одном устройстве и, в дополнение к этому, может быть распределен и выполнен в многочисленных устройствах.

Кроме того, в случае, когда один этап включает в себя многочисленные фрагменты обработки, многочисленные фрагменты обработки, включенные в один этап, могут быть выполнены в одном устройстве или могут быть распределены и выполнены в многочисленных устройствах.

Кроме того, настоящая технология может принимать следующие конфигурации.

(1) Устройство обработки сигналов, включающее в себя:

блок вычисления амбиофонического коэффициента усиления, выполненный с возможностью нахождения, на основе информации о положении объекта и информации о расширении объекта, амбиофонического коэффициента усиления в случае, когда объект находится в положении, указанном в информации о положении объекта.

(2) Устройство обработки сигналов по п.(1), дополнительно включающее в себя:

блок выработки амбиофонического сигнала, выполненный с возможностью выработки амбиофонического сигнала объекта на основе сигнала аудиообъекта объекта и амбиофонического коэффициента усиления.

(3) Устройство обработки сигналов по п.(1) или (2),

в котором блок вычисления амбиофонического коэффициента усиления

находит амбиофонический коэффициент усиления исходного положения, на основе информации о расширении, предполагая, что объект находится в исходном положении, и

выполняет процесс поворота в отношении амбиофонического коэффициента усиления в исходном положении для нахождения амбиофонического коэффициента усиления на основе информации о положении объекта.

(4) Устройство обработки сигналов по п.(3),

в котором блок вычисления амбиофонического коэффициента усиления находит амбиофонический коэффициент усиления исходного положения на основе информации о расширении и таблицы коэффициентов усиления.

(5) Устройство обработки сигналов по п.(4),

в котором, в таблице коэффициентов усиления, угол расширения связан с амбиофоническим коэффициентом усиления в исходном положении.

(6) Устройство обработки сигналов по п.(5),

в котором блок вычисления амбиофонического коэффициента усиления выполняет процесс интерполяции на основе каждого амбиофонического коэффициента усиления в исходном положении, связанного с каждым из множества углов расширения в таблице коэффициентов усиления, для нахождения амбиофонического коэффициента усиления в исходном положении, соответствующего углу расширения, указанному в информации о расширении.

(7) Устройство обработки сигналов по любому из пп.(3)-(6),

в котором амбиофонический коэффициент усиления в исходном положении представляет собой сумму соответствующих значений, полученных путем подстановки соответствующих углов, указывающих множество соответствующих пространственных положений, определенных для углов расширения, указанных в информации о расширении, в сферическую гармоническую функцию.

(8) Способ обработки сигналов, включающий в себя:

нахождение, на основе информации о положении объекта и информации о расширении объекта, амбиофонического коэффициента усиления в случае, когда объект находится в положении, указанном в информации о положении объекта.

(9) Программа, предписывающая компьютеру выполнять процесс, включающий в себя:

нахождение, на основе информации о положении объекта и информации о расширении объекта, амбиофонического коэффициента усиления в случае, когда объект находится в положении, указанном в информации о положении объекта.

Перечень ссылочных позиций

11 - устройство обработки сигналов

21 - блок вычисления амбиофонического коэффициента усиления

22 - блок амбиофонического поворота

23 - блок применения амбиофонической матрицы

25 - блок амбиофонического представления

1. Устройство обработки сигналов, содержащее:

схему обработки, выполненную с возможностью:

вычисления, на основе информации об угле расширения объекта, амбиофонического коэффициента усиления в случае, когда объект находится в заданном положении; и

вывода аудиосигнала, по меньшей мере частично, на основе вычисленного амбиофонического коэффициента усиления и входного аудиосигнала, при этом информация об угле расширения указывает размер объекта.

2. Устройство обработки сигналов по п.1,

в котором схема обработки выполнена с возможностью:

вычисления амбиофонического коэффициента усиления исходного положения, на основе информации об угле расширении, предполагая, что объект находится в исходном положении; и

выполнения процесса поворота в отношении амбиофонического коэффициента усиления в исходном положении для нахождения амбиофонического коэффициента усиления на основе информации о положении объекта, указывающей заданное положение.

3. Устройство обработки сигналов по п.2,

в котором схема обработки выполнена с возможностью вычисления амбиофонического коэффициента усиления исходного положения на основе информации об угле расширения и таблицы коэффициентов усиления.

4. Устройство обработки сигналов по п.3,

в котором, в таблице коэффициентов усиления, угол расширения связан с амбиофоническим коэффициентом усиления в исходном положении.

5. Устройство обработки сигналов по п.4,

в котором схема обработки выполнена с возможностью выполнения процесса интерполяции на основе каждого амбиофонического коэффициента усиления в исходном положении, связанного с каждым из множества углов расширения в таблице коэффициентов усиления, для нахождения амбиофонического коэффициента усиления в исходном положении, соответствующего углу расширения, указанному в информации об угле расширения.

6. Устройство обработки сигналов по п.2,

в котором амбиофонический коэффициент усиления в исходном положении представляет собой сумму соответствующих значений, полученных путем подстановки соответствующих углов, указывающих множество соответствующих пространственных положений, определенных для углов расширения, указанных в информации об угле расширения, в сферическую гармоническую функцию.

7. Способ обработки сигналов, выполняемый процессором и содержащий:

вычисление, на основе информации об угле расширения объекта, амбиофонического коэффициента усиления в случае, когда объект находится в заданном положении; и

вывод аудиосигнала, по меньшей мере частично, на основе вычисленного амбиофонического коэффициента усиления и входного аудиосигнала, при этом информация об угле расширения указывает размер объекта.

8. Постоянный, считываемый компьютером носитель информации, содержащий инструкции, при выполнении которых процессором осуществляется способ обработки сигналов, содержащий:

вычисление, на основе информации об угле расширения объекта, амбиофонического коэффициента усиления в случае, когда объект находится в заданном положении; и

вывод аудиосигнала, по меньшей мере частично, на основе вычисленного амбиофонического коэффициента усиления и входного аудиосигнала, при этом информация об угле расширения указывает размер объекта.