Устройство и способ для пространственно избирательного получения звука с помощью акустической триангуляции
Владельцы патента RU 2559520:
ФРАУНХОФЕР-ГЕЗЕЛЛЬШАФТ ЦУР ФЕРДЕРУНГ ДЕР АНГЕВАНДТЕН ФОРШУНГ Е.Ф. (DE)
ФРИДРИХ-АЛЕКСАНДЕР-УНИВЕРЗИТЕТ ЭРЛАНГЕН-НЮРНБЕРГ (DE)
Изобретение относится к акустике. Устройство для захвата звуковой информации из целевого местоположения содержит первый и второй формирователи луча, генератор сигнала. Причем первый и второй формирователи луча выполнены с возможностью записи звукового сигнала. Первый формирователь луча и второй формирователь луча расположены таким образом, что первая виртуальная прямая линия, которую определяют так, что она проходит через первый формирователь луча и целевое местоположение, и вторая виртуальная прямая линия не параллельны по отношению друг к другу. Причем генератор сигнала выполнен с возможностью генерации сигнала, основываясь на звуковом сигнале первого и второго формирователя луча, так, чтобы звуковой выходной сигнал содержал относительно больше звуковой информации из целевого местоположения по сравнению со звуковой информацией из целевого местоположения в звуковом сигнале первого и второго формирователей луча, Причем генератор сигнала содержит блок вычисления пересечения для генерации звукового выходного сигнала в спектральной области, основываясь на звуковых сигналах первого и второго формирователей луча, и причем блок вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области с помощью вычисления взаимной спектральной плотности звуковых сигналов. Технический результат - обеспечение улучшенного захвата звуковой информации. 3 н. и 10 з.п. ф-лы, 10 ил.
Изобретение относится к обработке звука, в частности к устройству для захвата звуковой информации из целевого местоположения. Кроме того, заявка относится к пространственно избирательному получению звука с помощью акустической триангуляции.
Получение пространственного звука имеет своей целью зафиксировать все звуковое поле, которое присутствует в комнате для записи или только определенных необходимых компонентов звукового поля, которые представляют интерес для рассматриваемого применения. В качестве примера, в ситуации, когда в комнате разговаривают несколько человек, может представлять интерес или зафиксировать все звуковое поле (что включает в себя его пространственные характеристики), или только сигнал, который создает определенный говорящий. Последнее предоставляет возможность изоляции звука и применения к нему определенной обработки, такой как усиление, фильтрация и т.д.
Существует множество известных способов для пространственно избирательного захвата определенных звуковых компонентов. Эти способы часто используют микрофоны с высокой направленностью или системы микрофонов. Большинство способов имеет общим то, что микрофон или система микрофонов расположены в фиксированной известной конфигурации. Расстояние между микрофонами делают как можно меньше для методик совпадающих микрофонов, тогда как он обычно равен нескольким сантиметрам для других способов. В последующем ссылаются на любое устройство для избирательного по направлению получения пространственного звука (например, направленные микрофоны, системы микрофонов и т.д.) как на формирователь луча.
Традиционно, избирательность по направлению (пространственная избирательность) при захвате звука, то есть пространственно избирательное получение звука, может быть достигнута несколькими способами.
Одним из возможных способов является использование направленных микрофонов (например, кардиоидных, суперкардиоидных или остронаправленных микрофонов). В этом отношении все микрофоны фиксируют звук по-разному в зависимости от направления прибытия (DOA) относительно микрофона. В некоторых микрофонах этот эффект незначителен, поскольку они фиксируют звук почти независимо от направления. Эти микрофоны называют всенаправленными микрофонами. Обычно в таких микрофонах круговая диафрагма присоединена к маленькому воздухонепроницаемому корпусу, см., например,
[Ea01] Eargle J. "The Microphone Book" Focal press 2001.
Если диафрагма не присоединена к корпусу и звук достигает ее одинаково с каждой стороны, то диаграмма направленности имеет два лепестка равной величины. Звук фиксируют с одинаковым уровнем от обеих передней и задней частей диафрагмы, однако, с обратными полярностями. Этот микрофон не фиксирует звук, исходящий из направлений, параллельных плоскости диафрагмы. Эту диаграмму направленности называют диполем или «фигурой восьмерки». Если корпус всенаправленного микрофона не является воздухонепроницаемым, но сделана специальная конструкция, которая предоставляет возможность звуковым волнам распространяться через корпус и достигать диафрагмы, то диаграмма направленности приблизительно находится между всенаправленной диаграммой направленности и диполем (см. [Ea01]). Диаграммы могут иметь два лепестка; однако, лепестки могут иметь различную величину. Диаграммы могут также иметь один лепесток; самый важный пример - кардиоидная диаграмма направленности, где функция D направленности может быть выражена как D=0,5(1+cos(θ)), где θ - направление прибытия звука (см. [Ea01]). Эта функция определяет относительную величину уровня зафиксированной звуковой плоской волны под углом θ относительно угла с самой высокой чувствительностью. Всенаправленные микрофоны называют микрофонами нулевого порядка, и другие упомянутые ранее диаграммы, такие как дипольная и кардиоидная диаграммы направленности, известны как диаграммы первого уровня. Эти виды микрофонов не предоставляют возможности произвольного формирования диаграммы, так как их диаграмма направленности почти полностью определяется их механической конструкцией.
Также существуют некоторые специальные акустические структуры, которые могут использоваться для создания для микрофонов более узких диаграмм направленности, чем диаграммы направленности первого уровня. Например, если трубу, в которой имеются отверстия, присоединяют к всенаправленному микрофону, то может быть создан микрофон с очень узкой диаграммой направленности. Такие микрофоны называют узконаправленными или линейными микрофонами (см. [Ea01]). У них обычно нет плоских частотных характеристик, и их направленностью нельзя управлять после записи.
Другой способ создания микрофона с направленными характеристиками состоит в записи звука с помощью массива всенаправленных или направленных микрофонов и затем - в применении обработки сигналов, см., например,
[BW01] M. Brandstein, D. Ward: "Microphone Arrays - Signal Processing Techniques and Applications", Springer Berlin, 2001, ISBN: 978-3-540-41953-2.
Для этого существует ряд способов. В самой простой форме, когда звук записывают с помощью двух всенаправленных микрофонов, расположенных близко друг к другу, и вычитают друг из друга, формируют виртуальный сигнал микрофона с дипольной характеристикой. См., например,
[Elk00] G. W. Elko: "Superdirectional microphone arrays" in S. G. Gay, J. Benesty (eds.): "Acoustic Signal Processing for Telecommunication", Chapter 10, Kluwer Academic Press, 2000, ISBN: 978-0792378143.
Сигналы микрофона можно также задерживать или фильтровать перед сложением друг с другом. При формировании луча сигнал, соответствующий узкому лучу, формируют с помощью фильтрации сигнала каждого микрофона с помощью специально разработанного фильтра и затем сложения их вместе. Это «формирование луча с помощью фильтрации и сложения» объясняют в
[BS01]: J. Bitzer, K. U. Simmer: "Superdircctive microphone arrays" in M. Brandstein, D. Ward (eds.): "Microphone Arrays - Signal Processing Techniques and Applications", Chapter 2, Springer Berlin, 2001, ISBN: 978-3-540-41953-2.
Эти методики не имеют информации о самом сигнале, например, они не знают о направлении прибытия звука. Вместо этого оценка «направления прибытия» (DOA) является их собственной задачей, см., например,
[CBH06] J. Chen, J. Benesty, Y. Huang: "Time Delay Estimation in Room Acoustic Environments: An Overview", EUR AS IP Journal on Applied Signal Processing, Article ID 26503, Volume 2006 (2006).
В принципе, с помощью этих методик могут быть сформированы много различных характеристик направленности. Для формирования произвольных пространственно очень избирательных диаграмм чувствительности, однако, требуется большое количество микрофонов. В общем случае все эти методики зависят от расстояния между смежными микрофонами, которое является маленьким по сравнению с длиной волны, представляющей интерес.
Другим способом реализации избирательности по направлению при захвате звука является параметрическая пространственная фильтрация. Стандартные конструкции формирователя луча, которые могут, например, быть основаны на ограниченном количестве микрофонов и которые обладают постоянными по времени фильтрами в их структуре «фильтрации и сложения» (см. [BS01]), обычно имеют только ограниченную пространственную избирательность. Для увеличения пространственной избирательности недавно были предложены методики параметрической пространственной фильтрации, которые применяют (непостоянные во времени) функции усиления спектра к входному спектру сигнала. Разработаны функции усиления, основанные на параметрах, которые соотносятся с человеческим восприятием пространственного звука. Один из подходов пространственный фильтрации представлен в
[DiFi2009] M. Kallinger, G. Del Galdo, F. Kiich, D. Mahne, and R. Schultz-Amling, "Spatial Filtering using Directional Audio Coding Parameters," in Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), Apr. 2009,
и воплощен в области параметров направленного звукового кодирования (DirAC), эффективной методики пространственного кодирования. Направленное звуковое кодирование описано в
[Pul06| Pulkki, V., "Directional audio coding in spatial sound reproduction and stereo upmixing," in Proceedings of The AES 28th International Conference, pp. 251-258, Pitea, Sweden, June 30 - July 2, 2006.
В DirAC звуковое поле анализируют в одном местоположении, в котором измеряют вектор текущей интенсивности, а так же звуковое давление. Эти физические величины используются для извлечения трех параметров DirAC: звукового давления, направления прибытия (DOA) и смазанности звука. DirAC использует предположение, что человеческая слуховая система может обрабатывать только одно направление в элементе времени и частоты. Это предположение также используется другими методиками пространственного звукового кодирования, например, в стандарте MPEG Surround, см., например:
[Vil06] L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, and K. Kjorling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in AES 28th International Conference, Pitea, Sweden, June 2006.
Подход пространственной фильтрации, который описан в [DiFi2009], предоставляет возможность почти свободного выбора пространственной избирательности.
Дополнительная методика использует сопоставимые пространственные параметры. Эту методику объясняют в
[Fal08] C. Fallen "Obtaining a Highly Directive Center Channel from Coincident Stereo Microphone Signals", Proc. 124th AES convention, Amsterdam, The Netherlands, 2008, Preprint 7380.
В отличие от методики, описанной в [DiFi2009], в которой функцию усиления спектра применяют к сигналу всенаправленного микрофона, подход в [Fal08] использует два кардиоидных микрофона.
Две упомянутых методики параметрической пространственной фильтрации зависят от промежутков между микрофонами, которые являются маленькими по сравнению с длиной волны, представляющей интерес. В идеале, методики, описанные в [DiFi2009] и [Fal08], основаны на одинаково направленных микрофонах.
Другим способом реализации избирательности по направлению при захвате звука является фильтрация сигналов микрофона, основанная на когерентности между сигналами микрофона. В
[SBM01] K. U. Simmer, J. Bitzer, and C. Marro: "Post-Filtering Techniques" in M. Brandstein, D. Ward (eds.): "Microphone Arrays - Signal Processing Techniques and Applications", Chapter 3, Springer Berlin, 2001, ISBN: 978-3-540-41953-2, описано семейство систем, которые используют по меньшей мере два (не обязательно направленных) микрофона, и обработка их выходного сигнала основана на когерентности сигналов. Основное предположение - то, что рассеянный фоновый шум появляется как некогерентные части в сигналах двух микрофонов, тогда как сигнал источника появляется когерентно в этих сигналах. Основываясь на этой предпосылке, когерентная часть извлекается как сигнал источника. Методики, упомянутые в [SBM01], были разработаны вследствие того, что формирователи луча «фильтрации и сложения» с ограниченным количеством микрофонов почти не способны уменьшать сигналы рассеянного шума. Никаких предположений о расположении микрофонов не делают; даже не требуется знать расстояние между микрофонами.
Главное ограничение традиционных подходов для пространственно избирательного получения звука - то, что записанный звук всегда соотносится с местоположением формирователя луча. Во многих применениях, однако, невозможно (или невыполнимо) поместить формирователь луча в необходимую позицию, например, под необходимым углом относительно представляющего интерес источника звука.
Традиционные формирователи луча, могут, например, использовать системы микрофонов и могут формировать диаграмму направленности («луч») для захвата звука из одного направления - и отклонения звука из других направлений. Следовательно, нет никакой возможности ограничить область захвата звука относительно ее расстояния от системы микрофонов захвата.
Было бы крайне целесообразно иметь устройство захвата, которое может избирательно фиксировать звук, не только исходящий из одного направления, но и строго ограниченный тем, что он исходит из одного места (точки), аналогично способу, как функционировал бы близкорасположенный точечный микрофон в необходимом месте.
Задачей настоящего изобретения является обеспечение улучшенных концепций для захвата звуковой информации из целевого местоположения. Задача настоящего изобретения решена с помощью устройства для захвата звуковой информации, способа для захвата звуковой информации и компьютерной программы.
Обеспечено устройство для захвата звуковой информации из целевого местоположения. Устройство содержит первый формирователь луча, расположенный в среде записи и имеющий первую характеристику записи, второй формирователь луча, расположенный в среде записи и имеющий вторую характеристику записи, и генератор сигнала. Первый формирователь луча выполнен с возможностью записи звукового сигнала первого формирователя луча, и второй формирователь луча выполнен с возможностью записи звукового сигнала второго формирователя луча, когда первый формирователь луча и второй формирователь луча направлены на целевое местоположение по отношению к первой и второй характеристикам записи. Первый формирователь луча и второй формирователь луча расположены таким образом, что первая виртуальная прямая линия, которую определяют так, что она проходит через первый формирователь луча и целевое местоположение, и вторая виртуальная прямая линия, которую определяют так, что она проходит через второй формирователь луча и целевое местоположение, не параллельны по отношению друг к другу. Генератор сигнала выполнен с возможностью генерации звукового выходного сигнала, основываясь на звуковом сигнале первого формирователя луча и на звуковом сигнале второго формирователя луча так, чтобы звуковой выходной сигнал отражал относительно больше звуковой информации из целевого местоположения по сравнению со звуковой информацией из целевого местоположения в звуковом сигнале первого и второго формирователей луча. Что касается трехмерной среды, предпочтительно, первая виртуальная прямая линия и вторая виртуальная прямая линия пересекаются и определяют плоскость, которая может быть произвольно ориентирована.
С помощью этого обеспечено средство для захвата звука пространственно избирательным способом, то есть для улавливания звука, исходящего из определенного целевого местоположения так же, как если бы близкорасположенный «точечный микрофон» был установлен в данном местоположении. Однако, вместо того, чтобы действительно устанавливать этот точечный микрофон, его выходной сигнал можно моделировать при использовании двух формирователей луча, размещенных в различных отдаленных позициях.
Эти два формирователя луча расположены не близко друг к другу, но они расположены таким образом, что каждый из них выполняет независимое направленное получение звука. Их «лучи» пересекаются в необходимой точке и их отдельные выходные сигналы впоследствии объединяют для формирования конечного выходного сигнала. В отличие от других возможных подходов, объединение двух отдельных выходных сигналов не требует информации или знания о расположении этих двух формирователей луча в обычной системе координат. Таким образом, вся установка для получения виртуального точечного микрофона содержит два формирователя луча, которые работают независимо, плюс процессор обработки сигналов, который объединяет оба отдельных выходных сигнала в сигнал удаленного «точечного микрофона».
В варианте осуществления устройство содержит первый и второй формирователи луча, например два пространственных микрофона и генератор сигнала, например блок объединения, например процессор, для реализации «акустического пересечения». У каждого пространственного микрофона есть явная избирательность по направлению, то есть он ослабляет звук, исходящий из местоположений вне его луча, по сравнению со звуком, исходящим из местоположения в его луче. Пространственные микрофоны работают независимо друг от друга. Расположение двух пространственных микрофонов, также легко приспосабливаемых по своей природе, выбирают таким образом, что целевое пространственное местоположение расположено в геометрическом пересечении двух лучей. В предпочтительном варианте осуществления два пространственных микрофона формируют угол приблизительно 90 градусов относительно целевого местоположения. Блок объединения, например процессор, может не иметь информации о геометрическом местоположении двух пространственных микрофонов или о местоположении целевого источника.
Согласно варианту осуществления, первый формирователь луча и второй формирователь луча расположены относительно целевого местоположения таким образом, что первая виртуальная прямая линия и вторая виртуальная прямая линия пересекают друг друга, и таким образом, что они пересекаются в целевом местоположении с углом пересечения, находящимся между 30 градусами и 150 градусами. В дополнительном варианте осуществления угол пересечения находится между 60 градусами и 120 градусами. В предпочтительном варианте осуществления угол пересечения равен приблизительно 90 градусов.
В варианте осуществления генератор сигнала содержит адаптивный фильтр, имеющий множество коэффициентов фильтра. Адаптивный фильтр предусмотрен для приема звукового сигнала первого формирователя луча. Фильтр настроен для изменения звукового сигнала первого формирователя луча в зависимости от коэффициентов фильтра для получения фильтрованного звукового сигнала первого формирователя луча. Генератор сигнала выполнен с возможностью корректировки коэффициентов фильтра в зависимости от звукового сигнала второго формирователя луча. Генератор сигнала может быть выполнен с возможностью корректировки коэффициентов фильтра таким образом, чтобы разность между фильтрованным звуковым сигналом первого формирователя луча и вторым звуковым сигналом второго формирователя луча была минимизирована.
В варианте осуществления генератор сигнала содержит блок вычисления пересечения для генерации звукового выходного сигнала в спектральной области, основываясь на звуковых сигналах первого и второго формирователей луча. Согласно варианту осуществления, генератор сигнала может дополнительно содержать банк фильтров анализа для преобразования звуковых сигналов первого и второго формирователей луча из временной области в спектральную область, и банк фильтров синтеза для преобразования звукового выходного сигнала из спектральной области во временную область. Блок вычисления пересечения может быть выполнен с возможностью вычисления звукового выходного сигнала в спектральной области, основываясь на звуковом сигнале первого формирователя луча, представленном в спектральной области, и на звуковом сигнале второго формирователя луча, представленном в спектральной области.
В дополнительном варианте осуществления блок вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области, основываясь на взаимной спектральной плотности звуковых сигналов первого и второго формирователей луча, и основываясь на спектральной плотности мощности звуковых сигналов первого или второго формирователей луча.
Согласно варианту осуществления, блок вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области с помощью использования формулы
в которой Y1(k, n) является звуковым выходным сигналом в спектральной области, в которой S1(k, n) является звуковым сигналом первого формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звуковых сигналов первого и второго формирователей луча и в которой P1(k, n) является спектральной плотностью мощности звукового сигнала первого формирователя луча, или
с помощью использования формулы
в которой Y2(k, n) является звуковым выходным сигналом в спектральной области, в которой S2(k, n) является звуковым сигналом второго формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звуковых сигналов первого и второго формирователей луча и в которой P2(k, n) является спектральной плотностью мощности звукового сигнала второго формирователя луча.
В другом варианте осуществления блок вычисления пересечения настроен для вычисления обоих сигналов Y1(k, n) и Y2(k, n) и для выбора наименьшего из обоих сигналов в качестве звукового выходного сигнала.
В другом варианте осуществления блок вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области с помощью использования формулы
в которой Y3(k, n) является звуковым выходным сигналом в спектральной области, в которой S1 является звуковым сигналом первого формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звукового сигнала первого формирователя луча, в которой P1(k, n) является спектральной плотностью мощности звукового сигнала первого формирователя луча и в которой P2(k, n) является спектральной плотностью мощности звукового сигнала второго формирователя луча, или с помощью использования формулы
в которой Y4(k, n) является звуковым выходным сигналом в спектральной области, в которой S2 является звуковым сигналом второго формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звуковых сигналов первого и второго формирователей луча, в которой P1(k, n) является спектральной плотностью мощности звукового сигнала первого формирователя луча и в которой P2(k, n) является спектральной плотностью мощности звукового сигнала второго формирователя луча.
В другом варианте осуществления блок вычисления пересечения может настраиваться для вычисления обоих сигналов Y3(k, n) и Y4(k, n) и для выбора наименьшего из обоих сигналов в качестве звукового выходного сигнала.
Согласно другому варианту осуществления генератор сигнала может настраиваться для генерации звукового выходного сигнала с помощью объединения звуковых сигналов первого и второго формирователей луча для получения объединенного сигнала и с помощью взвешивания объединенного сигнала с помощью коэффициента усиления. Объединенный сигнал можно, например, взвешивать во временной области, в области поддиапазонов или в области быстрого преобразования Фурье.
В дополнительном варианте осуществления генератор сигнала настроен для генерации звукового выходного сигнала с помощью генерации объединенного сигнала таким образом, чтобы значение спектральной плотности мощности объединенного сигнала было равно минимальному значению спектральной плотности мощности звукового сигнала первого и второго формирователей луча для каждого рассматриваемого частотно-временного элемента.
Предпочтительные варианты осуществления настоящего изобретения будут объяснены относительно сопроводительных фигур, на которых:
фиг.1 показывает устройство для захвата звуковой информации из целевого местоположения согласно варианту осуществления,
фиг.2 показывает устройство согласно варианту осуществления, использующее два формирователя луча и каскад для вычисления выходного сигнала,
фиг.3A показывает формирователь луча и луч данного формирователя луча, направленного на целевое местоположение,
фиг.3B показывает формирователь луча и луч данного формирователя луча, которые показаны более подробно,
фиг.4A показывает геометрическое размещение двух формирователей луча относительно целевого местоположения согласно варианту осуществления,
фиг.4B изображает геометрическое размещение двух формирователей луча, показанных на фиг.4A, и трех источников звука, и
фиг.4C показывает геометрическое размещение двух формирователей луча, показанных на фиг.4B, и трех источников звука, которые изображены более подробно,
фиг.5 изображает генератор сигнала согласно варианту осуществления,
фиг.6 показывает генератор сигнала согласно другому варианту осуществления, и
фиг.7 - последовательность операций, показывающая генерацию звукового выходного сигнала, основываясь на взаимной спектральной плотности и на спектральной плотности мощности согласно варианту осуществления.
Фиг.1 показывает устройство для захвата звуковой информации из целевого местоположения. Устройство содержит первый формирователь 110 луча, расположенный в среде записи и имеющий первую характеристику записи. Кроме того, устройство содержит второй формирователь 120 луча, расположенный в среде записи и имеющий вторую характеристику записи. Кроме того, устройство содержит генератор 130 сигнала. Первый формирователь 110 луча выполнен с возможностью записи звукового сигнала s1 первого формирователя луча, когда первый формирователь 110 луча направлен на целевое местоположение по отношению к первой характеристике записи. Второй формирователь 120 луча выполнен с возможностью записи звукового сигнала s2 второго формирователя луча, когда второй формирователь 120 луча направлен на целевое местоположение по отношению ко второй характеристике записи. Первый формирователь 110 луча и второй формирователь 120 луча расположены таким образом, что первая виртуальная прямая линия, которую определяют так, что она проходит через первый формирователь 110 луча и целевое местоположение, и вторая виртуальная прямая линия, которую определяют так, что она проходит через второй формирователь 120 луча и целевое местоположение, не параллельна по отношению друг к другу. Генератор 130 сигнала выполнен с возможностью генерации звукового выходного сигнала s, основываясь на звуковом сигнале s1 первого формирователя луча и на звуковом сигнале s2 второго формирователя луча, так, чтобы звуковой выходной сигнал s отражал относительно больше звуковой информации из целевого местоположения по сравнению со звуковой информацией из целевого местоположения в звуковых сигналах s1, s2 первого и второго формирователей луча.
Фиг.2 показывает устройство согласно варианту осуществления, использующее два формирователя луча и каскад для вычисления выходного сигнала как общей части двух отдельных выходных сигналов формирователей луча. Изображены первый формирователь 210 луча и второй формирователь 220 луча для записи звукового сигнала первого и второго формирователей луча, соответственно. Генератор 230 сигнала реализует вычисление общей части сигнала («акустическое пересечение»).
Фиг.3A показывает формирователь 310 луча. Формирователь 310 луча из варианта осуществления на фиг.3A является устройством для избирательного по направлению получения пространственного звука. Например, формирователь 310 луча может быть направленным микрофоном или системой микрофонов. В другом варианте осуществления формирователь луча может содержать множество направленных микрофонов.
Фиг.3A показывает кривую линию 316, которая вмещает луч 315. Все точки на кривой линии 316, который определяет луч 315, отличаются тем, что предопределенный уровень звукового давления, исходящий из точки на кривой линии, приводит к одинаковому уровню сигнала, выводимого из микрофона, для всех точек на данной кривой линии.
Кроме того, фиг.3A показывает главную ось 320 формирователя луча. Главная ось 320 формирователя 310 луча определяется тем, что звук с предопределенным уровнем звукового давления, исходящий из рассматриваемой точки на главной оси 320, приводит к выходному сигналу с первым уровнем сигнала в формирователе луча, который больше или равен выходному сигналу со вторым уровнем сигнала формирователя луча, который является результатом звука с предопределенным уровнем звукового давления, исходящего из любой другой точки, имеющей то же самое расстояние от формирователя луча, как рассматриваемая точка.
Фиг.3B показывает это более подробно. Точки 325, 326 и 327 имеют одинаковое расстояние d от формирователя 310 луча. Звук с предопределенным уровнем звукового давления, исходящий из точки 325 на главной оси 320, приводит к выходному сигналу с первым уровнем сигнала в формирователе луча, который больше или равен выходному сигналу со вторым уровнем сигнала в формирователе луча, который является результатом звука с предопределенным уровнем звукового давления, исходящего, например, из точки 326 или точки 327, которые имеют такое же расстояние d от формирователя 310 луча, как точка 325 на главной оси. В трехмерном случае это означает, что главная ось указывает точку на виртуальном шаре с формирователем луча, расположенным в центре шара, которая генерирует выходной сигнал с самым большим уровнем сигнала в формирователе луча, когда предопределенный уровень звукового давления исходит из данной точки, по сравнению с любой другой точкой на виртуальном шаре.
Возвращаясь к фиг.3A, на ней также изображено целевое местоположение 330. Целевое местоположение 330 может быть местоположением, из которого исходят звуки, которые пользователь намеревается записать, используя формирователь 310 луча. Для этого формирователь луча может быть направлен на целевое местоположение для записи необходимого звука. В этом контексте формирователь 310 луча, как полагают, направлен на целевое местоположение 330, когда главная ось 320 формирователя 310 луча проходит через целевое местоположение 330. Иногда целевое местоположение 330 может быть целевой областью, хотя в других примерах целевое местоположение может быть точкой. Если целевое местоположение 330 является точкой, то главная ось 320, как полагают, проходит через целевое местоположение 330, когда данная точка расположена на главной оси 320. На фиг.3 главная ось 320 формирователя 310 луча проходит через целевое местоположение 330, и поэтому формирователь 310 луча направлен на целевое местоположение.
Формирователь 310 луча имеет характеристику записи, которая указывает способность формирователя луча записывать звук в зависимости от направления, из которого исходит звук. Характеристика записи формирователя 310 луча содержит направление главной оси 320 в пространстве, направление, форму и свойства луча 315 и т.д.
Фиг.4A показывает геометрическое расположение двух формирователей луча, первого формирователя 410 луча и второго формирователя 420 луча, относительно целевого местоположения 430. Показаны первый луч 415 первого формирователя 410 луча и второй луч 425 второго формирователя 420 луча. Кроме того, фиг.4A изображает первую главную ось 418 первого формирователя 410 луча и вторую главную ось 428 второго формирователя 420 луча. Первый формирователь 410 луча расположен таким образом, что он направлен на целевое местоположение 430, поскольку первая главная ось 418 проходит через целевое местоположение 430. Кроме того, второй формирователь 420 луча также направлен на целевое местоположение 430, поскольку вторая главная ось 428 проходит через целевое местоположение 430.
Первый луч 415 первого формирователя 410 луча и второй луч 425 второго формирователя 420 луча пересекаются в целевом местоположении 430, где расположен целевой источник, который выводит звук. Угол пересечения первой главной оси 418 первого формирователя 410 луча и второй главной оси 428 второго формирователя 420 луча обозначен как α. Оптимально, угол пересечения равен 90 градусов. В других вариантах осуществления угол пересечения находится между 30 градусами и 150 градусами.
В трехмерной среде, предпочтительно, первая главная ось и вторая виртуальная главная ось пересекаются и определяют плоскость, которая может быть произвольно ориентирована.
Фиг.4B изображает геометрическое расположение двух формирователей луча, показанных на фиг.4A, на которой дополнительно показаны три источника src1, src2, src3 звука. Лучи 415, 425 формирователей 410 и 420 луча пересекаются в целевом местоположении, то есть в местоположении целевого источника src3. Источник src1 и источник src2, однако, расположены только на одном из двух лучей 415, 425. Нужно отметить, что оба, первый и второй формирователи 410, 420 луча, настроены для избирательного по направлению получения звука, и их лучи 415, 425, соответственно, указывают звук, который получают с их помощью. Таким образом, первый луч 425 первого формирователя луча указывает первую характеристику записи первого формирователя 410 луча. Второй луч 425 второго формирователя 420 луча указывает вторую характеристику записи второго формирователя 420 луча.
В варианте осуществления на фиг.4B источники src1 и src2 представляют нежелательные источники, которые создают помехи сигналу необходимого источника src3. Однако, источники src1 и src2 можно также рассматривать как независимые компоненты окружающих условий, улавливаемые этими двумя формирователями луча. В идеале выходной сигнал устройства согласно варианту осуществления будет возвращать только src3, полностью подавляя нежелательные источники src1 и src2.
Согласно варианту осуществления на фиг.4B, два или даже больше устройств для избирательного по направлению получения звука, например, направленных микрофонов, систем микрофонов и соответствующих формирователей луча, используются для достижения «удаленного точечного микрофона». Подходящие формирователи луча могут, например, быть системами микрофонов или высоконаправленными микрофонами, такими как узконаправленные микрофоны, и выходные сигналы, например, системы микрофонов или высоконаправленных микрофонов могут использоваться в качестве звуковых сигналов формирователя луча. «Удаленный точечный микрофон» используются для улавливания звука, исходящего только из ограниченной области вокруг данной точки.
Фиг. 4C показывает это более подробно. Согласно варианту осуществления, первый формирователь 410 луча фиксирует звук из первого направления. Второй формирователь 420 луча, который расположен весьма отдаленно от первого формирователя 410 луча, фиксирует звук из второго направления.
Первый и второй формирователи 410, 420 луча расположены таким образом, что они направлены на целевое местоположение 430. В предпочтительных вариантах осуществления формирователи 410, 420 луча, например, две системы микрофонов, отдаленны друг от друга и направлены на целевую точку с различных направлений. Это отличается от традиционной обработки системы микрофонов, где используется только один массив, и его различные датчики размещены в непосредственной близости друг от друга. Первая главная ось 418 первого формирователя 410 луча и вторая главная ось 428 второго формирователя 420 луча формируют две прямые линии, которые расположены не параллельно, а которые вместо этого пересекаются с углом α пересечения. Второй формирователь 420 луча расположен оптимально относительно первого формирователя луча, когда угол пересечения равен 90 градусов. В вариантах осуществления угол пересечения равен по меньшей мере 60 градусов.
Целевая точка или целевая область для захвата звука - пересечение обоих лучей 415, 425. Сигнал из этой области получают с помощью обработки выходных сигналов этих двух формирователей 410, 420 луча, таким образом, чтобы вычислить «акустическое пересечение». Это пересечение можно рассматривать как часть сигнала, которая является общей/когерентной между двумя отдельными выходными сигналами формирователей луча.
Такая концепция использует и отдельные направленности формирователей луча, и когерентность между выходными сигналами формирователя луча. Это отличается от обычной обработки системы микрофонов, где используется только один массив, и его различные датчики размещены в непосредственной близости друг от друга.
С помощью этого излучаемый звук фиксируют/получают из определенного целевого местоположения. Это, в отличие от подходов, которые используют распределенные микрофоны для оценки местоположения источников звука, но которые не стремятся к улучшенной записи источников звука, для которых определено местоположение, с помощью рассмотрения выходного сигнала отдаленных систем микрофонов, которые предложены согласно вариантам осуществления.
Помимо использования высоконаправленных микрофонов, концепции согласно вариантам осуществления могут воплощаться и с помощью классических формирователей луча, и с помощью параметрических пространственных фильтров. Если формирователь луча вводит зависимое от частоты искажение амплитуды и фазы, то это должно быть известно и учитываться для вычисления «акустического пересечения».
В варианте осуществления устройство, например, генератор сигнала, вычисляет компонент «акустического пересечения». Идеальное устройство для вычисления пересечения доставляет полный выходной сигнал, если сигнал присутствует в звуковых сигналах обоих формирователей луча (например, в звуковых сигналах, записанных первым и вторым формирователем луча), и оно доставляет нулевой выходной сигнал, если сигнал присутствует только в одном или ни одном из двух звуковых сигналов формирователей луча. Хорошие характеристики подавления, которые также обеспечивают хорошую эффективность устройства, могут, например, быть достигнуты с помощью определения усиления передачи сигнала, который присутствует только в звуковом сигнале одного формирователя луча, и с помощью установки его в зависимости от усиления передачи сигнала, присутствующего в звуковых сигналах обоих формирователей луча.
Два звуковых сигнала s1 и s2 формирователей луча можно рассматривать в качестве наложения фильтрованного, задержанного и/или масштабированного общего целевого сигнала s и отдельных сигналов n1 и n2 шума/источника помех, таким образом, что
s1=f1(s)+n1
и
s2=f2(s)+n2,
где f1(x) и f2(x) являются отдельными функциями фильтрации, задержки и/или масштабирования, присутствующими для этих двух сигналов. Таким образом, задача состоит в том, чтобы оценить s из s1=f1(s)+n1 и s2=f2(s)+n2. Чтобы избежать неоднозначностей, f2(x) можно устанавливать в единицу без потери общности.
«Компонент пересечения» можно воплощать по-разному.
Согласно варианту осуществления, общую часть между этими двумя сигналами вычисляют с помощью использования фильтров, например, классических адаптивных LMS (минимальной среднеквадратичной ошибки) фильтров, поскольку они часто используются для акустического эхоподавления.
Фиг.5 показывает генератор сигнала согласно варианту осуществления, в котором общий сигнал s вычисляют из сигналов s1 и s2, используя адаптивный фильтр 510. Генератор сигнала на фиг.5 принимает звуковой сигнал s1 первого формирователя луча и звуковой сигнал s2 второго формирователя луча и генерирует звуковой выходной сигнал, основываясь на звуковых сигналах s1 и s2 первого и второго формирователей луча.
Генератор сигнала на фиг.5 содержит адаптивный фильтр 510. Классическая схема обработки настройки/оптимизации алгоритма минимальной среднеквадратичной ошибки, которая известна из акустического эхоподавления, реализована с помощью адаптивного фильтра 510. Адаптивный фильтр 510 принимает звуковой сигнал s1 первого формирователя луча и фильтрует звуковой сигнал s1 первого формирователя луча для генерации фильтрованного звукового сигнала s первого формирователя луча в качестве звукового выходного сигнала. (Другим подходящим обозначением для s было бы 
Генератор сигнала на фиг.5 выводит фильтрованный звуковой сигнал s первого формирователя луча. Кроме того, фильтрованный выходной звуковой сигнал s формирователя луча также подают в блок 520 вычисления разности. Блок 520 вычисления разности также принимает звуковой сигнал второго формирователя луча и вычисляет разность между фильтрованным звуковым сигналом s первого формирователя луча и звуковым сигналом s2 второго формирователя луча.
Генератор сигнала настраивают для корректировки коэффициентов адаптивного фильтра 510 таким образом, чтобы разность между фильтрованной версией s1 (=s) и s2 была минимизирована. Таким образом, сигнал s, то есть фильтрованную версию s1, можно рассматривать как представление необходимого когерентного выходного сигнала. Таким образом, сигнал s, то есть фильтрованная версия s1, представляет необходимый когерентный выходной сигнал.
В другом варианте осуществления общую часть между этими двумя сигналами извлекают, основываясь на показателе когерентности между этими двумя сигналами, см., например, показатели когерентности, описанные в
[Fa03] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc, vol. 11, no. 6, Nov. 2003.
См. также показатели когерентности, описанные в [Fa06] и [Her08],
Когерентную часть двух сигналов можно извлекать из сигналов, представленных во временной области, но также и, предпочтительно, из сигналов, представленных в спектральной области, например, в области времени/частоты.
Фиг.6 показывает генератор сигнала согласно варианту осуществления. Генератор сигнала содержит банк 610 фильтров анализа. Банк 610 фильтров анализа принимает звуковой сигнал s1(t) первого формирователя луча и звуковой сигнал s2(t) второго формирователя луча. Звуковые сигналы s1(t), s2(t) первого и второго формирователей луча представлены во временной области; t определяет количество отсчетов времени соответствующего звукового сигнала формирователя луча. Банк 610 фильтров анализа настраивают для преобразования звуковых сигналов s1(t), s2(t) первого и второго формирователей луча из временной области в спектральную область, например, в частотно-временную область, для получения первого S1(k, n) и второго S2(k, n) звуковых сигналов формирователей луча в спектральной области. В S1(k, n) и S2(k, n), k определяет индекс частоты, и n определяет индекс времени соответствующего звукового сигнала формирователя луча. Банк фильтров анализа может быть банком фильтров анализа любого вида, таким, как банки фильтров анализа оконного преобразования Фурье (STFT), полифазные банки фильтров, банки фильтров квадратурного зеркального фильтра (QMF), а также такие банки фильтров, как банки фильтров анализа дискретного преобразования Фурье (DFT), дискретного косинусного преобразования (DCT) и измененного дискретного косинусного преобразования (MDCT). Получая звуковые сигналы S1 и S2 первого и второго формирователей луча в спектральной области, характеристики звуковых сигналов S1 и S2 формирователей луча можно анализировать для каждого периода времени и для каждого из нескольких диапазонов частот.
Кроме того, генератор сигнала содержит блок 620 вычисления пересечения для генерации звукового выходного сигнала в спектральной области.
Кроме того, генератор сигнала содержит банк 630 фильтров синтеза для преобразования сгенерированного звукового выходного сигнала из спектральной области во временную область. Банк 630 фильтров синтеза может, например, содержать банки фильтров синтеза оконного преобразования Фурье (STFT), полифазные банки фильтров синтеза, банки фильтров синтеза квадратурного зеркального фильтра (QMF), а также и банки фильтров синтеза дискретного преобразования Фурье (DFT), банки фильтров синтеза дискретного косинусного преобразования (DCT) и измененного дискретного косинусного преобразования (MDCT).
В последующем объяснены возможные способы вычисления звукового выходного сигнала, например, с помощью извлечения когерентности. Блок 620 вычисления пересечения на фиг.6 можно настраивать для вычисления звукового выходного сигнала в спектральной области согласно одному или большему количеству этих способов.
Когерентность, когда ее извлекают, является показателем общего когерентного содержимого, компенсируя операции масштабирования и изменения фазы. См., например:
[Fa06] C. Faller, "Parametric Multichannel Audio Coding: Synthesis of Coherence Cues," IEEE Trans, on Speech and Audio Proc, vol. 14, no. 1, Jan 2006;
[Her08] J. Herre, K. Kjorling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Roden. W. Oomcn, K. Linzmeier, K. S. Chong: "MPEG Surround -The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", Journal of the AES, Vol. 56, No. 11, November 2008, pp. 932-955.
Одной из возможностей генерации оценки когерентной части сигнала звуковых сигналов первого и второго формирователей луча является применение взаимных коэффициентов к одному из этих двух сигналов. Взаимные коэффициенты можно усреднять во времени. В данной работе принято, что относительная задержка между звуковыми сигналами первого и второго формирователей луча ограничена, таким образом, что она по существу меньше размера окна банка фильтров.
В последующем подробно объясняют варианты осуществления вычисления звукового выходного сигнала в спектральной области с помощью извлечения общей части сигнала и с помощью использования основанного на корреляции подхода, основываясь на явном вычислении показателя когерентности.
Сигналы S1(k, n) и S2(k, n) обозначают представления в спектральной области звуковых сигналов формирователя луча, где k является индексом частоты и n является индексом времени. Для каждого конкретного частотно-временного элемента (k, n), определенного с помощью конкретного частотного индекса k и конкретного временного индекса n, существует коэффициент для каждого из сигналов S1(k, n) и S2(k, n). Из двух звуковых сигналов S1(k, n), S2(k, n) формирователя луча в спектральной области вычисляют энергию компонента пересечения. Эту энергию компонента пересечения можно вычислять, например, с помощью определения величины взаимной спектральной плотности (CSD) C12(k, n) S1(k, n) и S2(k, n):
В данной работе верхний индекс * обозначает сопряженное число комплексного числа, и E {} представляет математическое ожидание. Практически, оператор ожидания заменен, например, временным искажением или частотным сглаживанием элемента S1(k, n)·S*2(k, n), в зависимости от разрешающей способности времени/частоты используемого банка фильтров.
Спектральная плотность мощности (PSD) P1(k, n) звукового сигнала S1(k, n) первого формирователя луча и спектральная плотность мощности P2(k, n) звукового сигнала S2(k, n) второго формирователя луча могут быть вычислены согласно формулам:
P1(k, n) = E{|S1(k, n)|2},
P2(k, n) = E{|S2(k, n)|2}.
В последующем представлены варианты осуществления для практических реализаций вычисления акустического пересечения Y(k, n) двух звуковых сигналов формирователей луча.
Первый способ получения выходного сигнала основан на изменении звукового сигнала S1(k, n) первого формирователя луча:
Точно так же альтернативный выходной сигнал может быть получен из звукового сигнала S2(k, n) второго формирователя луча:
Для определения выходного сигнала может быть полезно ограничить максимальное значение функций усиления G1(k, n) и G2(k, n) определенным пороговым значением, например, единицей.
Фиг.7 - последовательность операций, показывающая генерацию звукового выходного сигнала, основываясь на взаимной спектральной плотности и на спектральной плотности мощности согласно варианту осуществления.
На этапе 710 вычисляют взаимную спектральную плотность C12(k, n) звуковых сигналов первого и второго формирователей луча. Например, можно применять вышеописанную формулу C12(k, n)=|E{S1(k, n)·S*2(k, n)}|.
На этапе 720 вычисляют спектральную плотность мощности P1(k, n) звукового сигнала первого формирователя луча. Альтернативно, может также использоваться спектральная плотность мощности звукового сигнала второго формирователя луча.
Впоследствии, на этапе 730, вычисляют функцию усиления G1(k, n), основываясь на взаимной спектральной плотности, вычисленной на этапе 710, и на спектральной плотности мощности, вычисленной на этапе 720.
Наконец, на этапе 740 изменяют звуковой сигнал S1(k, n) первого формирователя луча для получения необходимого звукового выходного сигнала Y1(k, n). Если спектральная плотность мощности звукового сигнала второго формирователя луча вычислена на этапе 720, то звуковой сигнал S2(k, n) второго формирователя луча можно изменять для получения необходимого звукового выходного сигнала.
Так как у обеих реализаций есть единственный элемент энергии в знаменателе, который может стать маленьким в зависимости от расположения активного источника звука относительно двух лучей, предпочтительно использовать усиление, которое представляет соотношение между звуковой энергией, соответствующей акустическому пересечению, и полной или средней звуковой энергией, улавливаемой формирователями луча. Выходной сигнал можно получать с помощью применения формулы
или с помощью применения формулы
В обоих описанных выше примерах функции усиления имеют небольшие значения в случае, если записанный звук в звуковых сигналах формирователя луча не содержит компоненты сигнала акустического пересечения. С другой стороны, значения усиления, близкие к единице, получают, если звуковые сигналы формирователя луча соответствуют необходимому акустическому пересечению.
Кроме того, чтобы удостовериться, что в звуковом выходном сигнале появляются только компоненты, которые соответствуют акустическому пересечению (несмотря на ограниченную направленность используемых формирователей луча) может быть необходимо вычислить конечный выходной сигнал как наименьший сигнал (с помощью энергии) Y1 и Y2 (или Y3 и Y4), соответственно. В варианте осуществления сигнал Y1 или Y2 из этих двух сигналов Y1, Y2 рассматривают как наименьший сигнал, который имеет наименьшую среднюю энергию. В другом варианте осуществления сигнал Y3 или Y4 рассматривают как наименьший сигнал обоих сигналов Y3, Y4, который имеет наименьшую среднюю энергию.
Кроме того, существуют другие способы вычисления звуковых выходных сигналов, которые, в отличие от описанного по отношению к предыдущим вариантам осуществления, используют звуковые сигналы S1 и S2 и первого, и второго формирователей луча (в противоположность использования их энергии), объединяя их в один сигнал, который впоследствии взвешивают с помощью использования одной из описанных функций усиления. Например, звуковые сигналы S1 и S2 первого и второго формирователей луча можно складывать и результирующий суммированный сигнал можно впоследствии взвешивать с помощью использования одной из вышеописанных функций усиления.
Выходной звуковой сигнал S в спектральной области можно преобразовывать обратно из представления времени/частоты в сигнал времени при использовании банка фильтров синтеза (обратного банка фильтров).
В другом варианте осуществления извлекают общую часть этих двух сигналов с помощью обработки спектра величины объединенного сигнала (например, суммарного сигнала), например, таким образом, что у него есть пересечение (например, минимум) PSD (спектральной плотности мощности) обоих (нормализованных) сигналов формирователя луча. Входные сигналы можно анализировать способом выбора времени/частоты, как описано ранее, и делают идеализированное предположение, что два шумовых сигнала являются разреженными и непересекающимися, то есть не появляются в том же самом элементе времени/частоты. В этом случае простое решение состояло бы в ограничении значения спектральной плотности мощности (PSD) одного из сигналов значением другого сигнала после некоторой подходящей процедуры повторной нормализации/выравнивания. Можно предположить, что относительная задержка между этими двумя сигналами ограничена таким образом, что она по существу меньше размера окна банка фильтров.
Хотя некоторые аспекты описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствуют этапу способа или особенности этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или особенности соответствующего устройства.
Сигнал, сгенерированный согласно вышеописанным вариантам осуществления, может храниться на цифровом носителе данных или может передаваться в среде передачи, такой как беспроводная среда передачи или проводная среда передачи, такая как Интернет.
В зависимости от конкретных требований реализации варианты осуществления изобретения могут воплощаться в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена, используя цифровой носитель данных, например, гибкий диск, DVD (универсальный видеодиск), CD (компакт-диск), ОП (оперативную память), ПЗУ (постоянное запоминающее устройство), ППЗУ (программируемое ПЗУ), СППЗУ (стираемое программируемое ПЗУ), ЭСППЗУ (электрически стираемое программируемое ПЗУ) или флэш-память, на котором хранятся считываемые с помощью электроники управляющие сигналы, которые взаимодействуют (или имеют возможность взаимодействия) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ.
Некоторые варианты осуществления согласно изобретению содержат не являющийся временным носитель информации, имеющий считываемые с помощью электроники управляющие сигналы, которые способны к взаимодействию с программируемой компьютерной системой таким образом, что выполняется один из описанных способов.
В общем случае варианты осуществления настоящего изобретения могут воплощаться как компьютерный программный продукт с кодом программы, код программы применяется для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Код программы может, например, храниться на машиночитаемом носителе данных.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных способов, хранящихся на машиночитаемом носителе данных.
Другими словами, вариантом осуществления изобретенного способа поэтому является компьютерная программа, имеющая код программы для выполнения одного из описанных способов, когда компьютерная программа выполняется на компьютере.
Дополнительным вариантом осуществления изобретенных способов поэтому является носитель данных (или цифровой носитель данных, или считываемый компьютером носитель данных), содержащий записанную на нем компьютерную программу для выполнения одного из описанных способов.
Дополнительным вариантом осуществления изобретенного способа поэтому является поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из описанных способов. Поток данных или последовательность сигналов могут, например, быть сконфигурированы для передачи через соединение передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, сконфигурированное или настроенное для выполнения одного из описанных способов.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из описанных способов.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для использования некоторых или всех функциональных возможностей описанных способов. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из описанных способов. В общем случае, способы предпочтительно выполняются с помощью какого-либо аппаратного устройства.
Вышеописанные варианты осуществления являются просто иллюстративными для принципов настоящего изобретения. Подразумевается, что модификации и разновидности описанных структур и подробностей будут очевидны специалистам. Следовательно, это является замыслом, который ограничен только объемом последующей формулы изобретения патента, а не конкретными подробностями, представленными посредством описания и объяснения вариантов осуществления в данном документе.
Источники информации
[BS01] J. Bitzer, K. U. Simmer: "Superdirective microphone arrays" in M. Brandstein, D. Ward (eds.): "Microphone Arrays - Signal Processing Techniques and Applications", Chapter 2, Springer Berlin, 2001, ISBN: 978-3-540-41953-2
[BW01] M. Brandstein, D. Ward: "Microphone Arrays - Signal Processing Techniques and Applications", Springer Berlin, 2001, ISBN: 978-3-540-41953-2
[CBH06] J. Chen, J. Benesty, Y. Huang: "Time Delay Estimation in Room Acoustic Environments: An Overview", EURASIP Journal on Applied Signal Processing, Article ID 26503, Volume 2006 (2006)
[Pul06] Pulkki, V., "Directional audio coding in spatial sound reproduction and stereo upmixing," in Proceedings of The AES 28th International Conference, pp. 251 -258, Pitea, Sweden, June 30 - July 2, 2006.
[DiFi2009] M. Kallinger, G. Del Galdo, F. Kuch, D. Mahne, and R. Schultz-Amling, "Spatial Filtering using Directional Audio Coding Parameters," in Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing (ICASSP), Apr. 2009.
[Ea01] Eargle J. "The Microphone Book" Focal press 2001.
[Elk00] G. W. Elko: "Superdi rectional microphone arrays" in S. G. Gay, J. Benesty (eds.): "Acoustic Signal Processing for Telecommunication", Chapter 10, Kluwer Academic Press, 2000, ISBN: 978-0792378143
[Fa03] C. Faller and F. Baumgartc, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc, vol. 11, no. 6, Nov. 2003
[Fa06] C. Faller, "Parametric Multichannel Audio Coding: Synthesis of Coherence Cues," IEEE Trans, on Speech and Audio Proc, vol. 14, no. 1, Jan 2006
[Fal08] C. Faller: "Obtaining a Highly Directive Center Channel from Coincident Stereo Microphone Signals", Proc. 124th AES convention, Amsterdam, The Netherlands, 2008, Preprint 7380.
[Her08] J. Herre, K. Kjorling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Roden. W. Oomen, K. Linzmeier, K. S. Chong: "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", Journal of the AES, Vol. 56, No. 11, November 2008, pp. 932-955
[SBM01] K. U. Simmer, J. Bitzer, and C. Marro: "Post-Filtering Techniques" in M. Brandstein, D. Ward (eds.): "Microphone Arrays - Signal Processing Techniques and Applications". Chapter 3, Springer Berlin, 2001, ISBN: 978-3-540-41953-2
[Veen88] B. D. V. Veen and K. M. Buckley. "Beamforming: A versatile approach to spatial filtering". IEEE ASSP Magazine, pages 4-24, Apr. 1988.
[Vil06] L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, and K. Kjorling, "MPEG Surround: The Forthcoming ISO Standard for Spatial Audio Coding," in AES 28th International Conference, Pitea, Sweden, June 2006.
1. Устройство для захвата звуковой информации из целевого местоположения, содержащее:
первый формирователь (110; 210; 410) луча, расположенный в среде записи и имеющий первую характеристику записи,
второй формирователь (120; 220; 420) луча, расположенный в среде записи и имеющий вторую характеристику записи, и
генератор (130; 230) сигнала,
причем первый формирователь (110; 210; 410) луча выполнен с возможностью записи звукового сигнала первого формирователя луча, когда первый формирователь (110; 210; 410) луча направлен на целевое местоположение по отношению к первой характеристике записи, и
причем второй формирователь (120; 220; 420) луча выполнен с возможностью записи звукового сигнала второго формирователя луча, когда второй формирователь (120; 220; 420) луча направлен на целевое местоположение по отношению ко второй характеристике записи,
причем первый формирователь (110; 210; 410) луча и второй формирователь (120; 220; 420) луча расположены таким образом, что первая виртуальная прямая линия, которую определяют так, что она проходит через первый формирователь (110; 210; 410) луча и целевое местоположение, и вторая виртуальная прямая линия, которую определяют так, что она проходит через второй формирователь (120; 220; 420) луча и целевое местоположение, не параллельны по отношению друг к другу, и
причем генератор (130; 230) сигнала выполнен с возможностью генерации звукового выходного сигнала, основываясь на звуковом сигнале первого формирователя луча и на звуковом сигнале второго формирователя луча, так, чтобы звуковой выходной сигнал содержал относительно больше звуковой информации из целевого местоположения по сравнению со звуковой информацией из целевого местоположения в звуковом сигнале первого и второго формирователей луча,
причем генератор (130; 230) сигнала содержит блок (620) вычисления пересечения для генерации звукового выходного сигнала в спектральной области, основываясь на звуковых сигналах первого и второго формирователей луча, и
причем блок (620) вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области с помощью вычисления взаимной спектральной плотности звуковых сигналов первого и второго формирователей луча и с помощью вычисления спектральной плотности мощности звуковых сигналов первого или второго формирователей луча.
2. Устройство по п. 1, в котором первая виртуальная прямая линия и вторая виртуальная прямая линия расположены таким образом, что они пересекаются в целевом местоположении с углом пересечения таким образом, что угол пересечения равен от 30 градусов до 150 градусов.
3. Устройство по п. 2, в котором первая виртуальная прямая линия и вторая виртуальная прямая линия расположены таким образом, что они пересекаются в целевом местоположении таким образом, что угол пересечения равен приблизительно 90 градусов.
4. Устройство по п. 1, в котором генератор (130; 230) сигнала содержит адаптивный фильтр (510), имеющий множество коэффициентов фильтра, причем адаптивный фильтр (510) расположен так, чтобы принимать звуковой сигнал первого формирователя луча, причем адаптивный фильтр (510) настроен для изменения звукового сигнала первого формирователя луча в зависимости от коэффициентов фильтра для получения фильтрованного звукового сигнала первого формирователя луча в качестве звукового выходного сигнала, и в котором генератор (130; 230) сигнала выполнен с возможностью корректировки коэффициентов фильтра адаптивного фильтра (510) в зависимости от фильтрованного звукового сигнала первого формирователя луча и от звукового сигнала второго формирователя луча.
5. Устройство по п. 4, в котором генератор (130; 230) сигнала выполнен с возможностью корректировки коэффициентов фильтра таким образом, чтобы разность между фильтрованным первым звуковым сигналом и вторым звуковым сигналом формирователей луча была минимизирована.
6. Устройство по п. 1, в котором генератор (130; 230) сигнала дополнительно содержит:
банк (610) фильтров анализа для преобразования звуковых сигналов первого и второго формирователей луча из временной области в спектральную область, и
банк (630) фильтров синтеза для преобразования звукового выходного сигнала из спектральной области во временную область,
причем блок (620) вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области, основываясь на звуковом сигнале первого формирователя луча, представленном в спектральной области, и на звуковом сигнале второго формирователя луча, представленном в спектральной области, причем вычисление выполняют отдельно в нескольких диапазонах частот.
7. Устройство по п. 1, в котором блок (620) вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области с помощью использования формулы
в которой Y1(k, n) является звуковым выходным сигналом в спектральной области, в которой S1(k, n) является звуковым сигналом первого формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звуковых сигналов первого и второго формирователей луча и в которой P1(k, n) является спектральной плотностью мощности звукового сигнала первого формирователя луча, или
с помощью использования формулы
в которой Y2(k, n) является звуковым выходным сигналом в спектральной области, в которой S2(k, n) является звуковым сигналом второго формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звуковых сигналов первого и второго формирователей луча и в которой Р2(k, n) является спектральной плотностью мощности звукового сигнала второго формирователя луча.
8. Устройство по п. 1, в котором блок (620) вычисления пересечения выполнен с возможностью вычисления звукового выходного сигнала в спектральной области с помощью использования формулы
в которой Y3(k, n) является звуковым выходным сигналом в спектральной области, в которой S1 является звуковым сигналом первого формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звукового сигнала первого формирователя луча, в которой P1 (k, n) является спектральной плотностью мощности звукового сигнала первого формирователя луча и в которой Р2(k, n) является спектральной плотностью мощности звукового сигнала второго формирователя луча, или
с помощью использования формулы
в которой Y4(k, n) является звуковым выходным сигналом в спектральной области, в которой S2 является звуковым сигналом второго формирователя луча, в которой C12(k, n) является взаимной спектральной плотностью звуковых сигналов первого и второго формирователей луча, в которой P1(k, n) является спектральной плотностью мощности звукового сигнала первого формирователя луча и в которой Р2(k, n) является спектральной плотностью мощности звукового сигнала второго формирователя луча.
9. Устройство по п. 7, в котором блок (620) вычисления пересечения настроен для вычисления первого промежуточного сигнала согласно формуле
и второго промежуточного сигнала согласно формуле
и в котором блок (620) вычисления пересечения настроен для выбора наименьшего из первого и второго промежуточных сигналов в качестве звукового выходного сигнала, или
в котором блок (620) вычисления пересечения выполнен с возможностью вычисления третьего промежуточного сигнала согласно формуле
и четвертого промежуточного сигнала согласно формуле
и в котором блок (620) вычисления пересечения настроен для выбора наименьшего из третьего и четвертого промежуточных сигналов в качестве звукового выходного сигнала.
10. Устройство по п. 1, в котором генератор (130; 230) сигнала настроен для генерации звукового выходного сигнала с помощью объединения звуковых сигналов первого и второго формирователей луча для получения объединенного сигнала и взвешивания объединенного сигнала с помощью коэффициента усиления.
11. Устройство по п. 1, в котором генератор (130; 230) сигнала настроен для генерации звукового выходного сигнала с помощью генерации объединенного сигнала таким образом, чтобы значение спектральной плотности мощности объединенного сигнала было равно минимальному значению спектральной плотности мощности звуковых сигналов первого и второго формирователей луча для каждого рассматриваемого частотно-временного элемента.
12. Способ вычисления звуковой информации из целевого местоположения, содержащий этапы, на которых:
записывают звуковой сигнал первого формирователя луча с помощью первого формирователя (110; 210; 410) луча, когда первый формирователь (110; 210; 410) луча направлен на целевое местоположение по отношению к первой характеристике записи, причем первый формирователь (110; 210; 410) луча расположен в среде записи и имеет первую характеристику записи; и
записывают звуковой сигнал второго формирователя луча с помощью второго формирователя (120; 220; 420) луча, когда второй формирователь (120; 220; 420) луча направлен на целевое местоположение по отношению ко второй характеристике записи, причем второй формирователь (120; 220; 420) луча расположен в среде записи и имеет вторую характеристику записи; причем первый формирователь (110; 210; 410) луча и второй формирователь (120; 220; 420) луча расположены таким образом, что первая виртуальная прямая линия, которую определяют так, что она проходит через первый формирователь (110; 210; 410) луча и целевое местоположение, и вторая виртуальная прямая линия, которую определяют так, что она проходит через второй формирователь (120; 220; 420) луча и целевое местоположение, не параллельны по отношению друг к другу, и
генерируют звуковой выходной сигнал с помощью генератора (130; 230) сигнала, основываясь на звуковом сигнале первого формирователя луча и основываясь на звуковом сигнале второго формирователя луча, так, чтобы звуковой выходной сигнал содержал относительно больше звуковой информации из целевого местоположения по сравнению со звуковой информацией из целевого местоположения в звуковом сигнале первого и второго формирователей луча,
генерируют звуковой выходной сигнал с помощью блока (620) вычисления пересечения генератора (130; 230) сигнала в спектральной области, основываясь на звуковых сигналах первого и второго формирователей луча, и
вычисляют звуковой выходной сигнал с помощью блока (620) вычисления пересечения в спектральной области с помощью вычисления взаимной спектральной плотности звуковых сигналов первого и второго формирователей луча и с помощью вычисления спектральной плотности мощности звуковых сигналов первого или второго формирователей луча.
13. Машиночитаемый носитель данных, хранящий компьютерную программу для воплощения способа по п. 12, когда компьютерная программа выполняется компьютером или процессором.
