Способ и устройство обработки сигнала

Изобретение относится к способу и устройству обработки сигнала. Техническим результатом является повышение эффективности обработки различных сигналов за счет выбора оптимальной схемы кодирования. Способ обработки сигнала включает в себя прием по меньшей мере одного из первого сигнала и второго сигнала, прием информации о режиме для указания, что назначенный режим соответствует одному из по меньшей мере трех режимов, включающих в себя первый режим, второй режим и третий режим, и если информация о режиме указывает, что назначенный режим является первым режимом, то декодирование первого сигнала с использованием первой схемы кодирования, если информация о режиме указывает, что назначенный режим является вторым режимом, то декодирование первого сигнала и второго сигнала, включающее в себя декодирование первого сигнала с использованием первой схемы кодирования, декодирование второго сигнала с использованием второй схемы кодирования, генерирование выходного сигнала с использованием декодированного первого сигнала и декодированного второго сигнала, если информация о режиме указывает, что назначенный режим является третьим режимом, то декодирование второго сигнала с использованием второй схемы кодирования, причем первая схема кодирования соответствует схеме речевого кодирования, и вторая схема кодирования соответствует схеме аудио кодирования. 3 н. и 8 з.п. ф-лы, 9 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству обработки сигнала и более конкретно к способу и устройству обработки сигнала для кодирования или декодирования сигнала посредством соответствующей схемы в соответствии с характеристиками сигнала.

Уровень техники

Обычно аудиокодер способен обеспечивать аудиосигнал высокого звукового качества при высокой битовой скорости выше 48 кбит/с, хотя кодер способен эффективно кодировать речевой сигнал при низкой битовой скорости ниже 12 кбит/с.

Сущность изобретения

Техническая проблема

Однако аудиокодер, согласно соответствующему уровню техники, неэффективно обрабатывает речевой сигнал. И недостаточно речевому кодеру, согласно соответствующему уровню техники, обрабатывать аудиосигнал.

Техническое решение

Соответственно, настоящее изобретение направлено на устройство и способ обработки сигнала, которые по существу устраняют одну или более проблем из-за ограничений и недостатков соответствующего уровня техники.

Целью настоящего изобретения является представление устройства и способа обработки сигнала, посредством которых сигналы, имеющие разные характеристики, такие как речевые сигналы, аудиосигналы и аналогичные, могут обрабатываться оптимальными схемами в соответствии с их характеристиками, соответственно.

Другой целью настоящего изобретения является предоставление устройства и способа обработки сигнала, посредством которых сигнал, имеющий характеристики речевого сигнала и аудиосигнала, может обрабатываться оптимальной схемой.

Другой целью настоящего изобретения является предоставление устройства и способа обработки сигнала, посредством которых разные сигналы, включая речевые сигналы, аудиосигналы и аналогичные, могут обрабатываться полностью и эффективно.

Преимущественные эффекты

Соответственно, настоящее изобретение обеспечивает следующие эффекты или преимущества.

Во-первых, сигнал, имеющий характеристику речевого сигнала, декодируется схемой речевого кодирования, и сигнал, имеющий характеристику аудиосигнала, декодируется схемой аудиокодирования. Поэтому схема декодирования, соответствующая каждой характеристике сигнала, может адаптивно выбираться.

Во-вторых, так как битовая скорость, соответствующая схеме кодирования, назначается сигналу, имеющему характеристики речевого сигнала и аудиосигнала в соответствии с интенсивностью характеристики, оптимальная схема декодирования может выбираться адаптивно.

В-третьих, так как режим изменяется на каждый кадр, схема декодирования и битовая скорость, назначенная для схемы декодирования, адаптивно изменяются в соответствии с временным потоком.

В-четвертых, так как схема декодирования автоматически изменяется, оптимальная битовая скорость может назначаться, и качество кодирования может улучшаться.

Описание чертежей

Иллюстрирующие чертежи, которые включены для обеспечения дополнительного понимания изобретения и составляют часть этого описания, иллюстрируют варианты осуществления и совместно с описанием служат для объяснения принципов изобретения.

На чертежах:

фиг.1 - конфигурационная блок-схема устройства кодирования сигнала в соответствии с вариантом осуществления настоящего изобретения;

фиг.2 - диаграмма для схематичного пояснения процесса анализа частоты модуляции;

фиг.3 - диаграмма спектрограммы модуляции;

фиг.4 - диаграмма для пояснения режима схемы кодирования;

фиг.5 - диаграмма для пояснения изменения межкадрового режима;

фиг.6 - блок-схема способа кодирования в соответствии с вариантом осуществления настоящего изобретения;

фиг.7 - диаграмма, поясняющая выполнение кодирования в соответствии с вариантом осуществления настоящего изобретения;

фиг.8 - конфигурационная блок-схема устройства декодирования в соответствии с вариантом осуществления настоящего изобретения; и

фиг.9 - блок-схема способа декодирования в соответствии с вариантом осуществления настоящего изобретения.

Наилучший режим

Дополнительные признаки и преимущества изобретения будут изложены в нижеследующем описании и частично будут очевидны из описания или могут быть изучены посредством применения изобретения. Цели и другие преимущества изобретения будут реализовываться и достигаться структурой, частично представленной в описании и в формуле, а также в приложенных чертежах.

Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, которая воплощена и широко описана, способ обработки сигнала, соответствующий настоящему изобретению, включает в себя прием по меньшей мере одного из первого сигнала и второго сигнала, прием информации о режиме и кодирование по меньшей мере одного из первого сигнала и второго сигнала, используя по меньшей мере одну из первой схемы кодирования и второй схемы кодирования в соответствии с информацией о режиме, при этом информация о режиме является информацией для указания, что назначенный режим соответствует одному из по меньшей мере трех режимов.

В соответствии с настоящим изобретением режим включает в себя первый режим для использования первой схемы кодирования, второй режим для использования первой схемы кодирования и второй схемы кодирования и третий режим для использования второй схемы кодирования.

В соответствии с настоящим изобретением информация о режиме представляется в виде информации по меньшей мере двух флагов.

В соответствии с настоящим изобретением информация о режиме дополнительно включает в себя информацию о битовой скорости, назначенной для первой схемы кодирования и второй схемы кодирования, и информация о режиме определяется посредством множества преобразований Фурье.

В соответствии с настоящим изобретением первая схема кодирования соответствует схеме речевого кодирования, и вторая схема кодирования соответствует схеме аудиокодирования.

В соответствии с настоящим изобретением первый сигнал соответствует гармоническому сигналу, второй сигнал соответствует остаточному сигналу, и второй сигнал получается из сигнала, получаемого путем вычитания первого сигнала из входного сигнала.

В соответствии с настоящим изобретением информация о режиме включает в себя первый кадровый режим в виде информации о режиме для первого кадра и второй кадровый режим в виде информации о режиме для второго кадра, и способ дополнительно содержит, если первый кадровый режим является первым режимом и второй кадровый режим является третьим режимом, или если первый кадровый режим является третьим режимом и второй кадровый режим является первым режимом, изменение по меньшей мере одного из первого кадрового режима и второго кадрового режима на второй режим.

Для дополнительного достижения этих и других преимуществ и в соответствии с целью настоящего изобретения устройство обработки сигнала включает в себя приемный блок, принимающий по меньшей мере один из первого сигнала и второго сигнала, причем приемный блок принимает информацию о режиме, и блок кодирования, кодирующий по меньшей мере один из первого сигнала и второго сигнала, используя по меньшей мере одну из первой схемы кодирования и второй схемы кодирования в соответствии информацией о режиме, при этом информация о режиме является информацией для указания, что назначенный режим соответствует одному из по меньшей мере трех режимов.

В соответствии с настоящим изобретением режим включает в себя первый режим для использования первой схемы кодирования, второй режим для использования первой схемы кодирования и второй схемы кодирования и третий режим для использования второй схемы кодирования.

В соответствии с настоящим изобретением информация о режиме представляется в виде информации по меньшей мере двух флагов.

В соответствии с настоящим изобретением информация о режиме дополнительно включает в себя информацию о битовой скорости, назначенной для каждой из первой схемы кодирования и второй схемы кодирования, и информация о режиме определяется посредством множества преобразований Фурье.

В соответствии с настоящим изобретением первая схема кодирования соответствует схеме речевого кодирования, а вторая схема кодирования соответствует схеме аудиокодирования.

В соответствии с настоящим изобретением первый сигнал соответствует гармоническому сигналу, второй сигнал соответствует остаточному сигналу и второй сигнал получается из сигнала, получаемого вычитанием первого сигнала из входного сигнала.

В соответствии с настоящим изобретением информация о режиме включает в себя первый кадровый режим в виде информации о режиме для первого кадра и второй кадровый режим в виде информации о режиме для второго кадра. И если первый кадровый режим является первым режимом и второй кадровый режим является третьим режимом, или если первый кадровый режим является третьим режимом и второй кадровый режим является первым режимом, блок кодирования изменяет по меньшей мере один из первого кадрового режима и второго кадрового режима на второй режим.

Для дополнительного достижения этих и других преимуществ и в соответствии с целью настоящего изобретения способ обработки сигнала включает в себя выделение первого сигнала из входного сигнала, определение информации о режиме из входного сигнала и первого сигнала, формирование второго сигнала на основе входного сигнала и первого сигнала и кодирование первого сигнала, используя первую схему кодирования в соответствии с информацией о режиме, и кодирование второго сигнала, используя вторую схему кодирования в соответствии с информацией о режиме.

Для дополнительного достижения этих и других преимуществ и в соответствии с целью настоящего изобретения способ обработки сигнала включает в себя этап приема информации о режиме, включающей в себя первый кадровый режим и второй кадровый режим в качестве информации, указывающей, что назначенный режим соответствует одному из первого режима, второго режима и третьего режима, при этом, если второй кадровый режим является первым режимом, первый кадровый режим соответствует первому режиму или второму режиму и при этом, если второй кадровый режим является третьим режимом, первый кадровый режим соответствует третьему режиму или второму режиму.

В соответствии с настоящим изобретением первый режим соответствует режиму использования первой схемы кодирования, третий режим соответствует режиму использования второй схемы кодирования и второй режим соответствует режиму соединения первого режима и третьего режима вместе.

В соответствии с настоящим изобретением второй режим включает в себя режим прямого соединения и режим обратного соединения.

В соответствии с настоящим изобретением, если второй кадровый режим является первым кадровым режимом, первый кадровый режим соответствует первому режиму или режиму обратного соединения, и если второй кадровый режим является третьим режимом, первый кадровый режим соответствует третьему режиму или режиму прямого соединения.

В соответствии с настоящим изобретением первая схема кодирования соответствует схеме речевого кодирования, а вторая схема кодирования соответствует схеме аудиокодирования.

В соответствии с настоящим изобретением второй режим соответствует режиму использования первой схемы кодирования и второй схемы кодирования.

В соответствии с настоящим изобретением способ дополнительно включает в себя прием по меньшей мере одного из первого сигнала и второго сигнала и кодирование по меньшей мере одного из первого сигнала и второго сигнала, используя по меньшей мере одну из первой схемы кодирования и второй схемы кодирования в соответствии с информацией о режиме.

Для дополнительного достижения этих и других преимуществ и в соответствии с целью настоящего изобретения устройство обработки сигнала включает в себя приемный блок, принимающий информацию о режиме, включая первый кадровый режим и второй кадровый режим, в качестве информации, указывающей, что назначенный режим соответствует одному из первого режима, второго режима и третьего режима, при этом, если второй кадровый режим является первым режимом, первый кадровый режим соответствует первому режиму или второму режиму и при этом, если второй кадровый режим является третьим режимом, первый кадровый режим соответствует третьему режиму или второму режиму.

В соответствии с настоящим изобретением первый режим соответствует режиму использования первой схемы кодирования, третий режим соответствует режиму использования второй схемы кодирования и второй кадровый режим соответствует режиму соединения первого режима и третьего режима вместе.

В соответствии с настоящим изобретением второй режим включает в себя режим прямого соединения и режим обратного соединения.

В соответствии с настоящим изобретением, если второй кадровый режим является первым режимом, первый кадровый режим соответствует первому режиму или режиму обратного соединения. И если второй кадровый режим является третьим режимом, первый кадровый режим соответствует третьему режиму или режиму прямого соединения.

В соответствии с настоящим изобретением первая схема кодирования соответствует схеме речевого кодирования, а вторая схема кодирования соответствует схеме аудиокодирования.

В соответствии с настоящим изобретением второй режим соответствует режиму использования первой схемы кодирования и второй схемы кодирования.

В соответствии с настоящим изобретением приемный блок дополнительно включает в себя блок кодирования, принимающий по меньшей мере один из первого сигнала и второго сигнала, блок кодирования кодирует по меньшей мере один из первого сигнала и второго сигнала, используя по меньшей мере одну из первой схемы кодирования и второй схемы кодирования в соответствии с информацией о режиме.

Для дополнительного достижения этих и других преимуществ и в соответствии с целью настоящего изобретения способ обработки сигнала включает в себя определение информации о режиме, включая первый кадровый режим и второй кадровый режим в виде информации, указывающей, что назначенный режим соответствует одному из первого режима, второго режима и третьего режима, если второй кадровый режим является первым режимом, изменение первого режима на первый режим или второй режим, и если второй кадровый режим является третьим режимом, изменение первого кадрового режима на третий режим или второй режим.

Понятно, что предыдущее общее описание и последующее подробное описание являются примерными и разъясняющими и предназначены для обеспечения дополнительного объяснения заявленного изобретения.

Принцип изобретения

Далее даются ссылки на детали предпочтительных вариантов осуществления настоящего изобретения, иллюстрируемого чертежами.

Прежде всего, под кодированием в настоящем изобретении будет пониматься концепция, включающая в себя кодирование и декодирование.

Фиг.1 является конфигурационной блок-схемой устройства кодирования сигнала в соответствии с вариантом осуществления настоящего изобретения. На фиг.1 устройство кодирования сигнала в соответствии с вариантом осуществления настоящего изобретения включает в себя блок 110 выделения гармонического сигнала, первый кодер 120, блок 130 вычисления отношения мощности, блок 140 определения режима, первый блок 150 синтеза, вычитатель 160, второй кодер 170 и блок 180 передачи. В этом случае первый кодер 120 может соответствовать речевому кодеру, и второй кодер 170 может соответствовать аудиокодеру.

Блок 110 выделения гармонического сигнала выделяет гармонический сигнал x_h(n) (или частотный гармонический сигнал) из входного сигнала x(n). В этом случае могут выполняться кратковременное преобразование (STFT) Фурье и анализ частоты модуляции. Подробности этого процесса объяснены ниже со ссылкой на фиг.2 и фиг.3.

Первый кодер 120 кодирует гармонический сигнал x_h(n) с помощью первой схемы кодирования и затем формирует гармонический сигнал. В этом случае первая схема кодирования может соответствовать схеме речевого кодирования. Схема речевого кодирования может соответствовать AMR-WB (адаптивному многоскоростному широкополосному) стандарту, который не ограничивает примеры настоящего изобретения. При этом первый кодер 120 может дополнительно использовать схему LPC (линейное кодирование с предсказанием). Если гармонический сигнал имеет высокую избыточность на временной оси, моделирование может выполняться линейным предсказанием для предсказания текущего сигнала из предыдущего сигнала. В этом случае, если принимается схема линейного предсказания, эффективность кодирования может повышаться. Кроме того, первый кодер 120 может соответствовать кодеру временной области.

Блок 130 вычисления отношения мощности вычисляет отношение мощности с использованием входного сигнала x(n) и гармонического сигнала x_h(n). В этом случае отношение мощности является отношением мощности гармонического сигнала к мощности входного сигнала. Отношение мощности может определяться по формуле 1.

[Формула 1]

В формуле 1 'n' указывает индекс времени, 'x(n)' обозначает входной сигнал, и 'x_h(n)' является гармоническим сигналом.

Блок 140 определения режима определяет информацию о режиме по схеме кодирования входного сигнала x(n) на основе отношения мощности, вычисленного блоком 130 вычисления отношения мощности. В этом случае информация о режиме является информацией, которая указывает один из по меньшей мере трех видов режимов. В этом случае три вида режимов могут включать в себя первый режим, второй режим и третий режим. Первый режим соответствует режиму, который использует первую схему кодирования. Третий режим соответствует режиму, который использует вторую схему кодирования. При этом второй режим может соответствовать режиму, который использует первую схему кодирования и вторую схему кодирования или режим для соединения первого режима и третьего режима вместе. В последнем случае второй режим включает в себя режим прямого соединения для соединения первого режима с третьим режимом и режим обратного соединения для соединения третьего режима с первым режимом.

Как указано выше, первая схема кодирования соответствует схеме, которая выполняется первым кодером 120, а вторая схема кодирования соответствует схеме, которая выполняется вторым кодером 170. Кроме того, второй режим может включать в себя по меньшей мере разные режимы для битовой скорости, которая назначается для каждой из первой и второй схем кодирования. Это будет объяснено подробно ниже со ссылкой на фиг.4.

Первый блок 150 синтеза повторно декодирует гармонический сигнал, закодированный первым кодером 120 в соответствии с первой схемой кодирования. Вычитатель 160 затем формирует остаточный сигнал x_r(n), получаемый вычитанием гармонического сигнала x_h(n), декодированного первым блоком 150 синтеза, из входного сигнала x(n). В этом случае остаточный сигнал x_r(n) может быть сигналом, получаемым от вычитания гармонического сигнала из входного сигнала, но может быть сигналом, полученным из вычтенного сигнала.

Второй кодер 170 формирует кодированный остаточный сигнал посредством кодирования остаточного сигнала x_r(n) посредством второй схемы декодирования. В этом случае вторая схема декодирования может соответствовать схеме аудиокодирования. Схема аудиокодирования может соответствовать стандарту HE-AAC (высокоэффективное расширенное аудиокодирование), которым не ограничиваются примеры настоящего изобретения. В этом случае HE-AAC может получаться путем объединения метода AAC (расширенного аудиокодирования) и метода SBR (дублирования спектрального диапазона) вместе. SBR является методом, который очень эффективен при низкой битовой скорости. SBR является методом дублирования контента на высокочастотном диапазоне путем перемещения гармонического сигнала из низкочастотного диапазона или среднечастотного диапазона. При этом второй кодер 170 может соответствовать кодеру с модифицированным дискретным преобразованием (MDCT).

Если сигнал, кодированный первым кодером 120, и другой сигнал, кодируемый вторым кодером 170, должны одновременно обрабатываться декодером, они будут иметь одинаковый частотный интервал. Для согласования длины кадра 1024 выборок во втором кодере 170 длина кадра в первом кодере 120 устанавливается на 256 выборок. И четыре последовательных кадра управляются как единый блок.

Блок 180 передачи формирует битовый поток для передачи, используя кодированный гармонический сигнал x_h(n), информацию о режиме и кодированный остаточный сигнал x_r(n). В этом случае информация о режиме может представляться в виде информации по меньшей мере двух флагов. Например, первая схема кодирования или вторая схема кодирования представляется в виде информации первого флага, а информация о битовой скорости, назначенной первой схеме кодирования (или второй схеме кодирования), тип метода, тип окна и аналогичное может представляться в виде информации второго флага в соответствии с информацией первого флага.

Фиг.2 является диаграммой, схематично поясняющей процесс анализа частоты модуляции, и фиг.3 является спектрограммой модуляции. В последующем описании процесс выделения гармонического сигнала из входного сигнала объясняется подробно со ссылкой на фиг.2 и фиг.3.

На фиг.2 определение детектирования огибающей поддиапазонов и банк фильтров после частотного детектирования огибающей поддиапазонов соответствуют структуре анализа частоты модуляции. Банк фильтров реализуется, используя кратковременное преобразование (STFT) Фурье. Для дискретного сигнала x(n) кратковременное преобразование (STFT) Фурье может представляться формулой 2, а детектирование огибающей и анализ частоты модуляции могут представляться формулой 3.

[Формула 2]

В формуле 2 W_k=e^-j(2π/K), 'h(n)' является окном анализа акустической частоты, 'm' указывает индекс временного интервала, 'M' указывает размер h(n), 'n' указывает индекс времени и 'k' указывает индекс акустической частоты.

[Формула 3]

В формуле 3 W_I=e^-j(2π/I), g(n) - окно анализа частоты модуляции, 'l' указывает индекс кадра, 'm' указывает индекс временного интервала, 'L' указывает размер окна g(n), 'k' указывает индекс акустической частоты и 'i' указывает индекс частоты модуляции.

Обращаясь к (A) на фиг.2, можно отметить, что частотное преобразование выполняется таким образом, что окно h(mM-n) анализа акустической частоты применяется к сигналу временной области. Таким образом, результатом выполнения частотного преобразования, в первую очередь, как показано в (B) на фиг.2, становятся данные, соответствующие оси временного интервала (m) и оси акустической частоты (k). Применяя снова окно g(lL-m) анализа частоты модуляции к результату, показанному в (B) на фиг.2, анализ частоты модуляции выполняется снова. При этом, обращаясь к (C) на фиг.2, формируются данные X_l(k, i), соответствующие оси частоты (i) модуляции и оси акустической частоты (k).

На фиг.3 показаны спектрограммы модуляции (a)-(c). В частности, (a) относится к речевому сигналу, (b) относится к сигналу, включающему речь и музыку, смешанные вместе, и (с) относится к музыкальному сигналу. На фиг.3, (а)-(с), горизонтальная ось соответствует частоте, вертикальная ось соответствует акустической частоте и уровень энергии представляется в виде штриховки. При этом горизонтальные оси на фиг.3, (d)-(f), соответствуют частоте модуляции, а каждая их вертикальная ось соответствует сумме энергии всех акустических частот. Высокий уровень появляется в области основного тона. Максимум в диапазоне поиска максимума, показанный на фиг.3, может вычисляться на основе алгоритма выпуклой оболочки. Допуская запас для получаемого максимума, можно вычислить область основного тона гармонического компонента. При этом набор индексов частоты модуляции может определяться следующим образом.

[Формула 4]

Q={i:i(f_s/IM)P}.

В формуле 4, если 'f_s' указывает частоту дискретизации, 'i' указывает набор индексов частоты модуляции в области 'P' основного тона.

Энергия частоты модуляции, соответствующая области основного тона гармонического сигнала, может быть представлена формулой 5.

[Формула 5]

Аналогично фиг.6, диапазон негармонического сигнала рассматривается как размещенный вне области основного тона.

[Формула 6]

Функция F1 подавления частоты в каждом кадре 1, т.е. момент времени n=1(LM) может определяться из отношения области гармоник к области остатков.

[Формула 7]

где 'k' указывает индекс акустической частоты и 'l' указывает индекс кадра.

В формуле 7 'E_l()' определяется формулой 5, и 'E_r()' определяется формулой 6.

Значение, полученное из формулы 7, умножается на абсолютное значение (величину) каждой акустической частоты в формуле 2 для подавления негармонического компонента во входном сигнале.

Фиг.4 - блок-схема для объяснения принципа схемы кодирования. Как отмечено в вышеприведенном описании фиг.1, блок определения режима определяет информацию о режиме по схеме кодирования входного сигнала на основе отношения мощности, вычисленного по формуле 1. Первая схема кодирования может соответствовать AMR-WB стандарту. AMB-WB имеет частоту дискретизации 16 кГц и включает в себя все девять режимов с максимальным значением 23,85 кбит/с. А именно, здесь существуют режимы 6,6, 8,85, 12,65, 14,25, 15,85, 18,25, 19,85, 23,05 и 23,85 кбит/с.

При этом вторая схема кодирования может соответствовать стандарту HE-AAC. HE-AAC использует битовую скорость, равную или ниже 20 кбит/с, если частота дискретизации равна 16 кГц.

Следовательно, чтобы использовать либо первую схему кодирования, либо вторую схему кодирования, или как первую, так и вторую схему кодирования в настоящем изобретении, в случае сигнала с частотой дискретизации 16 кГц полная битовая скорость может соответствовать 19,85 кбит/с. Если полная битовая скорость соответствует 19,85 кбит/с, будет возможно использовать два вида режимов 6,6 и 8,85 из девяти режимов. Если определен режим для активации AMB-WB, остаток битовых скоростей, при исключении битовой скорости, соответствующий AMB-WB, из полной битовой скорости может назначаться для HE-AAC.

Ссылаясь на фиг.4, можно отметить, что режим А соответствует случаю, в котором отношение POW_ratio мощности равно приблизительно 1. Можно отметить, что режимы B и C соответствуют случаю, в котором отношение POW_ratio мощности существует между заранее заданными значениями (Thr_A, Thr_B, Thr_C). И можно отметить, что режим D соответствует случаю, в котором отношение POW_ratio мощности близко к 0.

Прежде всего, можно отметить, что режим А использует только первую схему кодирования (например, схему речевого кодирования), а режим D использует только вторую схему кодирования (например, схему аудиокодирования). Кроме того, можно отметить, что режим B или режим C использует две схемы. Режим A соответствует случаю, в котором отношение мощности находится между конкретным порогом Thr_A и 1, поскольку большая часть входного сигнала создается с гармоническим сигналом (или частотно-гармоническим сигналом), вся битовая скорость назначается для схемы речевого кодирования. Режим D соответствует случаю, в котором отношение мощности находится между 0 и конкретным порогом Thr_C, поскольку большая часть входного сигнала создается с негармоническим сигналом, вся битовая скорость назначается схеме аудиокодирования. При этом, в случае режима B, поскольку отношение гармонического сигнала является относительно высоким во входном сигнале, назначается битовая скорость (например, 8,85 кбит/с), относительно более высокая, чем скорость схемы речевого кодирования, а остаток (11,0 кбит/с) назначается для схемы аудиокодирования. В случае режима C, поскольку отношение негармонического сигнала является относительно высоким во входном сигнале, назначается битовая скорость (например, 6,60 кбит/с), относительно более низкая, чем скорость схемы речевого кодирования, а остаток (например, 13,25 кбит/с) назначается для схемы аудиокодирования.

Описанные выше режимы в настоящем изобретении не ограничиваются битовой скоростью конкретного значения. Хотя два вида режимов (режим B и режим C) объясняются в виде второго режима, использующего, например, по меньшей мере две схемы кодирования, во втором режиме могут существовать по меньшей мере три или более режимов.

Фиг.5 является блок-схемой, объясняющей изменение межкадрового режима. В случае, когда существуют по меньшей мере два последовательных кадра, воспринимаемая прерывность может возникать между двумя кадрами в соответствии с характеристиками входного сигнала. В частности, когда режим A переключается на режим D, поскольку кадр, декодированный только второй схемой кодирования, изменяется на кадр, декодированный только первой схемой кодирования, может возникать воспринимаемая прерывность. Поэтому изменение с режима A в режим D или изменение с режима D в режим A может не разрешаться. На фиг.5 разрешается взаимное переключение между режимом A и режимом B, режимом B и режимом C, режимом C и режимом D или режимом B и режимом D, а взаимное переключение между режимом A и режимом D не разрешается. Другими словами, возможно взаимное переключение между первым режимом (режим A) и вторым режимом (режим B или режим C) или взаимное переключение между вторым режимом и третьим режимом (режим D), в то время как изменение между первым режимом и третьим режимом может ограничиваться.

Если, когда блок 140 определения режима, описанный со ссылкой на фиг.1, определяет режим последовательных кадров, если обнаружено ограниченное изменение режима, то возможно принудительно изменить режим. Если первый и второй кадровые режимы являются первым и третьим режимами соответственно, или если первый и второй кадровые режимы являются третьим и первым режимами соответственно, первый кадровый режим изменяется на второй режим или второй кадровый режим изменяется на второй режим. Конечно, возможно изменить первый и второй кадровый режимы на второй режим. Другими словами, если второй кадровый режим является первым режимом, первый кадровый режим изменяется на первый режим или второй режим (в частности, режим обратного соединения). Если второй кадровый режим является третьим режимом, первый кадровый режим изменяется на третий режим или второй режим (в частности, режим прямого соединения).

Фиг.6 является блок-схемой способа кодирования в соответствии с вариантом осуществления настоящего изобретения.

На фиг.6 гармонический сигнал отделяется от входного сигнала [S110]. Затем вычисляется отношение мощности гармонического сигнала к входному сигналу [S120]. На основе отношения мощности затем определяется информация о режиме, которая является информацией о схеме кодирования [S130]. Как отмечено в приведенном выше описании, информация о режиме является информацией, указывающей, что назначенный режим соответствует одному из трех видов режимов. Три вида режимов включают в себя первый режим, использующий только первую схему кодирования, и третий режим, использующий только вторую схему кодирования. Кроме того, также включается второй режим. Второй режим может соответствовать режиму, который использует первую и вторую схемы кодирования, или может соответствовать режиму соединения первого режима и третьего режима вместе. В последнем случае второй режим включает в себя режим прямого соединения и режим обратного соединения.

На основе информации о режиме гармонический сигнал кодируется первой схемой кодирования [S140]. Остаточный сигнал затем формируется с использованием входного сигнала и гармонического сигнала [S150]. В этом случае гармоническим сигналом может быть сигнал, который кодируется первой схемой кодирования и затем снова декодируется первой схемой кодирования. Затем остаточный сигнал кодируется второй схемой кодирования [S160]. С использованием кодированного гармонического сигнала, кодированного остаточного сигнала и информации о режиме формируется битовый поток [S170].

Фиг.7 является блок-схемой, объясняющей выполнение кодирования в соответствии с вариантом осуществления настоящего изобретения.

Из фиг.7 можно видеть качество для случая кодирования каждого из семи сигналов выборок, соответствующих разным схемам кодирования. Тестовыми условиями для оценки рабочих характеристик являются частота дискретизации 16 кГц и 'M=16, K=512, L=32 и I=512 в формуле 2 и формуле 3'. При этом 'h(n)' указывает 48-точечное окно Хенинга, и 'g(n)' указывает 64-точечное окно Хенинга. Диапазон поиска основного тона соответствует 70~485 Гц при учете интервала поиска основного тона кодера AMR-WB. Запас для поиска области основного тона равен 20 Гц. И пороги на фиг.4 равны Thr_A=0,5, Thr_B=0,4 и Thr_C=0,5.

В частности, качество при выполнении кодирования посредством каждой из схемы (b) настоящего изобретения, схемы (c) аудиокодирования и схемы (d) речевого кодировании может сравниваться с качеством оригинала (a). В сигнале, имеющем последовательно смешанные речевой и музыкальный сигналы (выборка 1 и выборка 2), или сигнале, имеющем последовательно смешанные речевой и музыкальный сигналы (выборка 4 и выборка 6), схема (b) настоящего изобретения имеет качество, лучшее, чем качество других схем. Несмотря на то, что случай выборки 7 соответствует чистому музыкальному сигналу, схема настоящего изобретения обеспечивает качество, лучшее, чем в случае использования схемы аудиокодирования (см. треугольные метки).

Фиг.8 является конфигурационной блок-схемой устройства декодирования сигнала в соответствии с вариантом осуществления настоящего изобретения, и фиг.9 является блок-схемой способа декодирования в соответствии с вариантом осуществления настоящего изобретения. На фиг.8 устройство 200 декодирования сигнала в соответствии с вариантом осуществления настоящего изобретения включает в себя приемный блок 210, блок 220 изменения режима, первый декодер 230, второй декодер 240 и блок 250 синтеза.

Приемный блок 210 принимает битовый поток и затем выделяет по меньшей мере один из кодированного гармонического сигнала x_h(n) и кодированного остаточного сигнала x_r(n) и информацию о режиме из битового потока. В этом случае, как отмечено выше, информация о режиме является информацией, которая указывает, что назначенный режим соответствует одному из по меньшей мере трех или более способов. Режимы, как показано на фиг.4, включают в себя первый режим, использующий только первую схему кодирования, и третий режим, использующий только вторую схему кодирования. Кроме того, второй режим также включается. Второй режим может соответствовать режиму, который использует первую и вторую схемы кодирования, или может соответствовать режиму для соединения первого режима и третьего режима вместе. В последнем случае второй режим включает в себя режим прямого соединения и режим обратного соединения. Кроме того, информация о режиме, как показано на фиг.4, может также дополнительно включать в себя также информацию битовой скорости каждого декодера.

Информация о режиме, включенная в битовый поток, может включать первый кадровый режим и второй кадровый режим. Если второй кадровый режим является первым режимом, первый кадровый режим соответствует первому режиму или второму режиму (в частности, режиму обратного соединения). Если второй кадровый режим является третьим режимом, первый режим соответствует третьему режиму или второму режиму (в частности, режиму прямого соединения).

Блок 220 изменения режима вынуждает принятый режим изменяться, если обнаруживается ограничение изменения режима для информации о режиме по меньшей мере двух кадров. Например, когда существуют первый и второй кадровые режимы, если первый и второй кадровые режимы являются первым и третьим режимами соответственно, или если первый и второй кадровые режимы являются третьим и первым режимами соответственно, по меньшей мере один из первого и второго кадровых режимов изменяется на второй режим. Информация об измененном режиме передается на первый декодер 230 и второй декодер 240. Если ограничение изменения режима не обнаружено, блок 220 изменения режима передает принятую информацию о режиме на первый декодер 230 и/или второй декодер 240 в неизменном виде.

По меньшей мере один из гармонического сигнала и остаточного сигнала декодируется первым декодером 230 и/или вторым декодером 240 в соответствии с тем, соответствует ли принятая информация о режиме или информация об измененном режиме одному из режимов с первого по третий. В частности, если принятая информация о режиме или информация об измененном режиме соответствует первому режиму, гармонический сигнал декодируется первым декодером 230. Если принятая информация о режиме или информация об измененном режиме соответствует второму режиму, гармонический сигнал декодируется первым декодером 230 и остаточный сигнал декодируется вторым декодером 240. Если принятая информация о режиме или информация об измененном режиме соответствует третьему режиму, остаточный сигнал декодируется вторым декодером 240.

Первый декодер 230 декодирует гармонический сигнал с помощью первой схемы кодирования на основе информации о режиме. В этом случае первая схема кодирования может соответствовать схеме речевого кодирования. Схема речевого кодирования может соответствовать стандарту AMR-WB, которым примеры настоящего изобретения не ограничиваются. Кроме того, первый декодер 230 может соответствовать декодеру временной области.

Второй декодер 240 декодирует остаточный сигнал посредством второй схемы кодирования на основе информации о режиме. В этом случае вторая схема кодирования может соответствовать схеме аудиокодирования. Схема аудиокодирования может соответствовать стандарту HE-AAC, которым примеры настоящего изобретения не ограничиваются. Первый декодер 230 декодирует гармонический сигнал посредством выполнения линейного предсказания из коэффициента линейного предсказания, если гармонический сигнал кодируется схемой кодирования линейного предсказания (LPC). Кроме того, второй декодер 240 может соответствовать декодеру MDCT (модифицированного дискретного преобразования).

Блок 250 синтеза формирует выходной сигнал посредством синтеза сигналов, декодируемых первым и вторым декодерами 230 и 240 вместе. В этом случае, так как декодированный гармонический сигнал и декодированный остаточный сигнал должны одновременно обрабатываться, длины кадров должны быть идентичны друг другу. Здесь, если длина кадра гармонического сигнала соответствует 256 выборкам и если длина кадра остаточного сигнала соответствует 1024 выборкам, четыре кадра гармонического сигнала обрабатываются как один блок.

На фиг.9 устройство декодирования принимает битовый поток, сформированный кодером [S210]. По меньшей мере один из гармонического сигнала и остаточного сигнала и информация о режиме выделяются из битового потока [S220]. Если информация о режиме, соответствующая текущему кадру, является первым режимом ['да' на этапе S230], определяется, является ли режим предыдущего кадра третьим режимом. Затем режим предыдущего кадра или режим текущего кадра корректируется [S240]. Например, если режим предыдущего кадра является третьим режимом, режим предыдущего кадра изменяется на второй режим с третьего режима, или режим текущего кадра изменяется на второй режим с первого режима. Затем гармонический сигнал декодируется первой схемой кодирования [S240].

Если информация о режиме, соответствующая текущему кадру, является вторым режимом ['да' на этапе S250], гармонический сигнал декодируется первой схемой кодирования, и остаточный сигнал декодируется второй схемой кодирования [S260]. Затем выходной сигнал формируется посредством синтеза декодированного гармонического сигнала и декодированного остаточного сигнала [S270]. Если информация о режиме дополнительно включает в себя информацию о битовой скорости, назначенной для каждой схемы кодирования, каждый сигнал декодируется на основе информации о битовой скорости. Например, гармонический сигнал декодируется при 6,60 кбит/с, и остаточный сигнал может декодироваться при 13,25 кбит/с.

При этом, если информация о режиме, соответствующая текущему кадру, является третьим режимом ['да' на этапе S280], информация о режиме корректируется при условии, что режим предыдущего кадра является третьим режимом [S290]. Например, если режим предыдущего кадра является первым режимом и если режим текущего кадра является третьим режимом, режим предыдущего кадра изменяется на второй режим с первого режима, или режим текущего кадра принудительно изменяется на второй режим с третьего режима. Затем остаточный сигнал декодируется второй схемой кодирования [S295].

Кроме того, настоящее изобретение может быть реализовано в носителе с записанной программой в качестве машиночитаемых кодов. Машиночитаемые носители включают в себя все виды записывающих устройств, в которых сохраняются данные, считываемые компьютерной системой. Машиночитаемые носители включают в себя, например, ROM, RAM, CD-ROM, магнитные ленты, гибкие диски, оптические запоминающие устройства и т.п., а также включают в себя реализации типа несущей волны (например, передача по Интернет).

Хотя настоящее изобретение описано и показано здесь со ссылкой на предпочтительные варианты его осуществления, специалистам в данной области техники должно быть очевидно, что различные модификации и вариации могут быть выполнены без отклонения от сущности и объема изобретения. Таким образом, предполагается, что настоящее изобретение охватывает модификации и вариации этого изобретения, которые подпадают под объем пунктов формулы изобретения и их эквивалентов.

Промышленная применимость

Соответственно, настоящее изобретение применимо для кодирования и декодирования аудиосигнала или видеосигнала.

1. Способ обработки сигнала, содержащий:
прием по меньшей мере одного из первого сигнала и второго сигнала;
прием информации о режиме для указания, что назначенный режим соответствует одному из по меньшей мере трех режимов, включающих в себя первый режим, второй режим и третий режим; и
если информация о режиме указывает, что назначенный режим является первым режимом, то декодирование первого сигнала с использованием первой схемы кодирования;
если информация о режиме указывает, что назначенный режим является вторым режимом, то декодирование первого сигнала и второго сигнала, включающее в себя:
декодирование первого сигнала с использованием первой схемы кодирования;
декодирование второго сигнала с использованием второй схемы кодирования; и
генерирование выходного сигнала с использованием декодированного первого сигнала и декодированного второго сигнала; и
если информация о режиме указывает, что назначенный режим является третьим режимом, то декодирование второго сигнала с использованием второй схемы кодирования;
причем первая схема кодирования соответствует схеме речевого кодирования, и вторая схема кодирования соответствует схеме аудиокодирования.

2. Способ по п.1, в котором информация о режиме представляется в виде информации по меньшей мере двух флагов.

3. Способ по п.1, в котором информация о режиме дополнительно включает в себя информацию о битовой скорости, назначенной для каждой из первой схемы кодирования и второй схемы кодирования, и при этом информация о режиме определяется посредством множества преобразований Фурье.

4. Способ по п.1, в котором первый сигнал соответствует гармоническому сигналу, при этом второй сигнал соответствует остаточному сигналу, и при этом второй сигнал получается из сигнала, получаемого вычитанием первого сигнала из входного сигнала.

5. Способ по п.1, в котором информация о режиме включает в себя первый кадровый режим в качестве информации о режиме для первого кадра и второй кадровый режим в качестве информации о режиме для второго кадра, и при этом способ дополнительно содержит, если первый кадровый режим является первым режимом и второй кадровый режим является третьим режимом, или если первый кадровый режим является третьим режимом и второй кадровый режим является первым режимом, изменение по меньшей мере одного из первого кадрового режима и второго кадрового режима на второй режим.

6. Устройство обработки сигнала, содержащее:
приемный блок, принимающий по меньшей мере один из первого сигнала и второго сигнала и принимающий информацию о режиме для указания, что назначенный режим соответствует одному из по меньшей мере трех режимов, включающих в себя первый режим, второй режим и третий режим; и
блок декодирования, декодирующий по меньшей мере один из первого сигнала и второго сигнала, используя по меньшей мере одну из первой схемы кодирования и второй схемы кодирования в соответствии с информацией о режиме, включающий в себя
первый декодер, который, если информация о режиме указывает, что назначенный режим является первым режимом или вторым режимом, декодирует первый сигнал с использованием первой схемы кодирования;
второй декодер, который, если информация о режиме указывает, что назначенный режим является вторым режимом или третьим режимом, декодирует второй сигнал с использованием второй схемы кодирования; и
блок синтеза, который, когда информация о режиме указывает, что назначенный режим является вторым режимом, генерирует выходной сигнал с использованием декодированного первого сигнала и декодированного второго сигнала,
причем первая схема кодирования соответствует схеме речевого кодирования, и вторая схема кодирования соответствует схеме аудиокодирования.

7. Устройство по п.6, в котором информация о режиме представляется в виде информации по меньшей мере двух флагов.

8. Устройство по п.6, в котором информация о режиме дополнительно включает в себя информацию о битовой скорости, назначенной для каждой из первой схемы кодирования и второй схемы кодирования, и при этом информация о режиме определяется посредством множества преобразований Фурье.

9. Устройство по п.6, в котором первый сигнал соответствует гармоническому сигналу, при этом второй сигнал соответствует остаточному сигналу, и при этом второй сигнал получается из сигнала, полученного вычитанием первого сигнала из входного сигнала.

10. Устройство по п.6, в котором информация о режиме включает в себя первый кадровый режим в качестве информации о режиме для первого кадра и второй кадровый режим в качестве информации о режиме для второго кадра, и при этом, если первый кадровый режим является первым режимом и второй кадровый режим является третьим режимом, или если первый кадровый режим является третьим режимом и второй кадровый режим является первым режимом, блок декодирования изменяет по меньшей мере один из первого кадрового режима и второго кадрового режима на второй режим.

11. Способ обработки сигнала, содержащий:
выделение первого сигнала из входного сигнала;
определение информации о режиме из входного сигнала и первого сигнала, причем информация о режиме указывает, что назначенный режим соответствует одному из по меньшей мере трех режимов, включающих в себя первый режим, второй режим и третий режим;
формирование второго сигнала на основе по меньшей мере одного из входного сигнала и первого сигнала; и
кодирование первого сигнала с использованием первой схемы кодирования, если информация о режиме указывает, что назначенный режим соответствует первому режиму или второму режиму; и
кодирование второго сигнала с использованием второй схемы кодирования, если информация о режиме указывает, что назначенный режим соответствует второму режиму или третьему режиму.