Оповещение пользователя о прикрытии микрофона
Изобретение касается механизма, который отслеживает сигналы вторичного микрофона в мобильном устройстве с множеством микрофонов, чтобы предупреждать пользователя, если один или более вторичных микрофонов прикрываются в то время, как мобильное устройство используется. В одном примере усредненные сглаженным образом оценочные значения мощности вторичных микрофонов могут быть вычислены и сравнены с оценочным значением минимального уровня шума основного микрофона. Детектирование прикрытия микрофона может производиться сравнением сглаженных оценочных значений мощности вторичного микрофона с оценочным значением минимального уровня шума для основного микрофона. В другом примере оценочные значения минимального уровня шума для сигналов основного и вторичного микрофонов могут быть сравнены с разностью в чувствительности первого и второго микрофонов для определения, не прикрыт ли вторичный микрофон. Как только произведено обнаружение, предупреждающий сигнал может генерироваться и выдаваться пользователю. Технический результат - улучшение качества звука основного звукового сигнала. 5 н. и 32 з.п. ф-лы, 9 ил.
Область техники, к которой относится изобретение
По меньшей мере один аспект относится к отслеживанию влияния пользователя на производительность системы связи. В частности, по меньшей мере, одна особенность относится к обнаружению прикрытия микрофона пользователем мобильного устройства и выдачей предупреждения пользователю, так чтобы поведение пользователя не имело негативного влияния на производительность системы связи.
Уровень техники
Мобильные устройства (например, мобильные телефоны, цифровые диктофоны, устройства связи и т.п.) часто используются различными пользователями разным образом. Такое разнообразие использования может значительно влиять на показатели качества голоса мобильных устройств. Способ, которым используется мобильное устройство, меняется от пользователя к пользователю и время от времени для одного и того же пользователя. У пользователей есть разные потребности в связи, предпочтения по функциональности и привычки в пользовании, которые могут привести к тому, что мобильное устройство используется или удерживается в разных позициях во время функционирования. Например, одному пользователю нравится перевернуть устройство верхней стороной вниз при использовании его для разговора в режиме громкой связи. В другом примере может отсутствовать линия прямой видимости (LOS) между микрофоном мобильного устройства и пользователем, что может повлиять на захват голосового сигнала. В еще одном случае мобильное устройство может быть помещено или расположено таким образом, что улавливание желаемого голосового сигнала микрофоном блокируется или затрудняется.
Некоторые мобильные устройства могут применять множество микрофонов в попытке улучшить качество передаваемого звука. Такие устройства обычно используют усовершенствованные способы обработки сигнала для обработки сигналов, захваченных множеством микрофонов, и эти способы предлагают различные преимущества, такие как улучшенное качество звука/голоса, сокращенный фоновый шум и т.п. в передаваемом звуковом сигнале. Однако закрывание (прикрытие) микрофонов пользователем (говорящим абонентом) может сдерживать производительность алгоритмов обработки сигналов, и намеченные преимущества могут не реализовываться.
Различные способы, которыми пользователи могут использовать мобильное устройство, часто влияют на прием желаемых звуковых или голосовых сигналов микрофоном на мобильном устройстве, приводя к ухудшению качества звука или голоса (например, уменьшению отношения сигнал/шум (SNR)). В голосовой связи, особенно в мобильной голосовой связи, качество голоса или звука являются показателем для качества услуги (QoS). Способ, которым используется мобильное устройство, является одним из множества факторов, которые могут потенциально влиять на QoS. Однако во время нормального использования мобильного устройства пользователь может прикрыть один или более микрофонов, и его/ее поведение может ухудшить качество звука/голоса.
Следовательно, необходим способ оповещать пользователя мобильного устройства о том, что его поведение оказывает негативное влияние на качество звука/голоса.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Предоставлен способ улучшения захвата звука на мобильном устройстве. Первый акустический сигнал принимается через основной микрофон для получения основного звукового сигнала. Аналогично, второй акустический сигнал принимается через вторичный микрофон для получения вторичного звукового сигнала. Первый звуковой сигнал и второй звуковой сигнал могут быть приняты в пределах перекрывающихся промежутков времени. Характеристика первого сигнала определяется для основного звукового сигнала, и характеристика второго сигнала определяется для вторичного звукового сигнала. На основании характеристики первого звукового сигнала и характеристики второго звукового сигнала определяется, мог ли вторичный микрофон быть заслонен. Может быть предоставлено предупреждение, указывающее, что вторичный микрофон мог быть заслонен. Вторичный звуковой сигнал может использоваться для того, чтобы улучшить качество звука основного звукового сигнала.
Согласно одной особенности определение на основании характеристики первого сигнала и характеристики второго сигнала, может ли вторичный микрофон быть заслоненным, может включать в себя этапы, на которых: а) определяют, является ли соотношение между характеристикой второго сигнала и характеристикой первого сигнала меньшим заданного порога, и/или б) предоставляют предупреждение, если соотношение меньше заданного порога. Предупреждение может быть предоставлено посредством, по меньшей мере, одного из аудиосигнала, вибрации мобильного устройства и визуального индикатора.
Способ может также включать в себя этапы, на которых: а) получают первую чувствительность, относящуюся к основному микрофону, и вторую чувствительность, относящуюся ко вторичному микрофону, и/или б) получают порог на основании разницы между первой чувствительностью и второй чувствительностью. Первая чувствительность основного микрофона и вторая чувствительность вторичного микрофона могут быть получены для данного уровня звукового давления.
Другой аспект предусматривает этапы, на которых: а) обрабатывают основной сигнал, чтобы либо понизить шумы, либо улучшить качество звука, используя вторичный звуковой сигнал, и/или б) передают обработанный основной звуковой сигнал заданному слушателю через сеть связи.
Согласно одной особенности характеристика первого сигнала может быть первым уровнем шума для основного звукового сигнала, а характеристика второго сигнала может быть вторым уровнем шума для вторичного звукового сигнала. Первый уровень шума может быть первым минимальным уровнем шума, а второй уровень шума может быть вторым минимальным уровнем шума. Первый и второй минимальные уровни шума могут быть сглажены для первого и второго звуковых сигналов. Альтернативно характеристика первого сигнала может быть первым уровнем шума для основного звукового сигнала, а характеристика второго сигнала может быть вторым уровнем мощности для вторичного звукового сигнала.
Согласно одному аспекту этап получения характеристики первого сигнала для основного звукового сигнала может включать в себя этапы, на которых: а) сегментируют элемент основного звукового сигнала на первое множество кадров, b) оценивают мощность блока для каждого из первого множества кадров и/или с) осуществляют поиск элемента с минимальной энергией в первом множестве кадров для получения первого оценочного значения минимального уровня шума для основного звукового сигнала, где первое оценочное значение минимального уровня шума является уровнем шума для основного звукового сигнала. Аналогично этап получения характеристики второго сигнала для вторичного звукового сигнала может включать в себя этапы, на которых: а) сегментируют элемент вторичного звукового сигнала на второе множество кадров, b) оценивают мощность блока для каждого из второго множества кадров и/или с) осуществляют поиск элемента с минимальной энергией во втором множестве кадров для получения второго оценочного значения минимального уровня шума для основного звукового сигнала, где второе оценочное значение минимального уровня шума является уровнем шума для вторичного звукового сигнала. Определение, не может ли быть заслонен вторичный микрофон, может включать в себя этапы, на которых: а) получают отношение оценочного значения второго минимального уровня шума к оценочному значению первого минимального уровня шума и/или b) определяют, является ли данное отношение меньшим порогового значения.
Согласно другому аспекту способ может также включать в себя этапы, на которых: а) получают оценочное значение мощности блока для вторичного звукового сигнала для вторичного микрофона, b) получают сглаживающий коэффициент для вторичного звукового сигнала, с) получают сглаженное оценочное значение мощности блока для вторичного звукового сигнала на основании сглаживающего коэффициента и оценки мощности блока, d) получают оценочное значение первого минимального уровня шума для блока сигнала основного микрофона для основного микрофона, е) получают отношение между сглаженным оценочным значением мощности блока и оценочным значением первого минимального уровня шума и/или f) определяют, является ли это отношение меньшим порогового значения.
Еще один аспект предусматривает динамический выбор основного микрофона из множества микрофонов на основании того, какой микрофон обладает наибольшей мощностью сигнала или наибольшим отношением сигнал/шум за конкретный период времени.
Также предоставлено мобильное устройство, содержащее: основной микрофон, вторичный микрофон и модуль обнаружения прикрытия вторичного микрофона. Основной микрофон может быть выполнен с возможностью получения первого звукового сигнала. Вторичный микрофон может быть выполнен с возможностью получения второго звукового сигнала. Модуль обнаружения прикрытия вторичного микрофона может быть сконфигурирован или выполнен с возможностью а) определять характеристику первого сигнала для основного звукового сигнала, b) определять характеристику второго сигнала для вторичного звукового сигнала, с) определять, не может ли вторичный микрофон быть заслонен, на основании характеристики первого сигнала и характеристики второго сигнала и/или d) предоставлять предупреждение, указывающее, что вторичный микрофон может быть заслонен. Предупреждение может быть предоставлено посредством, по меньшей мере, одного из аудиосигнала, вибрации мобильного устройства и визуального индикатора. Первый звуковой сигнал и второй звуковой сигнал могут быть получены в пределах перекрывающихся временных промежутков. Второй звуковой сигнал может использоваться для улучшения качества звука первого звукового сигнала.
При определении, может ли вторичный микрофон быть заслоненным, на основании характеристики первого сигнала и характеристики второго сигнала модуль обнаружения прикрытия вторичного микрофона может быть дополнительно сконфигурирован или выполнен с возможностью определения, не является ли отношение между характеристикой второго сигнала и характеристикой первого сигнала меньше порогового значения. Модуль обнаружения прикрытия вторичного микрофона может быть дополнительно сконфигурирован или выполнен с возможностью а) получать первую чувствительность, относящуюся к основному микрофону, и вторую чувствительность, относящуюся ко вторичному микрофону, причем первая чувствительность основного микрофона и вторая чувствительность вторичного микрофона получаются для заданного уровня звукового давления и/или b) получать пороговое значение на основании разности между первой чувствительностью и второй чувствительностью.
Модуль обнаружения прикрытия вторичного микрофона может быть дополнительно сконфигурирован или выполнен с возможностью: а) обрабатывать основной звуковой сигнал, для того чтобы либо понизить шум, либо улучшить качество звука с применением вторичного звукового сигнала и/или b) передавать обработанный основной звуковой сигнал заданному слушателю через сеть связи.
Основной и вторичный микрофоны могут выбираться из множества микрофонов, смонтированных на разных поверхностях мобильного устройства. Вследствие этого модуль обнаружения прикрытия вторичного микрофона может быть дополнительно сконфигурирован или выполнен с возможностью динамически выбирать основной микрофон из множества микрофонов на основании того, какой микрофон обладает либо наибольшей энергией сигнала, либо наибольшим отношением сигнал/шум за конкретный период времени.
Характеристика первого сигнала может быть оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала может быть оценочным значением второго минимального уровня шума для вторичного звукового сигнала. Вследствие этого модуль обнаружения прикрытия вторичного микрофона может быть дополнительно сконфигурирован или выполнен с возможностью определения, является ли отношение между оценочным значением второго минимального уровня шума и оценочным значением первого минимального уровня шума меньше порогового значения.
Характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является вторым сглаженным оценочным значением мощности для вторичного звукового сигнала. Следовательно, модуль обнаружения прикрытия вторичного микрофона может быть дополнительно сконфигурирован или выполнен с возможностью определения, является ли отношение между вторым сглаженным оценочным значением мощности и оценочным значением первого минимального уровня шума меньше порогового значения.
Вследствие этого предоставляется мобильное устройство, содержащее: а) средство для приема первого акустического сигнала через основной микрофон, чтобы получать основной звуковой сигнал, b) средство для приема второго акустического сигнала через вторичный микрофон, чтобы получать вторичный звуковой сигнал, с) средство для определения характеристики первого сигнала для основного звукового сигнала, d) средство для определения характеристики второго сигнала для вторичного звукового сигнала, e) средство для определения, не может ли вторичный микрофон быть заслонен, на основании характеристики первого сигнала и характеристики второго сигнала и/или f) средство для предоставления предупреждения, указывающего, что вторичный микрофон может быть заслонен. Характеристика первого сигнала может быть оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является оценочным значением второго минимального уровня шума для вторичного звукового сигнала. Характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является вторым сглаженным оценочным значением мощности для вторичного звукового сигнала.
Также предоставлена схема для улучшения захвата звука, при этом схема сконфигурирована или выполнена с возможностью: а) принимать первый акустический сигнал через основной микрофон, чтобы получать основной звуковой сигнал, b) принимать второй акустический сигнал через вторичный микрофон, чтобы получать вторичный звуковой сигнал, c) получать характеристику первого сигнала для основного звукового сигнала, d) получать характеристику второго сигнала для вторичного звукового сигнала, e) определять, не может ли вторичный микрофон быть заслонен, на основании характеристики первого сигнала и характеристики второго сигнала и/или f) предоставлять предупреждение, указывающее, что вторичный микрофон может быть заслонен. Характеристика первого сигнала может быть оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала может быть оценочным значением второго минимального уровня шума для вторичного звукового сигнала. Согласно одному аспекту при определении, может ли вторичный микрофон быть заслоненным, схема может быть выполнена с дополнительной возможностью определения, является ли отношение между оценочным значением второго минимального уровня шума и оценочным значением первого минимального уровня шума меньшим порогового значения. Характеристика первого сигнала может быть оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала может быть вторым сглаженным оценочным значением мощности для вторичного звукового сигнала. Согласно другому аспекту при определении, может ли вторичный микрофон быть заслоненным, схема может быть выполнена с дополнительной возможностью определения, является ли отношение между вторым сглаженным оценочным значением мощности и оценочным значением первого минимального уровня шума меньшим порогового значения. В одном примере эта схема может быть реализована как интегральная схема.
Также предоставлен машиночитаемый носитель, содержащий инструкции, улучшающие улавливание звука на мобильном устройстве, которые, при выполнении процессором, побуждают процессор: а) принимать первый акустический сигнал через основной микрофон, чтобы получать основной звуковой сигнал, b) принимать второй акустический сигнал через вторичный микрофон, чтобы получать вторичный звуковой сигнал, c) определять характеристику первого сигнала для основного звукового сигнала, d) определять характеристику второго сигнала для вторичного звукового сигнала, e) определять, не может ли вторичный микрофон быть заслонен, на основании характеристики первого сигнала и характеристики второго сигнала, f) предоставлять предупреждение, указывающее, что вторичный микрофон может быть заслонен, и/или g) динамически выбирать основной микрофон из множества микрофонов на основании того, какой микрофон обладает либо наибольшей энергией сигнала, либо наибольшим отношением сигнал/шум за конкретный период времени.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Различные особенности, сущность и преимущества могут стать очевидны из подробного описания, изложенного ниже, во взаимосвязи с прилагаемыми чертежами, на которых подобные ссылочные позиции используются для соответствующего обозначения на всех чертежах.
Фиг. 1 иллюстрирует пример мобильного телефона, имеющего два или более микрофонов для улучшенного улавливания звуковых/голосовых сигналов.
Фиг. 2 иллюстрирует пример раскладного мобильного телефона, имеющего два или более микрофонов для улучшенного улавливания звуковых/голосовых сигналов.
Фиг. 3 является функциональной блок-схемой, иллюстрирующей пример многомикрофонного мобильного устройства, сконфигурированного обнаруживать, когда вторичный микрофон заслонен.
Фиг. 4 является блок-схемой, иллюстрирующей процесс, работающий на многомикрофонном мобильном устройстве, чтобы обнаруживать, когда вторичный микрофон заслонен.
Фиг. 5 является блок-схемой, иллюстрирующей пример того, как отслеживаются два микрофона и вычисляются оценки уровня шума в этих двух микрофонах, для того чтобы обнаружить, не заслонен ли вторичный микрофон.
Фиг.6 является графической иллюстрацией процедуры вычисления минимального уровня шума согласно одному примеру.
Фиг. 7 является функциональной блок-схемой, иллюстрирующей действие детектора прикрытия вторичного микрофона согласно одному примеру.
Фиг. 8 иллюстрирует альтернативный способ получения гладкого оценочного значения мощности блока для звукового сигнала вторичного микрофона от вторичного микрофона.
Фиг. 9 является функциональной блок-схемой, иллюстрирующей действие детектора прикрытия вторичного микрофона согласно одному примеру.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
В нижеследующем описании приведены конкретные подробности для обеспечения понимания конфигураций. Однако специалисту в данной области техники будет понятно, что эти конфигурации могут применяться без этих конкретных деталей. Например, схемы могут быть показаны на блок-схемах, для того чтобы не загромождать иллюстрируемые конфигурации ненужными подробностями. В других случаях широко известные схемы, структуры и методы могут быть показаны подробно, чтобы не делать структуры неясными.
Также не отмечается, что структуры могут быть описаны как процесс, который изображен в виде блок-схемы, принципиальной схемы, или структурной схемы. Хотя блок-схема может описывать принцип действия как последовательный процесс, многие операции могут выполняться параллельно или одновременно. Кроме того, порядок действий может быть перегруппирован. Процесс заканчивается, когда его действия завершены. Процесс может соответствовать способу, функции, процедуре, подпрограмме, субпрограмме и т.д. Когда процесс соответствует функции, его прекращение соответствует возвращению этой функции к вызывающей функции или главной функции.
В одном или более примерах и/или конфигурациях описанные функции могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенных микропрограммах или любой комбинации таковых. Будучи реализованы в программном обеспечении, функции могут быть сохранены на или передаваться в виде одной или более инструкций или кода на машиночитаемом носителе. Машиночитаемая среда включает как средство компьютерного хранения, так и коммуникационную среду, включающую в себя любую среду, которая способствует передаче компьютерной программы из одного места в другое. Средством хранения может быть любое доступное средство, к которому может быть осуществлен доступ компьютером общего назначения или специального назначения. В качестве примера, а не ограничения, такие машиночитаемые средства могут включать в себя RAM, ROM, EEPROM, CD-ROM или другой накопитель на оптическом диске, накопитель на магнитном диске или другие магнитные устройства хранения или любой другой носитель, который может быть использован для переноса или хранения средств требуемого программного кода в форме инструкций или структур данных и к которому может быть осуществлен доступ компьютером общего назначения или специального назначения или процессором общего назначения или специального назначения. Также любое соединение правильно называть машиночитаемым носителем. Например, если программное обеспечение передается с вебсайта, сервера или другого удаленного источника с применением коаксиального кабеля, волоконно-оптического кабеля, витой пары, цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасная, радио и высокочастотная, то эти коаксиальный кабель, волоконно-оптический кабель, витая пара, DSL или беспроводные технологии, такие как инфракрасная, радио и высокочастотная, включаются в определение понятия «носитель». «Диск», как здесь используется, подразумевает под собой компакт диск (CD), лазерный диск, оптический диск, цифровой многоцелевой диск (DVD), гибкий диск (дискету) или Блю-Рэй диск, причем диски обычно воспроизводят данные магнитным образом или с помощью лазеров. Комбинации вышеприведенных должны также быть включены в рамки машиночитаемых носителей.
Кроме того, машиночитаемый носитель может представлять собой одно или более устройство для хранения данных, включая постоянное запоминающее устройство (ROM), память произвольного доступа (RAM), накопители на магнитных дисках, оптические запоминающие устройства, устройства флеш-памяти и/или другие машиночитаемые носители для сохранения информации.
Кроме того, конфигурации могут быть реализованы аппаратным обеспечением, программным обеспечением, встроенными микропрограммами, межплатформенным программным обеспечением, микрокодами или любой комбинацией таковых. При реализации в программном обеспечении, встроенных микропрограммах, межплатформенном программном обеспечении или микрокодах, для того чтобы выполнять нужные задачи, программный код или сегменты кода могут быть сохранены на машиночитаемом носителе, таком как накопительное запоминающее устройство или другое(ие) запоминающее(ие) устройство(а). Процессор может выполнить необходимые задачи. Сегмент кода может представлять процедуру, функцию, подпрограмму, программу, последовательность действий, подпоследовательность действий, модуль, пакет программного обеспечения, группу или любую комбинацию инструкций, структур данных или программных предписаний. Сегмент кода может быть связан с другим сегментом кода или аппаратной схемой посредством передачи и/или приема информации, данных, аргументов, параметров или содержимого запоминающих устройств. Информация, аргументы, параметры, данные и т.д. могут быть переданы, пересланы или отправлены через любое подходящее средство, включая совместное использование памяти, передачу сообщений, передачу маркеров, сетевую передачу и т.д.
В мобильном устройстве, содержащем два и более микрофонов, все микрофоны, отличные от основного микрофона, могут именоваться вторичными микрофонами. Одно свойство предоставляет механизм, который отслеживает сигналы вторичного микрофона в многомикрофонном мобильном устройстве, для того чтобы предупреждать пользователя, если один или более вторичных микрофонов прикрыты во время использования мобильного устройства. Предоставлен способ обнаруживать, не прикрыты ли любые из вторичных микрофонов в мобильном устройстве. Различные параметры сигнала для сигналов от основного микрофона и вторичного микрофона могут использоваться, чтобы определять, что вторичный микрофон был прикрыт или заслонен. Такие параметры сигнала могут включать, например, мощность сигнала, отношение сигнал/шум (SNR), энергию, корреляцию, комбинацию таковых и/или производные таковых. Например, один подход может предусматривать вычисление сглаженно усредненных оценочных значений мощности вторичных микрофонов и сравнение их с оценочным значением минимального уровня шума для основного микрофона. Детектирование прикрытия микрофона производится сравнением сглаженных оценочных значений мощности вторичного микрофона с оценочным значением минимального уровня шума для основного микрофона. Как только произведено обнаружение, предупреждающий сигнал генерируется и выдается в управляющий процессор мобильного устройства. Предупреждение пользователю может быть реализовано различными путями, включая, например, вибрирование мобильного устройства, звуковые сигналы пользователю, высвечивание сообщения на экране мобильного устройства. Предупреждающая система может быть полезной пользователю, и пользователь может получить улучшенное улавливание звука от многомикрофонного мобильного устройства.
Фиг. 1 иллюстрирует пример мобильного телефона 102, у которого есть два или более микрофонов для улучшенного улавливания звуковых/голосовых сигналов. Первый микрофон 104 может быть расположен на лицевой поверхности мобильного телефона 102, примыкающей к цифровой клавиатуре 106, как пример. Второй микрофон 108 может быть расположен на тыльной поверхности мобильного телефона 102, напротив лицевой поверхности, например, около середины тыльной поверхности. Положение первого и второго микрофонов 104 и 108 может быть выбрано так, чтобы было очень маловероятно, что оба микрофона могли бы быть заблокированы в одно и то же время.
Фиг. 2 иллюстрирует пример раскладывающегося мобильного телефона 202, у которого есть два или более микрофонов для улучшенного улавливания звуковых/голосовых сигналов. Первый микрофон 204 может быть расположен на лицевой поверхности мобильного телефона 202, примыкающей, например, к цифровой клавиатуре 206. Второй микрофон 208 может быть расположен на тыльной поверхности мобильного телефона 202, напротив лицевой поверхности. Положение первого и второго микрофонов 204 и 208 может быть выбрано так, чтобы было очень маловероятно, что оба микрофона могли бы быть заблокированы или заслонены в одно и то же время.
Многомикрофонные мобильные устройства 102 и 202 на Фиг. 1 и 2 могут позволить пользователю разговаривать в разнообразных условиях, включая шумные зоны, такие как на улице, в ресторанах, торговых центрах и т.д., и вопрос улучшения качества передаваемого голоса является еще более важным. Решение для улучшения качества голоса в шумных условиях может заключаться в оснащении мобильного устройства множеством микрофонов и использовании улучшенных технологий обработки сигнала для подавления фонового шума в захваченном голосовом сигнале перед передачей. В некоторых способах преимущества улучшения речи/аудио, предлагаемые методологиями обработки сигнала, реализованы с помощью множества микрофонов, которым обеспечена возможность функционировать правильно.
Мобильные устройства 102 и 202 могут быть сконфигурированы или выполнены с возможностью обнаружения прикрытия микрофонов и выдачи предупреждающего сигнала пользователю. Создание предупреждающего сигнала может быть полезным при поддержании высокого качества голоса, предоставляемого многомикрофонными решениями по обработке сигнала. Однако описанные здесь технологии не ограничиваются каким-либо конкретным способом обнаружения или каким-либо конкретным мобильным устройством. Системы обнаружения и предупреждения могут использоваться в мобильном устройстве, которое использует множество микрофонов. Более того, конкретный тип системы предупреждения не закрепляется данным раскрытием. Производитель мобильного устройства или оператор мобильной связи могут использовать наш механизм обнаружения для реализации их желаемого типа системы предупреждения.
Решения по многомикрофонной обработке сигнала могут использоваться в мобильных системах голосовой связи для достижения более высокого качества голоса даже в неблагоприятной среде. Из-за ограничения места на мобильном устройстве могут использоваться двухмикрофонные решения. В то время как некоторые из описанных здесь примеров могут использовать два микрофона, эти способы не ограничиваются двухмикрофонными устройствами и могут также быть реализованы в мобильном устройстве с более чем двумя микрофонами.
Например, рассмотрим мобильные устройства 102 и 202 с двумя микрофонами, из которых один микрофон смонтирован на лицевой стороне, а другой микрофон смонтирован на тыльной стороне устройства. В одной из конфигураций микрофон на лицевой панели может преимущественно использоваться для записи желаемой речи, исходящей от пользователя данного мобильного устройства. Много мобильных устройств имеют, по меньшей мере, один микрофон спереди, или, по меньшей мере, близко ко рту пользователя так, чтобы он мог улавливать полезную речь или звук. Этот первый микрофон 104 и 204 может именоваться основным (первичным) микрофоном. Основной микрофон может быть выбран так, чтобы было маловероятно, что он прикрыт (например, случайно, непреднамеренно, целенаправленно или иным образом) во время использования. Второй микрофон 108 и 208 может именоваться вторичным микрофоном, поскольку его сигнал используется для улучшения сигнала от основного микрофона. Избыточная информация используется улучшенными технологиями обработки сигнала для подавления фонового шума и улучшения качества звука. Алгоритмы обработки сигнала рассчитаны на то, чтобы второй микрофон получал такую избыточную информацию для улучшения речи в шумных условиях. Однако для пользователя не редкость прикрыть, загородить или иначе заблокировать тыльный (вторичный) микрофон (например, случайно или преднамеренно) во время разговора. В этом случае страдает производительность алгоритма обработки сигнала, так как может оказаться невозможным выделить полезную информацию из сигнала вторичного микрофона. В некоторых случаях пользователь может частично прикрыть тыльный (вторичный) микрофон 108 и 208, или он/она может постепенно прикрывать тыльный микрофон в течение какого-то периода времени. В этом случае производительность алгоритма обработки сигнала может ухудшиться в течение какого-то периода времени. В любом случае преимущество обладания вторичным микрофоном на мобильном устройстве теряется либо полностью, либо частично.
Для решения проблемы прикрытия вторичного микрофона мобильные устройства 102 и 202 могут быть сконфигурированы или выполнены с возможностью обнаруживать, когда микрофон полностью или частично прикрыт, заслонен или иначе заблокирован, и предупреждать пользователя о такой ситуации. Согласно одному из примеров уровни энергии и/или пороговый уровень шума для основного микрофона и, по меньшей мере, одного вторичного микрофона могут быть получены и сравнены для обнаружения, не является ли второй микрофон прикрытым, заслоненным или заблокированным. Как только сделано обнаружение, предупреждающий сигнал может быть выдан пользователю. Эти предупреждения могут повторяться до тех пор, пока пользователь не откроет подвергшийся воздействию вторичный микрофон. Более того, выход детектора также может быть задействован модулями улучшенной обработки сигнала в мобильном устройстве. Если мобильное устройство содержит более двух микрофонов, все микрофоны, отличные от основного, могут именоваться вторичными микрофонами.
В некоторых конфигурациях основной микрофон может динамически выбираться из множества микрофонов на основании того, у какого из микрофонов наилучшее качество сигнала в конкретный момент времени. Например, микрофон, имеющий наибольшую энергию сигнала (например, мощность сигнала), или отношение сигнал/шум (сокращенно «SNR»), может быть выбран в качестве основного микрофона, в то время как один или более из оставшихся микрофонов используются как вторичные микрофоны.
Фиг. 3 является функциональной блок-схемой, иллюстрирующей пример многомикрофонного мобильного устройства, сконфигурированного обнаруживать, когда вторичный микрофон заслонен. Мобильное устройство 302 может быть мобильным телефоном или другим устройством связи, которое служит для обеспечения связи между пользователем и удаленным слушателем по сети связи 304. Мобильное устройство 302 может включать в себя, по меньшей мере, основной микрофон 306, один или более вторичных микрофонов 308 и 309 и, по меньшей мере, один громкоговоритель 310. Микрофоны 306, 308 и/или 309 могут получать вводы акустических сигналов 312, 314 и 315 от одного или более источников звука 301, 303 и 305, которые затем оцифровываются аналого-цифровыми преобразователями 316, 318 и 319. Акустический сигнал может включать желательные звуковые сигналы и нежелательные звуковые сигналы. Термин «звуковой сигнал» включает, но не ограничивается, аудиосигналы, сигналы речи, сигналы шума и/или другие типы сигналов, которые могут акустически передаваться и улавливаться микрофоном. Основной микрофон 306 может быть смонтирован так, что он находится близко ко рту пользователя при типичном функционировании. Один или более вторичных микрофонов 308 и 309 могут быть смонтированы на различных поверхностях мобильного устройства 302 так, чтобы улучшить улавливание звука.
Модуль 328 обнаружения прикрытия вторичного микрофона может быть настроен или приспособлен для получения оцифрованных акустических сигналов 312, 314 и 315 и определения, не является ли вторичный микрофон полностью или частично заслоненным, заблокированным или ограниченным как-либо еще. Такое определение может быть сделано с помощью сравнения характеристики первого сигнала от основного микрофона 306 и характеристики второго сигнала от вторичного микрофона 308. Такие характеристики сигнала могут включать, например, уровень сигнала, отношение сигнал-шум (SNR), энергию, корреляцию, их комбинацию и/или их производные.
Реакция микрофона на данный уровень звукового давления может быть количественно выражена коэффициентом, называемым чувствительностью. Если микрофон обладает высокой чувствительностью, он генерирует высокий уровень сигнала для данного уровня звукового давления. В типичном мобильном устройстве чувствительности основного и вторичного микрофонов могут отличаться, например, вплоть до 6 дБ. Чтобы учитывать более высокие границы разницы, одна из конфигураций может допускать, что чувствительности основного и вторичного микрофонов 306 и 308 могут отличаться вплоть до 12 дБ. Например, в двухмикрофонном мобильном устройстве модуль 328 обнаружения прикрытия вторичного микрофона может следить за уровнем фонового шума в первичном микрофоне 306 и во вторичном микрофоне 308 и затем может сравнить эти два уровня шума для обнаружения прикрытия вторичного микрофона 308. Если чувствительности двух микрофонов 306 и 308 идентичны, тогда уровни шума в сигналах этих двух микрофонов должны быть, скорее всего, близки друг к другу. Даже если эти два микрофона 306 и 308 обладают разной чувствительностью, уровень шума в сигнале вторичного микрофона вряд ли отличается более чем на 12-15 дБ, по сравнению с уровнем шума в сигнале основного микрофона, поскольку максимальной разницей в чувствительностях микрофонов считается 12 дБ. Однако если вторичный микрофон 308 прикрыт, уровень шума во вторичном микрофоне 308 вероятно станет чрезмерно низким (например, с разницей более 12 дБ). Этот принцип может использоваться как условие для обнаружения закрывания вторичного микрофона 308. Если модуль 328 обнаружения прикрытия вторичного микрофона определяет, что вторичный микрофон 308 прикрыт или заслонен, он может сгенерировать предупреждение для пользователя. Это предупреждение может быть, например, коротким тоновым сигналом, запрограммированным голосовым сообщением, звонком или любым другим звуковым оповещением. Аналогично, это предупреждение может быть, например, подсвечиванием дисплея мобильного устройства или иконкой, или сообщением на дисплее, либо любым другим визуальным оповещением. Это предупреждение может быть также любой комбинацией звуковых и визуальных оповещений пользователю.
В одном из примеров оцифрованные сигналы, образованные аналого-цифровыми преобразователями 316, 318 и 319, могут проходить через один или более буферных накопителей (которые могут быть частью модуля обнаружения 328 или отличных модулей, например), чтобы сегментировать их на блоки и кадры. В некоторых примерах блок может содержать множество кадров. Такие буферы могут иметь заданные размеры, которые вмещают множество отрезков сигнала, составляющих блок или кадр. Аналого-цифровой преобразователь и соответствующий ему буфер могут именоваться сегментаторами сигнала. Сопоставление между первой сигнальной характеристикой для первого сигнала (основного микрофона 306) и второй сигнальной характеристикой для второго сигнала (вторичного микрофона 308) может тогда проводиться на их соответствующих блоках или кадрах. Такие характеристики сигнала могут включать в себя, например, уровень сигнала, отношение сигнал-шум (SNR), энергию, корреляцию, их комбинацию и/или их производные.
Мобильное устройство 302 может также содержать процессор сигнала 322, настроенный или приспособленный для того, чтобы выполнять одну или более операций, которые улучшают качество сигнала 312 от основного микрофона 306, используя акустический сигнал 314 от вторичного микрофона 308. Например, акустический сигнал 314 от вторичного микрофона 308 может быть использован для того, чтобы удалить или минимизировать шум от основного микрофона 306. Полученный в результате сигнал может затем быть передан через проводную или беспроводную сеть связи 304 модулем передатчика/приемника 324.
Мобильное устройство 302 может также получать звуковые сигналы от сети связи 304 через модуль передатчика/приемника 324, где он может быть обработан процессором сигнала 322 перед прохождением через цифро-аналоговый преобразователь 320. Полученный сигнал затем проходит на, по меньшей мере, один громкоговоритель 310, так что он может быть акустически передан пользователю в виде выходного звукового сигнала 326.
Фиг. 4 является блок-схемой, иллюстрирующей процесс, работающий на многомикрофонном мобильном устройстве, чтобы обнаруживать, когда вторичный микрофон заслонен. Может быть получена первая чувствительность, относящаяся к основному микрофону, и вторая чувствительность, относящаяся ко вторичному микрофону 402. Первая и вторая чувствительности могут быть определены на основании данного уровня звукового давления. Затем, основываясь на (но не обязательно равной) разности между первой чувствительностью и второй чувствительностью, может быть получено пороговое значение 404. Первый акустический сигнал принимается через основной микрофон для получения основного звукового сигнала 406. Второй акустический сигнал принимается через вторичный микрофон для получения вторичного звукового сигнала 408. Первый и второй акустические сигналы могут происходить от одного и того же источника и в течение одного и того же (или перекрывающегося) временного окна. Определяются характеристика первого сигнала для основного звукового сигнала и характеристика второго сигнала для вторичного звукового сигнала 410. Такие характеристики сигнала могут включать, например, уровень сигнала, отношение сигнал-шум (SNR), энергию, корреляцию, их комбинацию и/или их производные. Например, могут быть определены или получены уровни шума и/или уровни мощности для основного и вторичного звуковых сигналов.
После этого производится определение того, может ли вторичный микрофон быть заслонен, основанное на характеристике первого сигнала и характеристике второго сигнала 412. Например, если соотношение между характеристикой первого сигнала и характеристикой второго сигнала меньше порогового значения, можно заключить, что вторичный микрофон заслонен или прикрыт. В одном из примеров такое сравнение может быть между соотношением между уровнем второго шума для вторичного звукового сигнала и уровнем первого шума для основного звукового сигнала. В ином случае сравнение может быть выполнено в виде соотношения между уровнем мощности вторичного звукового сигнала и уровнем шума основного звукового сигнала. Если вторичный микрофон определяется как заслоненный, (пользователю) выдается предупреждение, указывающее, что вторичный микрофон может быть заслонен 414. Основной звуковой сигнал может тогда быть обработан, чтобы либо понизить шум, либо улучшить качество аудио/звука (либо и то и другое), с помощью вторичного звукового сигнала 416. Обработанный основной звуковой сигнал может затем быть передан заданному слушателю через сеть связи 418.
Оценка уровня шума в сигналах микрофона
Фиг. 5 является блок-схемой, иллюстрирующей пример того, как отслеживаются два микрофона, и вычисляются оценки уровня шума в этих двух микрофонах, для того чтобы обнаружить, не заслонен ли вторичный микрофон. Первый звуковой сигнал улавливается основным микрофоном и сегментируется на первое множество кадров 502, причем каждый кадр может иметь длину N отрезков. Второй звуковой сигнал улавливается вторичным микрофоном и сегментируется на второе множество кадров 506.
В одном из примеров разбиение звуковых сигналов на кадры может быть выполнено аналого-цифровым преобразователем, который отбирает образцы сигналов и передает образцы в предустановленные буферы. Каждый буфер может иметь заданный размер, чтобы предоставить кадр, относящийся к одному из отобранных звуковых сигналов. Аналого-цифровой преобразователь и соответствующий ему буфер могут именоваться сегментаторами сигнала.
Сигналы основного и вторичного микрофона могут быть обозначены переменными s1(n) и s2(n), где n представляет время в образцах. Оценки мощности блока могут быть вычислены для каждого кадра 504 и 508 сложением, например, значений мощности всех образцов в кадре. Например, вычисление оценки мощности блока может быть выполнено согласно с уравнениями 1 и 2:
(уравнения 1 и 2)
где Р1(k) и Р2(k) обозначают оценки мощности блока для основного и вторичного сигналов микрофонов s1 и s2 соответственно, k обозначает индекс блока или индекс кадра для блоков или кадров для каждого сигнала.
Оценки минимального уровня шума могут быть получены путем отслеживания оценок минимальной мощности соответствующих сигналов микрофона. Оценки минимального уровня шума сигналов двух микрофонов могут быть вычислены, например, выискиванием минимума оценок мощности блока по нескольким кадрам, скажем, К последовательным кадрам, согласно уравнениям 3 и 4:
(уравнения 3 и 4)
где N1(m) и N2(m) обозначают оценки минимального уровня шума сигналов основного и вторичного микрофонов соответственно, а m обозначает индекс серийного кадра, который относится к отрезку К последовательных кадров. Соответственно, первое множество кадров может быть просканировано для получения первого минимального значения энергии, относящегося к первому оценочному значению минимального уровня шума для первого звукового сигнала 510. Подобным же образом второе множество кадров может быть просканировано для получения второго минимального значения энергии, относящегося ко второму оценочному значению минимального уровня шума для первого звукового сигнала 512.
В одном из примеров оценка минимального уровня шума может быть вычислена один раз для каждых К последовательных кадров и ее значение сохраняется до тех пор, пока оценка минимального уровня шума вычисляется снова для следующих К последовательных кадров. Фиг.6 является графической иллюстрацией процедуры вычисления оценки минимального уровня шума, при которой минимальный уровень шума оценивается раз в двести (200) кадров. В этом примере оценочное значение минимального уровня шума может быть получено с использованием блока из двухсот (200) кадров. Оценки минимального уровня шума могут также быть сглажены по времени, для того чтобы минимизировать разрывы при сменах оценочных значений 514. Сглаживание может быть выполнено с помощью простой итерационной процедуры, показанной уравнениями 5 и 6:
(уравнения 5 и 6)
где Np(m) и Ns(m) обозначают сглаженные оценки минимального уровня шума сигналов основного и вторичного микрофона соответственно, а β1 и β2 обозначают коэффициент сглаживания для усреднения оценок минимального уровня шума сигналов основного и вторичного микрофона соответственно. Сглаженные оценки минимального уровня шума Np(m) и Ns(m) могут представлять оценочные значения средней силы фонового шума в сигналах основного и вторичного микрофона соответственно. Здесь коэффициент сглаживания β2 может быть выбран меньше, чем β1, для того чтобы позволить более быстрое отслеживание уровня шума в сигнале вторичного микрофона.
Процедура обнаружения
Проверочный критерий для обнаружения прикрытия микрофона может быть осуществлен, например, получением оценки второго минимального уровня шума (вторичный звуковой сигнал) к оценке первого минимального уровня шума (основной звуковой сигнал) 516. Обнаружение может быть выполнено определением, является ли отношение второго минимального уровня шума к первому минимальному уровню шума меньшим порогового значения 518 следующим образом:
(уравнение 7)
где m обозначает индекс серийного кадра (например, множества кадров).
Если отношение меньше или равно пороговому значению, то можно предположить, что вторичный микрофон является прикрытым, и предупреждение может быть предоставлено пользователю 520. Чтобы достичь хорошей эффективности обнаружения, пороговое значение η может быть выбрано на основании знания разности между чувствительностями основного и вторичного микрофонов.
С использованием оценки минимального уровня шума для измерения уровня шума в сигнале микрофона может, однако, иметь место проблема. Оценка минимального уровня шума обычно страдает от значительной задержки, благодаря поиску минимума по нескольким кадрам. Когда вторичный микрофон прикрыт, его оценочная величина минимального уровня шума, Ns(m), может отражать отклонение уровня шума по причине прикрытия микрофона только после нескольких кадров. Эта задержка может быть неприемлемой, если требуется более быстрое обнаружение прикрытия микрофона. С другой стороны, основной микрофон обычно не становится закрытым (например, случайно, непреднамеренно, целенаправленно или иначе), и задержка в оценке минимального уровня шума в сигнале основного микрофона может быть допустимой. И поэтому может использоваться альтернативный критерий обнаружения для выполнения более быстрого обнаружения прикрытия вторичного микрофона.
Основной звуковой сигнал может быть затем обработан, для того чтобы либо понизить шум, либо улучшить качество звука (либо и то и другое) с помощью вторичного звукового сигнала 522. Обработанный основной звуковой сигнал может затем быть передан заданному слушателю через сеть связи 524.
Фиг. 7 является функциональной блок-схемой, иллюстрирующей действие детектора прикрытия вторичного микрофона в соответствии с одним примером, как описано уравнениями 1-7. Основной звуковой сигнал 702 и вторичный звуковой сигнал 704 пропускаются через устройства оценки мощности А 706 и В 708 для получения оценочных значений мощностей блоков P1(k) и P2(k). Оценочные значения мощностей блоков P1(k) и P2(k) пропускаются затем через устройства оценки минимального уровня шума А 710 и В 712 для получения соответствующих оценочных значений минимального уровня шума N1(m) и N2(m). Оценочные значения минимального уровня шума N1(m) и N2(m) могут быть сглажены сглаживающими фильтрами минимального уровня шума А 714 и В 716 соответственно. Компаратор минимального уровня шума 718 может затем сравнить сглаженные оценочные значения минимального уровня шума Np(m) и Ns(m) для основного и вторичного звуковых сигналов 702 и 704 соответственно. Например, если соотношение между вторичным сглаженным оценочным значением минимального уровня шума Ns(m) к первичному сглаженному оценочному значению минимального уровня шума Np(m) меньше или равно пороговому значению 722, предупреждающий сигнал может быть послан генератором предупреждения 720.
Фиг. 8 иллюстрирует альтернативный способ получения сглаженного оценочного значения мощности блока для вторичного звукового сигнала от вторичного микрофона. Оценочное значение мощности блока P2(k) может быть получено для вторичного звукового сигнала для вторичного микрофона 802. Сглаживающий коэффициент α2 может быть получен для усреднения оценочных значений мощности блока вторичного звукового сигнала 804. Сглаженное оценочное значение мощности блока Q2(k) может затем быть получено на основании сглаживающего коэффициента α2 и оценочного значения мощности блока P2(k), где чем больше значение сглаживающего коэффициента α2, тем меньше флуктуация сглаженного оценочного значения мощности блока Q2(k) 806. Сглаженное оценочное значение мощности блока Q2(k) может использоваться как оценка уровня шума во вторичном звуковом сигнале. В одном примере сглаженное оценочное значение мощности блока Q2(k) может быть вычислено, например, на основании уравнения 8:
(уравнение 8)
где k обозначает индекс блока или индекс кадра для блоков или кадров для вторичного звукового сигнала, а α2 обозначает сглаживающий коэффициент для усреднения оценочного значения мощности блока вторичного звукового сигнала. Чем выше значение сглаживающего коэффициента α2, тем меньше флуктуация сглаженного оценочного значения мощности блока Q2(k).
Первое оценочное значение минимального уровня шума может быть получено для блока основного звукового сигнала для основного микрофона 808, где блок основного звукового сигнала соответствует блоку вторичного звукового сигнала (например, блоки сигнала могут быть получены в пределах перекрывающихся временных промежутков). Это первое оценочное значение минимального уровня шума может быть сглажено по всему ряду блоков сигнала для минимизации разрывов в оценках. Затем может быть получено отношение между сглаженным оценочным значением мощности блока Q2(k) и первым оценочным значением минимального уровня шума 810, например, с помощью уравнения 9:
(уравнение 9)
где k обозначает индекс блока или индекс кадра, m обозначает индекс серийного кадра, а М - целое число. Затем может быть сделано определение, не является ли отношение сглаженного оценочного значения мощности блока к (сглаженному) оценочному значению минимального уровня шума меньше порогового значения η' 812. Если пробное отношение меньше порога η', может быть объявлено, что вторичный микрофон прикрыт, и может быть предоставлено предупреждение, указывающее, что вторичный микрофон может быть заслонен 814. Следует заметить, что если вторичный микрофон не прикрыт, сглаженное оценочное значение мощности блока Q2(k) может быть завышенной оценкой уровня шума во вторичном звуковом сигнале. Если же вторичный микрофон прикрыт частично, этот метод может не обнаруживать такое условие достаточно хорошо. Однако пороговое значение η' может быть повышено или понижено до тех пор, пока не будет достигнута желаемая эффективность обнаружения.
Основной звуковой сигнал (например, для основного микрофона) может быть обработан, для того чтобы либо понизить шум, либо улучшить качество звука (либо и то и другое) с помощью вторичного звукового сигнала 816, перед тем как передать его соответствующему слушателю через сеть связи 818.
Наконец, обнаружение может быть также сделано более надежным путем контролирования выхода детектора по нескольким кадрам и проверки, обнаруживает ли детектор прикрытие вторичного микрофона согласованным образом в течение по меньшей мере, например, 80% времени.
Как только зарегистрировано достаточно обнаружений, определяется, не прикрыт ли вторичный микрофон, и предупреждающий сигнал может быть выдан контролирующему процессору устройства связи или мобильного устройства. Предупреждающий сигнал может быть настолько простым, как установление флажка состояния прикрытия микрофона в 1, если выполнено обнаружение, и установление его обратно в 0, когда обнаружение безуспешно. Например, такой предупреждающий сигнал может вызвать, например, аудиосигнал, акустически передаваемый пользователю, или текст, или графический индикатор, или сообщение, отображаемое пользователю (на экране дисплея для мобильного устройства), огонек, моргающий на мобильном устройстве, или вибрирование мобильного устройства.
Фиг. 9 является функциональной блок-схемой, иллюстрирующей действие детектора прикрытия вторичного микрофона согласно одному из примеров. Основной звуковой сигнал 902 и вторичный звуковой сигнал 904 могут быть пропущены через устройства оценки мощности А 906 и В 908 для получения оценочных значений мощности блока P1(k) и P2(k). Первое оценочное значение мощности блока P1(k) может затем быть пропущено через устройство оценки минимального уровня шума А 910 для получения оценочного значения минимального уровня шума. Это значение минимального уровня шума может быть сглажено сглаживающим фильтром минимального уровня шума А 914. Второе оценочное значение мощности блока P2(k) может затем быть пропущено через сглаживающий фильтр оценочного значения мощности блока 916 для получения текущего сглаженного значения мощности блока Q2(k) на основании, например, коэффициента сглаживания 917 и предыдущего сглаженного значения мощности блока Q2(k-1) 919. Компаратор 918 может затем сравнить сглаженное оценочное значение мощности блока Q2(k) и первое оценочное значение минимального уровня шума Np(m). Например, такое сравнение может включать, например, определение, не является ли отношение сглаженного оценочного значения мощности блока Q2(k) к (сглаженному) оценочному значению минимального уровня шума Np(m) меньшим порогового значения η'. Если отношение меньше или равно пороговому значению 922, предупреждающий сигнал может быть послан генератором предупреждений 920.
Согласно еще одной конфигурации в мобильном устройстве может быть настроена или приспособлена схема, для того чтобы получать первый акустический сигнал через основной микрофон для получения основного звукового сигнала. Эта же схема, другая схема или вторая часть этой же или другой схемы может быть настроена или приспособлена, для того чтобы получать второй акустический сигнал через вторичный микрофон для получения вторичного звукового сигнала. Дополнительно та же самая схема, другая схема или третья часть этой же или другой схемы может быть настроена или приспособлена, для того чтобы получать характеристику первого сигнала для основного звукового сигнала. Аналогично та же самая схема, другая схема или четвертая часть может быть настроена или приспособлена, для того чтобы получать характеристику второго сигнала для вторичного звукового сигнала. Сегменты схемы, настроенные или приспособленные, для того чтобы получать первый и второй звуковые сигналы, могут быть прямо или косвенно связаны с сегментом схем(ы), который получает характеристики сигнала, или это может быть та же самая схема. Четвертая секция той же самой схемы или другая схема может быть настроена или приспособлена, для того чтобы определять, не заслонен ли вторичный микрофон на основании характеристики первого сигнала и характеристики второго сигнала. Например, характеристика первого сигнала может быть оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала может быть оценочным значением второго минимального уровня шума для вторичного звукового сигнала. В другом примере характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является вторым сглаженным оценочным значением мощности для вторичного звукового сигнала. Пятая секция той же самой схемы или другая схема может быть настроена или приспособлена, для того чтобы предоставлять предупреждение, указывающее, что вторичный микрофон заслонен. Пятая секция может преимущественно быть соединена с четвертой секцией или она может быть реализована в той же самой схеме, что и четвертая секция. Специалисту в данной области техники должно быть ясно, что в основном большая часть из описанной в этом раскрытии обработки может быть реализована аналогичным образом. Любая из схем или частей схем может быть реализована отдельно или в комбинации как часть интегральной схемы с одним или более процессорами. Одна или более этих схем могут быть реализованы на интегральной схеме, процессоре архитектуры усовершенствованной RISC-машины (ARM), цифровом сигнальном процессоре (DSP), процессоре общего назначения и т.д.
В различных примерах описанный здесь способ обнаружения прикрытия проиллюстрирован для нескольких типов мобильных устройств или конфигураций микрофонов. Однако этот способ не ограничивается установленным типом мобильного устройства или конфигурации микрофонов. Более того, в мобильном устройстве с множеством вторичных микрофонов предложенная процедура обнаружения может быть использована для выявления прикрытия любого из вторичных микрофонов.
Один или более компонентов, этапов и/или функций, проиллюстрированных на Фиг. 1, 2, 3, 4, 5, 6, 7, 8 и/или 9, могут быть перегруппированы и/или скомбинированы в единственный компонент, этап или функцию или воплощены в нескольких компонентах, этапах или функциях. Дополнительные элементы, компоненты, этапы или функции могут также быть добавлены. Аппаратура, устройства и/или компоненты, проиллюстрированные на Фиг. 1, 2, 3, 7 и/или 9, могут быть сконфигурированы или выполнены с возможностью реализации одного или более способов, свойств или этапов, описанных на Фиг. 4, 5, 6 и/или 8. Описанные здесь алгоритмы могут быть эффективно реализованы в программном обеспечении и/или встроенных аппаратных средствах.
Специалистам в данной области техники также должно быть понятно, что различные иллюстративные логические блоки, модули, схемы и этапы алгоритмов, описанные в связи с раскрытыми здесь конфигурациями, могут быть реализованы как электронные аппаратные компоненты, компьютерное программное обеспечение или комбинации обоих. Для того чтобы ясно проиллюстрировать эту взаимозаменяемость аппаратного и программного обеспечения, различные иллюстративные компоненты, блоки, модули, схемы и этапы были описаны выше в основном в терминах их функциональности. Реализована ли такая функциональность как аппаратные средства или программное обеспечение, зависит от конкретного применения и ограничений, наложенных на всю систему в целом.
Различные элементы, описанные здесь, могут быть реализованы в разных системах. Например, детектор прикрытия вторичного микрофона может быть реализован в единственной схеме или модуле, на отдельных схемах или модулях, исполняться одним или более процессорами, исполняться машиночитаемыми инструкциями, реализованными на машиночитаемом или компьютерночитаемом носителе и/или воплощенными в портативном устройстве, мобильном компьютере и/или мобильном телефоне.
Следует заметить, что вышеприведенные конфигурации являются лишь примерными и не должны толковаться как ограничивающие формулу изобретения. Описание конфигураций подразумевается иллюстративным, а не ограничивающим объем формулы изобретения. В этой связи предложенные решения могут быть применены к другим типам устройств, и многие альтернативы, модификации и вариации будут очевидны специалистам в данной области техники.
1. Способ улучшения захвата звука на мобильном устройстве, содержащий этапы, на которых:
принимают первый акустический сигнал через основной микрофон для получения основного звукового сигнала;
принимают второй акустический сигнал через вторичный микрофон для получения вторичного звукового сигнала;
определяют характеристику первого сигнала для основного звукового сигнала;
определяют характеристику второго сигнала для вторичного звукового сигнала;
определяют, не заслонен ли вторичный микрофон, на основании сравнения характеристики первого сигнала и характеристики второго сигнала;
предоставляют предупреждение, указывающее, что вторичный микрофон заслонен.
2. Способ по п.1, в котором основной звуковой сигнал и вторичный звуковой сигнал получены в пределах перекрывающихся промежутков времени.
3. Способ по п.1, в котором вторичный звуковой сигнал используется для улучшения качества звука основного звукового сигнала.
4. Способ по п.1, в котором определение, не заслонен ли вторичный микрофон, на основании сравнения характеристики первого сигнала и характеристики второго сигнала включает в себя этапы, на которых:
определяют, является ли отношение между характеристикой второго сигнала и характеристикой первого сигнала меньшим порогового значения, и
предоставляют предупреждение, если отношение является меньше порогового значения.
5. Способ по п.4, дополнительно содержащий этапы, на которых:
получают первую чувствительность, соответствующую основному микрофону и вторую чувствительность, соответствующую вторичному микрофону.
6. Способ по п.5, дополнительно содержащий этап, на котором
получают пороговое значение на основании разности между первой чувствительностью и второй чувствительностью.
7. Способ по п.5, в котором первую чувствительность основного микрофона и вторую чувствительность вторичного микрофона получают для заданного уровня звукового давления.
8. Способ по п.1, дополнительно содержащий этапы, на которых:
обрабатывают основной звуковой сигнал, для того чтобы либо понизить шум, либо улучшить качество звука с применением вторичного звукового сигнала; и
передают обработанный основной звуковой сигнал заданному слушателю через сеть связи.
9. Способ по п.1, в котором характеристика первого сигнала является первым уровнем шума для основного звукового сигнала, а характеристика второго сигнала является вторым уровнем шума для вторичного звукового сигнала.
10. Способ по п.9, в котором первый уровень шума является первым минимальным уровнем шума, а второй уровень шума является вторым минимальным уровнем шума, и способ дополнительно содержит этап, на котором
сглаживают первый и второй минимальный уровень шума для первого и второго звуковых сигналов.
11. Способ по п.9, в котором получение характеристики первого сигнала для основного звукового сигнала включает в себя этапы, на которых:
сегментируют основной звуковой сигнал на первое множество кадров;
оценивают мощность блока для каждого из первого множества кадров; и
осуществляют поиск элемента с минимальной энергией в первом множестве кадров для получения оценочного значения первого минимального уровня шума для основного звукового сигнала, причем упомянутое оценочное значение первого минимального уровня шума является уровнем шума для основного звукового сигнала.
12. Способ по п.11, в котором получение характеристики второго сигнала для вторичного звукового сигнала включает в себя этапы, на которых:
сегментируют вторичный звуковой сигнал на второе множество кадров;
оценивают мощность блока для каждого из второго множества кадров; и
осуществляют поиск элемента с минимальной энергией во втором множестве кадров для получения оценочного значения второго минимального уровня шума для основного звукового сигнала, причем упомянутое оценочное значение второго минимального уровня шума является уровнем шума для вторичного звукового сигнала.
13. Способ по п.11, в котором определение, не заслонен ли вторичный микрофон, включает в себя этапы, на которых:
получают отношение оценочного значения второго минимального уровня шума к оценочному значению первого минимального уровня шума; и
определяют, является ли отношение меньше порогового значения.
14. Способ по п.1, в котором предупреждение предоставляется посредством, по меньшей мере, одного из звукового сигнала, вибрации мобильного устройства и визуального индикатора.
15. Способ по п.1, в котором характеристика первого сигнала является первым уровнем шума для основного звукового сигнала, а характеристика второго звукового сигнала является вторым уровнем мощности для вторичного звукового сигнала.
16. Способ по п.1, дополнительно содержащий этапы, на которых:
получают оценочное значение мощности блока для вторичного звукового сигнала для вторичного микрофона;
получают сглаживающий коэффициент для вторичного звукового сигнала;
получают сглаженное оценочное значение мощности блока для вторичного звукового сигнала на основании сглаживающего коэффициента и оценки мощности блока;
получают оценочное значение первого минимального уровня шума для блока сигнала основного микрофона для основного микрофона;
получают отношение между сглаженным оценочным значением мощности блока и оценочным значением первого минимального уровня шума; и
определяют, является ли отношение меньше порогового значения.
17. Способ по п.1, дополнительно содержащий этапы, на которых:
осуществляют динамический выбор основного микрофона из множества микрофонов на основании того, какой микрофон обладает либо наибольшей энергией сигнала, либо наибольшим отношением сигнал/шум за определенный период времени.
18. Мобильное устройство, содержащее:
основной микрофон, выполненный с возможностью получать первый звуковой сигнал;
вторичный микрофон, выполненный с возможностью получать второй звуковой сигнал;
модуль обнаружения прикрытия вторичного микрофона, выполненный с возможностью:
определения характеристики первого сигнала для основного звукового сигнала;
определения характеристики второго сигнала для вторичного звукового сигнала;
определения, не заслонен ли вторичный микрофон, на основании сравнения характеристики первого сигнала и характеристики второго сигнала; и
предоставления предупреждения, указывающего на то, что вторичный микрофон заслонен.
19. Мобильное устройство по п.18, в котором предупреждение предоставляется посредством, по меньшей мере, одного из аудиосигнала, вибрации мобильного устройства и визуального индикатора.
20. Мобильное устройство по п.18, в котором основной звуковой сигнал и вторичный звуковой сигнал получают в пределах перекрывающихся временных промежутков.
21. Мобильное устройство по п.18, в котором вторичный звуковой сигнал применяется для улучшения качества звука основного звукового сигнала.
22. Мобильное устройство по п.18, в котором модуль обнаружения прикрытия вторичного микрофона выполнен с дополнительной возможностью
определять, является ли отношение между характеристикой второго сигнала и характеристикой первого сигнала меньше порогового значения.
23. Мобильное устройство по п.22, в котором модуль обнаружения прикрытия вторичного микрофона выполнен с дополнительной возможностью:
получать первую чувствительность, соответствующую основному микрофону, и вторую чувствительность, соответствующую вторичному микрофону, причем первую чувствительность основного микрофона и вторую чувствительность вторичного микрофона получают для заданного уровня звукового давления; и
получать пороговое значение на основании разности между первой чувствительностью и второй чувствительностью.
24. Мобильное устройство по п.18, в котором модуль обнаружения прикрытия вторичного микрофона выполнен с дополнительной возможностью
обрабатывать основной звуковой сигнал, для того чтобы либо понизить шум, либо улучшить качество звука с применением вторичного звукового сигнала; и
передавать обработанный основной звуковой сигнал предназначенному слушателю через сеть связи.
25. Мобильное устройство по п.18, в котором основной и вторичный микрофоны выбираются из множества микрофонов, смонтированных на разных поверхностях мобильного устройства.
26. Мобильное устройство по п.25, в котором модуль обнаружения прикрытия вторичного микрофона выполнен с дополнительной возможностью
динамически выбирать основной микрофон из множества микрофонов на основании того, какой микрофон обладает либо наибольшей энергией сигнала, либо наибольшим отношением сигнал/шум за определенный период времени.
27. Мобильное устройство по п.18, в котором характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является оценочным значением второго минимального уровня шума для вторичного звукового сигнала, а модуль обнаружения прикрытия вторичного микрофона выполнен с дополнительной возможностью
определять, является ли отношение между оценочным значением второго минимального уровня шума и оценочным значением первого минимального уровня шума меньшим порогового значения.
28. Мобильное устройство по п.18, в котором характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является вторым сглаженным оценочным значением мощности для вторичного звукового сигнала, а модуль обнаружения прикрытия вторичного микрофона выполнен с дополнительной возможностью
определять, является ли отношение между вторым сглаженным оценочным значением мощности и оценочным значением первого минимального уровня шума меньшим порогового значения.
29. Мобильное устройство, содержащее
средство для приема первого акустического сигнала через основной микрофон, чтобы получать основной звуковой сигнал;
средство для приема второго акустического сигнала через вторичный микрофон, чтобы получать вторичный звуковой сигнал;
средство для определения характеристики первого сигнала для основного звукового сигнала;
средство для определения характеристики второго сигнала для вторичного звукового сигнала;
средство для определения, не заслонен ли вторичный микрофон, на основании сравнения характеристики первого сигнала и характеристики второго сигнала; и
средство для предоставления предупреждения, указывающего, что вторичный микрофон заслонен.
30. Мобильное устройство по п.29, в котором характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является оценочным значением второго минимального уровня шума для вторичного звукового сигнала.
31. Мобильное устройство по п.29, для которого характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является вторым сглаженным оценочным значением мощности для вторичного звукового сигнала.
32. Схема для улучшения захвата звука, причем схема выполнена с возможностью
принимать первый акустический сигнал через основной микрофон, чтобы получать основной звуковой сигнал;
принимать второй акустический сигнал через вторичный микрофон, чтобы получать вторичный звуковой сигнал;
получать характеристику первого сигнала для основного звукового сигнала;
получать характеристику второго сигнала для вторичного звукового сигнала;
определять, не заслонен ли вторичный микрофон, на основании сравнения характеристики первого сигнала и характеристики второго сигнала; и
предоставлять предупреждение, указывающее, что вторичный микрофон заслонен.
33. Схема по п.32, в которой характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является оценочным значением второго минимального уровня шума для вторичного звукового сигнала, и чтобы определять, не заслонен ли вторичный микрофон, упомянутая схема выполнена с дополнительной возможностью
определять, является ли отношение между оценочным значением второго минимального уровня шума и оценочным значением первого минимального уровня шума меньшим порогового значения.
34. Схема по п.32, в которой характеристика первого сигнала является оценочным значением первого минимального уровня шума для основного звукового сигнала, а характеристика второго сигнала является вторым сглаженным оценочным значением мощности для вторичного звукового сигнала, и чтобы определять, не заслонен ли вторичный микрофон, упомянутая схема выполнена с дополнительной возможностью
определять, является ли отношение между вторым сглаженным оценочным значением мощности и оценочным значением первого минимального уровня шума меньшим порогового значения.
35. Схема по п.32, которая является интегральной схемой.
36. Машиночитаемый носитель, содержащий инструкции, улучшающие захват звука на мобильном устройстве, которые при выполнении процессором побуждают упомянутый процессор
принимать первый акустический сигнал через основной микрофон, чтобы получать основной звуковой сигнал;
принимать второй акустический сигнал через вторичный микрофон, чтобы получать вторичный звуковой сигнал;
определять характеристику первого сигнала для основного звукового сигнала;
определять характеристику второго сигнала для вторичного звукового сигнала;
определять, не заслонен ли вторичный микрофон, на основании сравнения характеристики первого сигнала и характеристики второго сигнала; и
предоставлять предупреждение, указывающее, что вторичный микрофон заслонен.
37. Машиночитаемый носитель по п.36, дополнительно содержащий инструкции, которые при выполнении процессором побуждают упомянутый процессор
динамически выбирать основной микрофон из множества микрофонов на основании того, какой микрофон обладает либо наибольшей энергией сигнала, либо наибольшим отношением сигнал/шум за конкретный период времени.
