Способ обнаружения эмоций по голосу



Способ обнаружения эмоций по голосу
Способ обнаружения эмоций по голосу
Способ обнаружения эмоций по голосу

 


Владельцы патента RU 2510955:

Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) (RU)

Изобретение относится к средствам распознавания эмоций человека по голосу. Технический результат заключается в повышении точности определения эмоционального состояния русскоязычного абонента. Обнаруживают интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени, интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала. Получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, и вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени. Вводят голосовой сигнал русскоязычного абонента, а затем обнаруживают интенсивности голоса и темпа. После того как получают третью величину измерения обнаруживают частоту основного тона голосового сигнала и получают четвертую величину изменения, указывающую изменение частоты основного тона в направлении оси времени, генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения. 3 ил.

 

Изобретение относится к средствам распознавания эмоций человека по голосу и может быть использовано для обнаружения эмоций в интеллектуальных инфокоммуникационных системах, а также при проведении различного рода психологических исследований.

Расширение поля коммуникативного взаимодействия должностных лиц, а также постоянно растущие психологические нагрузки при принятии управленческих решений, связанные с уменьшением квоты доверия общающихся друг к другу, трансформируют формально-ролевое общение в деловое, при котором наряду с обменом информацией должны учитываться особенности личности абонента, его настроение, физиологическое и эмоциональное состояния. Перспективным в этом смысле может стать отказ от традиционных принципов кодирования и передачи аудио (речевых) сигналов в инфокоммуникационных системах в пользу интеллектуальной обработки сигналов.

Интеллектуальность (совмещение передачи и обработки информации на различных уровнях представления) инфокоммуникационных систем должна закладываться на ранних этапах их жизненного цикла и одной из функций реализовывать возможность определения эмоционального состояния абонента по голосу.

Известны способы определения эмоциональной напряженности (стресса) (патенты RU 2068653 от 10.11.1996 и RU 2073484 от 20.02.1997), согласно которым регистрируют кожно-гальваническую реакцию, частоту сердечных сокращений и частоту дыхания и по их динамике оценивают эмоциональную напряженность. Общим недостатком указанных аналогов является невозможность обнаружения эмоций (эмоциональной напряженности) человека без использования датчиков.

Известен способ определения эмоций по синтезированному речевому сигналу (патент JP 02-236600 от 19.09.1990), согласно которому из оцифрованного речевого сигнала выделяют частоту основного тона и рассчитывают амплитудный спектр, а затем на основе указанных параметров генерируют сигнал, выражающий эмоцию. Недостатком аналога является низкая точность обнаружения эмоциональных состояний.

Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ обнаружения эмоций (патент RU 2287856 от 20.11.2006), заключающийся в том, что вводят голосовой сигнал; обнаруживают интенсивности голоса и темп, определяемый скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени, интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, соответственно; и генерируют сигналы, выражающие эмоциональное состояние по меньшей мере гнева, печали и удовольствия, соответственно, на основе указанных первой, второй и третьей величин изменения.

Способ-прототип предусматривает распознавание эмоций на основе изменений интенсивности, темпа и интонации голоса во времени. Однако в большинстве языков эмоционально-различительную функцию выполняет частота основного тона (ЧОТ). В [А.Ф.Хроматиди, И.Б.Старченко. Оценка акустических параметров эмоциональной речи / Первая ежегодная научная конференция студентов и аспирантов базовых кафедр ЮНЦ РАН, 2009. - С.212-214] установлено, что среднее значение ЧОТ поднимается в состоянии удовольствия и понижается в состоянии печали, кроме того существенно меняется динамика изменения ЧОТ: при печали происходит ее плавное уменьшение, при гневе появляются резкие пики в изменении частоты. Таким образом, динамика изменения ЧОТ является важнейшим средством определения эмоциональной информации, а недостатком способа-прототипа является низкая точность обнаружения эмоций, в частности обнаружение эмоций для русского языка.

Задачей изобретения является разработка способа обнаружения эмоций по голосу, позволяющего повысить точность определения эмоционального состояния русскоязычного абонента.

В заявленном способе эта задача решается тем, что в способе обнаружения эмоций по голосу, в котором вводят голосовой сигнал; обнаруживают интенсивности голоса и темп, определяемый скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени, интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, соответственно; дополнительно обнаруживают частоту основного тона голосового сигнала и получают четвертую величину изменения, указывающую изменение частоты основного тона в направлении оси времени. Затем генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения.

Новая совокупность существенных признаков позволяет достичь указанного технического результата за счет обнаружения изменения частоты основного тона и генерации сигналов, выражающих эмоциональное состояние говорящего, на основе четырех величин изменения.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа обнаружения эмоций, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности «новизна».

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

Заявленное изобретение поясняется следующими фигурами:

на фиг.1 - вариант реализации системы обнаружения эмоций по голосу согласно предлагаемому способу;

на фиг.2 - решающие правила определения эмоций согласно предлагаемому способу;

на фиг.3 - результаты оценки точности определения эмоционального состояния.

Реализация заявленного способа заключается в следующем (фиг.1).

Голосовой сигнал, введенный через микрофон 101, квантуется с помощью аналого-цифрового преобразователя 102, а затем преобразуется в цифровой сигнал. Цифровой голосовой сигнал, полученный на выходе аналого-цифрового преобразователя, подается в блок 103 обработки сигналов, блок 104 обнаружения фонем, блок 105 обнаружения слов и блок 106 обнаружения частоты основного тона.

Блок 103 обработки сигналов извлекает частотные составляющие, необходимые для обнаружения интенсивности голоса. Блок 107 обнаружения интенсивности обнаруживает интенсивность сигнала, извлеченного блоком 103 обработки сигналов. Например, в качестве интенсивности можно использовать результат, полученный путем усреднения величины амплитуды голосового сигнала или его динамического диапазона D.

Блок 104 обнаружения фонем реализует сегментацию каждой фонемы голосового сигнала, введенного в него. Блок 108 обнаружения темпа принимает сигнал сегментации каждой фонемы, выданный блоком 104 обнаружения фонем, и обнаруживает число фонем F, которые появляются в единицу времени. В качестве цикла обнаружения темпа устанавливается время, равное, например, 10 с. Однако, если обнаружена сегментация фразы, то отсчет фонем останавливается до момента времени обнаружения сегментации фразы, даже если сегментация фразы обнаружена внутри 10 с, и вычисляется величина темпа. В частности, темп определяется для каждой фразы.

Блок 105 обнаружения слов реализует сегментацию каждого слова голосового сигнала, введенного в него. Блок 109 обнаружения интонации принимает сигнал сегментации каждого слова, выданный блоком 105 обнаружения слов, и обнаруживает интонацию, выражающую рисунок изменения интенсивности голоса в слове. Таким образом, блок 109 обнаружения интонации обнаруживает характеристический рисунок интенсивности в сегментации. Как показано в прототипе, в блоке 109 обнаружения интонации предусмотрены полосовой фильтр, блок преобразования абсолютной величины, блок сравнения, блок обнаружения центра зоны и блок обнаружения интервала зон. В качестве величины интонации I на выходе блока 109 обнаружения интонации выступает результат усреднения значений интервалов, между зонами в спектре мощности сигналов, для которых характерно превышение некоторого порогового значения.

Блок 106 обнаружения частоты основного тона реализует определение частоты основного тона введенного в него голосового сигнала. Блок 106 обнаружения частоты основного тона FОТ может быть реализован, например, в соответствии с известным решением (патент №78977 от 10.12.2008).

Эмоциональное состояние человека изменяется, поэтому для правильного определения эмоций, включающих гнев, страх, печаль и удовольствие, обязательно необходимо обнаруживать изменение характеристических величин, таких как интенсивность D, темп F, интонация I и частота основного тона FОТ.

В системе обнаружения эмоций, показанной на фиг.1, с целью обеспечения возможности опоры на величины характеристик в прошлом, величину интенсивности D, выдаваемую блоком 107 обнаружения интенсивности, величину темпа F, выдаваемую блоком 108 обнаружения темпа, величину интонации I, выдаваемую блоком 109 обнаружения интонации, и величину частоты основного тона FОТ, выдаваемую блоком 106 обнаружения частоты основного тона, временно сохраняют в блоке 110 временного хранения данных.

Кроме того, блок 111 обнаружения изменения эмоций принимает имеющуюся величину интенсивности D, выдаваемую блоком 107 обнаружения интенсивности, имеющуюся величину темпа F, выдаваемую блоком 108 обнаружения темпа, имеющуюся величину интонации I, выдаваемую блоком 109 обнаружения интонации, и имеющуюся величину частоты основного тона FОТ, выдаваемую блоком 106 обнаружения частоты основного тона. Блок 111 обнаружения изменения эмоций также принимает прошлые величины интенсивности, темпа, интонации и частоты основного тона, которые хранятся в блоке 110 временного хранения данных. Таким образом, блок 111 обнаружения изменения эмоций обнаруживает изменения в интенсивности, темпе, интонации и частоте основного тона голоса, соответственно. Блок 112 обнаружения эмоций по голосу принимает изменения интенсивности ΔD, темпа ΔF, интонации ΔI и частоты основного тона ΔFОТ голоса, которые выдает блок 111 обнаружения изменения эмоций, оценивает текущее эмоциональное состояние и генерирует сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, в этом варианте реализации системы.

Заявленный способ обнаружения эмоций по голосу обеспечивает повышение точности определения эмоционального состояния русскоязычного абонента. Для доказательства достижения заявленного технического результата приведены следующие экспериментальные исследования.

Для определения эмоционального состояния использовались записи эмоциональной речи 80 профессиональных актеров - мужчин и женщин в возрасте от 28 до 32 лет. Каждым из них были произнесены 4 слова (картон, тихо, молоко, посуда) с выражением четырех эмоциональных состояний: гнева, страха, печали и удовольствия.

Указанные записи обрабатывались с использованием варианта выполнения системы обнаружения эмоций согласно способу-прототипу и варианту реализации системы обнаружения эмоций по голосу (фиг.1) согласно предлагаемому способу. При этом блок 112 обнаружения эмоций по голосу оценивал текущее эмоциональное состояние и генерировал сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, согласно решающим правилам определения эмоций, представленным на фиг.2.

Для оценки точности определения эмоционального состояния русскоязычного абонента использовался коэффициент совпадений

K i = N с о в п . i N i ,

где Nсовп.i - число правильно определенных записей с выражением i-го эмоционального состояния; Ni - общее число записей с выражением г-го эмоционального состояния; i=1, 2, 3, 4 - номер эмоционально состояния - гнева, страха, печали и удовольствия соответственно.

Результаты оценивания согласно способу-прототипу и предлагаемому способу (фиг.3) указывают на повышение точности определения эмоционального состояния в заявляемом способе и на возможность решения поставленной задачи изобретения.

Способ обнаружения эмоций по голосу, заключающийся в том, что обнаруживают интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, и вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, отличающийся тем, что вводят голосовой сигнал русскоязычного абонента, а затем обнаруживают интенсивности голоса и темпа; после того как получают третью величину измерения, обнаруживают частоту основного тона голосового сигнала и получают четвертую величину изменения, указывающую изменение частоты основного тона в направлении оси времени; генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения.



 

Похожие патенты:

Изобретение относится к способам кодирования и декодирования аудиосигнала без потерь. Техническим результатом является повышение эффективности кодирования и снижение требуемого для кодирования объема памяти.

Изобретение относится к распознаванию речи на азиатском языке. .

Изобретение относится к технике идентификации акустических сигналов и, в частности, к устройству и способу распознавания акустического сигнала. .

Изобретение относится к области обработки сигналов и может быть использовано при выполнении предварительной обработки речевого сигнала в системах распознавания речи.

Изобретение относится к системам установления или подтверждения личности говорящего. .

Изобретение относится к технике звуковой сигнализации при оперативном звуковом контроле акустического поведения обслуживающего персонала. .

Изобретение относится к технике анализа и распознавания речевых сигналов и может быть использовано в АСУ промышленными объектами и ввода данных в ЭВМ. .

Изобретение относится к речевой информатике и предназначено для распознавания речевых команд управления автоматизированными системами. .

Изобретение относится к устройствам для записи звуковых волн, а именно к устройствам для цифровой записи-считывания речевых сигналов. .

Изобретение относится к вычислительной технике. Технический результат заключается в распознавании речи злектронно-вычислительным устройством, используя чтение по губам. Электронно-вычислительное устройство содержит оперативное запоминающее устройство, выход которого соединен с арифметическо-логическим узлом, а также ряды фотоэлементов, реагирующие на красный цвет, соединенные через ключи с оперативным запоминающим устройством. Выход арифметическо-логического узла соединен через ключи с тридцатью узлами сравнения. Выходы тридцати узлов сравнения соединены соответственно с управляющими электродами тридцати ключей. Генератор импульсов соединен с входами тридцати ключей, выходы которых соединены соответственно с входами тридцати ключей. Выходы тридцати ключей соединены с оперативным запоминающим устройством растрового дисплея. 6 ил.

Изобретение относится к способу использования распознавателей для обработки произнесения на основании документа на языке разметки. Технический результат заключается в ускорении процесса распознавания. Принимают документ на языке разметки и произнесение в вычислительном устройстве. Выбирают один или более распознавателей из числа распознавателей для возврата набора результатов для произнесения на основании языка разметки в документе на языке разметки. Распознают грамматику, используемую в произнесении. Производят синтаксический разбор документа в поисках по меньшей мере одного тэга языка разметки. Принимают набор результатов от одного или более выбранных распознавателей в формате, определенном способом обработки, заданным в документе на языке разметки. Объединяют набор результатов с по меньшей мере одним ранее принятым набором результатов для создания множества наборов результатов. 3 н. и 12 з.п. ф-лы, 5 ил.

Изобретение относится к области информационных технологий, реализующих интерфейс между человеком и компьютером, а именно к сегментации (диаризации) или разделению дикторов в аудио-потоке. Технический результат заключается в повышении точности распознавания диктора для диалога в телефонном канале. Выделяют речевые сегменты. Рассчитывают акустические признаки MFCC вектора. Проецируют каждый речевой сегмент на пространство EV собственных голосов размерности 10 с получением набора Y-векторов. Определяют центры кластеризации C1 и C2 Y-векторов. Осуществляют дискриминативную кластеризацию путем расчета параметров плоскостей H1, H2 и приближенного определения областей концентрации Y-векторов, однородных по дикторской информации. Полученные данные о речевых сегментах используют для инициализации VB диаризации на основе вариационно-байсовского анализа. Получают разметки сегментов по дикторам на всем произнесении, на основе чего производят коррекцию центров кластеризации C1 и C2, при этом операции дискриминативной кластеризации, вариационно-байсовского анализа и коррекции центров кластеризации последовательно осуществляют в несколько итерационных EV-VB этапов. На каждом этапе итераций осуществляют анализ полной сегментации по дикторам и при отсутствии изменений сегментации на итерации прекращают, после чего путем пересегментации Витерби получают финальную сегментацию, представляющую собой табличное соответствие между речевыми сегментами входного сигнала и индексом диктора. 4 ил., 1 табл.

Изобретение относится к способам контроля эффективности защиты речевого сигнала от утечки по техническим каналам. Технический результат заключается в повышении достоверности оценки защищенности речевой информации. Измеряют октавные уровни сигнала и шума в выбранной контрольной точке. Определяют радиус оптимальной зоны размещения датчиков виброакустического сигнала (ДВАС). Рассчитывают оптимальное количество ДВАС, способных осуществлять перехват речи по техническим каналам утечки информации (ТКУИ). Рассчитывают максимальную формантную разборчивость речи по оцениваемому ТКУИ. На основе значений максимальных формантных разборчивостей речи, полученных по отдельным ТКУИ, с использованием разработанной зависимости, учитывающей взаимный «вес» ТКУИ, определяют координаты оптимальной точки размещения ИАС в помещении. Определяют формантные разборчивости речи для контролируемых ТКУИ при оптимальных размещении и ориентации ИАС в помещении. Рассчитывают максимальную формантную разборчивость речи по совокупности оцениваемых ТКУИ, которая пересчитывается в выходной показатель - интегральное значение словесной разборчивости речи, перехватываемой из помещения. Полученный выходной показатель сравнивают с нормативным значением, на основании чего делается вывод о соответствии результатов оценки требованиям норм защиты речевой информации.

Изобретение относится к системам анализа речи, может быть использовано в средствах для распознавания и синтеза речи. Техническим результатом является повышение точности оценки частоты основного тона речевого сигнала. Способ основан на формировании логарифма функционала отношения правдоподобия (ЛФОП) при использовании входного речевого сигнала, нахождении абсолютного максимума ЛФОП, вычислении аргумента абсолютного максимума ЛФОП. 1 ил.

Изобретение относится к области распознавания речи. Техническими результатами являются уменьшение задержки распознавания речи, увеличение точности распознавания речи, а также увеличение общего грамматического охвата в распознавании речи. При распознавании речи применяется общая грамматика как набор зависящих от контекста грамматик для распознавания входных данных, каждая из которых отвечает за конкретный контекст. Грамматики вместе охватывают всю область. Используются множественные распознавания параллельно по отношению к одним и тем же входным данным, причем каждое распознавание использует зависящие от контекста грамматики. Множественные промежуточные результаты распознавания от различных пар распознаватель-грамматика согласуются посредством запуска повторного распознавания с помощью динамически составленной грамматики на основе множественных результатов распознавания и знаний другой области или выбора победителя с помощью статистического классификатора, работающего по классифицирующим признакам, извлеченным из множественных результатов распознавания и знаний другой области. 5 н. и 17 з.п. ф-лы, 9 ил.

Изобретение относится к медицине, а именно к биометрической идентификации и диагностике органов речевого аппарата. Способ адаптивной обработки речевых сигналов в условиях нестабильной работы речевого аппарата состоит в том, что осуществляют регистрацию речевых сигналов, сегментацию речевых сигналов, вычисляют значения энергии информативной области, сравнивают вычисленное значение с пороговым и делают диагностическое заключение о стадии нестабильной работы органов речевого аппарата. При этом дополнительно проводят декомпозицию на эмпирические моды фонемы речевого сигнала и построение спектра Гильберта фонемы речевого сигнала. Использование изобретения позволяет повысить точность обработки речевых сигналов в условиях нестабильной работы органов речевого аппарата. 1 табл., 9 ил.

Изобретение относится к управлению внешним вводом, распознаванию голоса пользователя в интерактивной системе распознавания голоса. Техническим результатом является обеспечение активации разъема внешнего ввода посредством использования функции распознавания голоса. Предложен способ управления внешним вводом и устройство приема вещания, такое как телевизор, где способ содержит этапы: устанавливают слово для вызова внешнего устройства ввода, соединенного посредством разъема внешнего ввода, например разъем аудио/видео (AV), компонентный разъем и разъем Интерфейса для Мультимедиа Высокой Четкости (HDMI); ассоциируют слово для вызова с разъемом внешнего ввода и сохраняют слово для вызова и разъем внешнего ввода, ассоциированные друг с другом; в ответ на введенный голос пользователя распознают голос, чтобы определить, включает ли в себя голос слово для вызова; и в ответ на определение того, что голос включает в себя слово для вызова, активируют разъем внешнего ввода, соответствующий слову для вызова, для осуществления связи с внешним устройством ввода с использованием разъема внешнего ввода, соответствующего слову для вызова. 2 н. и 11 з.п. ф-лы, 5 ил.

Изобретение относится к устройству отображения, интерактивному серверу и способу обеспечения ответной информации. Техническим результатом является повышение точности ответной информации относительно различной высказанной речи пользователя. Предложенное устройство отображения включает в себя устройство сбора речи, которое собирает речь пользователя, устройство связи, которое выполняет связь с интерактивным сервером, и устройство управления, которое, когда от интерактивного сервера принята ответная информация, соответствующая речи пользователя, отправленной интерактивному серверу, выполняет управление для выполнения функции, соответствующей ответной информации, и устройство управления управляет устройством связи для приема замещающей ответной информации, относящейся к речи пользователя, посредством веб-поиска и службы социальной сети (SNS). 2 н. и 13 з.п. ф-лы, 10 ил.
Наверх