Устройство для моделирования классифицирующей нейронной сети

 

О П И С А Н И Е ()943766

ИЗО6РЕТЕ Н ИЯ

К АВТОРСКОМУ СВИДЕТЕЛЬСТВУ

Союз Советскик

Социапистическии

Респубики (6l ) Дополнительное к авт. свид-ву (22) Заявлено 10.07.80 (21)2990027/18-24 с присоединением заявки № (2$) Приоритет

Опубликовано 15.07 82. Бюллетень № 26

Дата опубликования описания 17,07.82 (5! )М. Кл.

G 06 G 7/60

РВударстееииьй квмитет

СССР ае аеаэм иеобретеиий и втирмтий (53) УДК 681.ЗЗЗ (088. 8) к:ece „„1

1

114ТВ, >g. (1 РВ юr (72) Автор изобретения

Ю. А. Косарев

1 з е отейgk (р1»

-- — —— (7!)"Заявитель (54) УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ

КЛАССИФИЦИРУЮШЕЙ НЕЙРОННОЙ СЕТИ

Изобретение относится к устройствам дпя моделирования нейронных сетей, распознающих речевые сигналы, и может ,быть использовано в устройствах автоматического., распознавания речи различных

5 кибернетических систем.

Известна модель нейронной сети, содержащая блок кратковременной памяти слогов, матрицу двувходовых нейрс . нов и блок возбуждения столбцов матрицьь1о

Выходы блока кратновременной памяти соединены с соответствующими горизонтальнымй цепями возбуждения матрицы, вй-. ходы блока возбуждения с соответствующими вертикальными цепями возбуждения мат-т5 рицы (1 ).

Когда из блока памяти поступает сигнал о новом слоге, он распространяется вдоль некоторой строки матрицы. Одновременно возбуждается очередной стол-. 20 бец матрицы и происходит возбуждение соответствующего нейрона матрицы. Таким образом, в матрице образуется некоторый "след памяти", соединяющий

2 точки, возбужденные в настоящий и предыдущий моменты времени.

Недостатком данной модели является невысокая надежность, обусловленная жесткой зависимостью результатов рас-, познавания от работы блока возбуждения.

В случае пропадания сигналов возбуждения ипи выдачи ложных сигналов происходит ложный сдвиг всей последующей части "следа памяти", что резко ухудшает сходство с эталоном.

Наибопее близким техническим решением является многослойная нейронная сеть, ооотоетее ее 22 : А нейроиое, образующих (И- 1) спойную пирамидапь ную .сеть, каждый f-й слой которой содержит (И- )) нейронов каждый е -й вход сети соединен с первым входом ч -го нейрона первого слоя и с вторый входом (-1)-го нейрона первого слоя, выход каждого 1-го нейрона -го слоя подключен.к первому входу 1-го нейрона (+ 1)-го опоя и к второму входу (1 — l) го нейрона (g +1)-го слоя, вы6 4

На фпг. 1 показана нейронная сеть, распознающая слова дл."и.. И фонем, поступающих на входы Х, y, <, Сеть имеет пирамидальную структуру.

Первый входной слой содержит (и-1) нейронов, второй — (и-2) и т.д., всего сеть имеет (и -1) слоев, а общее число нейронов равно и(и-1)

Я

На фиг. 2 показана модель нейрона, где соответственно обозначены з."держивающий и прямой входы 1 и 2, детектор 3 начала сигнала, детекторы 4 и 5 конца сигналов, элементы задержки 6 и 7, элементы ИЛИ 8 и 9, триггер 10, ячейка

11 аналоговой памяти. со входами записи

l2, чтения 13 и сброса 14, выход 16 модели нейрона.

Устройство работает следующим образом.

При подаче на входы Х„, )( временной последовательности сигналов сеть на выходе первого слоя вырабатывает сигналы о наличии 2-фонемных фрагментов, на выходах второго слоя — о наличии 3-фонемнь1х фрагментов и т.д. На последнем уровне формируется суммарный сигнал о степени соответствия входного набора эталону.

В частном случае, когда на входе присутствует "собственный "образ, на который настроена данная сеть, отклик сети равен сумме амплитуд входных сигналов, взятых с некоторыми весовыми коэффициентами. В случае неразборчивого звучания или зашумленности отдельных фонем сигналы на соответствующих входах сети могут пропадать, что приводит к у уменьшению степени сходства с эталоном, причем сходство монотонно убывает с возрастанием числа ошибок, тем самым обеспечивается определенная устойчивость сети к ошибкам предыдущего уровня обработки сигналов.

Отклик сети на произвольную последовательность можно определить в терминах линейной алгебры с помощью весовых коэффициентов и операторов задержки как произведение транспонированной матрицы входных сигналов на матрицу передаточных отношений сети.

Например, для И = 4 имеем.

Передаточное отношение сети

3 94376 ход нейрона (и -1)-го слоя является выходом устройства (2).

Недостатком известного технического решения является неспособность многослойной нейронной сети решать задачу распознавания слов по входной последовательности фонем.

Цель изобретения — повышение надежности классификации временных последовательностей сигналов. 10

Поставленная цель достигается тем, что в устройстве для моделирования нейронной сети, состоящей из - - — нейронов, образующих (и — 1)-слойную и -входс вую пирамидальную сеть, каждый j -й 15 слой которой содержит (й -j ) нейронов, каждый с-вход сети соединен с первым входом i -ro нейрона первого слоя и с вторым входом (1-1)-ro нейрона первого слоя, выход каждого 1 -ro нейрона y -ro слоя подключен к первому входу

j -го нейрона (j+ 1)-го слоя и к второму входу (j — 1)-го нейрона (4+ 1)-го слоя, ° выход нейрона (И-1)-го слоя является выходом устройства, каждый нейрон сети выполнен в виде двувходового нейрона с задерживающим и прямым входами и содержит детектор начала сигнала, два детектора конца сигнала, две линии задержки, два элемента ИЛИ, триггер, ячейка аналоговой памяти и сумматор, выход которого является выходом нейрона, задерживающий вход которого подключен к информационному входу записи ячейки ана логовой памяти и через первый детектор

35 конца сигнала - к входу первого элемента задержки, выход которого соединен с первым входом первого элемента ИЛИ и через второй элемент задержки - с первым входом второго элемента. ИЛИ, 40 выход которого подключен к входу сброса ячейки аналоговой памяти и к нулевому входу триггера, единичный выход которого соединен с управляющим входом чтения ячейки аналоговой памяти, выход

45 которой подключен к первому входу сумматора, прямой вход нейрона соединен с вторым входом сумматора, через второй детектор конца сигнала - с входом вто. рого элемента ИЛИ и через детектор начала сигнала - с вторым входом первого

55 где )) элемента ИЛИ, выход которого подключен к единичному входу триггера, задерживающий вход нейрона сети является первым входом, прямой вход — вторым входом нейрона сети.

На фиг. 1 представлена структура нейронной распознаюи ей сети; иа фиг. 2— модель нейрона.

DP

P=D Р

ЭР, р задержка на 1 шагов

3 — коэффициент передачи вход 1

1 выход.

Входное слово (если

943766 6 нет искажений) изводят выходные сигналы элементов задержки 6 и 7 (величины задержек несколько больше ожидаемых задержек в распознаваемом слове). B случае отсутствия сигнала по входу 1 выходным сигналом схемы является значение сигнагде К, К, К и К вЂ” коэффициенты прор г

Ф порциональные амплитудам сигналовI0 о фонемах на входах сети.

Отклик сети

Если Р„= К „= 1, (= 49

В случае пройзвольной входной последовательности реакция сети представлена

20 долиномом, который можно трактовать .как временную последовательность импульсов, причем амплитуда 1 -го импульса соответствует коэффициенту при D", а длительность — реальной длительности входной фонемы.

Наличие в выходном полиноме члена с коэффициентом, превышающим порог срабатывания выходного нейрона, соответствует распознаванию входного образа. 50

Настройка сети состоит в предварительном подключении входов сети к сост° ветствующим шинам фонем, в выборе вее сов входов и выборе порога срабатывания выходного нейрона.

3S

В данной сети функция кратковременной памяти нейпона может быть выпол» непа с целью устранения влияния разброса длительностей элементов слова на результат распознавания сети на модели нейрона (фиг. 2) с запоминанием предыдущего сигнала с синхронизацией выходного суммарного сигнала от текущего входного сигнала.

При нормальной ситуации сигнал по

45 входу 1 запоминается в ячейке 1.1. Сигнал по входу 2 через детектор 3 и элемент ИЛИ 8, воздействуя на триггер 10, производит чтение из ячейки 11, при этом на входы сумматора 15 поступают полностью совмещенные во времени сигналы.

На выходе 16 сумматора 15 образуется суммарный сигнал. По окончании действия импульса на входе 2 через детектор

4 и элемент ИЛИ 9 производится сброс ячейки 11, и одновременно на выходе . схемы устанавливается "0". В случае отсутствия, сигнала по входу 2 управление чтением и сбросом ячейки 11 прола на входе 2. В данную схему линии задержки включены для того, чтобы выходной сигнал формировался во всех случаях, в том числе и при отсутствии сигнала на входе 2. В нормальной ситуации (при наличии обоих входных сигналов, следующих в ожидаемой последовател ности) сигналы с выходов элементов задержки не оказывают влияния на работу схемы.

Использование двувходовых нейронов с кратковременной памятью, соединенных в виде пирамиды, повышает надежность распознавания за счет устойчивости сети к входным ошибкам и упрощает устройство.

Фор мула изобретения

Устройство для моделирования классифицирующей нейронной сети, состоящей из " "" нейронов, образующих (И вЂ” 1) 2 слойную и -входовую пирамидальную сеть, кажд и 1 -й слой которой содержит (5 — 1) нейронов, каждый j -й вход сети соединен с первым входом 1-ro нейрона первого слоя и с вторым входом (1 1) го нейрона первого слоя, выход каждого

j -ro нейрона -го слоя подключен к первому входу -ro нейрона (g + 1)-го слоя и к второму входу (-1)-го нейрона (j+ 1)-го слоя, выход нейрона (и - 1)-.го слоя является выходом устройства, о т л и ч а ю ш е е с я тем, что, с целью повышения надежности, классификации временных последовательностей сигналов каждый нейрон сети выполнен двувходовым с задерживающим и прямым входами и содержит детектор начала сигнала, два детектора конца сигнала, две линии задержки, два элемента ИЛИ, триггер, ячейку аналоговой памяти и сумматор, выход которого является выходом нейрона, задерживающий вход которого подключен к информационному входу записи ячейки аналоговой памяти и через первый детектор конца сигналак входу первого элемента задержки, выход котсрого соединен с первым входом первого элемента ИЛИ и через второй элемент задержки - с первым входом

Ю

7 5437 86 8 второго элемента ИЛИ, выход которого вого элемента ИЛИ, выход которого подключен к входу сброса ячейки анало- подключен к единичному входу триггера, говой памяти и к первому входу тригге- задерживаюший вход нейрона сети являра, единичный выход которого соединен . ется первым входом, прямой вход - втос управляюшим входом чтейия ячейки s рым входом нейрона сети.. аналоговой памяти, выход которой под- Источники информации, ключен к nepsoMy входу сумматора, принятые во внимание при экспертизе прямой вход нейрона соединен с вторым 1. Дейч С. Модели нервной системы. входом сумматора, через второй детек- М., "Наука, 1970, с. 45. тор конца сигнала - с вторым входом о 2. Повии Н. В. Моделирование нейвторого. элемента ИЛИ и через детектор ронных структур. М., Наука", 1970, начала сигнала - с вторым входом пер- с.. 116 (прототип).