Устройство для моделирования нейрона

 

Изобретение относится к области бионики и вычислительной техники и может быть использовано в качестве элемента нейроноподобных сетей для моделирования биологических процессов в устройствах обработки, анализа и распознования образов, а также в качестве элемента параллельных вычислительных структур для решения задач цифровой обработки сигналов, систем алгебраических уравнений, краевых задач теории поля. Цель - упрощение устройства и расширение его функциональных возможностей за счет обеспечения перестройки на различные режимы. Устройство содержит информационные входы 1<SB POS="POST">1</SB>,..., 1<SB POS="POST">N</SB> и 2<SB POS="POST">1</SB>,...,2<SB POS="POST">N</SB>, N блоков 3<SB POS="POST">1</SB>,....,3<SB POS="POST">N</SB> изменения синаптических весов, установочные входы 4<SB POS="POST">1</SB>,...,4<SB POS="POST">N</SB>, сумматор 5, первый 6 и второй 7 элементы И, первый 8 и второй 9 регистры, логический блок 10, управляющие входы 11,12,13,14,15,16 и информационные выходы 17,18,19,20 с соответствующими связями. При существенном упрощении конструкции устройства изобретение позволяет реализовать режимы функционирования формального и градуального нейронов с рефрактерностью, сумматора, цифрового интегратора, а также обеспечить возможность выполнения операции скалярного производения векторов с требуемой точностью. 5 ил.

СОЮЗ СОВЕТСКИХ

СОЦИАЛИСТИЧЕСНИХ

РЕСПУБЛИК (su 4 С 06 С 7/60

ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Н ASTOPCHOMY СВИДЕТЕЛЬСТВУ

77

fn

Ял

ГОСУДАРСТВЕННЫЙ КОМ ИТЕТ

ПО ИЗОБРЕТЕНИЯМ И ОТКРЫТИЯМ

ПРИ ГКНТ СССР (21) 4296969/31-13 (22) 24.08.87 (46) 15.05.89, Бюл. N - 18 (71) Таганрогский радиотехнический институт им. В,Д.Калмыкова (72) А.В.Каляев, N ° Â.×åðíóõèí, Ю.А.Брюхомицкий и Г.А.Галуев (53) 681.333(088.8) (56) Авторское свидетельство СССР

У 767788, кл. G 06 G 7/60. (54) УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ

НЕЙРОНА (5?) Изобретение относится к области бионики и вычислительной техники и может быть использовано в качестве

:,элемента нейроноподобных сетей для моделирования биологических процессов в устройствах обработки, анализа и распознавания образов, а также в качестве элемента параллельных вычислительных структур для решения .задач цифровой обработки сигналов, „„SU„„1479944 А 1 систем алгебраических уравнений,краевых задач теории поля, Цель — упрощение устройства и расширение его функциональных возможностей за счет обеспечения перестройки на различные режимы. Устройство содержит информационные входы 1,,...,1„ и 2„,...,2„„ и блоков 3,...,3„ изменения синаптических весов, установочные входы

4,,...,4„, сумматор 5, первый 6 и второй 7 элементы И, первый 8 и второй 9 регистры, логический блок

10, управляющие входы 11-16 и информационные входы 17-20 с соответствую. щими связями. При существенном упрощении конструкции устройство позволяет реализовать режимы функционирования формального и градуального нейронов с рефрактерностью, сумматора, цифрового интегратора, а также обеспечить возможность выполнения операции скалярного произведения векторов с требуемой точностью.5 ил.

1479944

Изобрете.ние относится к бионике и вычислительной технике и может быть использовано в качестве элемен- та нейроноподобных сетей для модели5 рования биологических процессов, в устройствах обработки, анализа и распознавания образов, а также в качестве элемента параллельных вычислительных структур. 10

Целью изобретения является упрощение устройства, а также расширение его функциональных возможностей за счет обеспечения переключения на различные режимы функционирования. 15

Устройство содержит и блоков изменения синаптических весов, первые и вторые входы которых являются информационными входами устройства, а третьи входы являются установочными входами, сумматор, первые и входов кокоторого соединены соответственно с выходами и блоков изменения синаптических весов, первый регистр, выход которого соединен с и+1 входом сум- 25 матора, первый элемент И, выход которого подключен к входу первого регистра, а первый вход соединен с выходом сумматора, второй элемент И, первый вход которого подключен к вы- 30 ходу сумматора, второй регистр, вход которого соединен с выходом второго элемента И, логический блок, первый вход которого соединен с выходом

BToporо элемента И, а второй вхоц 35 подключен к выходу второго регистра, вторые входы первого и второго элементов И,. а также третий, четвертый, пятый и шестой входы логического блока являются управляющими вхо- 40

4 дами устройства, а выходы сумматора второго элемента И, второго регистра и логического блока являются информационными выходами устройства.

Для реализации устройства требу-. ется п+1 сумматоров, n+2 регистров, tl, и множительных устройств, два триггера, шесть элементов И и один элемент ИЛИ, что существенно упрощает его в сравнении с известным ycTpoiI» ством, 50

Кроме того, введение первого регистра, выход которого соединен с (п+1)-м входом сумматора, первого элемента И, выход которого соединен с входом первого регистра, первый вход подключен к выходу сумматора,. второго элемента И, первый вход которого соединен с выходом сумматора, второго регистра, вход которого соединен с выходом второго элемента

И, логического блока, первый и второй входы которого подсоединены соответственно к выходу второго элемента И и выходу второго регистра, управляющих входов, подключенных соответственно к второму входу первого элемента И, второму входу второго элемента И, третьему, четвертому, пятому и шестому входам логического блока, а также информационных выходов, подключенных соответственно к выходам сумматора, второго элемента И, второго регистра и логического блока, позволяет осуществлять перестройку устройства для моделирования нейрона на различные режимы функционирования. Так, при задании на пятом и шестом входах логического блока соответственно сигналов 0 и 1, являющихся кодом ,,операции, и при подаче на управляющие входы (соединенные с вторыми входами первого и второго элементов

И третьим и четвертым входами логического блока) соответствующих управляющих сигналов, на выходе логического блока реализуется функция и вьюк 1 = з 8п (Х)ъ1 которая является алгоритмом функционирования формального нейрона.

При задании на пятом и шестом входах логического блока кода операции

1 и 0 и при подаче на указанные вьппе управляющие входы соответствующих управляющих сигналов на выходе логического блока реализуется функция и

7аа„; = тах (О, (; х; .У, -9)

1=1 которая является алгоритмом функционирования градуального суммирующего нейрона.

Задавая на пятом и шестом входах логического блока код операции 0 и

0 и подавая на указанные вьппе управляющие входы соответствующие управляющие сигналы, устройство настраивается на выполнение функции цифрового интегратора, реализующего формулу прямоугольников. При этом же коде, операции устройство путем задания, единичных значений синаптических ве1479944

Таким образом, указанные отличительные признаки позволяют реализовать все основные функции, выполняемые известным устройством (формальный нейрон, градуальный суммирующий нейрон, циАровой интегратор, сумматор, элемент памяти), и, кроме того, обеспечивают воэможность выполнения

40 операции скалярного произведения векторов, что существенно расширяет функциональные возможности и одновре- 45 менно упрощает устройство.

На Аиг.1 приведена структурная схема устройства; на фиг.2 — структурная схема блока изменения синаптических весов; на фиг.3 †.структурная схема ло ического блока, на фиг.4временная диаграмма работы устройства в режиме градуального и формального нейронов; на фиг.5 — временная диаграмма работы устройства в режиме интегратора.

Устройство содержит инАормационные входы 1,,...,1„ и 2.. .,,2„, сов (;. ..,., ;„ настраивается на выполнение Аункции сумматора входных сигналов х,,,...,х, >.

Наряду с этим устройство обеспечивает выполнение операции скалярного произведения векторов, .компонентами одного из которых являются значения синаптических весов,,..., п, а компонентами другого вектора являются значения входных сигналов. При этом на информационном выходе устройства, соединенном с выходом второ.го элемента И, формируются m старших разрядов скалярного произведеIl ния х; г, а на информа 4 Ю1 с ционном выходе, подключенном к выходу сумматора, можно получить значение указанного произведения, пред20 ставленного 2m-разрядным двоичным кодом, т.е. это произведение с удвоенной точностью. При необходимости m старших разрядов скалярного произведения могут запоминаться во втором регистре и выдаваться в требуемый момент времени на инАормационный выход устройства, подключенный к выходу этого регистра. Отмеченные обстоятельства обеспечивают расшире- 30 ния Аункциональных возможностей устройства по сравнению с известным устройством. п блоков 3,,...,3 „ изменения синаптических весов, установочные входы

4,...,4 „, сумматор 5, первый элемент И 6, второй элемент И 7, первый регистр 8, второй регистр 9, логический блок 1О, управляющие входы

11-16, информационные выходы 17-20.

ИнАормационные входы 1,,..., 1„ и

2,,...,2„ подключены соответственно к первым входам блоков 3„,...,3 изменения синаптических весов, третьи входы которых соединены соответственно с установочными входами

4,...,4> устройства. Выходы и блоков 3 1,...,3 изменения синаптических весов подключены к п входам сумматора 5, выход которого соединен с первыми входами первого элемента И б и второго элемента И 7. Выход первого элемента И 6 подсоединен к входу первого регистра 8, выход ко- торого соединен с п+1 входом сумматора 5. Выход второго элемента И 7 подключен к входу второго регистра

9 и к первому входу логического блока 10, второй вход которого соединен с выходом второго регистра 9. Вторые входы первого 6 и второго 7 элементов И, третий, четвертый, пятый и шестой входы логического блока являются управляющими входами 11-16 устройства, Выходы сумматора 5, второго элемента И 7, второго регистра 9 и логического блока 10 являются инАормационными выходами 17-20 устройства.

Каждый j-и, j = 1,п блок изменения синаптических весов содержит информационные входы 1, 2„, установочный вход 4>, множительные элемент

21, выход 22, сумматор 23 и регистр

24.

Логический блок содержит вход

25, который является первым входом этого блока и подключается к выходу второго элемента И 7, триггер 26, элемент И 27, вход 28, который является вторым входом логического блока и подсоединяется к выходу второго регистра 9, элемент И 29, триггер

30, элемент И 31, элемент И 32, элемент ИЛИ 33, выход 20 которого является выходом логического блока и устройства, входы 13-16 которого являются соответственно третьим, четвертым, пятым и шестым входами логического блока.

1479944

Регистры 24 „ блоков 3,,...,3„ изменения синаптических весов, а также первый 8 и второй 9 регистры выполнены в виде стандартных m-разрядных сдвиговых регистров. Триггер 26 логического блока 10 является стандартным RS-триггером, а триггер 30 представляет собой стандартный тактируемый D-триггер. В качестве множительного элемента 21„ блоков

31,...,3п изменения синаптических весов используется стандартный множительный элемент последовательно-параллельного действия.

Устройство работает следующим образом.

Перед началом работы и регистров множительных элементов 21, служа,щих для приема входных сигналов х,,,...,х; „, и и регистров 24, служащих для записи начальных и хранения текущих значений синаптических весов ;»,...,, „, и блоков

3»,...,3„ изменения синаптических весов, а также первый регистр 8, второй регистр 9, триггеры 26 и 30 логического блока 10 устанавливают в нулевое состояние. После этого осуществляют настройку устройства на требуемый режим функционирования.

Для настройки устройства на режим функционирования градуального суммирующего нейрона необходимо на управляющий вход 15 подать единичный. потенциал, а на управляющий вход

16 — нулевой потенциал. Иными словами, на управляющие входы 15 и 16 подается код операции 10. Затем через установочные входы 4,,...,4„, в регистры 24 блоков 3,,. ° .,3 „ » изменения синаптических весов задают в виде m-разрядных двоичных кодов начальные значения синаптических весов а в регистр 24 блока 3„ изменения синаптических весов задают требуемое m- ðàýðÿäíoå двоичное значение порога нейрона (9)..

При этом в регистр множительного элемента 21 (предназначенный для приема входного сигнала) блока 3 изменения синаптических весов записывается т-разрядное двоичное значение 1, которое там постоянно хранится. После этого устройство готово к приему m-разрядных двоичных кодов входных сигналов х;,,x, „ » и сигналов приращений (,, ..., Ч ;„,» синаптических весов, ко1А-1 торые могут поступать соответственно на информационные входы 1„,...,1„ и 2 1, ° ° °,2 ..» устройства. Временная

5 диаграмма работы устройства в расматриваемом режиме изображена на фиг.4, В течение первых m тактов осуществляют прием m-разрядных двоичных кодов входных сигналов х

1 » ...,х„„„и Ч ;, .....,Л ;„, и одновременно выдачу m-разрядного двоичного кода выходного сигнала Уьц„,,) (полученного на предыдущем i-1 шаге) на информационном выходе 20 устройства. При этом в течение первых ш тактов времени в блоках

3,,...,3 „ » изменения синаптических весов происходит суммирование (в сумматорах 23) поступающих сигналов

20 пРиРащений 7 I% ff ° ° °, 7 $1,h » c хРанящнмися в регистрах 24 значениями синаптических весов ;„» полученными на предыI дущем i-1 шаге. В результате в ре25

45 гистрах 24 блоков 3,. ..,3»»» изменения синаптических весов в данном шаге формируются текущие значения синаптических весов у ° Р =г

U» 1)" ) U fi»»- »i f-»,VI-» 0 f,» »-»

В течение последующих 2m тактов времени в блоках 3»... °,3», изменения синаптических весов происходит умножение (в множительных элементах 21, см. фиг.2) поступивших входных сигналов х;„,...,х1 „, на

I текущие значения синаптических веу ь! величины порога (-8) на 1, и затем полученные 2ш-разрядные произведения суммируются. в сумматоре 5.

Иными словами, в течение указанных

2ш тактов времени на выходе сумматора 5 формируется 2m-разрядный двоичный код числа Р„= õ; . у ° . 9.

Как видно из временной диаграммы (фиг ° 4), под действием управляющих сигналов й» (поступающих через управляющий вход 12) на второй вход второго элемента И 7, старшие разряды числа P записываются во второй

1 регистр 9. При этом в момент поступления самого старшего (знакового) разряда числа Р; на управляющий вход 14 подается управляющий сигнал

f»4 (фиг.4),под действием которогп триггер 30 (фиг.3) логическо1479944

P, = х; . "; ° g

= тах {0; р;1, где х

lgJ го блока 10 записывается значение знакового разряда числа P . Таким

1 образом, триггер 30 логического блока 10 под действием управляющего сигнала Г, переходит в состояние 1, если число P, (О, и состояние О, если число P О. Если число Р1 (0

1 1 (т.е. триггер 30 находится в единичном состоянии), то элемент И 27 (фиг.3) будет закрыт и, следовательно, в течение m последующих тактов времени на информационном вы.ходе 20 устройства (фиг.1) будет сформирован выходной сигнал УBaix

= О. Если Р, = О (т.е ° триггер 30 находится в нулевом состоянии), то элемент И 27 будет открыт и на выходе 20 в течение m следующих такТоВ поЯвится число Y вшу P О ° выу. 1

Если Р; О (т, е. триггер 30 находится в нулевом состоянии), то элемент И 29 будет открыт и через него (посредством входа 28, подключенного к выходу второго регистра 9, фиг.1 и 3) в течение m тактов времени на выход 20 поступит число У „, = P . Одновременно с выдачей числа Ув,„, в течение этих же тактов времени на входы 1,,...

° ... 1 „, и 2,,...,2 „> устройства поступают новые значения входных сигналов и приращений синаптических весов и весь процесс обработки информации повторяется. Таким образом, в каждом шаге при данном режиме работы устройство реализует функцию значения входных сигналов, поступающих в i-м шаге на j-й вход устройства; синаптический вес j-ro входа; — порог нейрона;

Р; — мембранный потенциал нейрона;

У,„, — выходной сигнал нейрона, которая является алгоритмом функционирования градуального суммирующего нейрона.

Настройка устройства на режим функционирования формального нейрона осуществляется так же, как и в предыдущем случае, только теперь на управляющий вход 15 подается нулевой потенциал, а на управляющий вход

16 — единичный потенциал. Иными словами, коц операции для этого режима будет 01. Временная диаграмма работы устройства такая же, как и в предыдущем случае (фиг.4). В течение первых m тактов времени осуществляется прием входных сигналов х1, I (в регистры множительных

1, 1 -1 элементов 21), формирование текущих значений синаптических весов

1 . (в регистрах 24) и выдача выходного сигнала Y вых (4-\I (на выходе 20), полученного на предыдущем i-1 шаге. При этом в m такте времени на каждом m шаге под действием управляющего сигнала f,> происходит сброс триггера 26 в О. В течение следующих 2m тактов времени во втором регистре 9 формируются m

П! старших разрядов числа P =, х

1 1, 1 — 0 . При этом, если Р 7 О (т.е. среди m-1 значащих разрядов числа P I имеется хоть одна 1, а знаковый

m разряд равен О), то триггер 26 будет находиться в единичном состоянии, а триггер 30 — в нулевом. Выходные сигналы триггеров 26 и 30 открывают элементы И 31 и 32 (фиг,1 и 3), и

35 на выходе 20 устройства в течение последующих тактов времени сформируется единичный Y ; = 1 сигнал.

Если Р; = О, то триггер 26 будет находиться в нулевом состоянии и

40 закроет элемент И 32, если Р; с О, то триггер 30 перейдет в единичное состояние и закроет элемент И 31, т.е. при Р„ (О на выходе 20 устройства в течение m no e toniHx TBK тов времени будет сформирован нулевой сигнал У „„, = О. В следующем

i+1 шаге описанная процедура обработки информации полностью повторяется.

Таким образом, при описанном режиме работы.в каждом .i шаге устройство реализует функцию ь-

Y = sign (. х;,/ ; — ), j=1

55 ,что соответствует алгоритму формального нейрона.

Из приведенного выше описания 1 работы устройства видно, что при его

1479944

55 д>ункционировании в режимах градуального (динамического) или формального нейронов, входные сигналы х,...,х „, могут поступать на входы 1,,...,1„ < только с интервалом не менее 2m тактов (где m— разрядность двоичных чисел х, 1,1 ...,х; ) (Аиг.4). Отмеченное обстоятельство позволяет естественным образом моделировать период рефрактерности нервной клетки. При этом, меняя разрядность m, оказывается возможным менять и период рефрактерности, Операцию скалярного произведения векторов можно реализовать, если, в качестве компонента одного вектора взять значения синаптических векомпонент другого вектора — входные сигналы x „,...,х„ „ . При этом на управляющие входы 15 и 16 подаются нулевые потенциалы (т.е. код операции 00), при которых логический блок 10 отключается(см.фиг.3). Тогда в течение 2m тактов времени (следующих после первых m тактов, в течение которых осуществляется прием компонент х,...,х;„„ второго вектора) на выходе сумматора 5 Аормируется 2m разрядный код числа

Л вЂ” и х ., являющегося скалярным

1) 0)

) =! произведением исходных векторов х„ и,, которое поступает на информационный, выход 17 устройства. Если на управляющий вход 12 поступают управляющие сигналы f < в соответс гвии с временной диаграммой, представленной на фиг.4, то на информационном выходе 18 устройства будет

Аормироваться только m старших разрядов полученного скалярного произведения. Эти же m старших разрядов скалярного произведения записываются на второй регистр 9, где в случае необходимости они могут храниться и в требуемые моменты времени выдаваться на информационном выходе

19 устройства. Возможность получения и выдачи скалярного произведе-> ния в виде 2m-разрядного и m-разрядного двоичного кода позволяет реализовать указанную операцию с требуемой точностью.

При настройке устройства на режим работы цифрового интегратора, 5

50 работающего по Аормуле прямоугольников, используется только один j блок изменения синаптических весов, а на управляющие входы 15 и

16 подается код операции 00, при котором логический блок 10 отключается. Перед началом работы в регистр 24 j блока изменения синаптических весов 3j записывается начальное значение подынтегральной функции Уп . Временная диаграмма работы устройства в режиме цифрового интегратора представлена на фиг.5.

В течение первых m тактов времени на вход 1 постугает значение незави1 симой переменной 5t которое записывается в регистр множительного элемента 21, на вход 2; — значение приращения подынтегральной. функции

9У которое суммируется в сумматоре 23 с начальным значением подынтегральной функции Уп и получено, ное текущее значение этой функции

Y, -, = ".<, + 67; записывается в регистр 24, а на выходе 18 устройства формируется приращение интеграла ; 1 1, полученное на предыдущем шаге. В течение следующих 2m тактов времени на выходе сумматора

5 Аормируется 2тп-разрядное значение приращения интеграла Ч Р; = $ с((;,; +

+ 7 Y, . При этом под действием уйравляющих сигналов f. и Г (фиг.5) младших т разрядов величины VP, записываются в первый регистр 8, который является регистром остатка, а старшие гп разрядов укаэанной величины поступают на инАормационный выход 18 или записываются во второй регистр 9, из которого они могут быть считаны на информационный выход 19 устройства в любой требуемый момент времени. При поступлении новых значений входных сигналов описанная выше процедура полностью повторяется.

Наряду с описанными режимами функционирования устройство может выполнять Аункции сумматора входных сигналов х;,...,х;„, для чего достаточно задать все значения синаптических весов } ;,,..., ; д равными единице и исйользовать информационный выход 17 устройства (см.фиг.1).

Преимущества устройства заключаются в значительном упрощении при од-,новременном расширении его функциональных возможностей, поскольку для

79944

-2у фаГ2 18

13 19 11

14 реализации устройства требуется более чем в 2 раза меньшее число сумматоров и регистров, в п раз меньшее число квантователей, на 5 сокращается число множительных элементов, что упрощает его в сравнении с известным уст ройством на 30-807. в зависимости от величины и. При этом данное устройство позволяет не только реализовать все функции известного устройства, но и существенно их расширить, включив в их число весьма распространенную операцию скалярного произведения векторов с заданной .точностью.

Формула и з о 8 р е т е н и я

Устройство для моделирования нейрона, содержащее и блоков изменения синаптических весов, первые и вторые входы которых являются информационными входами устройства, а третьи — установочными, сумматор, первые и входов которого соединены соответственно с выходами п блоков

5 изменения синаптических весов о тл и ч а ю m е е с я тем„ что, с целью упрощения устройства и расширения функциональных возможностей за счет обеспечения переключения на различные режимы работы, оно оснащено первым и вторым регистрами, первым и вторым элементами И и логическим блоком, при этом выход первого регистра соединен с (n+1) входом сумматора, а Вход — через первый вход первого элемента И подключен к выходу сумматора, связанному через первый вход второго элемента И с входом второго регистра и первым входом логического блока к второму входу последнего подсоединен выход второго регистра.

1479944

Составитель Н.Арцыбашева

Редактор N.Öèòêèíà Техред А.Кравчук Корректор M. Васильева

Заказ 2544/47 Тираж 669 Подписное

В, ВНИИПИ Государственного комитета по изобретениям и открытиям при ГКНТ СССР

113035, Москва, Ж-35, Раушская наб., д. 4/5

Производственно-издательский комбинат "Патент", r. Ужгород, ул. Гагарина, 101