Устройство для моделирования нейрона

 

УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ НЕЙРОНА, содержащее цифровой интегратор, прямые входы которого являются входами возбуждения устройства , и цифровые интеграторы потенциации и депрессии, выходы которых подключены к соответствующим входам сумматора, отличающееся тем, что, с целью повышения точности моделирования и упрощения конструкции , в него введены два блока умножения и компаратор, выход которого подключен к первым входам-цифровых интеграторов потенциации и депрессии и блоков умножения, выходы ци.фровых интеграторов потенциации и депрессии соединены с вторыми своими входами и с вторыми входами соответствующих блоков умножения, выходы которых подключены к третьим входам соответствующих цифровых интеграторов пoтeн J aции и депрессии, четвертые входы цифровых интеграторов потенциации и депрессии соединены с источниками постоянного (Л сигнала, выход цифрового интегратора подключен к первому инверсному входу цифрового интегратора, второй инверсный вход которого соединен .с выходом компаратора, выходом устройства является выход сумматора. | ел Од оо IsD

СОЮЗ СОВЕТСКИХ

СОЦИАЛИСТИЧЕСНИХ

РЕСПУБЛИК

„„Я0„„1075632

4() G 06 G 7/60

ОПИСАНИЕ ИЗОБРЕТЕНИЯ

К ABTOPCHOMV СВИДЕТЕЛЬСТВУ

ГОСУДАРСТВЕННЫЙ КОМИТЕТ СССР

10 ДЕЛАМ ИЗОБРЕТЕНИЙ И OTHPblTHA (21) 3480127/18-24 (22) 25.05.82 (46) 30.06.85. Бюл. Р,24 (72) Ю.Д, Кропотов и С.В. Пахомов (71) Ордена Трудового Красного

Знамени научно-исследовательский институт экспериментальной медицины АМН СССР (53) 681.333(088.8) (56) 1. Позин Н.В. Моделирование нейронных структур, M., Наука, 1970, с. 259.

2. Авторское свидетельство СССР

В 767788, кл. G 06 G 7/60, 1978 (прототип). (54)(57) УСТРОЙСТВО ДНЯ МОДЕЛИРОВАНИЯ НЕЙРОНА, содержащее цифровой интегратор, прямые входы которого являются входами возбуждения устройства, и цифровые интеграторы потенциации и депрессии, выходы которых подключены к соответствующим входам сумматора, отличающееся тем, что, с целью повышения точности моделирования и упрощения конструкции, в него введены два блока умножения и компаратор, выход которого подключен к первым входам. цифровых интеграторов потенциации и депрессии и блоков умножения, выходы цифровых интеграторов потенциации и депрессии соединены с вторыми своими входами и с вторыми входами соответствующих блоков умножения, выходы которых подключены к третьим входам соответствующих цифровых интеграторов потенциации и депрессии, четвертые входы цифровых интеграторов потенциации и депрессии соединены с источниками постоянного сигнала, выход цифрового интегратора подключен к первому инверсному входу цифрового интегратора, второй инверсный вход которого соединен .с выходом компаратора, выходом устройства является выход сумматора.

1075632

Изобретение относится к области бионики и может использоваться для моделирования поведения нейронных структур при обучении и распознавании образов. 5

Известно. устройство для моделирования нейрона, входящее в сеть, в которой выходы каждого устройства подключены к входам соседних моделей нейронов с помощью локальных связей 10 (т.е. связей, являющихся убывающими функциями расстояния между клетками слоя) 11 ). Эти устройства, в частности, могут осуществлять операцию выделения краев пространственно 15 распределенного внешнего сигнала, играющую большую роль в центральной нервной системе человека и животных при выделении информативных признаков образов. 20

Однако свойства отдельных моделей нейронов этой сети не соответствуют полученным в последние годы данным о синаптической пластичности в нервной системе (т.е, способнос- 25 ти нейронов изменять величину связи с другими нейронами в зависимости от собственной активности).

Эти экспериментальные данные указывают на участие двух различных процессов в синаптической пластичности, один из которых связан с истощением запасов доступного медиатора при длительной монотонной стимуляции нейрона и приводит к уменьшению величины связи между нейронами (синаптическая депрессия), а другой, по-видимому, связан с регуляцией внутриклеточного кальция и приводит к увеличению связи между нейронами при такой стимуляции (си— наптическая потенциация).

Наиболее близким техническим решением к изобретению является устройство для моделирования нейро — 45 нов $2 ), содержащее цифровой интегратор, прямой вход которого является входом устройства, и цифровые интеграторы потенциации и депрессии, выходы которых подключены.к 50 соответствующим входам сумматора.

Кроме того, устройство содержит целый ряд других цифровых интеграторов, соединенных между собой и измерителем. 55

Данное устройство также не модулирует упомянутые выше процессы синаптической пластичности. Оно имеет сложную структуру и его можно использовать при реализации на его основе нейронных сетей.

Целью изобретения является повышение точности за счет обеспечения возможности моделировать синаптическую депрессию и потенциацию и упрощение конструкции.

Поставленная цель достигается тем, что в устройство для моделирования нейрона, содержащее цифровой интегратор, прямые входы которого являются входами возбуждения устройства, и цифровые интеграторы потенциации и депрессии, выходы которых подключены к соответствующим входам сумматора, введены два блока умножения и компаратор, выход которого подключен к первым входам .цифровых интеграторов потенциации и депрессии и блоков умножения, выходы цифровых интеграторов потенциации и депрессии соединены с вторыми своими входами и с вторыми входами соответствующих блоков умножения, выходы которых подключены к третьим входам соответствующих цийровых интеграторов потенциации и депрессии, четвертые входы цифровых интеграторов потенциации и депрессии соединены с источниками постоянного сигнала, выход .цифрового интегратора подключен к первому инверсному входу цифрового интегратора, второй инверсный вход которого соединен с выходом компаратора, выходом устройства является выход сумматора. Соединение таких устройств в одну структуру с помощью локальных входов дает совершенно новый результат, определяемый кооперативными свойствами слоя моделей нейронов и явно не вытекающий из исходных предпосылок с синаптической пластичности, а именно полученная в результате модель нейронной структуры обладает способностью к привыканию (т.е. ее реакция на внешний стимул уменьшается со временем) и кратковременной памяти (т.е. структура сохраняет след стимула в течение времени, значительно большего характерных времен депрессии и потенциации).

На фиг. 1 приведена структурная схема устройства, где также указаны связи по выходу этого устройства с аналогичными устройствами, которые образуют сеть (1j; на фиг. 2 — ха107563 рактеристики внешнего сигнала и локальных связей между устройствами нейрона в сети, на фиг. 3 и 4 — последовательные этапы работы сети в двух различных режимах (соответственно с преобладанием синаптической потенциации и депрессии).

Устройство для моделирования нейрона содержит цифровой интегратор 1,-группа прямых входов 2 кото- 1О рого соединена с выходами моделей соседних нейронов, а первый инверсный вход 3 — с выходом интегратора 1, а прямой вход 4 интегратора 1 соединен с источником внешнего сигнала !5 (на чертеже не показан), компаратор

5, вход 6 интегратора, цифровые интеграторы 7, 8 потенциации и пепрессии, блоки умножения 9, 10, источники 11, 12 постоянного сигнала, сум- 20 матор 13. Выход интегратора 1 связан также с входом компаратора 5, осуществляющего сравнение сигнала на входе с порогом нейрона. Выход компаратора 5 связан обратной связью 25 с вторым инверсным входом 6 интегратора 1 и входами цифровых интеграторов 7 и 8 потенциации и депрессии. Каждый из интеграторов 7 и 8 имеет четыре входа, первый из которых связан с выходом компаратора 5, третий через блок умножения 9 (10) связан с выходом интегратора 7 (8), а четвертый вход связан с источником единичного (по амплитуде) по- 35 стоянного сигнала 11 (12). Выходы двух интеграторов 7 и 8 соединены . с своими вторыми входами и с входами сумматора 13, выход которого сое- динен с входами 2 соседних моделей нейронов.

Рассмотрим работу устройства, включенного в указанную сеть. Для задания характера функционирования устройства Определяют значения весов 45 подынтегральных Функций цифровых интеграторов 1, 7 и 8.и их исходные значения на основе нейрофизиологических данных. После этого устройство готово к приему внешнего сигнала.

На каждом шаге на входы 4 интеграторов 1, значения на выходе которых отражают динамику мембранных потенциалов моделируемых нейронов, подаются внешние сигналы, характеризующие сумму постсинаптических потен- ккциалов от внешних источников, на входы 2 - сигналы с выхода соседних г 4 моделей нейронов, на входы 3 — сигналы обратной связи с выходов соот- ф ветствующих интеграторов 1, моделирующие наличие постоянной времени мембраны нейрона, на входы 6 сигналы с выходов соответствующих компараторов 5, моделирующие возвращение потенциала мембраны нейрона к исходному уровню после генерации спайка (импульса). Сигналы с выходов интеграторов 1 подаются на соответствующие входы компараторов

5, моделирующих процесс генерации спайка нейрона в случае превышения порога мембранным потенциалом нейрона. Компараторы 5 формируют импульсы единичной длительности (в один шаг) и единичной амплитуды.

С выходов компараторов 5 единичные импульсы поступают на входы интеграторов 7 и 8, моделирующих процессы депрессии и потенциации в синаптических окончаниях нейронов. Интеграторы 7 и 8 осуществляют пошаговое интегрирование приходящих на них постоянных единичных сигналов 11 и 12, сигналов с выходов компаратора 5 и выходов интеграторов 7 и 8 соответственно, а также произведений сигнала на выходе компаратора 5 с сигналом на выходе соответственно интеграторов 7 и 8. Сигналы с выходов интеграторов 7 и 8 поступают на входы сумматоров 13, сигналы с выхода которых подаются на входы 2 интеграторов 1 соседних моделей нейронов с весами, которые определяются на основе нейрофизиологических и психофизиологических данных функцией модуля разности расстояния между модеЛями нейронов, представленной на графике 15 (фиг. 2).

Пошаговая работа описанного устройства соответствует решению следующей системы раэностных уравнений, адекватно характеризующих поведение структуры моделируемых нейронов:

P (k»1j-Ð;(k)=-АР;(к(»Ху(г|Г» (kl»x. (1»Ц»

72 .К;(1 )-Ем,(1 )+З,. (Ц;

xl» (kK)-хк, (х(=(А,»6, N (ф.„(kl+c N.(kl+c к ((»»1(-х. Щ=(А»А N.(%))к. (kl+C к.(kl»Dк, где p;(1k)- мембранный потенциал i --ro.

1 нейрона на 1(-м шаге.

t Э о — — постоянная времени мембраны нейрона;

1075632 порог срабатывания нейрона; внешний сигнал, подаваемый на 1-й нейрон на 1 -м шаге; функция связи, характеризующая неизменную во времени часть связи между нейронами, модуль разности порядковых номеров который равен г> дискретная характеристика состояния нейрона на k-.ì шаге, определяемая условием: >о,(k) >j Π— нейрон генерирует импульс (спайк), p„. (1с) (8 - нейрон молчит

20 (k), — величины, характеризующие

31

>>, переменные во времени части

32 связи от > -го нейрона на k -м шаге, отражающие соответственно вклад про25 цессов синаптической депрессии и потенциации, М 5,С,3 — параметры, характеризующие синаптическую депрессию, Я,Ц,С,3- парметры, характеризующие синаптическую потенциацию.

Рассмотрим поведение модели единичного нейрона под номером входящего в моделируемую нейронную сеть. Будем считать время дискретным .с единичным квантом времени и выведем уравнение, описывающее рабо40 ту j-го нейрона на 1 -м шаге (дискретном интервале времени). Как показЫвают многочисленные. нейрофизиологические исследования нейрон характеризуется мембранным потенциалом

Р„(1 ) изменяющимся во времени под влиянием внешних воздействий. При достижении мембранным потенциалом определенного порогового уровня нейрон генерирует импульс — так на- 50 зываемый потенциал действия, который передает сигнал от данного нейрона, с которым он связан синаптически.

Таким образом, нейрон может находиться в двух состояниях: активном (М ° (k) = 1 при p. (k) 7jg р В котором происходит генерация потенциала действия и передача сигнала к другим нейронам, и пассивном (М;(%)= О ) при

Р; (k) (О. Следует подчеркнуть, что после генерации нейронов потенциала действия мембранный потенциал возвращается в состояние покоя, которое в нашей модели характеризуется

P;(k) = О, т.е. фактически происходит

"сбрасывание" потенциала на величину, равную порогу срабатывания 8,.

Как показано в целом ряде фундаментных нейрофизиологических работ, мембрана нейрона между двумя срабатываниями может быть представлена в виде определенной электрической схемы, содержащей емкость и сопротивление, с постоянной времени 1/аС.

Изменение мембранного потенциала за единичный квант времени, обусловленное этим пассивным свойством мембраны, равно - г> 1 Р; (k). Следовательно, в отсутствие внешних воздействий на нейрон изменение мембранного потенциала за один квант времени удовлетворяет следующему уравнению:

Р (1<+1)-Р,.(1с)=с Р,(1 )-8N (1), что соответствует тому, что при

P>(k)(B мембранный потенциал возвращается к нулевому уровню с постоянной времени 1(», а при p;(k)= 8 нейрон генерирует потенциал дейст— вия (М„(k)= 1) и скачком возвращается в состояние покоя.

Однако в действительности на нейрон в каждый кВант времени могут поступать воздействия от внешних источников сигнала и от соседних нейронов, входящих в моделируемую нейронную сеть. Изменение мембранного потенциала за единичный квант времени, обусловленное этими двумя процессами, может быть представлено в виде двух слагаемых: 5;(g) — внешний сигнал, подаваемый на 1-й нейрон на )с -м шаге, 3 г".;(k)N (k)—

)ф1 / сумма постсинаптических потенциалов, поступаюших на 1-й нейрон с остальных нейронов моделируемой структуры при их срабатывании (здесь постсинаптический потенциал, генерируемый íà 1-м нейроне при срабатывании ) -ro нейрона) .

Таким образом, изменение мембранного потенциала за единичный квант времени, обусловленное пассивными и активными свойствами мембраны нейрона, а также приходящими на ней107

Многочисленные нейрофизиологические данные показывают, что эффективность синаптической связи у; (9) не является постоянной величийой, а изменяется сложным образом в зависимости от предшествующей активности пресинаптического нейрона р

Эти данные указывают также на то, что эффективность синапса определяется двумя основными процессами, протекающими в пресинаптическом волокне: один иэ которых связан с регуляцией передатчика (медиатора)

Х11, а другои связан с регуляцней. концентрации внутриклеточного кальция Х 2 . Поскольку изменения. синаптической эффективности в синапсах центральной нервной системы позвоночных составляют всего несколь ко процентов от среднего уровня, зависимость у; (Ц от двух параметров X „и X 1 может быть достаточно точно описана с помощью линейных членов разложения в ряд Тейлора, т.е. т; (14) = XjÄ(k)+ x z (k) ) зДесь постоянйый члей разложения и сомножители включены в х .1 и . к„, Изменение параметров xji X. эа единичный интервал времени зависит от их значения и состояния нейронов в предшествующий момент времени, т.е. имеют место следующие уравнения: х ()4+))-)((Ь}=ф (к. ()x ), N.(к)), х <(1+1/-х;, (к)= Ф,(x,,(u), Н,(W)) .

Раскладывая функции ф в ряд

Тейлора и ограничиваясь членами линейными по х и и (малость изменений х „ и х 2 позволяет надеяться

3 на хорошее соответствие этого линейного приближения экспериментальным данным), получаем следующие уравнения: х.„(k х)-x.,(k)=(A, В,N.(4))x.,(4)+C,N,.(k) )Х,;

Х (4 Х)-Х. (4)-(Лг В Н (4))х. (4)+С )).(ф)) . ХХ рон сигналами от внешнего источника и от нейронов моделируемой структуры, удовлетворяет следующему разностному уравнению:

p. (y+)-P,®=-ЫP,. (1 )-8N,(t)+Kg" (},(1 l+ ;(1 )

Коэффициенты в этих уравнениях имеют следующий физиологический смысл:

5632 †.1/,1 +8 (М.() — постоянная време1(2) 1(2) ни возвращения переменной X 1 к своему равйо5 весному значе нию с„ — определяет величину, на которую уменьшается ко10 личе ство доступного медиатора при срабатывании

>-го нейрона, здесь c (0.

15 1 Следует отметить, что процесс регуляции медиатора приводит к истощению доступного медиатора при ритмической стимуляции нейрона и к соответствующему уменьшению постсинап20 тического потенциала — явлению синаптической депрессии.

c — определяет величину, на которую увеличивается концентрация внутриклеточного кальция при сраба25 тывании 1-ro нейрона, здесь с ) О.

Процесс регуляции концентрации внутриклеточного кальция приводит к повышению концентрации кальция при ритмической стимуляции нейрона, что, щ в свою очередь, ведет к увеличению вероятности освобождения медиатора и к увеличению постсинаптического потенциала — явление синаптической потенциации.

Величины ).) и 32 определяют средний уровень концентрации медиатора и внутриклеточного кальция.

Из системы уравнений, описывающих изменения х.1 и х, нетрудно

11 3 э получить, что при скачкообразном изменении частоты разряда пресинаптического нейрона от Fi до F2, вы- . званные изменения синаптической эффективности могут быть представле45 ны в виде суммы двух экспонент (при замене разностных уравнений дифференциальными) с постоянными времени

- /(„ +9„Г„) и -1/(Я +3 +Р ) что находится в хорошем согласии с экспе50 Риментальными данными.

Выбор параметров 4,, А2, В1, 8

С., П1, I3 осуществлялся

Ъ на основе уравнений по методу наи- меньших квадратов.

Устройство работает в различных режимах, задаваемых параметрами синаптическэй депрессии и потенциации. Параметры моделей, нейрона

1075632

На фиг. 3 сверху вниз изображены последовательные этапы работы устройства со следующими параметра- . ми синаптической пластичности, со— ответствующими преобладанию процесса синаптической потенциации:

A„ О, В =0,25, С1= 0,125, С =0,1, D. =-0,0095. На каждом

55 (порог, постоянная времени мембраны, амплитуда "белого" шума, характеризующего случайные синаптические воздействия на модели нейронов, несвязанные с сигналом, и моделируюб щего спонтанную активность нейронов), а также вид функции связи могут быть выбраны на основе нейрофизиологических и психофизиологических данных, полученных на человеке 10 и животных, при этом можно считать, что длительность каждого шага работы устройства соответствует длительности передачи сигнала в синапсе синаптической задержке, равной 15

0,5 мс. Рассмотрим следующие значения параметров модели нейрона: „= О, 1, В = 1,0, "белый" шум — случайная величина, подаваемая на каждом шаге на каждый нейрон, равномер- 20 но распределенная в интервале 0,20—

0,26. Параметры внешнего сигнала, распределенного по моделям нейронов, представлены на графике 14 (фиг. 2), где по оси абсцисс — но†25 мер модели нейрона по порядку, по оси ординат — величина внешнего сигнала, подаваемого на входы 2 соответствующей модели нейрона.

Вид функции связи представлен на графике 15, где по оси абсцисс модуль разности .порядковых номеров взаимодействующих моделей нейронов, по оси ординат — сила связи между этими моделями. Параметры синаптической пластичности также выбирают на основе кейрофизиологических данных, при этом рассмотрим два типа синапсов: с преобладанием синаптической потенциации (т.е. синапсы, длительная стимуляция которых в конечном счете приводит к увеличению синаптической эффективности) и с преобладанием синаптической депрессии (т.е. синапсы, длительная стимуляция которых приводит к уменьшению синаптической эффективности). графике, представляющем результат усреднения по 64 последовательным шагам работы устройства и пяти различным реализациям, определяемым исходными начальными состояниями, по обе оси абсцисс отложены номера моделей нейронов в слое, по оси ординат — частота срабатывания модели нейрона. Представлены следующие этапы работы устройства; 16 — на внешние входы устройства подается случайный сигнал ("белый шум), моделирующий спонтанную активность нейронов слоя, 17 и 18 — на внешние входы устройства наряду с "белым" шумом поступает определенный пространственно распределенный внешний сигнал, представленный на графике 14, 19, 20, 21 — последовательные этапы работы устройства после выключения стимула, 22 — через

512 шагов после выключения стимула.

Из фиг. 3 отчетливо видно, что рассматриваемое устройство осуществляет фильтрацию низкочастотной пространственной составляющей внешнего сигнала, причем след от сигнала сохраняется в течение достаточно длительного времени, значительно превышающего характерное время потенциации, для данного случая составляющее 100 шагов. Таким образом, в случае преобладания процесса синаптической потенциации устройство проявляет свойство кратковременной памяти, т.е. может в течение достаточно длительного времени, превосходящего по продолжительности временные параметры синаптической пластичности одиночной модели нейрона, удерживать след внешнего сигнала.

На фиг. 4 сверху вниз представлены последовательные этапы работы устройства со следующими параметрами синаптической пластичности, соответствующими преобладанию процесса синаптической депрессии: А< =0, 8 = -О 05 С1 = Оэ Dq = Оэ0095

А2 = О, B>=-О,25, С. =0,375, Р = -0,026.

Обозначения те же, как и на фиг. 3.

Из приведенных графиков видно, что реакция устройства на внешний сигнал уменьшается с течением времени— привыкание. После выключения внешнего сигнала наблюдается интересное явление отдачи", характеризующееся реакцией устройства, инверсированной к исходной реакции на

ll 10756 внешний сигнал. Это свойство наблюдается в нейронных популяциях мозга человека и животных — возбуждение на включение стимула, торможение на выключение, и наоборот. После этой непродолжительной "отдачи" устройство возвращается в исходное состояние. Следовательно,в случаепреобладания процесса.синаптической депрессии

"устройство обладает свойством примыка- lg ния к действующему внешнему сигналу.

Таким образом, введение в модель нейрона двух интеграторов, двух умно32 I)2 жителей и сумматора, обеспечивающих изменение величины связи между нейронами в зависимости от частоты срабатывания пресинаптического ней" рона и достаточно полно описывающих процессы синаптической депрессии и потенциации, позволяет смоделировать свойства реальных нейронных структур, а именно привы- кание и кратковременную память, и приблизить поведение предлагаемого устройства к реальной кар« тине.

1075632

1075632

Корректор В. Бутяга

Редактор О.Юркова Техред М.Надь

Тираж 710 Подписное

ВНИИПИ Государственного комитета СССР по делам изобретений,и открытий

113035, Москва, Ж-35, Раушская наб., д. 4/5

Заказ 4500/3

Филиал K1II "Патент", r. Ужгород, ул. Проектная, 4