Конвейерная нейронная сеть конечного кольца

Авторы патента:

G06N3/04 - архитектура, например топология соединений[7]

Владельцы патента RU 2317584:

Ставропольский государственный университет (RU)

Изобретение относится к конвейерным нейронным сетям конечного кольца. Техническим результатом является сокращение аппаратных затрат преобразователя двоичного кода в код системы остаточных классов. Для этого конвейерная нейронная сеть конечного кольца содержит мультиплексор, просмотровую таблицу (память), где хранятся предварительно вычисленные значения формата с весовым коэффициентом w=2⁰, демультиплексор, умножители на константы 2^j и суммирующую нейронную сеть конечного кольца. 3 ил.

Изобретение относится к вычислительной технике и может быть использовано в модулярных нейрокомпьютерах для реализации основной операции - определение вычета (остатка) числа, которое используется как при выполнении арифметических операций, так и при выполнении операции ввода данных.

Известна нейронная сеть для классификации сигналов или символьной информации (заявка 19917957, МПК⁷ G06F/15/18, опубликована 26.10.2000, немецкая), содержащая входной, выходной, скрытый слои и связи между ними. Однако такие нейронные сети предназначены для классификации целей радиолокатора.

Наиболее близким по технической сущности к заявленному устройству является нейронная сеть конечного кольца (заявка 2003124689, МПК⁷ G06N 3/02, RU), содержащая арифметические элементы, имеющие характеристики взвешенного суммирования, и элементы, имеющие характеристику оператора по модулю.

Однако известная нейронная сеть конечного кольца требует больших аппаратурных затрат.

Цель изобретения - сокращение оборудования.

Указанная цель достигается тем, что в нейронную сеть введены мультиплексор, просмотровые таблицы (память) и демультиплексор.

Предлагается эффективный метод преобразования двоичного числа в систему остаточных классов на основе разбиения исходного двоичного числа на отдельные форматы, для которых отводится заранее известное количество В-двоичных разрядов. Тогда n-битное двоичное число может быть выражено как комбинация взвешенных (позиционных) форматов размерностью B бит (разрядов). При этом позициям каждого формата присваивается определенный вес 2^j, где j=0, В, 2В,...MB.

Прямое преобразование двоичного числа в модулярное осуществляется с помощью модульного суммирования остатков по модулю р_i(i=1, 2,..., n) В разрядов форматов с учетом их весов.

На основании сказанного любое двоичное число может быть записано в виде

где: В - количество разрядов выбранного формата;

М - степень формата;

х_i - коэффициент 0 или 1;

j=0, B, 2В,...MB - позиция формата;

i - позиция разряда в формате.

Если развернуть выражение (1), тогда

Из выражения (2) видно, что число Х может быть представлено двоичным числом ширины М×В разрядов.

Если в качестве примера входное слово взять как 32-разрядное число и число разрядов в формате взять равным 8 бит, тогда входное число может быть выражено как комбинация четырех байтов:

Таким образом, остаток Х(n) по модулю р_i может быть представлен в виде

Каждый член выражения (4) с учетом веса 2^j может быть предварительно вычислен и сохранен в просмотровых таблицах. Организация просмотровых таблиц определяется двоичным представлением модуля р_i и выражается формулой m=[log p_i]. ПЛИС устройства имеют встроенные логические блоки. В зависимости от семейства каждый логический блок включает одну или более просмотровых таблиц размером 2⁴×1 бит, выходной регистр, специализированную логическую схему ускоренного переноса.

Схема конвейерной нейронной сети конечного кольца приведена на фигуре 1.

Схема состоит из мультиплексора 2 на четыре группы входов 1 (разрядность каждой группы равна 1 байту) с адресным входом 3, [log p_i]-LUT таблиц 4, трех умножителей 7 по модулю p_i, демультиплексора 5 с адресным входом 6, осуществляющего подключение выхода LUT таблицы на один из четырех выходов и нейронной сети конечного кольца 8 для суммирования по mod p_i остаточных значений байтов с учетом их весов. Принцип работы изобретения излагается ниже. Процесс преобразования подразделяется на 4 этапа, каждый из которых выполняется определенной частью аппаратного обеспечения, причем все эти части могут работать параллельно. Конвейер из четырех стадий (а), состояние каждой стадии в зависимости от количества пройденных циклов (б) для 11 циклов, приведен на фигуре 2. На фигуре 2,а изображен конвейер из 4 блоков, которые называются стадиями. Исходное входное число разделено на 4 байта: нулевой, первый, второй и третий. В LUT таблицу помещены заранее вычисленные все возможные значения нулевого байта по mod p_i, которое будет использовано при преобразованиях всех байтов. Учет веса каждого байта определяется синаптическими весами w_j умножителей.

Стадия C₁ вызывает старший байт числа x[31, 24] и помещает его на выход мультиплексора, выход которого является входом LUT-таблицы. Вызов байта определяется кодом числа, поданным на адресные входы 3 мультиплексра. Стадия C₂ считывает их LUT-таблицы значение вычета (остатка) байта по mod p_i. Стадия С₃ выполняет умножение считанного остатка их памяти LUT-таблицы на значение соответствующего синаптического веса где j - степень байта. Коммутация байтов осуществляется демультиплексором под действием адресного входа 6. Стадия С₄ выполняет суммирование остатков всех байтов по mod p_i. Суммирование выполняется нейронной сетью конечного кольца по mod p_i.

Пример 1. Пусть дано число Х=10000001 10000011 00011011 10100010. Найти остаток числа X по mod 7 (фигура 1). Весовые коэффициенты w₃=|2²⁴|₇=1; w₂=|2¹⁶|₇=4; w₁=|2⁸|₇=2; w₀=|2⁰|₇=1.

	Адрес LUT	Выборка из LUT	Умножение на w_j	Суммирование по mod 7
X=	\|(10000001)\|₇	→ 011	001	011
	\|(10000011)\|₇	→ 101	100	10100
	\|(00011011)\|₇	→ 110	010	1100
	\|(10100010)\|₇	→ 001	001	001
\|X\|₇	→	100100 mod 7=001

В примере в качестве формата принято В=8 разрядов из соображений использования для преобразования чисел просмотровых таблиц LUT (look-up tables) программируемых логических интегральных схем Xilinx серии ХС4000, которые имеют 8 входов.

На фиг.2,б приведено действие конвейера во времени. Во время цикла 1 стадия C₁ работает над третьим байтом, помещая его на выход мультиплексора. Во время цикла 2 стадия С₂ считывает из памяти (LUT-таблицы) значение третьего байта, в то время как стадия С₁ помещает на выход мультиплексора значение второго байта. Во время цикла 3 стадия С₃ выполняет умножение считанного остатка третьего байта по mod p_i на его синаптический вес w₃, стадия С₂ считывает значение первого байта, а стадия С₁ помещает значение нулевого байта на выход мультиплексора. Во время цикла 4 стадия С₄ выполняет суммирование значения остатка третьего байта, С₃ выполняет умножение значения второго байта на синаптический вес w₂, С₂ считает первый байт, и С₁ помещает на выход мультиплексора значение нулевого байта и так далее. На седьмом цикле на выходе сумматора формируется значение остатка числа . И далее через каждые 4 следующих цикла формируются остатки следующих чисел. Итак, остаток первого числа формируется через 7 циклов, а остатки следующих чисел будут формироваться через каждые 4 цикла.

Предположим, что время цикла у этого преобразователя 5 нс. Тогда для того, чтобы один байт прошел через весь конвейер, требуется 20 нс. На первый взгляд может показаться, что такой преобразователь может выполнять 50 млн байтов в секунду, в действительности же скорость его гораздо выше. Во время каждого цикла (5 нс) завершается преобразование одного байта, поэтому преобразователь выполняет не 50 млн, а 200 млн байт в секунду, тогда преобразование четырех байтов выполняется со скоростью 50 млн входных слов в секунду.

Для реализации данного изобретения требуется [log р_i]-LUT-таблиц, мультиплексор на 4 входа, демультиплексор на 4 выхода, три умножителя по mod p_i и одна нейронная сеть конечного кольца для четырех групп входов. Известные схемы используют 15 нейронных сетей конечного кольца на 2 группы входов.

Аппаратные затраты схемы: мультиплексора, демультиплексора, умножителей на константу и одной нейронной сети конечного кольца намного меньше аппаратных затрат 15 нейронных сетей конечного кольца.

Конвейерная нейронная сеть конечного кольца для определения остатка числа по модулю, содержащая нейронную сеть конечного кольца с весовыми коэффициентами w_j, отличающаяся тем, что в нее введены мультиплексор, демультиплексор и просмотровая таблица, представленная в виде памяти, реализующая вычислительную модель (х₀2⁰+х₁2¹+...X_В-12^В-1)2⁰, где В - количество разрядов выбранного формата; х_i - коэффициент 0 или 1; i - позиция разряда в формате, входы просмотровой таблицы подключены к выходам мультиплексора, входы которого являются входами конвейерной нейронной сети конечного кольца, а выходы просмотровой таблицы с разрядностью m=[log p_i] подключены ко входу демультиплексора, который коммутируется последовательно под действием адресного входа демультиплексора на входы соответствующих схем умножителей на константы выходы которых суммируются нейронной сетью конечного кольца, выход которой является выходом конвейерной нейронной сети конечного кольца, при этом в мультиплексоре вызов байта определяется кодом числа, поданным на адресные входы мультиплексора.

Похожие патенты:

Программируемая нейроматрица // 2287855

Изобретение относится к вычислительной технике. .

Нейронная сеть конечного кольца // 2279132

Изобретение относится к нейрокомпьютерной технике и предназначено для классификации классов чисел по заданному модулю р. .

Адаптивная параллельно-конвейерная нейронная сеть для коррекции ошибок // 2279131

Изобретение относится к вычислительной технике и может быть использовано для построения модулярных нейрокомпьютеров. .

Нейронная сеть для округления и масштабирования чисел, представленных в системе остаточных классов // 2271570

Изобретение относится к вычислительной техники и, в частности, к модулярным нейрокомпьютерным средствам и предназначено для выполнения операций округления и масштабирования над числами, представленными в системе остаточных классах (СОК).

Нейронная сеть для вычисления позиционной характеристики ранга числа, представленного в системе остаточных классов // 2271569

Изобретение относится к вычислительной технике и может быть использовано в модулярных нейрокомпьютерах. .

Нейронная сеть для вычисления коэффициентов обобщенной полиадической системы, представленных в расширенных полях галуа gf(2v ) // 2258956

Нейронная сеть для преобразования полиадического кода в код системы остаточных классов // 2258257

Изобретение относится к вычислительной технике и может быть использована в модулярных нейрокомпьютерах для быстрого восстановления остаточных чисел, закодированных в полиадической системе счисления (ОПСС).

Нейронная сеть для вычисления позиционных характеристик непозиционного кода // 2257615

Изобретение относится к области вычислительной техники и может быть использовано в модулярных нейрокомпьютерах. .

Нейронная сеть для расширения кортежа числовой системы вычетов // 2256226

Изобретение относится к вычислительной технике и предназначено для расширения кортежа числовой системы вычетов по введенным дополнительным основаниям и может быть использовано для кодирования данных в модулярных нейрокомпьютерах.

Нейронная сеть для коррекции ошибок в модулярных нейрокомпьютерах // 2256213

Изобретение относится к вычислительной технике и может быть использовано в модулярных нейрокомпьютерных системах. .

Нейронная сеть для преобразования остаточного кода в двоичный позиционный код // 2318238

Изобретение относится к нейронным сетям для преобразования остаточного кода в двоичный позиционный код является базовой схемой восстановления позиционного числа по его остаткам

Нейронная сеть ускоренного масштабирования модулярных чисел // 2359325

Изобретение относится к вычислительной технике, в частности к модулярным нейрокомпьютерным средствам, и предназначено для выполнения операции масштабирования модулярных чисел

Нейронная сеть с пороговой (k, t) структурой для преобразования остаточного кода в двоичный позиционный код // 2380751

Изобретение относится к нейронной сети с пороговой (k, t) структурой для преобразования остаточного кода в двоичный позиционный код, которая является схемой восстановления позиционного числа по сокращенной системе модулей остаточных классов независимо от того, что часть модулей искажена и они отбрасываются либо часть модулей просто игнорируется

Устройство для коррекции ошибок в полиномиальной системе классов вычетов с использованием псевдоортогональных полиномов // 2393529

Нейронная сеть для определения координат точек на эллиптической кривой // 2397541

Изобретение относится к вычислительной технике и может быть использовано в качестве функционального блока для построения высоконадежных нейросетевых систем защиты информации на основе эллиптических кривых, функционирующих в системе остаточных классов

Виртуальная потоковая вычислительная система, основанная на информационной модели искусственной нейросети и нейрона // 2530270

Изобретение относится к области вычислительной техники и интеллектуальных вычислительных систем и может быть использовано для создания интеллектуальных вычислительных систем. Техническим результатом является повышение надежности информационной работоспособности в условиях замкнутости, ограничений, обмена и неопределенности, возможность реализации динамически расширяемой архитектуры, повышение информационной достоверности результатов вычислений и обработки данных. Виртуальная потоковая вычислительная система содержит блок автономно функционирующих процессорных элементов (ПЭ), количество функционирующих ПЭ в конкретный квант физического времени определяется условиями алгоритма вычислительного процесса или его результатом из предыдущего кванта времени, блок двухуровневой виртуальной активной памяти для каждого ПЭ и группы ПЭ, блок общей виртуальной активной памяти, доступной для всех ПЭ, системы координат информационной привязки и поверки результатов вычислительного процесса в области двухуровневой виртуальной активной памяти для каждого ПЭ или группы ПЭ. 1 ил.

Искусственная нейронная сеть // 2573766

Изобретение относится к интеллектуальным системам управления и может быть использовано в качества ядра цифровых нейроконтроллеров и нейропроцессоров. Техническим результатом является обеспечение эффективной адаптации искусственной нейронной сети к параметрам внешней обстановки и к параметрам состояния объекта управления. Устройство содержит слой входных узлов и не менее двух слоев нейронов, соединенных последовательно в прямом направлении, образующих прямой канал обработки сигналов управления, нейронную подсеть обработки сигналов адаптации, состоящую из слоя входных узлов и по крайней мере из одного слоя нейронов, выходные сигналы которых устанавливают весовые коэффициенты связей по крайней мере одного слоя нейронов прямого канала обработки сигналов управления. 3 з.п. ф-лы, 7 ил.

Способ компьютерного моделирования технической системы // 2575417

Изобретение относится к области компьютерного моделирования технических систем. Технический результат - обеспечение более точного и надежного прогнозирования рабочих параметров за счет применения нейронной сети при моделировании. Способ для компьютерного моделирования технической системы, при котором: моделируют один или несколько выходных векторов в зависимости от одного или нескольких входных векторов путем обучения нейронной сети (НС), базируясь на тренировочных данных из известных входных векторов и выходных векторов, причем соответствующий выходной вектор содержит один или несколько рабочих параметров технической системы и соответствующий входной вектор содержит один или несколько рабочих входных величин, влияющих на рабочую величину или величины, при этом нейронная сеть есть сеть с прямой связью с несколькими соединенными друг с другом слоями, которая включает входной слой, множество скрытых слоев и один выходной слой, причем выходной слой включает множество скрытых слоев, соответствующее множеству выходных кластеров из соответственно одного или нескольких выходных нейронов. 2 н. и 13 з.п. ф-лы, 2 ил.

Устройство для вычисления коэффициентов обобщенной полиадической системы с коррекцией ошибок // 2584495

Изобретение относится к вычислительной технике, в частности к модулярным нейрокомпьютерным средствам, и предназначено для вычисления коэффициентов обобщенной полиадической системы (ОПС), представленных в полях Галуа GF(2v). Техническим результатом является обеспечение возможности исправления ошибок в коэффициентах ОПС, которые были получены из кодовой комбинации, представленной в полиномиальной системе классов вычетов (ПСКВ). Устройство содержит двухслойную нейронную сеть, каждый слой которой содержит 15 нейронов, блок памяти и 7 корректирующих сумматоров по модулю два. 1 ил., 4 табл.

Способ и устройство для нейронного временного кодирования, обучения и распознавания // 2597504

Группа изобретений относится к нейронным сетям и может быть использована для нейронного временного кодирования, обучения и распознавания. Техническим результатом является уменьшение сложности кодирования. Способ содержит этапы, на которых: используют относительную задержку, которая задерживает один или более синаптических вводов в нейронную схему посредством временных задержек; применяют динамическую спайковую модель для того, чтобы определять спайковое поведение нейронной схемы на основе взвешенных и задержанных синаптических вводов нейронной схемы; регулируют согласно правилу неконтролируемого обучения весовые коэффициенты, ассоциированные с синаптическими вводами, в зависимости от взаимосвязи по синхронизации образования спайков в нейронных схемах и задержанных синаптических вводов; выбирают допускающий повторное использование синапс, ассоциированный с нейронной схемой, на основании уменьшения весового коэффициента допускающего повторное использование синапса посредством правила неконтролируемого обучения до значения ниже порогового значения; и модифицируют, по меньшей мере, одно из весового коэффициента, задержки или афферента при повторном использовании допускающего повторное использование синапса. 4 н. и 9 з.п. ф-лы, 38 ил.