Патенты автора ИОФФЕ, Сергей (US)
СЛОИ ПАКЕТНОЙ НОРМАЛИЗАЦИИ // 2666308
Группа изобретений относится к нейронным сетям и может быть использована для обучения нейронных сетей. Техническим результатом является повышение скорости и точности обучения. Система содержит слой пакетной нормализации между первым слоем нейронной сети и вторым слоем нейронной сети, причем первый слой нейронной сети генерирует выходы первого слоя, имеющие множество компонентов, и при этом слой пакетной нормализации выполнен с возможностью во время обучения системы нейронной сети на пакете примеров обучения: приема соответствующего выхода первого слоя для каждого примера обучения в пакете; вычисления множества статистических данных нормализации для пакета из выходов первого слоя; нормализации каждого компонента каждого выхода первого слоя, используя статистические данные нормализации, для генерирования соответствующего нормализованного выхода слоя для каждого примера обучения в пакете; генерирования соответствующего выхода слоя пакетной нормализации для каждого примера обучения из нормализованных выходов слоя; и предоставления выхода слоя пакетной нормализации в качестве входа второму слою нейронной сети. 3 н. и 19 з.п. ф-лы, 3 ил.
