Метод адаптивной инициализации нейроэлементов в алгоритмах обучения градиентных нейронных сетей

Abstract

В статье предлагается методика адаптивного определения параметров инициализации нейроэлементов градиентных нейронных сетей, позволяющая снизить вероятность попадания целевой функции обучения в локальные минимумы на начальных стадиях обучения. Данная работа представляет собой дальнейшее развитие технологии синтеза эффективных методов обучения многослойных нейронных сетей, которой посвящена статья Головко В. А., Савицкого Ю. В. “Адаптивные методы обучения градиентных нейронных сетей”. В работе также рассматриваются различные аспекты использования разработанных методов вычисления адаптивного шага обучения и адаптивной инициализации нейроэлементов в рамках обобщенного алгоритма последовательного послойного обучения гомогенных и гетерогенных нейронных сетей, архитектуры которых обсуждаются в вышеуказанной работе.