Адаптивные методы обучения градиентных нейронных сетей

Abstract

В работе рассматривается обобщенный вычислительный алгоритм обучения нейронных сетей различных архитектур: многослойного персептрона, нейронной сети Джордана, нейронной сети Элмана и комбинированной сети с рекуррентными связями Джордана-Элмана. Работа состоит из двух частей. В первой части, освящаемой в данной статье, предлагается методика вычисления адаптивного шага обучения нейроэлементов с любой функцией активации на каждой обучающей итерации. Данная методика позволяет улучшить сходимость алгоритма обучения. Приводятся аналитические выражения вычисления адаптивного шага для сигмоидной, логарифмической и линейной активационных функций нейронов, используемых авторами для построения нейронных систем прогнозирования. Во второй части работы, отраженной в следующей статье Головко В. А., Савицкого Ю. В. “Метод адаптивной инициализации нейроэлементов в алгоритмах обучения градиентных нейронных сетей” рассматривается методика адаптивной инициализации синаптических связей нейронов сети, обеспечивающая уменьшение вероятности попадания целевой функции обучения в локальные минимумы на начальных стадиях обучения. Приводится общий вычислительный алгоритм, в котором наряду с адаптивным шагом обучения и адаптивной инициализацией элементов используется метод последовательной послойной модификации весовых коэффициентов нейронов в направлении, обратном распространению информации, что позволяет увеличить эффективность обучения гетерогенных нейронных структур с разнотипными активационными функциями нейронов. Вычислительные эксперименты, приводимые во второй части работы, демонстрируют высокую эффективность предложенного алгоритма.