Сравнение эффективности алгоритмов обучения нейронных сетей на основе градиентных методов

Abstract

В статье приведено сравнение эффективности градиентных методов обучения многослойных нейронных сетей прямого распространения без обратных связей. Рассмотрены алгоритмы, использующие как постоянный, так и адаптивный шаг обучения, равно как и эвристические алгоритмы. Приведены формулы для коррекции адаптивного шага на каждом этапе обучения.