Сравнительный анализ производительности схем параллелизации алгоритмов обучения нейронной сети

Abstract

В статье предлагаются результаты сравнительного анализа производительности параллельных алгоритмов обучения многослойной нейронной сети, реализованных в виде программной системы на базе протокола обмена сообщениями MPI (Message Passing Interface). Детально рассмотрены вычислительные эксперименты временной зависимости обучения нейронной сети от количества нейронов, от количества эталонов обучающей выборки. Выполняется анализ временной сложности параллельных алгоритмов с учетом и без учета межмодульных пересылок.