Поиск по всему репозиторию:

Теория глубокого обучения: конвенциальный и новый подход

Thumbnail
Открыть/скачать файлы документа
Автор
Дата издания
2016
Издательство
БрГТУ
УДК
004.89
Библиографическое описание
Головко, В. А. Теория глубокого обучения: конвенциальный и новый подход / В. А. Головко, А. А. Крощенко, М. В. Хацкевич // Вестник Брестского государственного технического университета. Серия: Физика, математика, информатика. – 2016. – № 5. – С. 7–16 : ил. – Библиогр.: с. 16 (18 назв.).
Аннотация
В данной статье рассматривается природа неконтролируемого обучения в ограниченной машине Больцмана. Доказана теорема об эквивалентности максимизации функции правдоподобия распределения входных данных P(x) в пространстве синаптических связей и минимизации суммарной квадратичной ошибки сети при использовании линейных нейронов, а также минимизации кросс-энтропийной функции ошибки сети в том же пространстве. Предложен новый метод для обучения ограниченной машины Больцмана и показано, что правило обучения ограниченной машины Больцмана являетсячастным случаем предложенного метода обучения.
Аннотация на другом языке
Over the last decade, the deep neural networks are a hot topic in machine learning. It is breakthrough technology in processing images, video, speech, text and audio. Deep neural network permits us to overcome some limitations of a shallow neural network due to its deep architecture. In this paper we investigate the nature of unsupervised learning in restricted Boltzmann machine. We have proved that maximization of the log-likelihood input data distribution of restricted Boltzmann machine is equivalent to minimizing the cross-entropy and to special case of minimizing the mean squared error. Thus the nature of unsupervised learning is invariant to different training criteria. As a result we propose a new technique called “REBA” for the unsupervised training of deep neural networks. In contrast to Hinton’s conventional approach to the learning of restricted Boltzmann machine, which is based on linear nature of training rule, the proposed technique is founded on nonlinear training rule. We have shown that the classical equations for RBM learning are a special case of the proposed technique. As a result the proposed approach is more universal in contrast to the traditional energybased model. We demonstrate the performance of the REBA technique using wellknown benchmark problem. The main contribution of this paper is a novel view and new understanding of an unsupervised learning in deep neural networks.
URI документа
https://rep.bstu.by/handle/data/991
Документ расположен в коллекции