Поиск по всему репозиторию:

Показать краткое описание

dc.contributorБрестский государственный технический университетru_RU
dc.contributorBrest State Technical Universityru_RU
dc.contributor.authorГоловко, Владимир Адамович
dc.contributor.authorКрощенко, Александр Александрович
dc.contributor.authorХацкевич, Мария Викторовна
dc.coverage.spatialБрестru_RU
dc.date.accessioned2019-08-27T07:48:35Z
dc.date.available2019-08-27T07:48:35Z
dc.date.issued2016
dc.identifier.citationГоловко, В. А. Теория глубокого обучения: конвенциальный и новый подход / В. А. Головко, А. А. Крощенко, М. В. Хацкевич // Вестник Брестского государственного технического университета. Серия: Физика, математика, информатика. – 2016. – № 5. – С. 7–16 : ил. – Библиогр.: с. 16 (18 назв.).ru_RU
dc.identifier.urihttps://rep.bstu.by/handle/data/991
dc.descriptionGOLOVKO V. A., KROSHCHENKO A. A., KHATSKEVICH M. V. Theory of deep training: conventional and new approachru_RU
dc.description.abstractВ данной статье рассматривается природа неконтролируемого обучения в ограниченной машине Больцмана. Доказана теорема об эквивалентности максимизации функции правдоподобия распределения входных данных P(x) в пространстве синаптических связей и минимизации суммарной квадратичной ошибки сети при использовании линейных нейронов, а также минимизации кросс-энтропийной функции ошибки сети в том же пространстве. Предложен новый метод для обучения ограниченной машины Больцмана и показано, что правило обучения ограниченной машины Больцмана являетсячастным случаем предложенного метода обучения.ru_RU
dc.language.isoruru_RU
dc.publisherБрГТУru_RU
dc.relation.ispartofseriesФизика, математика, информатика;
dc.subjectискусственный интеллектru_RU
dc.subjectartificial Intelligenceru_RU
dc.titleТеория глубокого обучения: конвенциальный и новый подходru_RU
dc.typeСтатья (Article)ru_RU
dc.identifier.udc004.89ru_RU
dc.abstract.alternativeOver the last decade, the deep neural networks are a hot topic in machine learning. It is breakthrough technology in processing images, video, speech, text and audio. Deep neural network permits us to overcome some limitations of a shallow neural network due to its deep architecture. In this paper we investigate the nature of unsupervised learning in restricted Boltzmann machine. We have proved that maximization of the log-likelihood input data distribution of restricted Boltzmann machine is equivalent to minimizing the cross-entropy and to special case of minimizing the mean squared error. Thus the nature of unsupervised learning is invariant to different training criteria. As a result we propose a new technique called “REBA” for the unsupervised training of deep neural networks. In contrast to Hinton’s conventional approach to the learning of restricted Boltzmann machine, which is based on linear nature of training rule, the proposed technique is founded on nonlinear training rule. We have shown that the classical equations for RBM learning are a special case of the proposed technique. As a result the proposed approach is more universal in contrast to the traditional energybased model. We demonstrate the performance of the REBA technique using wellknown benchmark problem. The main contribution of this paper is a novel view and new understanding of an unsupervised learning in deep neural networks.ru_RU


Файлы в этом документе

Thumbnail

Данный элемент включен в следующие коллекции

Показать краткое описание