Организация семантического кодирования слов и поисковой системы на основе нейронных сетей

Abstract

В данной статье рассматривается и анализируется применение метода word2vec для решения задач семантического кодирования. На основании полученных результатов разработан прототип поисковой системы, базирующейся на использовании выделенной семантической информации для осуществления релевантного поиска в базе документов. Предложено два основных сценария осуществления такого поиска. Осуществлена подготовка обучающей выборки на базе корпуса документов англоязычной версии Википедии, включающей более 100 тысяч оригинальных статей. Полученная выборка использовалась в экспериментальной части работы для проверки эффективности разработанного прототипа поисковой системы.