Word2Vec: Подробное руководство с примерами кода

Семен Лобачевский -

Эта модель произвела революцию в области обработки естественного языка (NLP), поскольку она позволила получить плотные векторные представления слов, которые учитывают их контекст и семантические связи. В этой статье мы рассмотрим, как работает Word2Vec, какие у него есть архитектуры, и как его использовать на практике с примерами кода на Python.

Что такое Word2Vec?

Word2Vec — это метод, который преобразует слова в вектора чисел фиксированной длины. Эти векторы обладают таким свойством, что семантически близкие слова имеют близкие векторные представления. Например, векторные представления слов «кошка» и «собака» будут расположены близко друг к другу в многомерном пространстве, так как они имеют схожие контексты использования.

Основные идеи Word2Vec заключаются в следующем:

  1. Векторные представления: Слова представляются как плотные векторы небольшой размерности, обычно 100-300 измерений.
  2. Обучение на контексте: Вектора слов обучаются таким образом, что они кодируют информацию о контексте, в котором слова встречаются.

Архитектуры Word2Vec

Word2Vec может быть реализован с использованием двух архитектур:

  1. CBOW (Continuous Bag of Words): Эта модель предсказывает текущее слово, используя его контекст (несколько предыдущих и последующих слов).
  2. Skip-gram: Эта модель, наоборот, использует текущее слово для предсказания слов из его контекста.

Обе модели используют нейронные сети для обучения векторных представлений, однако их подход к обучению различен.

CBOW (Continuous Bag of Words)

В модели CBOW контекстные слова используются для предсказания текущего слова. Рассмотрим пример:

Предложение: "кошка сидит на окне"
Контекстные слова для "сидит": ["кошка", "на", "окне"]

Модель CBOW принимает на вход контекстные слова ("кошка", "на", "окне") и пытается предсказать центральное слово "сидит".

Skip-gram

В модели Skip-gram, наоборот, зная центральное слово, мы пытаемся предсказать его контекстные слова. Например:

Центральное слово: "сидит"
Контекстные слова: ["кошка", "на", "окне"]

Здесь модель пытается, имея слово "сидит", предсказать, какие слова его окружают.

Как работает Word2Vec?

Основная идея Word2Vec заключается в использовании нейронной сети для обучения векторных представлений. Нейронная сеть обучается на задаче предсказания слова по его контексту или контекста по слову. В процессе обучения она адаптирует веса в сети таким образом, что векторные представления слов начинают отражать их семантические свойства.

Давайте рассмотрим основные шаги процесса обучения:

  1. Инициализация векторов: В начале все векторы инициализируются случайными значениями.
  2. Прямой проход (Forward Pass): Входные данные проходят через нейронную сеть, генерируя предсказания.
  3. Функция потерь: Для оценки качества предсказания используется функция потерь, которая измеряет, насколько сильно предсказание отклоняется от истинного значения.
  4. Обратное распространение (Backpropagation): Градиенты ошибки распространяются обратно через сеть, и веса обновляются с использованием метода градиентного спуска.

Этот процесс повторяется на протяжении нескольких эпох, пока модель не обучится адекватно предсказывать слова по их контексту (или контекст по слову).

Пример использования Word2Vec на Python

Теперь давайте рассмотрим, как использовать Word2Vec на Python с помощью библиотеки Gensim. Gensim — это популярная библиотека для тематического моделирования и работы с векторными представлениями слов.

Установка Gensim

Для начала, установим библиотеку Gensim:

pip install gensim
Подготовка данных

Для примера возьмем небольшой корпус текста. Предположим, у нас есть следующий набор предложений:

sentences = [
    "кошка сидит на окне",
    "собака лежит на ковре",
    "кошка играет с мышью",
    "собака гавкает на кошку",
    "кошка и собака дружат"
]

Каждое предложение должно быть представлено как список слов.

Обучение модели Word2Vec

Теперь продолжим обучение модели Word2Vec на основе нашего корпуса предложений. Для этого воспользуемся классом Word2Vec из библиотеки Gensim.

from gensim.models import Word2Vec
from gensim.models.word2vec import Text8Corpus

# Разбиваем предложения на списки слов
sentences = [sentence.split() for sentence in [
    "кошка сидит на окне",
    "собака лежит на ковре",
    "кошка играет с мышью",
    "собака гавкает на кошку",
    "кошка и собака дружат"
]]

# Обучаем модель Word2Vec
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

# Сохраняем модель
model.save("word2vec.model")

В этом примере:

  • vector_size=100 — задает размерность векторов слов (обычно от 100 до 300).
  • window=5 — задает размер контекстного окна (число слов до и после целевого слова, которые используются как контекст).
  • min_count=1 — игнорирует слова, которые встречаются в корпусе менее одного раза.
  • workers=4 — указывает количество потоков для параллельного обучения.
Использование обученной модели

После того как модель обучена, мы можем использовать её для получения векторных представлений слов и других полезных операций.

Получение вектора слова

Для того чтобы получить векторное представление слова, просто вызовем метод wv:

vector = model.wv['кошка']
print(vector)

Этот код выведет векторное представление слова "кошка". Вектор будет иметь размерность 100, так как мы задали vector_size=100.

Поиск похожих слов

Мы можем найти слова, которые наиболее близки к заданному слову по векторному пространству:

similar_words = model.wv.most_similar('кошка', topn=5)
print(similar_words)

Этот код вернет список из пяти слов, наиболее похожих на слово "кошка", вместе с их коэффициентами схожести.

Визуализация векторных представлений

Для визуализации векторных представлений слов мы можем использовать метод снижения размерности, такой как t-SNE (t-distributed Stochastic Neighbor Embedding). Для этого установим необходимые библиотеки:

pip install matplotlib scikit-learn

Затем мы можем построить визуализацию:

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA

# Выберем слова для визуализации
words = list(model.wv.index_to_key)
vectors = model.wv[words]

# Используем PCA для снижения размерности векторов до 2D
pca = PCA(n_components=2)
result = pca.fit_transform(vectors)

# Построим график
plt.figure(figsize=(12, 8))
plt.scatter(result[:, 0], result[:, 1])

# Подпишем точки
for i, word in enumerate(words):
    plt.annotate(word, xy=(result[i, 0], result[i, 1]))

plt.show()

Этот код выполнит снижение размерности векторных представлений слов до двухмерного пространства и построит scatter-график, где каждое слово будет представлено точкой с подписью.

Работа с большими корпусами

Для обучения модели на больших корпусах текста (например, полные тексты новостных статей, книг или веб-страниц) процесс будет аналогичен, но с некоторыми изменениями для обработки объема данных.

Если у вас есть большой текстовый файл, например, text8, вы можете использовать класс Text8Corpus для чтения и обработки данных:

corpus = Text8Corpus('text8')

model = Word2Vec(corpus, vector_size=100, window=5, min_count=5, workers=4)
Тонкая настройка параметров модели

Вы можете настроить множество параметров при создании модели Word2Vec:

  • sg=1 — если этот параметр установлен в 1, то модель будет обучаться по архитектуре Skip-gram; по умолчанию используется CBOW.
  • negative=5 — задает количество негативных примеров для использования в негативном семплировании.
  • epochs=10 — определяет количество эпох, в течение которых модель будет обучаться.

Например, чтобы обучить модель Skip-gram на больших данных с использованием негативного семплирования, код будет следующим:

model = Word2Vec(corpus, vector_size=300, window=5, min_count=5, workers=4, sg=1, negative=10, epochs=10)
Экспорт и импорт модели

Модель Word2Vec может быть экспортирована и импортирована для дальнейшего использования:

# Сохранение модели
model.save("word2vec_skipgram.model")

# Загрузка модели
new_model = Word2Vec.load("word2vec_skipgram.model")

Таким образом, вы можете обучить модель один раз и использовать её в различных проектах, не тратя время на повторное обучение.

Word2Vec является мощным инструментом для преобразования текста в числовые векторные представления, которые могут быть использованы для разнообразных задач обработки естественного языка. Несмотря на то, что с момента появления этой модели было предложено множество более продвинутых методов (таких как GloVe, FastText, и трансформеры), Word2Vec по-прежнему остается базовым инструментом, который легко применять и понимать.

Мы рассмотрели основы работы с Word2Vec, архитектуры CBOW и Skip-gram, а также привели примеры использования модели на Python с библиотекой Gensim. Если вы хотите углубиться в тему, рекомендуем экспериментировать с различными параметрами модели и использовать её на различных корпусах текстов для решения конкретных задач.

Таким образом, Word2Vec — это не просто инструмент, а целый подход к обработке текста, который открыл путь к новым достижениям в области NLP и дал толчок развитию более сложных моделей, таких как BERT и GPT.