Материал из MachineLearning.

Содержание 1 Векторное представление слов 1.1 Основная идея 1.2 История и эволюция методов 1.2.1 Ранние статистические подходы 1.2.2 Статические (неконтекстуальные) векторные представления 1.2.3 Контекстуальные векторные представления 1.3 Применение 1.4 Проблемы и направления исследований 1.5 Список литературы

Векторное представление слов

Векторное представление слов (также дистрибутивная семантика, word embedding) — общее название для совокупности методов в области обработки естественного языка и машинного обучения, в которых словам или словосочетаниям из некоторого словаря ставятся в соответствие векторы в непрерывном векторном пространстве небольшой размерности^[1]. Основная идея этих методов опирается на дистрибутивную гипотезу, согласно которой слова, встречающиеся в похожих контекстах, имеют близкие семантические значения^[1]. Такой подход позволяет перейти от дискретных лингвистических символов к геометрическим объектам, с которыми можно выполнять операции линейной алгебры, что открывает возможности для количественного анализа смысловых отношений между словами.

Основная идея

Вместо того чтобы рассматривать слово как атомарный идентификатор, методы векторного представления помещают его в многомерное пространство так, что семантически и синтаксически близкие слова оказываются вблизи друг от друга. Формально, каждому слову из словаря сопоставляется вектор , где — размерность пространства (обычно от 50 до 1000)^[1]. Близость векторов измеряется с помощью геометрических метрик, чаще всего — косинусного расстояния:

.

Это позволяет, например, находить синонимы или слова, относящиеся к одной тематике, просто вычисляя расстояние между их векторными представлениями^[1].

Одним из наиболее ярких свойств таких пространств является возможность выполнения векторных арифметических операций, отражающих семантические закономерности. Классический пример — уравнение

,

которое демонстрирует, что в векторном пространстве кодируются отношения типа «род — вид» или «пол»^[1].

История и эволюция методов

Развитие методов векторного представления слов прошло несколько этапов, каждый из которых был направлен на преодоление ограничений предшественников.

Ранние статистические подходы

Первые попытки числового представления текста основывались на частотах встречаемости слов. Простейший пример — one-hot encoding, где каждому слову из словаря соответствует бинарный вектор длины с единственной единицей на позиции этого слова. Недостатками такого подхода являются чрезвычайно высокая размерность, разреженность векторов и полное отсутствие семантических связей между словами^[1].

Более продвинутыми были методы, основанные на матрице совместной встречаемости слов, а также TF-IDF и LSA (Latent Semantic Analysis). LSA применяет сингулярное разложение к матрице «термин-документ», что позволяет снизить размерность и выявить скрытые семантические структуры. Однако эти методы всё ещё не давали плотных и универсальных векторных представлений отдельных слов^[1].

Статические (неконтекстуальные) векторные представления

Прорыв произошёл с появлением моделей, обучающих плотные, низкоразмерные векторы на основе больших текстовых корпусов с использованием нейросетей. Наиболее известные из них:

• Word2Vec (Mikolov et al., 2013) — использует архитектуру нейронной сети для обучения векторов на основе двух подходов: CBOW (Continuous Bag of Words), который предсказывает текущее слово по его контексту, и Skip-gram, который предсказывает контекст по текущему слову^[1].
• GloVe (Global Vectors for Word Representation, Pennington et al., 2014) — комбинирует идеи статистических методов (матрица совместной встречаемости) и нейросетевых подходов, обучая векторы на глобальной статистике корпуса^[1].
• FastText (Bojanowski et al., 2017) — развивает идею Word2Vec, представляя каждое слово как сумму векторных представлений его символьных n-грамм. Это позволяет получать представления для редких и даже не встречавшихся в обучении слов (out-of-vocabulary, OOV)^[1].

Главным ограничением всех этих методов является то, что каждому слову ставится в соответствие один фиксированный вектор, независимо от контекста. Это приводит к проблеме полисемии: слово «замок» будет иметь один и тот же вектор и в значении «архитектурное сооружение», и в значении «запорное устройство»^[1].

Контекстуальные векторные представления

Решением проблемы многозначности стало появление контекстуализированных моделей, которые генерируют вектор для каждого конкретного вхождения слова, учитывая его окружение в предложении.

• ELMo (Embeddings from Language Models, Peters et al., 2018) использует двунаправленную многослойную LSTM для вычисления контекстных представлений^[1].
• BERT (Bidirectional Encoder Representations from Transformers, Devlin et al., 2019) и GPT (Generative Pre-trained Transformer) основаны на архитектуре Transformer и обучаются на задачах типа MLM (Masked Language Model) и предсказания следующего предложения. Эти модели позволяют учитывать длинные контекстные зависимости и создают глубокие векторные представления, которые меняются в зависимости от окружения слова^[1].

Благодаря этому одно и то же слово в разных предложениях получает разные векторы, что значительно повышает точность последующих задач, таких как распознавание именованных сущностей, вопросно-ответные системы и машинный перевод^[1].

Применение

Векторные представления слов являются фундаментом для большинства современных приложений в области NLP:

• Информационный поиск и кластеризация: нахождение синонимов, тематически близких слов, группировка документов по темам^[1].
• Анализ тональности: классификация эмоциональной окраски текстов (позитивная, негативная, нейтральная) с использованием векторов слов, извлечённых из размеченных корпусов^[1].
• Машинный перевод: построение отображений между векторными пространствами разных языков для перевода на уровне слов и фраз^[1].
• Извлечение ключевых слов и суммаризация: выделение наиболее релевантных терминов и предложений путём сравнения векторных представлений слов и документов^[1].
• Распознавание именованных сущностей: классификация слов по типам сущностей (люди, организации, локации и т.д.) на основе их векторного контекста^[1].

Проблемы и направления исследований

Несмотря на значительный прогресс, векторные представления слов сталкиваются с рядом проблем, которые остаются предметом активных исследований:

• Предвзятость (bias): модели наследуют и усиливают гендерные, расовые и культурные стереотипы, присутствующие в обучающих корпусах^[1]. Разработка методов дебиасинга является важной областью исследований^[1].
• Интерпретируемость: многомерные векторы, особенно полученные с помощью глубоких нейросетей, трудно интерпретировать человеку, что создаёт проблемы в задачах, требующих объяснимости^[1].
• Вычислительная сложность: обучение и применение контекстуальных моделей типа BERT или GPT требует значительных вычислительных ресурсов и времени^[1].
• Обобщение и переносимость: как извлечь универсальные представления, которые будут одинаково эффективны для широкого круга задач, остаётся открытым вопросом^[1].

Современные исследования направлены также на создание мультимодальных представлений, интегрирующих текстовую, визуальную и звуковую информацию, а также на разработку более экономичных и эффективных архитектур^[1].

Список литературы

1. Nguyễn, M. A., et al. (2026). Tracing the Evolution of Word Embedding Techniques in Natural Language Processing. arXiv preprint arXiv:2603.13271.
2. Microsoft Learn. (2025). Семантические языковые модели. Microsoft Documentation.
3. Zhang, C., et al. (2024). From Word Vectors to Multimodal Embeddings: Techniques, Applications, and Future Directions For Large Language Models. arXiv preprint arXiv:2411.05036.
4. Apidianaki, M. (2024). From Word Types to Tokens and Back: A Survey of Approaches to Word Meaning Representation and Interpretation. Computational Linguistics.
5. Matsui, A., & Ferrara, E. (2024). Word embedding for social sciences: an interdisciplinary survey. PeerJ Computer Science, 10, e2562.
6. Pak, A., et al. (2024). Word Embeddings: A Comprehensive Survey. Computación y Sistemas, 28(4), 2005-2029.
7. ScienceDirect. (2026). From word to sentence embedding and beyond: Bridging the gap in text representation survey. Information Processing & Management.