BERTopic

Материал из MachineLearning.

Версия от 12:08, 19 ноября 2026; Vokov (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

BERTopic — метод тематического моделирования на основе нейронных сетей, представленный Мартеном Гротендорстом в 2022 году. Метод сочетает предобученные трансформерные модели для получения эмбеддингов документов, алгоритмы снижения размерности и кластеризации, а также специально разработанную процедуру на основе TF-IDF для формирования интерпретируемых представлений тем. BERTopic представляет собой конвейер готовых методов обработки данных, а не единую задачу оптимизации, в отличие от классических вероятностных тематических моделей, таких как PLSA или LDA. В частности, BERTopic разделяет этапы кластеризации документов и построения словесного описания темы.

Содержание

Постановка задачи

Входные данные: корпус текстовых документов \mathcal{D} = \{d_1, d_2, \dots, d_N\}. Каждый документ представляет собой последовательность слов. Дополнительно могут быть заданы метаданные (временные метки, авторство, источник), если предполагается динамическое или многоклассовая категоризация.

Выходные данные: разбиение документов на непересекающиеся кластеры (темы) и для каждой темы — упорядоченный список слов, отражающий её содержание. Каждому документу, попавшему в кластер, присваивается метка темы; документы, не отнесённые ни к одному кластеру, помечаются как выбросы (шум). Для динамического режима дополнительно формируются локальные представления тем для каждого временного интервала.

Мотивация

Классические тематические модели (PLSA, LDA, NMF) используют представление текста в виде «мешка слов», игнорируя семантические связи и контекст. Нейросетевые подходы, такие как Top2Vec и CTM, продемонстрировали эффективность кластеризации эмбеддингов, однако формирование словесного описания темы в них часто опирается на близость слов к центроиду кластера. Это предполагает, что кластер имеет сферическую форму вокруг центроида, что на практике выполняется не всегда, и может приводить к искажённым или нерелевантным описаниям тем. BERTopic был нацелен на устранение этого ограничения: вместо центроидного подхода предлагается статистическая процедура, оценивающая важность слова для кластера в целом, — class-based TF-IDF (c-TF-IDF). Кроме того, метод должен был сохранять гибкость в выборе модели эмбеддингов и обеспечивать возможность динамического анализа тем без дообучения кластеризации.

Алгоритм

BERTopic реализует последовательность из трёх основных этапов, за которыми может следовать необязательная постобработка.

Шаг 1. Получение эмбеддингов документов

Каждый документ d_i преобразуется в плотный вектор \mathbf{e}_i \in \mathbb{R}^{D} с помощью предобученной языковой модели. В оригинальной работе используется фреймворк Sentence-BERT (SBERT). Ключевое требование к модели эмбеддингов — способность улавливать семантическую близость: документы на схожие темы должны располагаться близко в векторном пространстве. Автор подчёркивает, что этап эмбеддинга отделён от этапа построения представления темы, поэтому BERTopic может использовать любую модель, обеспечивающую качественные семантические векторы, и его качество растёт с развитием языковых моделей.

Варианты реализации: SBERT-модели (например, all-MiniLM-L6-v2, all-mpnet-base-v2), Universal Sentence Encoder, Doc2Vec. Выбор модели влияет на скорость и качество; компактная MiniLM обеспечивает хороший баланс, тогда как Doc2Vec может быть менее стабильным на некоторых типах текстов.

Шаг 2. Снижение размерности и кластеризация

Полученные эмбеддинги высокой размерности сначала проецируются в пространство меньшей размерности с помощью алгоритма UMAP (Uniform Manifold Approximation and Projection). UMAP выбран потому, что он лучше сохраняет локальную и глобальную структуру данных по сравнению с PCA и t-SNE, а также не имеет жёстких ограничений на исходную размерность.

Затем к векторам в сниженном пространстве применяется алгоритм кластеризации HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise). HDBSCAN является расширением DBSCAN, которое находит кластеры различной плотности и позволяет моделировать шум в виде выбросов, не относя его ни к одной теме. Это важно для повышения чистоты тем: документы, не образующие плотной группы, не распределяются по кластерам принудительно.

Варианты реализации: вместо UMAP в принципе возможны другие методы снижения размерности, но UMAP является рекомендуемым и наиболее изученным в контексте BERTopic. Вместо HDBSCAN могут использоваться другие алгоритмы кластеризации, однако HDBSCAN обеспечивает естественное выделение шума, что соответствует парадигме BERTopic. Параметры UMAP и HDBSCAN существенно влияют на результат и требуют настройки.

Шаг 3. Построение представления темы через c-TF-IDF

Для каждого кластера c все входящие в него документы условно объединяются в один «метадокумент». К этому метадокументу применяется модификация TF-IDF, названная class-based TF-IDF (c-TF-IDF). Важность слова t для класса c вычисляется как

W_{t,c} = \mathrm{tf}_{t,c} \cdot \log\left(1 + \frac{A}{\mathrm{tf}_{t}}\right),

где \mathrm{tf}_{t,c} — суммарная частота слова t во всех текстах кластера c; \mathrm{tf}_{t} — суммарная частота слова t во всех кластерах; A — среднее число слов на кластер. В отличие от классического IDF, использующего обратную документную частоту слова, здесь используется обратная частота слова в коллекции, что позволяет оценивать, насколько слово специфично для данного кластера в целом, а не для отдельных документов. Слова с наибольшими значениями W_{t,c} образуют словесное описание темы.

Варианты реализации: параметр n_gram_range позволяет включать словосочетания; можно применять стоп-слова и лемматизацию отдельно на этапе описания темы, не затрагивая эмбеддинги. Для уменьшения избыточности слов в описании в теории может использоваться Maximal Marginal Relevance, хотя в оригинальной работе это не реализовано.

Шаг 4 (опционально). Сокращение числа тем и темпоральное моделирование

Если число кластеров превышает заданное пользователем, BERTopic может итеративно объединять c-TF-IDF-представления наименее частотной темы с наиболее похожей темой, пока не будет достигнут желаемый уровень детализации.

Для динамического тематического моделирования BERTopic сначала обучается на всём корпусе без учёта времени, формируя глобальное представление каждой темы. Затем для каждого временного интервала i вычисляется локальное представление:

W_{t,c,i} = \mathrm{tf}_{t,c,i} \cdot \log\left(1 + \frac{A}{\mathrm{tf}_{t}}\right),

где \mathrm{tf}_{t,c,i} — частота слова t в кластере c на интервале i, а глобальное значение \mathrm{tf}_{t} берётся из исходной модели. Такая схема позволяет отслеживать эволюцию словарного состава темы без повторной кластеризации. Дополнительно доступно сглаживание, при котором c-TF-IDF-вектор текущего интервала усредняется с нормированным вектором предыдущего интервала.

Достоинства

Экспериментальные оценки, проведённые в оригинальной работе и независимых сравнительных исследованиях, подтвердили ряд преимуществ BERTopic.

Высокая согласованность (когерентность) тем. На наборах 20 NewsGroups, BBC News и Twitter-данных BERTopic демонстрирует устойчиво высокие показатели нормализованной точечной взаимной информации (NPMI) — метрики согласованности тем. В сравнительном исследовании на данных Long COVID BERTopic достиг наивысшей согласованности (0,6924) и разнообразия (0,796) среди LDA, LSA, NMF и Top2Vec. Пользовательские оценки также показывают предпочтение BERTopic: в одном из исследований 8 из 12 экспертов выбрали его благодаря детализированным и связным кластерам.

Устойчивость к выбору модели эмбеддингов. Качество BERTopic остаётся конкурентным при использовании различных языковых моделей — от компактной MiniLM до более тяжёлых вариантов SBERT. Это означает, что метод не привязан к конкретной архитектуре и может адаптироваться к доступным вычислительным ресурсам.

Гибкость за счёт разделения этапов. Поскольку кластеризация и построение описания темы разделены, можно независимо настраивать предобработку для эмбеддингов и для c-TF-IDF, менять n-граммы в описании без перекластеризации, а также использовать кластеры для других задач (например, классификации).

Поддержка динамического анализа. c-TF-IDF позволяет строить локальные представления тем для временных срезов или иных метаданных с минимальными вычислительными затратами, не требуя повторного получения эмбеддингов и кластеризации.

Слабые стороны и ограничения

Автор BERTopic прямо перечисляет ключевые ограничения метода, которые впоследствии стали отправной точкой для многочисленных улучшений.

Предположение об одной теме на документ. BERTopic относит каждый документ ровно к одному кластеру (или к шуму), тогда как реальные документы часто политематичны. Использование матрицы вероятностей HDBSCAN в качестве приближения распределения тем даёт лишь частичное решение и не учитывает многотемность на этапе обучения. Это ограничение особенно существенно для коротких текстов и документов со смешанной тематикой.

«Мешок слов» в описании темы. Хотя эмбеддинги учитывают контекст, итоговое описание темы формируется на основе частот слов и не отражает синтаксические и семантические связи между ними напрямую. В результате слова в описании могут быть избыточными или пересекаться по смыслу.

Чувствительность к гиперпараметрам и нестабильность. Качество результата зависит от выбора модели эмбеддингов, параметров UMAP и HDBSCAN, а также от объёма и специфики данных. На малых или шумных наборах, особенно коротких текстах, BERTopic может страдать от переобучения, порождать чрезмерное число тем и большое количество выбросов. В сочетании со сложной настройкой гиперпараметров это снижает надёжность метода.

Проблема выбросов и покрытия. HDBSCAN по своей природе исключает специфичные или редкие документы как шум. В некоторых корпусах доля неклассифицированных документов может быть значительной (например, более 40% в отдельных наборах научных аннотаций), что ограничивает полноту тематического анализа.

Смещение в сторону популярных слов. c-TF-IDF, как и классический TF-IDF, может отдавать предпочтение частотным словам, что приводит к гомогенизации описаний тем и снижению их различимости.

Последующие методы и устранение ограничений

Ограничения BERTopic стимулировали развитие как гибридных статистических расширений, так и принципиально иных подходов на основе больших языковых моделей (LLM).

Gibbs-BERTopic интегрирует сэмплирование Гиббса в пайплайн BERTopic для итеративного уточнения распределения тем. После первичной кластеризации выполняется несколько итераций сэмплирования, которые пересматривают принадлежность слов темам, снижая влияние шума и разреженности. Эксперименты показывают рост коэффициента силуэта более чем на 20% и улучшение согласованности тем почти на 20% по сравнению с исходным BERTopic, особенно на коротких текстах. Таким образом, Gibbs-BERTopic частично смягчает проблемы шума, малых выборок и нестабильности.

Методы на основе LLM (TopicGPT, LLooM) отказываются от кластеризации эмбеддингов в пользу генерации описаний тем непосредственно языковой моделью. TopicGPT формулирует тематическое моделирование как задачу генерации: модель получает документы или их выборку и порождает темы в виде текстовых меток с последующей классификацией документов. LLooM (Concept Induction) индуцирует высокоуровневые концепты из текста с помощью LLM, а затем оценивает их покрытие. Эти подходы потенциально преодолевают ограничение «мешка слов» и обеспечивают более богатые, семантически связные описания тем, однако сопряжены со значительными вычислительными затратами и зависимостью от качества конкретной LLM. Сравнительные исследования показывают, что LLM-методы могут порождать существенно больше тем и лучше покрывать концептуальное пространство, но их преимущество не является безусловным и зависит от домена и задачи.

Улучшения для темпорального и многоклассового моделирования. Предложены расширения BERTopic с временным биннингом и учётом семантического дрейфа для более точного отслеживания эволюции тем. Для повышения покрытия и борьбы с выбросами разрабатываются нейро-символические надстройки, комбинирующие BERTopic с онтологиями и выборочным привлечением LLM: в одном из исследований доля классифицированных документов была поднята с примерно 59% до 96,6%. Регуляризация популярности слов и адаптивный выбор размерности кластерного пространства позволяют снизить гомогенизацию тем и повысить универсальность метода на разных корпусах.

См. также

Список литературы

  1. Grootendorst M. BERTopic: Neural topic modeling with a class-based TF-IDF procedure // arXiv preprint arXiv:2203.05794. — 2022. — arXiv:2203.05794.
  2. Zhu Y., Liu Y. Gibbs-BERTopic: A Hybrid Approach for Short Text Topic Modeling // IEEE Access. — 2025. — DOI: 10.1109/ACCESS.2025.10930480.
  3. Pham C., et al. TopicGPT: A Prompt-based Topic Modeling Framework // arXiv preprint. — 2024. — arXiv:2311.01449.
  4. Lam M. S., Teoh J., Landay J. A., et al. Concept Induction: Analyzing Unstructured Text with High-Level Concepts Using LLooM // Proceedings of the CHI Conference on Human Factors in Computing Systems. — 2024.
  5. A comparative analysis of topic modelling methods on Twitter data related to Long COVID // Procedia Computer Science. — 2026. — ScienceDirect.
  6. From Transformers Come Themes: Evaluating BERTopic for Qualitative Analysis of Social Media Data // ACM Transactions on. — 2026.
  7. An Uncertainty-Gated Neuro-Symbolic Framework for High-Coverage Topic Modeling and Trend Analysis in Scholarly Corpora With LLM Assistance // IEEE. — 2026.
  8. Exploring clinical pathways: a novel BERTopic framework for dynamic analysis using temporal binning and semantic drift // The Journal of Supercomputing. — 2026.
  9. Policy Text Topic Mining Based on Improved BERTopic Model // Open Access Proceedings Journal.
  10. While BERTopic enhances topic modeling compared to the classical approaches, there is still significant room for improvement // arXiv preprint arXiv:2504.15683. — 2025. — arXiv:2504.15683.
Личные инструменты