Вероятностные языковые модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(дополнение, уточнение)
(3 первые лекции)
 
(334 промежуточные версии не показаны)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — [[аддитивная регуляризация тематических моделей]]. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
До 2026 года курс назывался «Вероятностные тематические модели».
-
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
+
Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
Наиболее подробно в курсе изучается вероятностное [[тематическое моделирование]] (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] ([[ARTM]]). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
-
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
+
 +
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.
-
== Программа курса ==
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
=== Задачи анализа текстов и вероятностные модели ===
+
'''Основной материал:'''
 +
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 29.12.2025}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYFeH50yAki9uSrk7PrjBUoL Плейлист видеозаписей, 2025 осень (МФТИ)].
-
'''Задачи классификации текстов.'''
+
= Программа курса =
-
* Коллекция текстовых документов. Векторное представление документа.
+
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
-
* Линейный классификатор. Наивный байесовский классификатор.
+
-
* Задача распознавания языка текста.
+
-
* Задача распознавание жанра текста. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
* Задача анализа тональности.
+
-
'''Задачи предварительной обработки текстов.'''
+
== Оптимизация и регуляризация языковых моделей ==
-
* Очистка: удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
Презентация: [[Media:Voron26plm01-intro.pdf|(PDF, 3,4 МБ)]] {{важно|— обновление 02.03.2026}}.
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
<!--[https://youtu.be/Xit8NqCvdyA?t=74 Видеозапись 2025]-->
-
* Выделение и удаление стоп-слов и редких слов.
+
-
'''Задачи информационного поиска.'''
+
'''Задачи языкового моделирования.'''
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
* Частотные языковые модели. Гипотеза «мешка слов».
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* Дивергенция Кульбака-Леблера и её свойства. Дивергенция Кресси-Рида.
+
* [[Условия Каруша–Куна–Таккера]]. Вывод частотных оценок.
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
* Задача [[Тематическое моделирование|тематического моделирования]].
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
'''Аддитивная регуляризация тематических моделей.'''
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
* Лемма о максимизации на единичных симплексах.
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Униграммная модель документов и коллекции.
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
'''Литература:''' [Маннинг 2011].
+
'''Практика тематического моделирования.'''
 +
* Проект с открытым кодом BigARTM.
 +
* Этапы решения практических задач.
 +
* Методы предварительной обработки текста.
 +
* Датасеты и практические задания по курсу.
-
=== Вероятностный латентный семантический анализ ===
+
== Модели сочетаемости слов ==
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
Презентация: [[Media:Voron26plm02-biterm.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 02.03.2026}}.
-
'''Мотивации вероятностного тематического моделирования
+
'''Модели векторных представлений слов.'''
-
* Идея понижения размерности: переход от вектора (терминов) к вектору тем.
+
* Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
-
* Цели тематического моделирования: разведочный поиск научной информации, навигация и систематизация, агрегирование новостных потоков, классификация и категоризация текстов, обход проблем синонимии и омонимии.
+
* Эквивалентная задача матричного разложения.
 +
* Оценивание качества векторных представлений слов.
 +
* FastText и другие модели векторных представлений текста.
-
'''Задача тематического моделирования.'''
+
'''Тематические модели дистрибутивной семантики.'''
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
* Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
 +
* Сравнение WN-ARTM с моделью word2vec.
 +
* Когерентность как мера интерпретируемости тем. Регуляризаторы когерентности.
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Мультиграммные модели и выделение терминов.'''
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Контактная близость слов. Критерии выделения коллокаций.
-
* Элементарная интерпретация ЕМ-алгоритма: Е-шаг как формула Байеса для апостериорной вероятности темы, М-шаг как частотные оценки условных вероятностей.
+
* Алгоритм TopMine для быстрого поиска частых фраз.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
== Модели локального контекста ==
-
* Проблема больших данных.
+
Презентация: [[Media:Voron26plm03-local.pdf|(PDF,&nbsp;5,3&nbsp;МБ)]] {{важно|— обновление 02.03.2026}}.
-
* Эвристика разделения М-шага.
+
-
* Эвристика разделения коллекции на пачки документов.
+
-
* Добавление новых документов (folding-in).
+
-
'''Проведение экспериментов на модельных данных.'''
+
'''Нейросетевые модели языка.'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Искусственный нейрон как линейная модель классификации. Искусственная нейронная сеть.
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
* Модель машинного перевода. Модель внимания. Архитектура трансформера. Кодировщик и декодировщик.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Критерии обучения в машинном переводе.
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
* Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.
-
'''Задание 1.1'''
+
'''Тематическая модель локального контекста.'''
-
Обязательные пункты: 1–3 и любой из последующих.
+
* Модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
* Частный случай, когда контекст равен документу.
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
* Быстрое вычисление двунаправленных тематических векторов контекста.
-
# Реализовать рациональный ЕМ-алгоритм.
+
* Псевдокод EM-алгоритма.
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
# Исследовать полноту решения. Сколько запусков со случайным начальным приближением необходимо сделать, чтобы найти все исходные темы? Как различность и разреженность исходных тем влияет на полноту?
+
-
'''Литература:''' [Hofmann 1999].
+
'''Сравнение тематических моделей с нейросетевыми.'''
 +
* Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
 +
* Сравнение со свёрточной сетью GCNN.
 +
* Сравнение с нейросетевой тематической моделью Contextual-Top2Vec.
 +
* Сравнение с контекстной документной кластеризацией (CDC).
-
===Латентное размещение Дирихле===
+
{{важно|Программа курса в разработке. Ниже — остаток от программы 2025 года}}.
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
<!--
 +
== Обзор вероятностных моделей языка ==
 +
* Токенизация; n-граммы, коллокации, словосочетания, термины. Алгоритм TopMine.
 +
* Перплексия.
 +
* Эмпирические законы Ципфа и Хипса.
 +
* Модели релевантности текста TF-IDF, BM-25, PageRank, TextRank.
 +
-->
-
'''Латентное размещение Дирихле (LDA)'''
+
== Моделирование локального контекста ==
-
* Свойства [[Распределение Дирихле|распределения Дирихле]].
+
Презентация: [[Media:Voron25ptm-local.pdf|(PDF,&nbsp;3,2&nbsp;МБ)]] {{важно|— обновление 14.09.2025}}.
-
* Принцип максимума апостериорной вероятности. Модифицированные формулы М-шага.
+
[https://youtu.be/Zl0VMJ_A9J0 видеозапись]
-
* [[Байесовский вывод]]. Свойство сопряжённости мультиномиального распределения и распределения Дирихле. Другие модифицированные формулы М-шага.
+
-
* Обзор модификаций формул М-шага.
+
-
* Методы оптимизации гиперпараметров.
+
-
* Небайесовская интерпретация модели LDA.
+
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
'''Онлайновый ЕМ-алгоритм.'''
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
-
* Эвристика сэмплирования. Алгоритм сэмплирования Гиббса.
+
* Онлайновый EM-алгоритм для ARTM.
 +
* Пакетный онлайновый регуляризованный EM-алгоритм для ARTM.
-
'''Робастные тематические модели.'''
+
'''Линейная тематизация текста.'''
-
* Робастная модель с фоном и шумом.
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
-
* Упрощённая робастная модель.
+
* Локализация E-шага. Линейная тематизация. Коэффициенты внимания. Attentive ARTM.
-
* Почему робастный PLSA лучше, чем LDA. Эффект повышения правдоподобия (перплексии) в робастных моделях с шумом.
+
* Двунаправленная тематическая модель контекста.
 +
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
'''Способы формирования начальных приближений.'''
+
'''Аналогия с нейросетевыми моделями языка.'''
-
* Случайная инициализация.
+
* Свёрточная нейросеть GCNN (Gated Convolutional Network)
-
* Инициализация по документам.
+
* Модель само-внимания (self-attention) Query-Key-Value.
-
* Контекстная документная кластеризация.
+
* Трансформер и онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
-
* Поиск якорных слов. Алгоритм Ароры.
+
* Нейросетевая тематическая модель Contextual-Top2Vec.
-
'''Задание 1.2'''
+
== Реализация ЕМ-алгоритма и комбинирование регуляризаторов ==
-
Обязательные пункты: 1 и любой из последующих.
+
Презентация: [[Media:Voron25ptm-regular.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 2.10.2025}}.
-
# Реализовать онлайновый алгоритм OEM.
+
[https://youtu.be/5DXhffGMjBM видеозапись]
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
-
# Исследовать возможность улучшения качества модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
-
# Исследовать влияние гиперпараметров на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Hoffman 2010], [Asuncion 2009].
+
'''Часто используемые регуляризаторы.'''
 +
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
-
===Аддитивная регуляризация тематических моделей===
+
'''Особенности реализации ЕМ-алгоритма для ARTM.'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
* Улучшение сходимости несмещёнными оценками.
 +
* Замена логарифма в функции потерь.
 +
* Матричная запись ЕМ-алгоритма.
 +
* Подбор коэффициентов регуляризации. Траектория регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
-
'''Многокритериальная регуляризация.'''
+
'''Эксперименты с регуляризацией.'''
-
* Некорректность постановки задачи тематического моделирования.
+
* Производительность BigARTM
-
* [[Аддитивная регуляризация тематических моделей]].
+
* Оценивание качества: перплексия, когерентность, лексическое ядро
-
* Вывод формулы M-шага для регуляризованного ЕМ-алгоритма.
+
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
-
* Проект [[BigARTM]].
+
* Комбинирование регуляризаторов, эмпирические рекомендации.
 +
* Эксперименты с отбором тем на синтетических и реальных данных.
 +
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
'''Регуляризаторы сглаживания и разреживания.'''
+
== Оценивание качества тематических моделей ==
-
* Максимизация и минимизация KL-дивергенции.
+
Презентация: [[Media:Voron25ptm-quality.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 2.10.2025}}.
-
* Альтернативный вариант разреживания через L0-регуляризацию.
+
[https://youtu.be/OoIetK1pTUA видеозапись]
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
-
'''Регуляризаторы частичного обучения.'''
+
'''Измерение качества тематических моделей.'''
-
* Частичное обучение как выборочное сглаживание.
+
* Правдоподобие и перплексия.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
-
* Пример: выделение тематики эпидемий, этнических конфликтов.
+
* Разреженность и различность.
-
'''Ковариационные регуляризаторы.'''
+
'''Проверка гипотезы условной независимости.'''
-
* Дековариация тем.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Тематические модели цитирования.
+
* Регуляризатор семантической однородности.
-
* Задача выявления корреляций между темами, модель CTM.
+
* Применение статистических тестов условной независимости.
-
* Оценивание параметров (матрицы ковариаций) в модели CTM.
+
-
'''Регуляризаторы для классификации и регрессии.'''
+
'''Проблема тематической несбалансированности в данных'''
-
* Задачи регрессии на текстах. Примеры. Регуляризатор. Формула М-шага.
+
* Проблема малых тем и тем-дубликатов
-
* Задачи классификации текстов. Примеры. Регуляризатор. Формула М-шага.
+
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
 +
* Эксперименты с регуляризаторами отбора тем и декоррелирования
 +
* Регуляризатор семантической однородности
 +
* Подходы к балансировке тем
-
'''Задание 1.3'''
+
== Тематический информационный поиск ==
-
Обязательные пункты: 1 и любой из остальных.
+
Презентация: [[Media:Voron25ptm-exp.pdf|(PDF,&nbsp;9,4&nbsp;МБ)]] {{важно|— обновление 21.10.2025}}.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
[https://youtu.be/lckh814p-7I видеозапись]
-
# Исследовать зависимость правдоподобия модели и точности восстановления от степени разреженности исходных модельных данных.
+
-
# Исследовать влияние разреживания на правдоподобие модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на правдоподобие модели.
+
-
# Исследовать влияние частичной разметки на правдоподобие модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения правдоподобия и устойчивости модели.
+
-
# Исследовать влияние сглаживания на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Воронцов, 2013, 2015], [Chemudugunta, 2006].
+
'''Мультимодальные тематические модели.'''
 +
* Примеры модальностей.
 +
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
===Оценивание качества тематических моделей===
+
'''Иерархические тематические модели.'''
 +
* Иерархии тем. Послойное построение иерархии.
 +
* Регуляризаторы для разделения тем на подтемы.
 +
* Псевдодокументы родительских тем.
 +
* Модальность родительских тем.
-
'''Реальные данные.'''
+
'''Эксперименты с тематическим поиском.'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Методика измерения качества поиска.
-
* Внутренние и внешние критерии качества.
+
* Тематическая модель для документного поиска.
-
* Дополнительные данные для построения внешних критериев качества.
+
* Оптимизация гиперпараметров.
 +
<!--
 +
'''Задачи тематизации текстовых коллекций'''
 +
* Проект «Мастерская знаний». Тематизация подборок научных публикаций.
 +
* Поиск этно-релевантных тем в социальных сетях
 +
* Тематизация в социо-гуманитарных исследованиях-->
-
'''Перплексия и правдоподобие.'''
+
== BigARTM и базовые инструменты ==
-
* Определение и интерпретация перплекcии.
+
''Мурат Апишев''.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
-
* Проблема сравнения моделей с разными словарями.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
* Относительная перплексия.
+
-
''' Оценивание качества темы.'''
+
'''Предварительная обработка текстов'''
-
* Лексическое ядро темы: множество типичных терминов темы.
+
* Парсинг «сырых» данных.
-
* Чистота и контрастность темы
+
* Токенизация, стемминг и лемматизация.
-
* Документное ядро темы: множество типичных документов темы.
+
* Выделение энграмм.
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Статистические тесты условной независимости.'''
+
'''Библиотека BigARTM'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
* Методологические рекоммендации по проведению экспериментов.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Установка [[BigARTM]].
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Формат и импорт входных данных.
-
* Обобщённое семейство статистик Кресси-Рида.
+
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Дополнительный материал:'''
 +
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}.
 +
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
 +
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
===Внешние оценки качества тематических моделей===
+
== Мультимодальные тематические модели ==
 +
Презентация: [[Media:Voron25ptm-modal.pdf|(PDF,&nbsp;1,8&nbsp;МБ)]] {{важно|— обновление 21.10.2025}}.
 +
[https://youtu.be/8cg334LKWdk видеозапись]
-
'''Оценивание интерпретируемости тем.'''
+
'''Мультиязычные тематические модели.'''
-
* Экспертное оценивание интерпретируемости.
+
* Параллельные и сравнимые коллекции.
-
* Асессорская разметка терминов и документов, релевантных теме.
+
* Регуляризаторы для учёта двуязычных словарей.
-
* Метод интрузий.
+
* Кросс-язычный информационный поиск.
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Когерентность.'''
+
'''Трёхматричные модели.'''
-
* Определение когерентности.
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
* Автор-тематическая модель (author-topic model).
-
* Способы оценивания совместной встречаемости слов.
+
* Модель для выделения поведений объектов в видеопотоке.
-
'''Суммаризация темы.'''
+
'''Тематические модели транзакционных данных.'''
-
* Проблема визуализации тем.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Выделение тематичных слов и предложений.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
* Кластеризация тематичных предложений.
+
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
-
* Ранжирование тематичных предложений.
+
* Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
-
* Асессорская разметка предложений, релевантных теме.
+
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
-
* Задача автоматического именования темы.
+
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Критерии качества классификации и ранжирования.'''
+
== Тематические модели сочетаемости слов ==
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
Презентация: [[Media:Voron25ptm-cooc.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 8.11.2025}}.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
[https://youtu.be/0Yy5kH2LlEQ видеозапись]
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
-
'''Задание 1.4.'''
+
'''Мультиграммные модели и выделение терминов.'''
-
# Применить OEM к реальным коллекциям.
+
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
'''Литература:'''
+
'''Тематические модели дистрибутивной семантики.'''
 +
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
 +
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
 +
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
<!--* Регуляризаторы когерентности. -->
-
===Мультимодальные регуляризованные тематические модели===
+
'''Позиционный регуляризатор в ARTM.'''
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация матрицы тематических векторов термов. Формулы М-шага.
 +
* Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
'''Мультимодальная АРТМ.'''
+
'''Дополнительный материал:'''
-
* Виды модельностей и примеры прикладных задач.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
* Вывод формул М-шага.
+
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
-
* Тематическая модель текста и изображений.
+
-
* Задача аннотирования изображений.
+
-
'''Мультиязычные тематические модели.'''
+
== Анализ зависимостей ==
-
* Параллельные и сравнимые коллекции.
+
Презентация: [[Media:Voron25ptm-rel.pdf|(PDF,&nbsp;2,6&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
-
* Регуляризаторы для учёта двуязычных словарей.
+
[https://youtu.be/s8Fp62lWHqk видеозапись]
-
'''Модели многоматричных разложений.'''
+
'''Зависимости, корреляции, связи.'''
-
* Понятие порождающей модальности.
+
* Тематические модели классификации и регрессии.
-
* Вывод формул М-шага.
+
* Модель коррелированных тем CTM (Correlated Topic Model).
-
* Автор-тематическая модель (author-topic model).
+
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
'''Гиперграфовая модель.'''
+
'''Время и пространство.'''
-
* Примеры транзакционных данных в социальных и рекламных сетях.
+
* Регуляризаторы времени.
-
* Вывод формул М-шага.
+
* Обнаружение и отслеживание тем.
 +
* Гео-пространственные модели.
-
'''Литература:'''
+
'''Социальные сети.'''
 +
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
 +
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 +
* Регуляризаторы для выявления социальных ролей пользователей.
-
===Определение числа тем и иерархические модели===
+
== Проект «Тематизатор» ==
 +
Презентация: [[Media:Voron25ptm-project.pdf|(PDF,&nbsp;8,3&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
 +
[https://youtu.be/0BEIkS3OZZY Видеозапись]
-
'''Регуляризатор энтропийного разреживания.'''
+
'''Примеры прикладных задач'''
-
* Регуляризатор и формула М-шага. Эффект строкового разреживания.
+
* Поиск этно-релевантных тем в социальных сетях.
-
* Определение истинного числа тем в экспериментах с полумодельными данными.
+
* Анализ программ развития российских вузов.
-
* Гипотеза о несуществовании истинного числа тем.
+
* Поиск и рубрикация научных статей на 100 языках.
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
* Тематическое моделирование в исторических и политологических исследованиях.
-
* Сравнение с моделью иерархических процессов Дирихле.
+
* Проекты Школы Прикладного Анализа Данных.
-
'''Тематическая модель с фиксированной иерархией.'''
+
'''Визуализация тематических моделей'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* Визуализация матричного разложения.
-
* Необходимость частичного обучения для задачи категоризации.
+
* Динамика, иерархии, взаимосвязи, сегментация.
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
* Спектр тем.
-
* Задача построения разреженного иерархического тематического профиля документа.
+
-
'''Послойное нисходящее построение тематической иерархии.'''
+
'''Анализ требований к «Тематизатору»'''
-
* Регуляризатор матрицы Фи.
+
* Функциональные требования.
-
* Регуляризатор матрицы Тета.
+
* Требования к интерпретируемости.
-
* Измерение и оптимизация качества иерархических моделей.
+
* Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
-
* Разреживание вероятностного отношения тема—подтема.
+
* Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
 +
* Этапизация работ и MVP Тематизатора.
-
'''Одновременное построение всех слоёв тематической иерархии.'''
+
== Именование и суммаризация тем ==
 +
Презентация: [[Media:Voron25ptm-sum.pdf|(PDF,&nbsp;4,6&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
 +
[https://youtu.be/d87zESF20K8 видеозапись]
-
'''Литература:''' .
+
'''Методы суммаризации текстов.'''
 +
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
 +
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
 +
* Тематическая модель предложений для суммаризации.
 +
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
===Тематические модели, учитывающие порядок слов===
+
'''Автоматическое именование тем (topic labeling).'''
 +
* Формирование названий-кандидатов.
 +
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
-
'''Мультиграммные модели.'''
+
'''Задача суммаризации темы'''
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
* Задача ранжирования документов
-
* Морфологический и синтаксический анализ текста.
+
* Задача фильтрации репрезентативных релевантных фраз.
-
* Отбор фраз с подчинительными связями.
+
* Задача генерации связного текста
-
* Отбор фраз по статистическому критерию коллокации C-Value. Совмещение критериев TF-IDF и CValue.
+
-
* Отбор фраз по оценке тематичности.
+
-
* Задача сокращения словаря (vocabulary reduction) и проблема сравнения моделей с разными словарями.
+
-
'''Регуляризаторы для выделения энграмм.'''
+
== Байесовское обучение модели LDA ==
-
* Биграммная тематическая модель.
+
Презентация: [[Media:Voron25ptm-bayes.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 7.12.2025}}.
 +
[https://youtu.be/Je8o6-qgb7Q видеозапись]
-
'''Сегментирующие тематические модели.'''
+
'''Классические модели PLSA, LDA.'''
-
* Позиционный регуляризатор, вывод формул М-шага.
+
* Модель PLSA.
-
* Пост-обработка Е-шага.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Интерпретация текста как пучка временных рядов и задача разладки.
+
* Максимизация апостериорной вероятности для модели LDA.
-
* Алгоритм тематической сегментации.
+
-
* Тематические модели предложений (sentence topic model).
+
-
'''Векторная модель word2vec.'''
+
'''Вариационный байесовский вывод.'''
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
* Основная теорема вариационного байесовского вывода.
-
* Гибрид тематической модели и векторной модели word2vec.
+
* [[Вариационный байесовский вывод]] для модели LDA.
-
* Связь word2vec с регуляризатором когерентности.
+
* VB ЕМ-алгоритм для модели LDA.
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
'''Литература:''' .
+
'''Сэмплирование Гиббса.'''
 +
* Основная теорема о сэмплировании Гиббса.
 +
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
-
===Динамические и пространственные тематические модели===
+
'''Замечания о байесовском подходе.'''
 +
* Оптимизация гиперпараметров в LDA.
 +
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
 +
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.
-
'''Тематические модели с модальностью времени.'''
+
== Проект «Мастерская знаний» ==
-
* Регуляризатор разреживания тем в каждый момент времени.
+
Презентация: [[Media:Voron25ptm-kf.png|(PNG,&nbsp;8,1&nbsp;МБ)]] {{важно|— обновление 3.03.2025}}.
-
* Регуляризаторы сглаживания темы как временного ряда.
+
-
* Вывод M-шага для негладкого регуляризатора.
+
-
'''Тематические модели с модальностью геолокации.'''
+
'''Проект «Мастерская знаний»'''
-
* Тематические модели социальных сетей.
+
* Цели, задачи, концепция проекта. Тематические подборки научных текстов.
 +
* Модель векторизации текста для поиска и рекомендаций научных статей.
 +
* Основные сервисы «Мастерской знаний».
-
===Траектории регуляризации===
+
'''Место тематического моделирования в «Мастерской знаний»'''
 +
* Сервис тематизации подборки.
 +
* Сервисы выявления научных трендов и построения хронологических карт.
 +
* Вспомогательные функции в сервисе полуавтоматической суммаризации.
-
'''Обучение с подкреплением'''
+
'''Карты знаний'''
-
* Контекстный многорукий бандит.
+
* Задачи иерархической суммаризации одной статьи, подборки статей.
-
* Инкрементная регрессия.
+
* Принципы построения интеллект-карт и карт знаний.
-
* Регрессия с верхними доверительными границами (UCB).
+
* Что такое «тема»? Отличия тематизации и картирования.
-
'''Задача оптимизации трактории в пространстве коэффициентов регуляризации'''
+
<!---
-
* Относительные коэффициенты регуляризации.
+
== Теория ЕМ-алгоритма ==
-
* Признаковое описание контекста. Метрики качества тематической модели.
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
-
* Функция премии и скаляризация критериев.
+
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Особенности реализации обучения с подкреплением в онлайновом ЕМ-алгоритме.
+
-
===Визуализация тематических моделей===
+
'''Общий EM-алгоритм.'''
 +
* EM-алгоритм для максимизации неполного правдоподобия.
 +
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
 +
* Альтернативный вывод формул ARTM.
-
'''Навигация по тематической модели.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Визуализатор TMVE.
+
* Проблема неустойчивости (на синтетических данных).
-
* Визуализатор Termite.
+
* Проблема неустойчивости (на реальных данных).
-
* Визуализатор для [[BigARTM]].
+
* Проблема переобучения и робастные модели.
-
'''Методы визуализации.'''
+
== Моделирование сегментированного текста ==
-
* Задача и методы многомерного шкалирования.
+
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
-
* Визуализация «дорожной карты» темы или набора тем.
+
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 старая видеозапись]
-
* Визуализация тематических иерархий.
+
-
* Визуализация динамических моделей, метафора «реки тем».
+
-
* Визуализация тематической структуры документа.
+
-
* Визуализация модели трёх источников.
+
-
'''Средства разведочного поиска.'''
+
'''Мультиграммные модели.'''
-
* Концепция пользовательского интерфейса для разведочного поиска.
+
* Модель BigramTM.
-
* Концепция иерархической суммаризации.
+
* Модель Topical N-grams (TNG).
 +
* Мультимодальная мультиграммная модель.
-
===Большие данные===
+
'''Тематические модели предложений.'''
 +
* Тематическая модель предложений senLDA.
 +
* Модель коротких сообщений Twitter-LDA.
 +
* Сегментоиды. Лексические цепочки.
-
'''Параллельные и распределённые алгоритмы.'''
+
'''Тематическая сегментация текста.'''
-
* Обзор подходов к распараллеливанию онлайнового EМ-алгоритма.
+
* Метод TopicTiling. Критерии определения границ сегментов.
-
* Распараллеливание онлайнового EМ-алгоритма в [[BigARTM]].
+
* Критерии качества сегментации.
-
* Распределённое хранение коллекции.
+
* Оптимизация параметров модели TopicTiling.
 +
--->
-
'''Обработка больших коллекций в BigARTM.'''
+
=Отчетность по курсу=
-
* Особенности предварительной обработки.
+
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
* Коллекция Википедии.
+
-
* Коллекция arXiv.org.
+
-
* Коллекция социальной сети VK.
+
-
==Литература==
+
'''Рекомендуемая структура отчёта об исследовании:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
'''Основная литература'''
+
'''Примеры отчётов:'''
 +
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
+
=Литература=
-
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
+
 
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
+
# ''Воронцов К. В.'' [https://urss.ru/cgi-bin/db.pl?page=Book&id=305674 Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM]. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
+
# ''Xiaobao Wu, Thong Nguyen, Anh Tuan Luu.'' [https://arxiv.org/abs/2401.15351 A Survey on Neural Topic Models: Methods, Applications, and Challenges]. 2023.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
+
# ''Rob Churchill, Lisa Singh.'' [https://dl.acm.org/doi/10.1145/3507900 The Evolution of Topic Modeling]. 2022.
 +
# ''He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine.'' [https://arxiv.org/abs/2103.00498 Topic Modelling Meets Deep Neural Networks: A Survey]. 2021.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
'''Дополнительная литература'''
'''Дополнительная литература'''
Строка 374: Строка 436:
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
== Ссылки ==
+
= Ссылки =
* [[Тематическое моделирование]]
* [[Тематическое моделирование]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Коллекции документов для тематического моделирования]]
* [[Коллекции документов для тематического моделирования]]
* [[BigARTM]]
* [[BigARTM]]
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
 
-
* BigARTM: тематическое моделирование больших текстовых коллекций. [http://www.meetup.com/Moscow-Data-Fest/events/224856462/ Data Fest #1], 12 сентября 2015. '''[[Media:voron-2015-datafest.pdf|(PDF,&nbsp;6.5&nbsp;МБ)]]'''.
 
-
{{Stub}}
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
 
 +
Обзорная лекция:
 +
* 28 января 2026. Тематические и нейросетевые вероятностные языковые модели: курс на сближение. [http://seminar.railab.ru/ Проблемы искусственного интеллекта] — совместный научный семинар Российской ассоциации искусственного интеллекта и ФИЦ «Информатика и управление» РАН. '''[[Media:voron-2026-01-26.pdf|(PDF,&nbsp;7.3&nbsp;МБ)]]'''. '''[https://rutube.ru/video/229003c057f51029270678a45617dcbf Видеозапись]'''.
 +
 
 +
Старое:
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 +
 
 +
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
 +
 +
<!---------------------------------------------------
 +
 +
'''Модели связного текста.'''
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 +
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
 +
 +
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
 +
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
 +
 +
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
 +
 +
== Инициализация, траектория регуляризации, тесты адекватности ==
 +
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
'''Траектория регуляризации.'''
 +
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
 +
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
 +
 +
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
 +
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
 +
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
 +
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

До 2026 года курс назывался «Вероятностные тематические модели».

Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).

Наиболее подробно в курсе изучается вероятностное тематическое моделирование (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (ARTM). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Оптимизация и регуляризация языковых моделей

Презентация: (PDF, 3,4 МБ) — обновление 02.03.2026.

Задачи языкового моделирования.

Аддитивная регуляризация тематических моделей.

  • Лемма о максимизации на единичных симплексах.
  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Модели сочетаемости слов

Презентация: (PDF, 1,4 МБ) — обновление 02.03.2026.

Модели векторных представлений слов.

  • Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
  • Эквивалентная задача матричного разложения.
  • Оценивание качества векторных представлений слов.
  • FastText и другие модели векторных представлений текста.

Тематические модели дистрибутивной семантики.

  • Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
  • Сравнение WN-ARTM с моделью word2vec.
  • Когерентность как мера интерпретируемости тем. Регуляризаторы когерентности.

Мультиграммные модели и выделение терминов.

  • Контактная близость слов. Критерии выделения коллокаций.
  • Алгоритм TopMine для быстрого поиска частых фраз.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Модели локального контекста

Презентация: (PDF, 5,3 МБ) — обновление 02.03.2026.

Нейросетевые модели языка.

  • Искусственный нейрон как линейная модель классификации. Искусственная нейронная сеть.
  • Модель машинного перевода. Модель внимания. Архитектура трансформера. Кодировщик и декодировщик.
  • Критерии обучения в машинном переводе.
  • Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.

Тематическая модель локального контекста.

  • Модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
  • Частный случай, когда контекст равен документу.
  • Быстрое вычисление двунаправленных тематических векторов контекста.
  • Псевдокод EM-алгоритма.

Сравнение тематических моделей с нейросетевыми.

  • Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
  • Сравнение со свёрточной сетью GCNN.
  • Сравнение с нейросетевой тематической моделью Contextual-Top2Vec.
  • Сравнение с контекстной документной кластеризацией (CDC).

Программа курса в разработке. Ниже — остаток от программы 2025 года.

Моделирование локального контекста

Презентация: (PDF, 3,2 МБ) — обновление 14.09.2025. видеозапись

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Онлайновый EM-алгоритм для ARTM.
  • Пакетный онлайновый регуляризованный EM-алгоритм для ARTM.

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага. Линейная тематизация. Коэффициенты внимания. Attentive ARTM.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с нейросетевыми моделями языка.

  • Свёрточная нейросеть GCNN (Gated Convolutional Network)
  • Модель само-внимания (self-attention) Query-Key-Value.
  • Трансформер и онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
  • Нейросетевая тематическая модель Contextual-Top2Vec.

Реализация ЕМ-алгоритма и комбинирование регуляризаторов

Презентация: (PDF, 1,4 МБ) — обновление 2.10.2025. видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Особенности реализации ЕМ-алгоритма для ARTM.

  • Улучшение сходимости несмещёнными оценками.
  • Замена логарифма в функции потерь.
  • Матричная запись ЕМ-алгоритма.
  • Подбор коэффициентов регуляризации. Траектория регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.
  • Эксперименты с отбором тем на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Оценивание качества тематических моделей

Презентация: (PDF, 1,7 МБ) — обновление 2.10.2025. видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности
  • Подходы к балансировке тем

Тематический информационный поиск

Презентация: (PDF, 9,4 МБ) — обновление 21.10.2025. видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Мультимодальные тематические модели

Презентация: (PDF, 1,8 МБ) — обновление 21.10.2025. видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,5 МБ) — обновление 8.11.2025. видеозапись

Мультиграммные модели и выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация матрицы тематических векторов термов. Формулы М-шага.
  • Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 2,6 МБ) — обновление 27.11.2025. видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Проект «Тематизатор»

Презентация: (PDF, 8,3 МБ) — обновление 27.11.2025. Видеозапись

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Тематическое моделирование в исторических и политологических исследованиях.
  • Проекты Школы Прикладного Анализа Данных.

Визуализация тематических моделей

  • Визуализация матричного разложения.
  • Динамика, иерархии, взаимосвязи, сегментация.
  • Спектр тем.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
  • Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
  • Этапизация работ и MVP Тематизатора.

Именование и суммаризация тем

Презентация: (PDF, 4,6 МБ) — обновление 27.11.2025. видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 7.12.2025. видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

  • Цели, задачи, концепция проекта. Тематические подборки научных текстов.
  • Модель векторизации текста для поиска и рекомендаций научных статей.
  • Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

  • Сервис тематизации подборки.
  • Сервисы выявления научных трендов и построения хронологических карт.
  • Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

  • Задачи иерархической суммаризации одной статьи, подборки статей.
  • Принципы построения интеллект-карт и карт знаний.
  • Что такое «тема»? Отличия тематизации и картирования.


Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
  2. Xiaobao Wu, Thong Nguyen, Anh Tuan Luu. A Survey on Neural Topic Models: Methods, Applications, and Challenges. 2023.
  3. Rob Churchill, Lisa Singh. The Evolution of Topic Modeling. 2022.
  4. He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine. Topic Modelling Meets Deep Neural Networks: A Survey. 2021.
  5. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  6. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  7. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  8. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Обзорная лекция:

Старое:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2024Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2025
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты