Вероятностные языковые модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(байесовщина)
(Проект «Тематизатор»)
 
(327 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—4 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — [[аддитивная регуляризация тематических моделей]]. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
До 2026 года курс назывался «Вероятностные тематические модели».
-
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
+
Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
Наиболее подробно в курсе изучается вероятностное [[тематическое моделирование]] (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] ([[ARTM]]). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
-
== Программа курса 2016 ==
+
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.
-
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
+
-
=== Введение ===
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
+
-
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
+
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
* [[Вероятностный латентный семантический анализ]] (PLSA).
+
-
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]], [[Условия Каруша–Куна–Таккера]]. Униграммные модели коллекции и документа.
+
-
* Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
+
-
* ЕМ-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
+
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
-
=== Обзор задач и моделей ===
+
'''Основной материал:'''
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 29.12.2025}}.
-
* Разновидности тематических моделей.
+
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYFeH50yAki9uSrk7PrjBUoL Плейлист видеозаписей, 2025 осень (МФТИ)].
-
* Средства визуализации тематических моделей.
+
-
* Разведочный информационный поиск и требования к тематическим моделям.
+
-
* Задача поиска релевантных тем в социальных сетях.
+
-
* Применение тематического моделирования для [[Технология информационного анализа электрокардиосигналов|информационного анализа электрокардиосигналов]].
+
-
* Динамическая модель коллекции пресс-релизов.
+
-
* Проект [[BigARTM]].
+
-
* Открытые проблемы и направления исследований.
+
-
=== Латентное размещение Дирихле ===
+
= Программа курса =
-
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 04.03.2016}}.
+
-
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
+
-
* [[Латентное размещение Дирихле]] (LDA). Некоторые свойства [[Распределение Дирихле|распределения Дирихле]].
+
-
* Теорема о необходимом условии максимума апостериорной вероятности для LDA.
+
-
* Сравнение EM-алгоритма для LDA и PLSA.
+
-
* Алгоритм сэмплирования Гиббса.
+
-
* Модель SWB с фоном и шумом. Робастная тематическая модель.
+
-
* Модель LDA не снижает переобучение, а лишь точнее описывает вероятности редких слов.
+
-
* Способы измерения расстояния между дискретными распределениями. [[Дивергенция Кульбака-Лейблера]].
+
-
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
+
-
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
+
-
=== Аддитивная регуляризация тематических моделей ===
+
== Оптимизация и регуляризация языковых моделей ==
-
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.03.2016}}.
+
Презентация: [[Media:Voron26plm01-intro.pdf|(PDF, 3,4 МБ)]] {{важно|— обновление 02.03.2026}}.
-
* [[Аддитивная регуляризация тематических моделей]]. Линейные композиции регуляризаторов.
+
<!--[https://youtu.be/Xit8NqCvdyA?t=74 Видеозапись 2025]-->
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
+
-
* Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.
+
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для мультимодальной ARTM.
+
-
* Оффлайновый регуляризованный EM-алгоритм.
+
-
* Онлайновый регуляризованный EM-алгоритм. Разделение коллекции на пакеты документов.
+
-
* Обзор возможностей библиотеки BigARTM. Установка, подготовка данных, создание модели, оценивание модели.
+
-
'''Литература:'''
+
'''Задачи языкового моделирования.'''
-
* ''Потапенко А. А.'' [[Media:potapenko13online.pdf|Отчет по серии экспериментов с онлайновым алгоритмом]]. 2013.
+
* Частотные языковые модели. Гипотеза «мешка слов».
 +
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
 +
* [[Условия Каруша–Куна–Таккера]]. Вывод частотных оценок.
 +
* Задача [[Тематическое моделирование|тематического моделирования]].
-
=== Регуляризаторы I ===
+
'''Аддитивная регуляризация тематических моделей.'''
-
Презентация: [[Media:Voron-PTM-5.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Лемма о максимизации на единичных симплексах.
-
* Регуляризаторы сглаживания и разреживания. Частичное обучение как разновидность сглаживания.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Разделение тем на предметные и фоновые. Автоматическое выделение стоп-слов.
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
-
* Регуляризатор декоррелирования тем.
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* Регуляризатор отбора тем. Эффект отбрасывания малых, дублирующих и линейно зависимых тем. Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
+
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
* Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем. Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
+
-
* Использование регуляризаторов и измерителей в BigARTM.
+
-
* Комбинирование регуляризаторов для решения практических задач в BigARTM.
+
-
=== Байесовские тематические модели ===
+
'''Практика тематического моделирования.'''
-
* EM-алгоритм.
+
* Проект с открытым кодом BigARTM.
-
* Вариационный байесовский вывод.
+
* Этапы решения практических задач.
-
* Семплирование Гиббса.
+
* Методы предварительной обработки текста.
-
* Как читать статьи по баесовским моделям и видеть в них ARTM :)
+
* Датасеты и практические задания по курсу.
-
=== Регуляризаторы II ===
+
== Языковые модели сочетаемости слов ==
-
Презентация: [[Media:Voron-PTM-6.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
Презентация: [[Media:Voron26plm02-biterm.pdf|(PDF,&nbsp;1,4&nbsp;МБ)]] {{важно|— обновление 02.03.2026}}.
-
* Регуляризаторы для регрессии и классификации на текстах.
+
-
* Регуляризатор CTM (Correlated Topic Model).
+
-
* Регуляризатор для учёта гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
+
-
* Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Эксперименты на коллекции пресс-релизов.
+
-
* Вывод M-шага для негладкого регуляризатора.
+
-
* Регуляризаторы геолокации для пространственных тематических моделей.
+
-
* Регуляризаторы для анализа социальных сетей и выделения тематических сообществ.
+
-
=== Мультимодальные тематические модели ===
+
'''Модели векторных представлений слов.'''
-
Презентация: [[Media:Voron-PTM-7.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Эквивалентная задача матричного разложения.
-
* Мультиязычные тематические модели. Параллельные и сравнимые коллекции. Регуляризаторы для учёта двуязычных словарей.
+
* Оценивание качества векторных представлений слов.
-
* Мультиграммные модели. Биграммы и битермы.
+
* FastText и другие модели векторных представлений текста.
-
* Модели трёхматричных разложений. Понятие порождающей модальности.
+
-
* Автор-тематическая модель (author-topic model).
+
-
* Иерархические модели. Оценивание качества тематических иерархий.
+
-
* Тематическая модель текста и изображений. Задача аннотирования изображений.
+
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
* Гиперграфовая модель. Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
+
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.
+
-
=== Лингвистические тематические модели ===
+
'''Тематические модели дистрибутивной семантики.'''
-
Презентация: [[Media:Voron-PTM-8.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
-
* Мультиграммные модели. Биграммная тематическая модель.
+
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
-
* Автоматическое извлечение терминов. Задача редукции словаря (vocabulary reduction). Словарные лингвистические ресурсы.
+
* Сравнение WN-ARTM с моделью word2vec.
-
* Синтаксическая, статистическая и тематическая фильтрация фраз.
+
* Когерентность как мера интерпретируемости тем. Регуляризаторы когерентности.
-
* Морфологический и микро-синтаксический анализ текста для первичной фильтрации фраз.
+
-
* Статистическая фильтрация фраз. Критерий коллокации CValue. Совмещение критериев TF-IDF и CValue.
+
-
* Тематическая фильтрация фраз.
+
-
* Методы оценивания качества фильтрации.
+
-
* Когерентность как мера интерпретируемости униграммных моделей. Регуляризатор когерентности.
+
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
-
* Гибрид тематической модели и векторной модели word2vec.
+
-
* Связь word2vec с регуляризатором когерентности.
+
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
=== Сегментация, аннотирование, суммаризация, именование тем ===
+
'''Мультиграммные модели и выделение терминов.'''
-
Презентация: [[Media:Voron-PTM-9.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Контактная близость слов. Критерии выделения коллокаций.
-
* Позиционный регуляризатор в ARTM, вывод формул М-шага. Пост-обработка Е-шага. Разреживание распределения p(t|d,w).
+
* Алгоритм TopMine для быстрого поиска частых фраз.
-
* Интерпретация текста как пучка временных рядов. Задача разладки. Алгоритмы K-сегментации.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
-
* Тематические модели сегментации (segmentation topic model).
+
* Критерии тематичности фраз.
-
* Тематические модели предложений (sentence topic model).
+
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
* Аннотирование документа. Выделение тематичных слов и фраз (предложений). Оценка ценности фразы.
+
-
* Суммаризация темы. Кластеризация и ранжирование тематичных фраз.
+
-
* Автоматическое именование темы (topic labeling).
+
-
=== Инициализация, траектории регуляризации, адекватность модели ===
+
== Нейросетевые языковые модели ==
-
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
Презентация: [[Media:Voron26plm03-neural.pdf|(PDF,&nbsp;6,8&nbsp;МБ)]] {{важно|— обновление 23.03.2026}}.
-
'''Инициализация.'''
+
-
* Случайная инициализация. Инициализация по документам.
+
-
* Контекстная документная кластеризация.
+
-
* Поиск якорных слов. Алгоритм Ароры.
+
-
'''Траектория регуляризации.'''
+
-
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
+
-
* Относительные коэффициенты регуляризации.
+
-
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
+
-
* Подходы к скаляризации критериев.
+
-
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
+
-
'''Тесты адекватности.'''
+
-
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
=== Обзор оценок качества тематических моделей ===
+
'''Краткое введение в машинное обучение.'''
-
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
* Минимизация эмпирического риска. Метод стохастического градиента.
-
* Внутренние и внешние критерии качества.
+
* Искусственные нейронные сети. Линейная модель нейрона. Многослойный персептрон.
-
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
+
* Глубокие нейронные сети. Свёрточные сети для анализа изображений.
-
''' Оценивание качества темы.'''
+
* Обучаемая векторизация данных. Автокодировщики.
-
* Лексическое ядро темы: множество типичных терминов темы.
+
-
* Чистота и контрастность темы
+
-
* Документное ядро темы: множество типичных документов темы.
+
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Оценивание интерпретируемости тем.'''
+
-
* Экспертное оценивание интерпретируемости. Асессорская разметка терминов и документов, релевантных теме.
+
-
* Метод интрузий.
+
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
-
'''Устойчивость и полнота.'''
+
-
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
+
-
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
+
-
'''Когерентность.'''
+
-
* Определение когерентности.
+
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
-
* Способы оценивания совместной встречаемости слов.
+
-
'''Критерии качества классификации и ранжирования.'''
+
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
 +
'''Нейросетевые модели языка.'''
 +
* Модель машинного перевода. Модель внимания QKV. Архитектура трансформера. Кодировщик и декодировщик.
 +
* Критерии обучения в машинном переводе.
 +
* Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.
-
== Программа курса 2015 ==
+
'''Тематические модели локального контекста.'''
-
* Файл с описанием заданий: [[Media:voron-2014-task-PTM.pdf|voron-2015-task-PTM.pdf]]
+
* Эволюция тематического моделирования.
 +
* Нейросетевая тематическая модель Contextual-Top2Vec.
 +
* Постановка задачи контекстного тематического моделирования.
-
=== Задачи анализа текстов и вероятностные модели ===
+
== Тематические модели локального контекста ==
 +
Презентация: [[Media:Voron26plm04-local.pdf|(PDF,&nbsp;3,4&nbsp;МБ)]] {{важно|— обновление 3.04.2026}}.
-
'''Задачи классификации текстов.'''
+
'''Тематические модели «мешка слов».'''
-
* Коллекция текстовых документов. Векторное представление документа.
+
* Постановка задачи ARTM.
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
* Ускорение сходимости EM-алгоритма.
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
* Идея матричной реализации EM-алгоритма.
-
* Линейный классификатор. Наивный байесовский классификатор.
+
-
* Задача распознавания языка текста.
+
-
* Задача распознавание жанра текста. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
* Задача анализа тональности.
+
-
'''Задачи предварительной обработки текстов.'''
+
'''Тематическая модель локального контекста.'''
-
* Очистка: удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
* Модель быстрой тематизации документа за один линейный проход.
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
* Контекстная тематическая модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
-
* Выделение и удаление стоп-слов и редких слов.
+
* Быстрое вычисление двунаправленных тематических векторов контекста.
 +
* Псевдокод EM-алгоритма.
-
'''Задачи информационного поиска.'''
+
'''Сравнение тематических моделей с нейросетевыми.'''
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
* Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
* Сравнение со свёрточной сетью GCNN.
-
* Дивергенция Кульбака-Леблера и её свойства. Дивергенция Кресси-Рида.
+
* Сравнение с нейросетевой тематической моделью Contextual-Top2Vec.
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
* Сравнение с контекстной документной кластеризацией (CDC).
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
== Конструирование регуляризаторов и устойчивость моделей ==
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
Презентация: [[Media:Voron26plm05-regular.pdf|(PDF,&nbsp;1,2&nbsp;МБ)]] {{важно|— обновление 30.03.2026}}.
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
[https://youtu.be/5DXhffGMjBM видеозапись]
-
* Униграммная модель документов и коллекции.
+
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг 2011].
+
'''Часто используемые регуляризаторы.'''
 +
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем. Выделение фоновых тем.
 +
* Разреживание для отбора тем.
 +
* Расстояния и дивергенции между дискретными распределениями.
-
=== Вероятностный латентный семантический анализ ===
+
'''Комбинирование регуляризаторов.'''
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
* Траектории регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Оценивание качества: перплексия, когерентность, лексическое ядро
 +
* Эксперименты с комбинированием разреживания, сглаживания, декоррелирования.
 +
* Эмпирические рекомендации по комбинированию регуляризаторов.
-
'''Мотивации вероятностного тематического моделирования
+
'''Эксперименты с тематическими моделями.'''
-
* Идея понижения размерности: переход от вектора (терминов) к вектору тем.
+
* Исследование устойчивости восстановления тем на синтетических данных.
-
* Цели тематического моделирования: разведочный поиск научной информации, навигация и систематизация, агрегирование новостных потоков, классификация и категоризация текстов, обход проблем синонимии и омонимии.
+
* Исследование устойчивости на реальных данных.
 +
* Эксперименты с отбором тем на синтетических и реальных данных.
 +
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
'''Задача тематического моделирования.'''
+
== Тематический информационный поиск ==
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
Презентация: [[Media:Voron26plm05-exps.pdf|(PDF,&nbsp;9,4&nbsp;МБ)]] {{важно|— обновление 30.03.2026}}.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
[https://youtu.be/lckh814p-7I видеозапись]
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Мультимодальные тематические модели.'''
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Примеры модальностей.
-
* Элементарная интерпретация ЕМ-алгоритма: Е-шаг как формула Байеса для апостериорной вероятности темы, М-шаг как частотные оценки условных вероятностей.
+
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Иерархические тематические модели.'''
-
* Проблема больших данных.
+
* Иерархии тем. Послойное построение иерархии.
-
* Эвристика разделения М-шага.
+
* Регуляризаторы для разделения тем на подтемы.
-
* Эвристика разделения коллекции на пачки документов.
+
* Псевдодокументы родительских тем.
-
* Добавление новых документов (folding-in).
+
* Модальность родительских тем.
-
'''Проведение экспериментов на модельных данных.'''
+
'''Эксперименты с тематическим поиском.'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Методика измерения качества поиска.
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
* Тематическая модель для документного поиска.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Оптимизация гиперпараметров.
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
<!--
 +
'''Задачи тематизации текстовых коллекций'''
 +
* Проект «Мастерская знаний». Тематизация подборок научных публикаций.
 +
* Поиск этно-релевантных тем в социальных сетях
 +
* Тематизация в социо-гуманитарных исследованиях-->
-
'''Задание 1.1'''
+
== Оценивание качества тематических моделей ==
-
Обязательные пункты: 1–3 и любой из последующих.
+
Презентация: [[Media:Voron26plm07-quality.pdf|(PDF,&nbsp;2,2&nbsp;МБ)]] {{важно|— обновление 12.04.2026}}.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
[https://youtu.be/OoIetK1pTUA видеозапись]
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
-
# Реализовать рациональный ЕМ-алгоритм.
+
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
# Исследовать полноту решения. Сколько запусков со случайным начальным приближением необходимо сделать, чтобы найти все исходные темы? Как различность и разреженность исходных тем влияет на полноту?
+
-
'''Литература:''' [Hofmann 1999].
+
'''Измерение качества тематических моделей.'''
 +
* Правдоподобие и перплексия.
 +
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
 +
* Разреженность и различность.
-
===Латентное размещение Дирихле===
+
'''Проверка гипотезы условной независимости.'''
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
* Проверка гипотезы согласия для языковой модели.
 +
* Статистики на основе KL-дивергенции и их обобщения.
 +
* Применение статистических тестов условной независимости.
-
'''Латентное размещение Дирихле (LDA)'''
+
'''Проблема тематической несбалансированности в данных'''
-
* Свойства [[Распределение Дирихле|распределения Дирихле]].
+
* Проблема малых тем и тем-дубликатов.
-
* Принцип максимума апостериорной вероятности. Модифицированные формулы М-шага.
+
* Тематическая несбалансированность как основная причина плохой интерпретируемости тем.
-
* [[Байесовский вывод]]. Свойство сопряжённости мультиномиального распределения и распределения Дирихле. Другие модифицированные формулы М-шага.
+
* Эксперименты с регуляризаторами отбора тем и декоррелирования.
-
* Обзор модификаций формул М-шага.
+
* Регуляризатор семантической однородности.
-
* Методы оптимизации гиперпараметров.
+
* Подходы к балансировке тем.
-
* Небайесовская интерпретация модели LDA.
+
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
== Проект «Тематизатор» ==
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
Презентация: [[Media:Voron26plm08-project.pdf|(PDF,&nbsp;8,3&nbsp;МБ)]] {{важно|— обновление 20.04.2026}}.
-
* Эвристика сэмплирования. Алгоритм сэмплирования Гиббса.
+
[https://youtu.be/0BEIkS3OZZY Видеозапись]
-
'''Робастные тематические модели.'''
+
'''Примеры прикладных задач'''
-
* Робастная модель с фоном и шумом.
+
* Обзор регуляризаторов ARTM.
-
* Упрощённая робастная модель.
+
* Поиск этно-релевантных тем в социальных сетях.
-
* Почему робастный PLSA лучше, чем LDA. Эффект повышения правдоподобия (перплексии) в робастных моделях с шумом.
+
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Тематическое моделирование в исторических и политологических исследованиях.
 +
* Проекты Школы Прикладного Анализа Данных.
-
'''Способы формирования начальных приближений.'''
+
'''Визуализация тематических моделей'''
-
* Случайная инициализация.
+
* Визуализация матричного разложения.
-
* Инициализация по документам.
+
* Динамика, иерархии, взаимосвязи, сегментация.
-
* Контекстная документная кластеризация.
+
* Спектр тем.
-
* Поиск якорных слов. Алгоритм Ароры.
+
-
'''Задание 1.2'''
+
'''Анализ требований к «Тематизатору»'''
-
Обязательные пункты: 1 и любой из последующих.
+
* Функциональные требования.
-
# Реализовать онлайновый алгоритм OEM.
+
* Требования к интерпретируемости.
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
* Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
* Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
-
# Исследовать возможность улучшения качества модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
* Этапизация работ и MVP Тематизатора.
-
# Исследовать влияние гиперпараметров на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Hoffman 2010], [Asuncion 2009].
+
{{важно|Программа курса в разработке. Ниже — остаток от программы 2025 года}}.
-
===Аддитивная регуляризация тематических моделей===
+
<!--
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
== Обзор вероятностных моделей языка ==
 +
* Токенизация; n-граммы, коллокации, словосочетания, термины. Алгоритм TopMine.
 +
* Перплексия.
 +
* Эмпирические законы Ципфа и Хипса.
 +
* Модели релевантности текста TF-IDF, BM-25, PageRank, TextRank.
 +
-->
-
'''Многокритериальная регуляризация.'''
+
== Мультимодальные тематические модели ==
-
* Некорректность постановки задачи тематического моделирования.
+
Презентация: [[Media:Voron25ptm-modal.pdf|(PDF,&nbsp;1,8&nbsp;МБ)]] {{важно|— обновление 21.10.2025}}.
-
* [[Аддитивная регуляризация тематических моделей]].
+
[https://youtu.be/8cg334LKWdk видеозапись]
-
* Вывод формулы M-шага для регуляризованного ЕМ-алгоритма.
+
-
* Проект [[BigARTM]].
+
-
'''Регуляризаторы сглаживания и разреживания.'''
+
'''Мультиязычные тематические модели.'''
-
* Максимизация и минимизация KL-дивергенции.
+
* Параллельные и сравнимые коллекции.
-
* Альтернативный вариант разреживания через L0-регуляризацию.
+
* Регуляризаторы для учёта двуязычных словарей.
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
* Кросс-язычный информационный поиск.
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
-
'''Регуляризаторы частичного обучения.'''
+
'''Трёхматричные модели.'''
-
* Частичное обучение как выборочное сглаживание.
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Сфокусированные тематические модели. Использование словаря для выделения предметных тем.
+
* Автор-тематическая модель (author-topic model).
-
* Пример: выделение тематики эпидемий, этнических конфликтов.
+
* Модель для выделения поведений объектов в видеопотоке.
-
'''Ковариационные регуляризаторы.'''
+
'''Тематические модели транзакционных данных.'''
-
* Дековариация тем.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Тематические модели цитирования.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
* Задача выявления корреляций между темами, модель CTM.
+
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
-
* Оценивание параметров (матрицы ковариаций) в модели CTM.
+
* Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Регуляризаторы для классификации и регрессии.'''
+
== Тематические модели сочетаемости слов ==
-
* Задачи регрессии на текстах. Примеры. Регуляризатор. Формула М-шага.
+
Презентация: [[Media:Voron25ptm-cooc.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 8.11.2025}}.
-
* Задачи классификации текстов. Примеры. Регуляризатор. Формула М-шага.
+
[https://youtu.be/0Yy5kH2LlEQ видеозапись]
-
'''Задание 1.3'''
+
'''Мультиграммные модели и выделение терминов.'''
-
Обязательные пункты: 1 и любой из остальных.
+
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
-
# Исследовать зависимость правдоподобия модели и точности восстановления от степени разреженности исходных модельных данных.
+
* Критерии тематичности фраз.
-
# Исследовать влияние разреживания на правдоподобие модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на правдоподобие модели.
+
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
# Исследовать влияние частичной разметки на правдоподобие модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения правдоподобия и устойчивости модели.
+
-
# Исследовать влияние сглаживания на правдоподобие модели и точность восстановления.
+
-
'''Литература:''' [Воронцов, 2013, 2015], [Chemudugunta, 2006].
+
'''Тематические модели дистрибутивной семантики.'''
 +
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
 +
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
 +
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
<!--* Регуляризаторы когерентности. -->
-
===Оценивание качества тематических моделей===
+
'''Позиционный регуляризатор в ARTM.'''
 +
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация матрицы тематических векторов термов. Формулы М-шага.
 +
* Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
'''Реальные данные.'''
+
'''Дополнительный материал:'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
* Внутренние и внешние критерии качества.
+
-
* Дополнительные данные для построения внешних критериев качества.
+
-
'''Перплексия и правдоподобие.'''
+
== Анализ зависимостей ==
-
* Определение и интерпретация перплекcии.
+
Презентация: [[Media:Voron25ptm-rel.pdf|(PDF,&nbsp;2,6&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
[https://youtu.be/s8Fp62lWHqk видеозапись]
-
* Проблема сравнения моделей с разными словарями.
+
-
* Относительная перплексия.
+
-
''' Оценивание качества темы.'''
+
'''Зависимости, корреляции, связи.'''
-
* Лексическое ядро темы: множество типичных терминов темы.
+
* Тематические модели классификации и регрессии.
-
* Чистота и контрастность темы
+
* Модель коррелированных тем CTM (Correlated Topic Model).
-
* Документное ядро темы: множество типичных документов темы.
+
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
+
-
* Конфликтность темы: близость темы к другим темам.
+
-
'''Статистические тесты условной независимости.'''
+
'''Время и пространство.'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
+
* Регуляризаторы времени.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Обнаружение и отслеживание тем.
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Гео-пространственные модели.
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
+
-
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Социальные сети.'''
 +
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
 +
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 +
* Регуляризаторы для выявления социальных ролей пользователей.
-
===Внешние оценки качества тематических моделей===
+
== Именование и суммаризация тем ==
 +
Презентация: [[Media:Voron25ptm-sum.pdf|(PDF,&nbsp;4,6&nbsp;МБ)]] {{важно|— обновление 27.11.2025}}.
 +
[https://youtu.be/d87zESF20K8 видеозапись]
-
'''Оценивание интерпретируемости тем.'''
+
'''Методы суммаризации текстов.'''
-
* Экспертное оценивание интерпретируемости.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
* Асессорская разметка терминов и документов, релевантных теме.
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
-
* Метод интрузий.
+
* Тематическая модель предложений для суммаризации.
-
* Радикальное улучшение интерпретируемости в n-граммных тематических моделях.
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
'''Когерентность.'''
+
'''Автоматическое именование тем (topic labeling).'''
-
* Определение когерентности.
+
* Формирование названий-кандидатов.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
* Релевантность, покрытие, различность.
-
* Способы оценивания совместной встречаемости слов.
+
* Оценивание качества именования тем.
-
'''Суммаризация темы.'''
+
'''Задача суммаризации темы'''
-
* Проблема визуализации тем.
+
* Задача ранжирования документов
-
* Выделение тематичных слов и предложений.
+
* Задача фильтрации репрезентативных релевантных фраз.
-
* Кластеризация тематичных предложений.
+
* Задача генерации связного текста
-
* Ранжирование тематичных предложений.
+
-
* Асессорская разметка предложений, релевантных теме.
+
-
* Задача автоматического именования темы.
+
-
'''Критерии качества классификации и ранжирования.'''
+
== Байесовское обучение модели LDA ==
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
Презентация: [[Media:Voron25ptm-bayes.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 7.12.2025}}.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
[https://youtu.be/Je8o6-qgb7Q видеозапись]
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
-
'''Задание 1.4.'''
+
'''Классические модели PLSA, LDA.'''
-
# Применить OEM к реальным коллекциям.
+
* Модель PLSA.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
* Максимизация апостериорной вероятности для модели LDA.
-
'''Литература:'''
+
'''Вариационный байесовский вывод.'''
 +
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
-
===Мультимодальные регуляризованные тематические модели===
+
'''Сэмплирование Гиббса.'''
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
* Основная теорема о сэмплировании Гиббса.
 +
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
-
'''Мультимодальная АРТМ.'''
+
'''Замечания о байесовском подходе.'''
-
* Виды модальностей и примеры прикладных задач.
+
* Оптимизация гиперпараметров в LDA.
-
* Вывод формул М-шага.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
-
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
+
* Сравнение байесовского подхода и ARTM.
-
* Тематическая модель текста и изображений.
+
* Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.
-
* Задача аннотирования изображений.
+
-
'''Мультиязычные тематические модели.'''
+
<!---
-
* Параллельные и сравнимые коллекции.
+
== Моделирование сегментированного текста ==
-
* Регуляризаторы для учёта двуязычных словарей.
+
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 21.11.2024}}.
-
 
+
[https://youtu.be/k46UzzMSKt0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=22 старая видеозапись]
-
'''Модели многоматричных разложений.'''
+
-
* Понятие порождающей модальности.
+
-
* Вывод формул М-шага.
+
-
* Автор-тематическая модель (author-topic model).
+
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
 
+
-
'''Гиперграфовая модель.'''
+
-
* Примеры транзакционных данных в социальных и рекламных сетях.
+
-
* Вывод формул М-шага.
+
-
 
+
-
'''Литература:'''
+
-
 
+
-
===Определение числа тем и иерархические модели===
+
-
 
+
-
'''Регуляризатор энтропийного разреживания.'''
+
-
* Регуляризатор и формула М-шага. Эффект строкового разреживания.
+
-
* Определение истинного числа тем в экспериментах с полумодельными данными.
+
-
* Гипотеза о несуществовании истинного числа тем.
+
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
-
* Сравнение с моделью иерархических процессов Дирихле.
+
-
 
+
-
'''Тематическая модель с фиксированной иерархией.'''
+
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
-
* Необходимость частичного обучения для задачи категоризации.
+
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
-
* Задача построения разреженного иерархического тематического профиля документа.
+
-
 
+
-
'''Послойное нисходящее построение тематической иерархии.'''
+
-
* Регуляризатор матрицы Фи.
+
-
* Регуляризатор матрицы Тета.
+
-
* Измерение и оптимизация качества иерархических моделей.
+
-
* Разреживание вероятностного отношения тема—подтема.
+
-
 
+
-
'''Одновременное построение всех слоёв тематической иерархии.'''
+
-
 
+
-
'''Литература:''' .
+
-
 
+
-
===Тематические модели, учитывающие порядок слов===
+
'''Мультиграммные модели.'''
'''Мультиграммные модели.'''
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
* Модель BigramTM.
-
* Морфологический и синтаксический анализ текста.
+
* Модель Topical N-grams (TNG).
-
* Отбор фраз с подчинительными связями.
+
* Мультимодальная мультиграммная модель.
-
* Отбор фраз по статистическому критерию коллокации C-Value. Совмещение критериев TF-IDF и CValue.
+
-
* Отбор фраз по оценке тематичности.
+
-
* Задача сокращения словаря (vocabulary reduction) и проблема сравнения моделей с разными словарями.
+
-
'''Регуляризаторы для выделения энграмм.'''
+
'''Тематические модели предложений.'''
-
* Биграммная тематическая модель.
+
* Тематическая модель предложений senLDA.
 +
* Модель коротких сообщений Twitter-LDA.
 +
* Сегментоиды. Лексические цепочки.
-
'''Сегментирующие тематические модели.'''
+
'''Тематическая сегментация текста.'''
-
* Позиционный регуляризатор, вывод формул М-шага.
+
* Метод TopicTiling. Критерии определения границ сегментов.
-
* Пост-обработка Е-шага.
+
* Критерии качества сегментации.
-
* Интерпретация текста как пучка временных рядов и задача разладки.
+
* Оптимизация параметров модели TopicTiling.
-
* Алгоритм тематической сегментации.
+
--->
-
* Тематические модели предложений (sentence topic model).
+
-
'''Векторная модель word2vec.'''
+
= Дополнительные лекции =
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
-
* Гибрид тематической модели и векторной модели word2vec.
+
-
* Связь word2vec с регуляризатором когерентности.
+
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
'''Литература:''' .
+
== BigARTM и базовые инструменты ==
 +
''Мурат Апишев''.
 +
Презентация: [[Media:Base_instruments.zip‎|(zip,&nbsp;0,6&nbsp;МБ)]] {{важно|— обновление 17.02.2017}}.
 +
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
===Динамические и пространственные тематические модели===
+
'''Предварительная обработка текстов'''
 +
* Парсинг «сырых» данных.
 +
* Токенизация, стемминг и лемматизация.
 +
* Выделение энграмм.
 +
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
'''Тематические модели с модальностью времени.'''
+
'''Библиотека BigARTM'''
-
* Регуляризатор разреживания тем в каждый момент времени.
+
* Методологические рекоммендации по проведению экспериментов.
-
* Регуляризаторы сглаживания темы как временного ряда.
+
* Установка [[BigARTM]].
-
* Вывод M-шага для негладкого регуляризатора.
+
* Формат и импорт входных данных.
 +
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
'''Тематические модели с модальностью геолокации.'''
+
'''Дополнительный материал:'''
-
* Тематические модели социальных сетей.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF,&nbsp;1,5&nbsp;МБ)]] {{важно|— обновление 17.03.2017}}.
 +
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
 +
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
===Траектории регуляризации===
+
== Проект «Мастерская знаний» ==
 +
Презентация: [[Media:Voron25ptm-kf.png|(PNG,&nbsp;8,1&nbsp;МБ)]] {{важно|— обновление 3.03.2025}}.
-
'''Обучение с подкреплением'''
+
'''Проект «Мастерская знаний»'''
-
* Контекстный многорукий бандит.
+
* Цели, задачи, концепция проекта. Тематические подборки научных текстов.
-
* Инкрементная регрессия.
+
* Модель векторизации текста для поиска и рекомендаций научных статей.
-
* Регрессия с верхними доверительными границами (UCB).
+
* Основные сервисы «Мастерской знаний».
-
'''Задача оптимизации трактории в пространстве коэффициентов регуляризации'''
+
'''Место тематического моделирования в «Мастерской знаний»'''
-
* Относительные коэффициенты регуляризации.
+
* Сервис тематизации подборки.
-
* Признаковое описание контекста. Метрики качества тематической модели.
+
* Сервисы выявления научных трендов и построения хронологических карт.
-
* Функция премии и скаляризация критериев.
+
* Вспомогательные функции в сервисе полуавтоматической суммаризации.
-
* Особенности реализации обучения с подкреплением в онлайновом ЕМ-алгоритме.
+
-
===Визуализация тематических моделей===
+
'''Карты знаний'''
 +
* Задачи иерархической суммаризации одной статьи, подборки статей.
 +
* Принципы построения интеллект-карт и карт знаний.
 +
* Что такое «тема»? Отличия тематизации и картирования.
-
'''Навигация по тематической модели.'''
+
== Теория ЕМ-алгоритма ==
-
* Визуализатор TMVE.
+
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 25.10.2024}}.
-
* Визуализатор Termite.
+
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt старая видеозапись]
-
* Визуализатор для [[BigARTM]].
+
-
'''Методы визуализации.'''
+
'''Общий EM-алгоритм.'''
-
* Задача и методы многомерного шкалирования.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
* Визуализация «дорожной карты» темы или набора тем.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
-
* Визуализация тематических иерархий.
+
* Альтернативный вывод формул ARTM.
-
* Визуализация динамических моделей, метафора «реки тем».
+
-
* Визуализация тематической структуры документа.
+
-
* Визуализация модели трёх источников.
+
-
'''Средства разведочного поиска.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Концепция пользовательского интерфейса для разведочного поиска.
+
* Проблема неустойчивости (на синтетических данных).
-
* Концепция иерархической суммаризации.
+
* Проблема неустойчивости (на реальных данных).
 +
* Проблема переобучения и робастные модели.
-
===Большие данные===
+
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
'''Параллельные и распределённые алгоритмы.'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
-
* Обзор подходов к распараллеливанию онлайнового EМ-алгоритма.
+
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
-
* Распараллеливание онлайнового EМ-алгоритма в [[BigARTM]].
+
* Описание простого решения baseline
-
* Распределённое хранение коллекции.
+
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
'''Обработка больших коллекций в BigARTM.'''
+
'''Примеры отчётов:'''
-
* Особенности предварительной обработки.
+
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
-
* Коллекция Википедии.
+
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
-
* Коллекция arXiv.org.
+
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
* Коллекция социальной сети VK.
+
-
==Литература==
+
=Литература=
-
 
+
-
'''Основная литература'''
+
 +
# ''Воронцов К. В.'' [https://urss.ru/cgi-bin/db.pl?page=Book&id=305674 Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM]. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
 +
# ''Xiaobao Wu, Thong Nguyen, Anh Tuan Luu.'' [https://arxiv.org/abs/2401.15351 A Survey on Neural Topic Models: Methods, Applications, and Challenges]. 2023.
 +
# ''Rob Churchill, Lisa Singh.'' [https://dl.acm.org/doi/10.1145/3507900 The Evolution of Topic Modeling]. 2022.
 +
# ''He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine.'' [https://arxiv.org/abs/2103.00498 Topic Modelling Meets Deep Neural Networks: A Survey]. 2021.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
# ''Vorontsov K. V., Potapenko A. A.'' [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 
'''Дополнительная литература'''
'''Дополнительная литература'''
Строка 534: Строка 436:
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
== Ссылки ==
+
= Ссылки =
-
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
+
* [[Тематическое моделирование]]
* [[Тематическое моделирование]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Коллекции документов для тематического моделирования]]
* [[Коллекции документов для тематического моделирования]]
* [[BigARTM]]
* [[BigARTM]]
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
 
-
* BigARTM: тематическое моделирование больших текстовых коллекций. [http://www.meetup.com/Moscow-Data-Fest/events/224856462/ Data Fest #1], 12 сентября 2015. '''[[Media:voron-2015-datafest.pdf|(PDF,&nbsp;6.5&nbsp;МБ)]]'''.
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
 
 +
Обзорная лекция:
 +
* 28 января 2026. Тематические и нейросетевые вероятностные языковые модели: курс на сближение. [http://seminar.railab.ru/ Проблемы искусственного интеллекта] — совместный научный семинар Российской ассоциации искусственного интеллекта и ФИЦ «Информатика и управление» РАН. '''[[Media:voron-2026-01-26.pdf|(PDF,&nbsp;7.3&nbsp;МБ)]]'''. '''[https://rutube.ru/video/229003c057f51029270678a45617dcbf Видеозапись]'''.
 +
 
 +
Старое:
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 +
 
 +
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
 +
 +
<!---------------------------------------------------
 +
 +
'''Модели связного текста.'''
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 +
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
 +
 +
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
 +
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
 +
 +
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
 +
 +
== Инициализация, траектория регуляризации, тесты адекватности ==
 +
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
'''Траектория регуляризации.'''
 +
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
 +
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
 +
 +
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
 +
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
 +
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
 +
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Спецкурс читается студентам 2—4 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

До 2026 года курс назывался «Вероятностные тематические модели».

Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).

Наиболее подробно в курсе изучается вероятностное тематическое моделирование (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (ARTM). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Оптимизация и регуляризация языковых моделей

Презентация: (PDF, 3,4 МБ) — обновление 02.03.2026.

Задачи языкового моделирования.

Аддитивная регуляризация тематических моделей.

  • Лемма о максимизации на единичных симплексах.
  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Языковые модели сочетаемости слов

Презентация: (PDF, 1,4 МБ) — обновление 02.03.2026.

Модели векторных представлений слов.

  • Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
  • Эквивалентная задача матричного разложения.
  • Оценивание качества векторных представлений слов.
  • FastText и другие модели векторных представлений текста.

Тематические модели дистрибутивной семантики.

  • Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
  • Сравнение WN-ARTM с моделью word2vec.
  • Когерентность как мера интерпретируемости тем. Регуляризаторы когерентности.

Мультиграммные модели и выделение терминов.

  • Контактная близость слов. Критерии выделения коллокаций.
  • Алгоритм TopMine для быстрого поиска частых фраз.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Нейросетевые языковые модели

Презентация: (PDF, 6,8 МБ) — обновление 23.03.2026.

Краткое введение в машинное обучение.

  • Минимизация эмпирического риска. Метод стохастического градиента.
  • Искусственные нейронные сети. Линейная модель нейрона. Многослойный персептрон.
  • Глубокие нейронные сети. Свёрточные сети для анализа изображений.
  • Обучаемая векторизация данных. Автокодировщики.

Нейросетевые модели языка.

  • Модель машинного перевода. Модель внимания QKV. Архитектура трансформера. Кодировщик и декодировщик.
  • Критерии обучения в машинном переводе.
  • Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.

Тематические модели локального контекста.

  • Эволюция тематического моделирования.
  • Нейросетевая тематическая модель Contextual-Top2Vec.
  • Постановка задачи контекстного тематического моделирования.

Тематические модели локального контекста

Презентация: (PDF, 3,4 МБ) — обновление 3.04.2026.

Тематические модели «мешка слов».

  • Постановка задачи ARTM.
  • Ускорение сходимости EM-алгоритма.
  • Идея матричной реализации EM-алгоритма.

Тематическая модель локального контекста.

  • Модель быстрой тематизации документа за один линейный проход.
  • Контекстная тематическая модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
  • Быстрое вычисление двунаправленных тематических векторов контекста.
  • Псевдокод EM-алгоритма.

Сравнение тематических моделей с нейросетевыми.

  • Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
  • Сравнение со свёрточной сетью GCNN.
  • Сравнение с нейросетевой тематической моделью Contextual-Top2Vec.
  • Сравнение с контекстной документной кластеризацией (CDC).

Конструирование регуляризаторов и устойчивость моделей

Презентация: (PDF, 1,2 МБ) — обновление 30.03.2026. видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем. Выделение фоновых тем.
  • Разреживание для отбора тем.
  • Расстояния и дивергенции между дискретными распределениями.

Комбинирование регуляризаторов.

  • Траектории регуляризации.
  • Относительные коэффициенты регуляризации.
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Эксперименты с комбинированием разреживания, сглаживания, декоррелирования.
  • Эмпирические рекомендации по комбинированию регуляризаторов.

Эксперименты с тематическими моделями.

  • Исследование устойчивости восстановления тем на синтетических данных.
  • Исследование устойчивости на реальных данных.
  • Эксперименты с отбором тем на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Тематический информационный поиск

Презентация: (PDF, 9,4 МБ) — обновление 30.03.2026. видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 2,2 МБ) — обновление 12.04.2026. видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Проверка гипотезы согласия для языковой модели.
  • Статистики на основе KL-дивергенции и их обобщения.
  • Применение статистических тестов условной независимости.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов.
  • Тематическая несбалансированность как основная причина плохой интерпретируемости тем.
  • Эксперименты с регуляризаторами отбора тем и декоррелирования.
  • Регуляризатор семантической однородности.
  • Подходы к балансировке тем.

Проект «Тематизатор»

Презентация: (PDF, 8,3 МБ) — обновление 20.04.2026. Видеозапись

Примеры прикладных задач

  • Обзор регуляризаторов ARTM.
  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Тематическое моделирование в исторических и политологических исследованиях.
  • Проекты Школы Прикладного Анализа Данных.

Визуализация тематических моделей

  • Визуализация матричного разложения.
  • Динамика, иерархии, взаимосвязи, сегментация.
  • Спектр тем.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
  • Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
  • Этапизация работ и MVP Тематизатора.

Программа курса в разработке. Ниже — остаток от программы 2025 года.


Мультимодальные тематические модели

Презентация: (PDF, 1,8 МБ) — обновление 21.10.2025. видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,5 МБ) — обновление 8.11.2025. видеозапись

Мультиграммные модели и выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация матрицы тематических векторов термов. Формулы М-шага.
  • Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 2,6 МБ) — обновление 27.11.2025. видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Именование и суммаризация тем

Презентация: (PDF, 4,6 МБ) — обновление 27.11.2025. видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 7.12.2025. видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.


Дополнительные лекции

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

  • Цели, задачи, концепция проекта. Тематические подборки научных текстов.
  • Модель векторизации текста для поиска и рекомендаций научных статей.
  • Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

  • Сервис тематизации подборки.
  • Сервисы выявления научных трендов и построения хронологических карт.
  • Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

  • Задачи иерархической суммаризации одной статьи, подборки статей.
  • Принципы построения интеллект-карт и карт знаний.
  • Что такое «тема»? Отличия тематизации и картирования.

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. старая видеозапись

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
  2. Xiaobao Wu, Thong Nguyen, Anh Tuan Luu. A Survey on Neural Topic Models: Methods, Applications, and Challenges. 2023.
  3. Rob Churchill, Lisa Singh. The Evolution of Topic Modeling. 2022.
  4. He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine. Topic Modelling Meets Deep Neural Networks: A Survey. 2021.
  5. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  6. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  7. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  8. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Обзорная лекция:

Старое:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2024Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2025
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»