Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(обновление, дополнение)
(программа 2019)
(22 промежуточные версии не показаны)
Строка 3: Строка 3:
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
-
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическое моделирование рассматривается как ключевая математическая технология перспективных информационно-поисковых систем нового поколения, основанных на парадигме семантического разведочного поиска (exploratory search). Рассматриваются также прикладные задачи классификации, сегментации и суммаризации текстов, задачи анализа данных социальных сетей и рекомендательных систем. Развивается многокритериальный подход к построению композитных тематических моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Рассматриваются способы измерения и оптимизации важнейших свойств тематических моделей — правдоподобия, интерпретируемости, устойчивости, полноты. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
'''Материалы для первого ознакомления:'''
'''Материалы для первого ознакомления:'''
-
:''Обзорная презентация:'' [[Media:Voron-PTM-short.pdf|(PDF, 4,4 МБ)]] {{важно|— обновление 14.03.2016}}.
+
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
-
:''Видеолекция на ПостНауке:'' [http://postnauka.ru/video/61910 Разведочный информационный поиск].
+
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
'''Основной материал:'''
'''Основной материал:'''
-
:''[[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]'' {{важно|— обновление 14.07.2017}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация]]. {{важно|— обновление 05.02.2019}}.
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
Строка 21: Строка 23:
== Введение ==
== Введение ==
-
Презентация: [[Media:Voron18ptm-intro.pdf|(PDF, 1,2 МБ)]] {{важно|— обновление 15.02.2018}}.
+
Презентация: [[Media:Voron19ptm-intro.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 14.02.2019}}.
'''Цели и задачи тематического моделирования.'''
'''Цели и задачи тематического моделирования.'''
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
-
* Основные предположения. Гипотеза «мешка слов» (bag-of-words). Методы предварительной обработки текстов.
+
* Вероятностные модели порождения текста.
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости.
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Упрощённая вероятностная модель текста и элементарное решение обратной задачи
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
'''Математический инструментарий.'''
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* [[Условия Каруша–Куна–Таккера]].
 
-
* Униграммные модели коллекции и документа.
 
'''Аддитивная регуляризация тематических моделей.'''
'''Аддитивная регуляризация тематических моделей.'''
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM. [[Условия Каруша–Куна–Таккера]].
-
* [[Вероятностный латентный семантический анализ]] (probabilistic latent semantic analysis, PLSA).
+
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага). Оффлайновый регуляризованный EM-алгоритм.
+
* Мультимодальные тематические модели.
 +
'''Библиотека [[BigARTM]].'''
 +
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
 +
* Оффлайновый регуляризованный EM-алгоритм.
* Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
* Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
-
* Библиотека [[BigARTM]].
+
* Проект с открытым кодом BigARTM.
 +
 
 +
== Аддитивная регуляризация тематических моделей ==
 +
Презентация: [[Media:Voron19ptm-artm.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 14.02.2019}}.
 +
 
 +
'''Часто используемые регуляризаторы.'''
 +
* Регуляризаторы сглаживания и разреживания.
 +
* Регуляризатор декоррелирования.
 +
* Регуляризатор отбора тем.
 +
'''Внутренние метрики качества модели.'''
 +
* Правдоподобие и перплексия.
 +
* Интерпретируемость и когерентность.
 +
* Разреженность и различность.
 +
'''Эксперименты с регуляризаторами.'''
 +
* Сглаживание, разреживание, декоррелирование.
 +
* Существует ли оптимальное число тем?
 +
* Семантическая однородность тем.
== Обзор базовых инструментов ==
== Обзор базовых инструментов ==
Строка 63: Строка 78:
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
== Аддитивная регуляризация тематических моделей ==
+
== Тематические иерархии и разведочный информационный поиск ==
-
Презентация: [[Media:Voron18ptm-artm.pdf|(PDF, 3,1 МБ)]] {{важно|— обновление 15.03.2018}}.
+
Презентация: [[Media:Voron19ptm-exp.pdf|(PDF, 4,5 МБ)]] {{важно|— обновление 15.03.2018}}.
-
'''Теория ARTM'''
+
'''Разведочный информационный поиск'''
-
* Мультимодальные тематические модели
+
* Концепция разведочного поиска.
-
* Регуляризаторы сглаживания и разреживания
+
* Концепция distant reading и идеи визуализации.
-
* Разделение тем на предметные и фоновые
+
* Сценарии использования разведочного поиска.
-
'''Время и пространство'''
+
'''Иерархические тематические модели.'''
-
* Регуляризаторы времени
+
* Визуализация тематических иерархий.
-
* Эксперименты на коллекции пресс-релизов
+
* Метод нисходящего послойного построения иерархии.
-
* Гео-пространственные модели
+
* Спектр тем.
-
'''Иерархические тематические модели'''
+
'''Эксперименты с тематическим поиском.'''
-
* Нисходящая послойная стратегия
+
* Методика измерения качества поиска.
-
* Оценивание качества тематических иерархий
+
* Тематическая модель для документного поиска.
-
* Визуализация иерархии
+
* Оптимизация гиперпараметров.
-
== Разведочный информационный поиск ==
+
== Модель LDA и ЕМ-алгоритм ==
-
Презентация: [[Media:Voron18ptm-exp.pdf|(PDF, 4,5 МБ)]] {{важно|— обновление 15.03.2018}}.
+
Презентация: [[Media:Voron19ptm-emlda.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление ??.??.2019}}.
-
'''Разведочный информационный поиск'''
+
'''Классические модели PLSA, LDA.'''
-
* Концепция разведочного поиска
+
* Модель PLSA.
-
* Визуализация больших текстовых коллекций
+
* Модель LDA. Максимизация апостериорной вероятности для модели LDA.
-
* Сценарий разведочного поиска
+
* Начала байесовского подхода. Распределение Дирихле и его свойства. Сопряжённость с мультиномиальным распределением.
-
'''Эксперименты с тематическим поиском'''
+
'''Общий EM-алгоритм.'''
-
* Методика эксперимента
+
* EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
-
* Построение тематической модели
+
* Регуляризованный EM-алгоритм.
-
* Оптимизация гиперпараметров
+
* Альтернативный вывод формул ARTM.
-
'''Эксперименты с тематическими моделями'''
+
'''Эксперименты с PLSA и LDA.'''
-
* Измерение качества тематической модели
+
* Неустойчивость на синтетических данных.
-
* Многокритериальное оценивание качества модели
+
* Неустойчивость на реальных данных.
-
* Определение числа тем и регуляризатор отбора тем
+
* Переобучение и робастность.
 +
 
 +
== Байесовское обучение тематических моделей ==
 +
Презентация: [[Media:Voron19ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 13.04.2018}}.
 +
 
 +
'''Вариационный байесовский вывод.'''
 +
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
 +
'''Сэмплирование Гиббса.'''
 +
* Основная теорема о сэмплировании Гиббса.
 +
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
 +
'''Замечания о байесовском подходе.'''
 +
* Оптимизация гиперпараметров в LDA.
 +
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
 +
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
 +
 
 +
'''Дополнительный материал:'''
 +
* ''Потапенко А. А.'' [[Media:potapenko16BayesTM.pdf|Байесовское обучение тематических моделей]]. 2016.
== Мультимодальные тематические модели ==
== Мультимодальные тематические модели ==
-
Презентация: [[Media:Voron18ptm-modal.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 22.03.2018}}.
+
Презентация: [[Media:Voron19ptm-modal.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 22.03.2018}}.
'''Мультиязычные тематические модели.'''
'''Мультиязычные тематические модели.'''
Строка 102: Строка 137:
* Регуляризаторы для учёта двуязычных словарей.
* Регуляризаторы для учёта двуязычных словарей.
* Кросс-язычный информационный поиск.
* Кросс-язычный информационный поиск.
-
'''Зависимости, корреляции, связи.'''
 
-
* Тематические модели классификации и регрессии.
 
-
* Модель коррелированных тем CTM (Correlated Topic Model).
 
-
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
 
-
'''Социальные сети.'''
 
-
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 
-
* Регуляризаторы для выявления социальных ролей пользователей.
 
-
<!---
 
'''Трёхматричные и гиперграфовые модели.'''
'''Трёхматричные и гиперграфовые модели.'''
* Модели трёхматричных разложений. Понятие порождающей модальности.
* Модели трёхматричных разложений. Понятие порождающей модальности.
* Автор-тематическая модель (author-topic model).
* Автор-тематическая модель (author-topic model).
 +
* Модель для выделения поведений объектов в видеопотоке.
 +
'''Тематические модели транзакционных данных.'''
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.--->
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
 
+
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
-
== Байесовское обучение тематических моделей ==
+
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
Презентация: [[Media:Voron-PTM-Bayes.pdf|(PDF,&nbsp;1,3&nbsp;МБ)]] {{важно|— обновление ??.??.2018}}.
+
-
 
+
-
'''EM-алгоритм.'''
+
-
* Задачи оценивания скрытых параметров вероятностной модели.
+
-
* EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
+
-
* EM-алгоритм для модели PLSA.
+
-
* EM-алгоритм с регуляризацией.
+
-
'''Методы оценивания параметров в модели LDA.'''
+
-
* Модель LDA. Свойства распределения Дирихле.
+
-
* Максимизация апостериорной вероятности для модели LDA.
+
-
* [[Вариационный байесовский вывод]] для модели LDA.
+
-
* [[Сэмплирование Гиббса]] для модели LDA. Сопряжённые распределения.
+
-
* Оптимизация гиперпараметров распределения Дирихле.
+
-
'''Языки описания вероятностных порождающих моделей.'''
+
-
* Графическая плоская нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
+
-
* Псевдокод порождающего процесса (genarative story).
+
-
* Постановки оптимизационных задач.
+
-
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
+
-
 
+
-
'''Дополнительный материал:'''
+
-
* ''Потапенко А. А.'' [[Media:potapenko16BayesTM.pdf|Байесовское обучение тематических моделей]]. 2016.
+
== Тематические модели совстречаемости слов ==
== Тематические модели совстречаемости слов ==
-
Презентация: [[Media:Voron17ptm9.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 15.04.2017}}.
+
Презентация: [[Media:Voron19ptm-cooc.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 29.03.2018}}.
'''Мультиграммные модели.'''
'''Мультиграммные модели.'''
Строка 150: Строка 158:
* Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
* Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
* Критерии тематичности фраз.
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
'''Тематические модели дистрибутивной семантики.'''
'''Тематические модели дистрибутивной семантики.'''
-
* Дистрибутивная гипотеза.
+
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
Строка 161: Строка 170:
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
== Тематическая сегментация и суммаризация ==
+
== Тематическая сегментация ==
-
Презентация: [[Media:Voron17ptm10.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 05.05.2017}}.
+
Презентация: [[Media:Voron19ptm-segm.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 16.04.2018}}.
'''Модели связного текста.'''
'''Модели связного текста.'''
Строка 171: Строка 180:
* Метод TopicTiling. Критерии определения границ сегментов.
* Метод TopicTiling. Критерии определения границ сегментов.
* Критерии качества сегментации. Оптимизация параметров модели TopicTiling.
* Критерии качества сегментации. Оптимизация параметров модели TopicTiling.
 +
'''Позиционный регуляризатор в ARTM.'''
 +
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
 +
 +
== Анализ зависимостей ==
 +
Презентация: [[Media:Voron19ptm-rel.pdf|(PDF,&nbsp;6,7&nbsp;МБ)]] {{важно|— обновление 01.05.2018}}.
 +
 +
'''Зависимости, корреляции, связи.'''
 +
* Тематические модели классификации и регрессии.
 +
* Модель коррелированных тем CTM (Correlated Topic Model).
 +
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
 +
'''Время и пространство.'''
 +
* Регуляризаторы времени.
 +
* Обнаружение и отслеживание тем.
 +
* Гео-пространственные модели.
 +
'''Социальные сети.'''
 +
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
 +
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 +
* Регуляризаторы для выявления социальных ролей пользователей.
 +
 +
== Визуализация и суммаризация тем ==
 +
Презентация: [[Media:Voron19ptm-vis.pdf|(PDF,&nbsp;6,7&nbsp;МБ)]] {{важно|— обновление 01.05.2018}}.
 +
 +
'''Средства визуализации тематических моделей.'''
 +
* Визуализация матричного разложения.
 +
* Визуализация кластерных структур, динамики, иерархий, сегментации.
 +
* Проект VisARTM.
'''Методы суммаризации текстов.'''
'''Методы суммаризации текстов.'''
-
* Автоматическая суммаризация текстов: задачи и подходы.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
* Релаксационный метод для многокритериальной дискретной оптимизации.
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
* Тематическая модель предложений для суммаризации.
* Тематическая модель предложений для суммаризации.
-
* Семейство критериев качества суммаризации ROUGE.
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
<!--Задача автоматического именования тем.-->
+
'''Автоматическое именование тем (topic labeling).'''
-
<!--'''Позиционный регуляризатор в ARTM.'''
+
* Формирование названий-кандидатов.
-
* Пост-обработка Е-шага. Формулы М-шага. Интерпретация текста как пучка временных рядов.
+
* Релевантность, покрытие, различность.
-
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
+
* Оценивание качества именования тем.
-
-->
+
 
<!---
<!---
-
== Примеры приложений тематического моделирования ==
 
-
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
 
-
* Разведочный информационный поиск (exploratory search). '''[https://www.youtube.com/watch?v=frLW8UVp_Ik Видео]'''.
+
== Анализ разнородных данных ==
-
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
+
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
-
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
+
-
== Обзор задач и моделей ==
+
'''Определение числа тем.'''
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF,&nbsp;8,3&nbsp;МБ)]] {{важно|— обновление 27.02.2016}}.
+
* Регуляризатор отбора тем.
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
 +
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
 
 +
'''Эксперименты по устойчивости.'''
 +
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
 +
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
 +
* Влияние регуляризаторов на устойчивость.
 +
 
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
-
'''Обзор задач и моделей.'''
 
-
* Разновидности тематических моделей.
 
-
* Средства визуализации тематических моделей.
 
-
* Разведочный информационный поиск (exploratory search) и требования к тематическим моделям. '''[https://www.youtube.com/watch?v=frLW8UVp_Ik Видео]'''.
 
'''Примеры приложений тематического моделирования.'''
'''Примеры приложений тематического моделирования.'''
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
Строка 202: Строка 242:
* Разведочный поиск в коллективном блоге.
* Разведочный поиск в коллективном блоге.
* Сценарный анализ записей разговоров контактного центра.
* Сценарный анализ записей разговоров контактного центра.
-
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
Строка 245: Строка 284:
* Критерии качества ранжирования: MAP, DCG, NDCG.
* Критерии качества ранжирования: MAP, DCG, NDCG.
* Оценка качества тематического поиска документов по их длинным фрагментам.
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
-->
-->
=Литература=
=Литература=
-
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. {{важно|— обновление 31.07.2017}}.
+
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. 2019.
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
+
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
+
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
-
# Янина А. О., Воронцов К. В. [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
+
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
 
<!--
<!--
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
Строка 266: Строка 310:
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
Строка 285: Строка 329:
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
 
-
<!---
 
-
* Вывод M-шага для негладкого регуляризатора.
 
-
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 
-
* Модель для выделения поведений объектов в видеопотоке.
 
-
 
-
'''Автоматическое извлечение терминов.'''
 
-
* Синтаксическая, статистическая и тематическая фильтрация фраз. Задача редукции словаря (vocabulary reduction).
 
-
* Морфологический и микро-синтаксический анализ текста для первичной фильтрации фраз.
 
-
* Статистическая фильтрация фраз. Критерий коллокации CValue. Совмещение критериев TF-IDF и CValue.
 
-
* Тематическая фильтрация фраз.
 
-
* Методы оценивания качества фильтрации.
 
-
 
-
'''Модели дистрибутивной семантики.'''
 
-
* Векторные модели слов (word embedding).
 
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
 
-
* Гибрид тематической модели и векторной модели word2vec.
 
-
* Связь word2vec с регуляризатором когерентности.
 
-
* Эксперименты с гибридной моделью W2V-TM.
 
-
 
-
== Сегментация, аннотирование, суммаризация, именование тем ==
 
-
Презентация: [[Media:Voron-PTM-9.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 
-
 
-
'''Тематическая сегментация.'''
 
-
* Тематические модели сегментации (segmentation topic model).
 
-
* Тематические модели предложений (sentence topic model).
 
-
'''Аннотирование и суммаризация.'''
 
-
* Аннотирование документа. Выделение тематичных слов и фраз (предложений). Оценка ценности фразы.
 
-
* Суммаризация текстовой коллекции.
 
-
* Суммаризация темы. Кластеризация и ранжирование тематичных фраз.
 
-
* Автоматическое именование тем (topic labeling).
 
-
--->
 

Версия 09:19, 14 февраля 2019

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Материалы для первого ознакомления:

Основной материал:

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Программа курса

Условием сдачи спецкурса является выполнение индивидуальных практических заданий.

Введение

Презентация: (PDF, 1,7 МБ) — обновление 14.02.2019.

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM. Условия Каруша–Куна–Таккера.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.
  • Мультимодальные тематические модели.

Библиотека BigARTM.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
  • Проект с открытым кодом BigARTM.

Аддитивная регуляризация тематических моделей

Презентация: (PDF, 1,6 МБ) — обновление 14.02.2019.

Часто используемые регуляризаторы.

  • Регуляризаторы сглаживания и разреживания.
  • Регуляризатор декоррелирования.
  • Регуляризатор отбора тем.

Внутренние метрики качества модели.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность.
  • Разреженность и различность.

Эксперименты с регуляризаторами.

  • Сглаживание, разреживание, декоррелирование.
  • Существует ли оптимальное число тем?
  • Семантическая однородность тем.

Обзор базовых инструментов

Александр Романенко, Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017.

Предварительная обработка текстов

  • Парсинг "сырых" данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Тематические иерархии и разведочный информационный поиск

Презентация: (PDF, 4,5 МБ) — обновление 15.03.2018.

Разведочный информационный поиск

  • Концепция разведочного поиска.
  • Концепция distant reading и идеи визуализации.
  • Сценарии использования разведочного поиска.

Иерархические тематические модели.

  • Визуализация тематических иерархий.
  • Метод нисходящего послойного построения иерархии.
  • Спектр тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Модель LDA и ЕМ-алгоритм

Презентация: (PDF, 1,5 МБ) — обновление ??.??.2019.

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Максимизация апостериорной вероятности для модели LDA.
  • Начала байесовского подхода. Распределение Дирихле и его свойства. Сопряжённость с мультиномиальным распределением.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
  • Регуляризованный EM-алгоритм.
  • Альтернативный вывод формул ARTM.

Эксперименты с PLSA и LDA.

  • Неустойчивость на синтетических данных.
  • Неустойчивость на реальных данных.
  • Переобучение и робастность.

Байесовское обучение тематических моделей

Презентация: (PDF, 1,5 МБ) — обновление 13.04.2018.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Дополнительный материал:

Мультимодальные тематические модели

Презентация: (PDF, 1,4 МБ) — обновление 22.03.2018.

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные и гиперграфовые модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Тематические модели совстречаемости слов

Презентация: (PDF, 1,9 МБ) — обновление 29.03.2018.

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Тематическая сегментация

Презентация: (PDF, 2,0 МБ) — обновление 16.04.2018.

Модели связного текста.

  • Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
  • Контекстная документная кластеризация (CDC).
  • Метод лексических цепочек.

Тематическая сегментация.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации. Оптимизация параметров модели TopicTiling.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Анализ зависимостей

Презентация: (PDF, 6,7 МБ) — обновление 01.05.2018.

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Визуализация и суммаризация тем

Презентация: (PDF, 6,7 МБ) — обновление 01.05.2018.

Средства визуализации тематических моделей.

  • Визуализация матричного разложения.
  • Визуализация кластерных структур, динамики, иерархий, сегментации.
  • Проект VisARTM.

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.


Литература

  1. Воронцов К. В. Обзор вероятностных тематических моделей. 2019.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
  6. Янина А. О., Воронцов К. В. Мультимодальные тематические модели для разведочного поиска в коллективном блоге // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.


Ссылки

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Личные инструменты