Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Задача тематического моделирования)
Строка 10: Строка 10:
'''Основной материал:'''
'''Основной материал:'''
-
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация]]. {{важно|— обновление 27.09.2021}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 17.01.2023}}.
= Программа курса =
= Программа курса =
== Задача тематического моделирования ==
== Задача тематического моделирования ==
-
Презентация: [[Media:Voron21ptm-intro.pdf|(PDF, 2,8 МБ)]] {{важно|— обновление 14.02.2023}}.
+
Презентация: [[Media:Voron23ptm-intro.pdf|(PDF, 2,8 МБ)]] {{важно|— обновление 14.02.2023}}.
[https://youtu.be/sBdFG8Rl-i8?t=159 Видеозапись]
[https://youtu.be/sBdFG8Rl-i8?t=159 Видеозапись]
Строка 36: Строка 36:
* Методы предварительной обработки текста.
* Методы предварительной обработки текста.
* Датасеты и практические задания по курсу.
* Датасеты и практические задания по курсу.
 +
 +
== Проект «Тематизатор» ==
 +
Презентация: [[Media:Voron23ptm-project.pdf|(PDF, 6,2 МБ)]] {{важно|— обновление 15.02.2023}}.
 +
 +
'''Визуализация тематических моделей'''
 +
* Концепция distant reading.
 +
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
 +
* Спектр тем.
 +
* Визуализация матричного разложения.
 +
 +
'''Примеры прикладных задач'''
 +
* Поиск этно-релевантных тем в социальных сетях.
 +
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Проекты Школы Прикладного Анализа Данных.
 +
 +
'''Анализ требований к «Тематизатору»'''
 +
* Функциональные требования.
 +
* Требования к интерпретируемости.
 +
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
 +
* Этапизация работ.
== Онлайновый ЕМ-алгоритм и регуляризаторы ==
== Онлайновый ЕМ-алгоритм и регуляризаторы ==
-
Презентация: [[Media:Voron21ptm-regular.pdf|(PDF, 1,0 МБ)]] {{важно|— обновление 18.09.2021}}.
+
Презентация: [[Media:Voron23ptm-regular.pdf|(PDF, 1,0 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/O2IYF2Mg6Cw?t=319 Видеозапись]
[https://youtu.be/O2IYF2Mg6Cw?t=319 Видеозапись]
Строка 61: Строка 82:
== Разведочный информационный поиск ==
== Разведочный информационный поиск ==
-
Презентация: [[Media:Voron21ptm-exp.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление 30.09.2021}}.
+
Презентация: [[Media:Voron23ptm-exp.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/Jb9PbWrolX8?t=26 Видеозапись]
[https://youtu.be/Jb9PbWrolX8?t=26 Видеозапись]
Строка 81: Строка 102:
== Оценивание качества тематических моделей ==
== Оценивание качества тематических моделей ==
-
Презентация: [[Media:Voron21ptm-quality.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 30.09.2021}}.
+
Презентация: [[Media:Voron21ptm-quality.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/LxBMUj1iCx8 Видеозапись]
[https://youtu.be/LxBMUj1iCx8 Видеозапись]
Строка 122: Строка 143:
== Теория ЕМ-алгоритма ==
== Теория ЕМ-алгоритма ==
-
Презентация: [[Media:Voron21mipt-ptm-emlda.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 18.09.2021}}.
+
Презентация: [[Media:Voron23ptm-emlda.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/R3QLN0-zlnw Видеозапись]
[https://youtu.be/R3QLN0-zlnw Видеозапись]
Строка 141: Строка 162:
== Байесовское обучение модели LDA ==
== Байесовское обучение модели LDA ==
-
Презентация: [[Media:Voron21ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 14.10.2021}}.
+
Презентация: [[Media:Voron23ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/y-05-cbiUsg Видеозапись]
[https://youtu.be/y-05-cbiUsg Видеозапись]
Строка 161: Строка 182:
== Тематические модели сочетаемости слов ==
== Тематические модели сочетаемости слов ==
-
Презентация: [[Media:PTM21-7-cooc.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 21.10.2021}}.
+
Презентация: [[Media:Voron23ptm-cooc.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/Gww_fbcb0SM Видеозапись]
[https://youtu.be/Gww_fbcb0SM Видеозапись]
Строка 186: Строка 207:
== Анализ зависимостей ==
== Анализ зависимостей ==
-
Презентация: [[Media:Voron21ptm-rel.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 18.09.2021}}.
+
Презентация: [[Media:Voron23ptm-rel.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/16CnS99t8Rc Видеозапись]
[https://youtu.be/16CnS99t8Rc Видеозапись]
Строка 205: Строка 226:
== Мультимодальные тематические модели ==
== Мультимодальные тематические модели ==
-
Презентация: [[Media:Voron21ptm-modal.pdf|(PDF, 2,7 МБ)]] {{важно|— обновление 18.09.2021}}.
+
Презентация: [[Media:Voron23ptm-modal.pdf|(PDF, 2,7 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/Ux868k__lXA Видеозапись]
[https://youtu.be/Ux868k__lXA Видеозапись]
Строка 227: Строка 248:
== Моделирование локального контекста ==
== Моделирование локального контекста ==
-
Презентация: [[Media:Voron21ptm-segm.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление 18.09.2021}}.
+
Презентация: [[Media:Voron23ptm-segm.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/XNCZr7Pyr0k Видеозапись]
[https://youtu.be/XNCZr7Pyr0k Видеозапись]
Строка 246: Строка 267:
== Суммаризация и визуализация ==
== Суммаризация и визуализация ==
-
Презентация: [[Media:Voron20ptm-sum.pdf|(PDF, 3,0 МБ)]] {{важно|— обновление 25.11.2020}}.
+
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF, 3,0 МБ)]] {{важно|— обновление ??.??.2023}}.
[https://youtu.be/bfAG-ZZDz3Q Видеозапись]
[https://youtu.be/bfAG-ZZDz3Q Видеозапись]
-
 
-
Презентация: [[Media:Voron20ptm-vis.pdf|(PDF, 10,1 МБ)]] {{важно|— обновление 11.01.2021}}.
 
-
[https://youtu.be/xc33THjavwk Видеозапись]
 
'''Методы суммаризации текстов.'''
'''Методы суммаризации текстов.'''
Строка 273: Строка 291:
Условием сдачи курса является выполнение индивидуальных практических заданий.
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
'''Рекомендуемая структура отчёта об исследовании по индивидуальному заданию:'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
* Описание простого решения baseline
* Описание простого решения baseline

Версия 17:36, 14 февраля 2023

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 2,8 МБ) — обновление 14.02.2023. Видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.
  • Мультимодальные тематические модели.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 15.02.2023.

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Онлайновый ЕМ-алгоритм и регуляризаторы

Презентация: (PDF, 1,0 МБ) — обновление ??.??.2023. Видеозапись

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый пакетный мультимодальный регуляризованный EM-алгоритм. Распараллеливание.
  • Как подбирать коэффициенты регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Разведочный информационный поиск

Презентация: (PDF, 2,5 МБ) — обновление ??.??.2023. Видеозапись

Разведочный информационный поиск.

  • Концепция разведочного поиска.
  • Особенности разведочного поиска.
  • Поисково-рекомендательная система SciSarch.AI

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 1,3 МБ) — обновление ??.??.2023. Видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность.
  • Разреженность и различность.

Эксперименты с регуляризацией.

  • Комбинирование регуляризаторов сглаживания, разреживания, декоррелирования и отбора тем.
  • Проблема несбалансированности тем.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Теория ЕМ-алгоритма

Презентация: (PDF, 1,3 МБ) — обновление ??.??.2023. Видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,5 МБ) — обновление ??.??.2023. Видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление ??.??.2023. Видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 1,7 МБ) — обновление ??.??.2023. Видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 2,7 МБ) — обновление ??.??.2023. Видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Моделирование локального контекста

Презентация: (PDF, 2,5 МБ) — обновление ??.??.2023. Видеозапись

Тематическая сегментация.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Тематическое моделирование связного текста

  • Тематизация фрагментов текста для суммаризации и именования тем.
  • Тематическое моделирование без матрицы \Theta.
  • Двунаправленная тематическая модель контекста.

Суммаризация и визуализация

Презентация: (PDF, 3,0 МБ) — обновление ??.??.2023. Видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Визуализация тематических моделей

  • Концепция distant reading.
  • Визуализация для научного разведочного поиска. Тематическая карта.
  • Спектр тем.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Визуализация матричного разложения.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Обзор вероятностных тематических моделей. 2021.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Личные инструменты