Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Литература)
Текущая версия (12:10, 15 декабря 2023) (править) (отменить)
(→Именование и суммаризация тем)
 
(141 промежуточная версия не показана)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическое моделирование рассматривается как ключевая математическая технология перспективных информационно-поисковых систем нового поколения, основанных на парадигме семантического разведочного поиска (exploratory search). Рассматриваются также прикладные задачи классификации, сегментации и суммаризации текстов, задачи анализа данных социальных сетей и рекомендательных систем. Развивается многокритериальный подход к построению композитных тематических моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Рассматриваются способы измерения и оптимизации важнейших свойств тематических моделей — правдоподобия, интерпретируемости, устойчивости, полноты. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
-
'''Материалы для первого ознакомления:'''
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
:''Обзорная презентация:'' [[Media:Voron-PTM-short.pdf|(PDF, 4,4 МБ)]] {{важно|— обновление 14.03.2016}}.
+
-
:''Видеолекция на ПостНауке:'' [http://postnauka.ru/video/61910 Разведочный информационный поиск].
+
'''Основной материал:'''
'''Основной материал:'''
-
:''[[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]'' {{важно|— обновление 14.07.2017}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 26.06.2023}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
= Программа курса =
= Программа курса =
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
== Задача тематического моделирования ==
-
 
+
Презентация: [[Media:Voron23ptm-intro.pdf|(PDF, 2,8 МБ)]] {{важно|— обновление 21.09.2023}}.
-
* Файл с описанием заданий: [[Media:voron-2017-task-PTM.pdf|voron-2017-task-PTM.pdf]]
+
[https://www.youtube.com/watch?v=k0XHeu4MeBo&list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
 
+
-
== Введение ==
+
-
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 11.02.2017}}.
+
'''Цели и задачи тематического моделирования.'''
'''Цели и задачи тематического моделирования.'''
-
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]] (topic modeling).
+
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
-
* Основные предположения. Гипотеза «мешка слов» (bag-of-words). Методы предварительной обработки текстов.
+
* Вероятностная модель порождения текста.
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости.
+
-
* [[Порождающая модель]] документа как вероятностной смеси тем.
+
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
-
'''Математический инструментарий.'''
+
-
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
+
-
* [[Условия Каруша–Куна–Таккера]].
+
-
* Униграммные модели коллекции и документа.
+
-
'''Тематическая модель PLSA.'''
+
-
* [[Вероятностный латентный семантический анализ]] (probabilistic latent semantic analysis, PLSA).
+
-
* Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
== Обзор базовых инструментов ==
+
'''Аддитивная регуляризация тематических моделей.'''
-
''Александр Романенко''.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
 +
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
 +
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
 +
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
 +
* Мультимодальные тематические модели.
 +
 
 +
'''Практика тематического моделирования.'''
 +
* Проект с открытым кодом BigARTM.
 +
* Этапы решения практических задач.
 +
* Методы предварительной обработки текста.
 +
* Датасеты и практические задания по курсу.
 +
 
 +
== Проект «Тематизатор» ==
 +
Презентация: [[Media:Voron23ptm-project.pdf|(PDF, 6,2 МБ)]] {{важно|— обновление 21.09.2023}}.
 +
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 
 +
'''Визуализация тематических моделей'''
 +
* Концепция distant reading.
 +
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
 +
* Спектр тем.
 +
* Визуализация матричного разложения.
 +
 
 +
'''Примеры прикладных задач'''
 +
* Поиск этно-релевантных тем в социальных сетях.
 +
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Проекты Школы Прикладного Анализа Данных.
 +
 
 +
'''Анализ требований к «Тематизатору»'''
 +
* Функциональные требования.
 +
* Требования к интерпретируемости.
 +
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
 +
* Этапизация работ.
 +
 
 +
== Онлайновый ЕМ-алгоритм и регуляризаторы ==
 +
Презентация: [[Media:Voron23ptm-regular.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 21.09.2023}}.
 +
[https://www.youtube.com/live/wq7MlvWph3s?si=38czCY8IbWNYSUVw Видеозапись 2022 г.] Дополнение:
 +
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись 2023 г.]
 +
 
 +
'''Онлайновый ЕМ-алгоритм.'''
 +
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
 +
* Оффлайновый регуляризованный EM-алгоритм.
 +
* Онлайновый пакетный мультимодальный регуляризованный EM-алгоритм. Распараллеливание.
 +
* Как подбирать коэффициенты регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
 +
 
 +
'''Часто используемые регуляризаторы.'''
 +
* Сглаживание и разреживание.
 +
* Частичное обучение.
 +
* Декоррелирование тем.
 +
 
 +
'''Проблема определения числа тем.'''
 +
* Разреживающий регуляризатор для отбора тем.
 +
* Эксперименты на синтетических и реальных данных.
 +
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
 +
 
 +
== Разведочный информационный поиск ==
 +
Презентация: [[Media:Voron23ptm-exp.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/GzjQHdWYYBI?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 
 +
'''Разведочный информационный поиск.'''
 +
* Концепция разведочного поиска.
 +
* Особенности разведочного поиска.
 +
* Поисково-рекомендательная система SciSarch.AI
 +
 
 +
'''Иерархические тематические модели.'''
 +
* Иерархии тем. Послойное построение иерархии.
 +
* Регуляризаторы для разделения тем на подтемы.
 +
* Псевдодокументы родительских тем.
 +
* Модальность родительских тем.
 +
 
 +
'''Эксперименты с тематическим поиском.'''
 +
* Методика измерения качества поиска.
 +
* Тематическая модель для документного поиска.
 +
* Оптимизация гиперпараметров.
 +
 
 +
== Оценивание качества тематических моделей ==
 +
Презентация: [[Media:Voron23ptm-quality.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/udJ3qsMkwJc?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 
 +
'''Измерение качества тематических моделей.'''
 +
* Правдоподобие и перплексия.
 +
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
 +
* Разреженность и различность.
 +
 
 +
'''Эксперименты с регуляризацией.'''
 +
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
 +
* Комбинирование регуляризаторов, эмпирические рекомендации.
 +
* Задача планирования экспериментов для подбора гиперпараметров.
 +
 
 +
'''Проверка гипотезы условной независимости.'''
 +
* Статистики на основе KL-дивергенции и их обобщения.
 +
* Регуляризатор семантической однородности.
 +
* Применение статистических тестов условной независимости.
 +
 
 +
== BigARTM и базовые инструменты ==
 +
''Мурат Апишев''.
Презентация: [[Media:Base_instruments.zip‎|(zip, 0,6 МБ)]] {{важно|— обновление 17.02.2017}}.
Презентация: [[Media:Base_instruments.zip‎|(zip, 0,6 МБ)]] {{важно|— обновление 17.02.2017}}.
 +
[https://youtu.be/AIN00vWOJGw Видеозапись]
'''Предварительная обработка текстов'''
'''Предварительная обработка текстов'''
-
* Парсинг "сырых" данных.
+
* Парсинг «сырых» данных.
* Токенизация, стемминг и лемматизация.
* Токенизация, стемминг и лемматизация.
* Выделение энграмм.
* Выделение энграмм.
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
 +
'''Библиотека BigARTM'''
'''Библиотека BigARTM'''
* Методологические рекоммендации по проведению экспериментов.
* Методологические рекоммендации по проведению экспериментов.
Строка 54: Строка 140:
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
 
-
== Аддитивная регуляризация тематических моделей ==
 
-
Презентация: [[Media:Voron17ptm2.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление 10.03.2017}}.
 
-
 
-
'''Регуляризаторы и модальности'''.
 
-
* [[Аддитивная регуляризация тематических моделей]]. Линейные композиции регуляризаторов.
 
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
 
-
* Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.
 
-
* Оффлайновый регуляризованный EM-алгоритм.
 
-
* Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
 
-
'''Модель LDA'''.
 
-
* [[Латентное размещение Дирихле]] (latent Dirichlet allocation, LDA).
 
-
* Некоторые свойства [[Распределение Дирихле|распределения Дирихле]].
 
-
* Теорема о необходимом условии максимума апостериорной вероятности для LDA.
 
-
* Оптимизация гиперпараметров, метод Минка.
 
-
'''Проекты, задания, открытые проблемы'''
 
-
* Прикладные проекты по тематическому моделированию
 
-
* Примеры заданий по спецкурсу
 
-
* Исследовательские задачи и открытые проблемы
 
'''Дополнительный материал:'''
'''Дополнительный материал:'''
-
* ''Потапенко А. А.'' [[Media:potapenko13online.pdf|Отчет по серии экспериментов с онлайновым алгоритмом]]. 2013.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 17.03.2017}}.
 +
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
 +
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
== Сглаживание, разреживание и декоррелирование тем ==
+
== Теория ЕМ-алгоритма ==
-
Презентация: [[Media:Voron17ptm4.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 10.03.2017}}.
+
Презентация: [[Media:Voron23ptm-emlda.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/svQTYv0X2cs?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Эксперименты по устойчивости'''.
+
'''Классические модели PLSA, LDA.'''
-
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
+
* Модель PLSA.
-
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
'''Регуляризаторы разреживания, сглаживания, декоррелирования и отбора тем.'''
+
* Максимизация апостериорной вероятности для модели LDA.
-
* Регуляризаторы сглаживания и разреживания.
+
-
* Частичное обучение как разновидность сглаживания.
+
-
* Разделение тем на предметные и фоновые. Автоматическое выделение слов общей лексики.
+
-
* Регуляризатор декоррелирования тем.
+
-
* Разреживающий регуляризатор отбора тем.
+
-
* Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
+
-
* Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем.
+
-
'''Исследование регуляризатора отбора тем.'''
+
-
* Эксперименты с полусинтетическими данными.
+
-
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
+
-
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
+
-
== Регуляризация тематических моделей в BigARTM ==
+
'''Общий EM-алгоритм.'''
-
''Мурат Апишев''.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 17.03.2017}}.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
-
[https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
+
* Альтернативный вывод формул ARTM.
-
'''Напоминания.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Задача ТМ, аддитивная регуляризация, мультимодальные модели.
+
* Проблема неустойчивости (на синтетических данных).
-
* Библиотека BigARTM.
+
* Проблема неустойчивости (на реальных данных).
-
'''Эксперименты в BigARTM.'''
+
* Проблема переобучения и робастные модели.
-
* Стратегии регуляризации.
+
-
* Возможности и стратегии использования регуляризаторов сглаживания/разреживания и декорреляции тем.
+
-
* Рекомендации по подбору параметров при построении моделей.
+
-
* Практические советы и оценивание моделей.
+
-
'''Применение АРТМ для решения реальной прикладной задачи.'''
+
-
* Работа с реальными данными социальных сетей.
+
-
* Настройка моделей с несколькими регуляризаторами и модальностями.
+
-
'''Дополнительный материал:'''
+
== Байесовское обучение модели LDA ==
-
* ''Александр Романенко''. Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
+
Презентация: [[Media:Voron23ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/bPUHRCGJMow?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
== Байесовское обучение тематических моделей ==
+
'''Вариационный байесовский вывод.'''
-
Презентация: [[Media:Voron-PTM-Bayes.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 24.03.2017}}.
+
* Основная теорема вариационного байесовского вывода.
-
 
+
-
'''EM-алгоритм.'''
+
-
* Задачи оценивания скрытых параметров вероятностной модели.
+
-
* EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
+
-
* EM-алгоритм для модели PLSA.
+
-
* EM-алгоритм с регуляризацией.
+
-
'''Методы оценивания параметров в модели LDA.'''
+
-
* Модель LDA. Свойства распределения Дирихле.
+
-
* Максимизация апостериорной вероятности для модели LDA.
+
* [[Вариационный байесовский вывод]] для модели LDA.
* [[Вариационный байесовский вывод]] для модели LDA.
-
* [[Сэмплирование Гиббса]] для модели LDA. Сопряжённые распределения.
+
* VB ЕМ-алгоритм для модели LDA.
-
* Оптимизация гиперпараметров распределения Дирихле.
+
 
-
'''Языки описания вероятностных порождающих моделей.'''
+
'''Сэмплирование Гиббса.'''
-
* Графическая плоская нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
+
* Основная теорема о сэмплировании Гиббса.
-
* Псевдокод порождающего процесса (genarative story).
+
* [[Сэмплирование Гиббса]] для модели LDA.
-
* Постановки оптимизационных задач.
+
* GS ЕМ-алгоритм для модели LDA.
 +
 
 +
'''Замечания о байесовском подходе.'''
 +
* Оптимизация гиперпараметров в LDA.
 +
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
 +
* Сравнение байесовского подхода и ARTM.
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
 +
 +
== Тематические модели сочетаемости слов ==
 +
Презентация: [[Media:Voron23ptm-cooc.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/khDdc6OvEHc?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 +
'''Мультиграммные модели.'''
 +
* Модель BigramTM.
 +
* Модель Topical N-grams (TNG).
 +
* Мультимодальная мультиграммная модель.
 +
 +
'''Автоматическое выделение терминов.'''
 +
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
 +
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
 +
 +
'''Тематические модели дистрибутивной семантики.'''
 +
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
 +
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
 +
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
* Регуляризаторы когерентности.
'''Дополнительный материал:'''
'''Дополнительный материал:'''
-
* ''Потапенко А. А.'' [[Media:potapenko16BayesTM.pdf|Байесовское обучение тематических моделей]]. 2016.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
== Тематические модели для анализа зависимостей ==
+
== Анализ зависимостей ==
-
Презентация: [[Media:Voron-PTM-6.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 31.03.2017}}.
+
Презентация: [[Media:Voron23ptm-rel.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Классификация и регрессия.'''
+
'''Зависимости, корреляции, связи.'''
-
* Тематическая модель классификации.
+
* Тематические модели классификации и регрессии.
-
* Пример: [[Технология информационного анализа электрокардиосигналов]].
+
-
* Тематическая модель регрессии.
+
-
'''Связи и корреляции.'''
+
* Модель коррелированных тем CTM (Correlated Topic Model).
* Модель коррелированных тем CTM (Correlated Topic Model).
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
 +
'''Время и пространство.'''
'''Время и пространство.'''
-
* Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Пример: анализ коллекции пресс-релизов.
+
* Регуляризаторы времени.
-
* Регуляризаторы геолокации для пространственных тематических моделей.
+
* Обнаружение и отслеживание тем.
 +
* Гео-пространственные модели.
 +
 
'''Социальные сети.'''
'''Социальные сети.'''
 +
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
* Регуляризаторы для выявления социальных ролей пользователей.
* Регуляризаторы для выявления социальных ролей пользователей.
== Мультимодальные тематические модели ==
== Мультимодальные тематические модели ==
-
Презентация: [[Media:Voron17ptm8.pdf|(PDF,&nbsp;1,9&nbsp;МБ)]] {{важно|— обновление 07.04.2017}}.
+
Презентация: [[Media:Voron23ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
'''Мультиязычные тематические модели.'''
'''Мультиязычные тематические модели.'''
Строка 163: Строка 237:
* Регуляризаторы для учёта двуязычных словарей.
* Регуляризаторы для учёта двуязычных словарей.
* Кросс-язычный информационный поиск.
* Кросс-язычный информационный поиск.
-
'''Иерархические модели.'''
+
 
-
* Иерархические модели. Регуляризаторы для построения иерархий.
+
'''Трёхматричные модели.'''
-
* Оценивание качества и визуализация тематических иерархий.
+
-
'''Трёхматричные и гиперграфовые модели.'''
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
* Модели трёхматричных разложений. Понятие порождающей модальности.
* Автор-тематическая модель (author-topic model).
* Автор-тематическая модель (author-topic model).
 +
* Модель для выделения поведений объектов в видеопотоке.
 +
 +
'''Тематические модели транзакционных данных.'''
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
 +
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
== Тематические модели совстречаемости слов ==
+
== Моделирование локального контекста ==
-
Презентация: [[Media:Voron17ptm9.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 15.04.2017}}.
+
Презентация: [[Media:Voron23ptm-segm.pdf|(PDF,&nbsp;2,2&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/KHamaJ6Zf6o?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Мультиграммные модели.'''
+
'''Тематическая сегментация.'''
-
* Модель BigramTM.
+
* Метод TopicTiling. Критерии определения границ сегментов.
-
* Модель Topical N-grams (TNG).
+
* Критерии качества сегментации.
-
* Мультимодальная мультиграммная модель.
+
* Оптимизация параметров модели TopicTiling.
-
'''Автоматическое выделение терминов.'''
+
-
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
+
-
* Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
+
-
* Критерии тематичности фраз.
+
-
'''Тематические модели дистрибутивной семантики.'''
+
-
* Дистрибутивная гипотеза.
+
-
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
+
-
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
+
-
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
+
-
* Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
+
-
* Регуляризаторы когерентности.
+
-
'''Дополнительный материал:'''
+
'''Тематическое моделирование связного текста'''
-
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
 +
* Локализация E-шага. Сравнение с моделью внимания self-attention.
 +
* Двунаправленная тематическая модель контекста.
-
== Тематическая сегментация и суммаризация ==
+
'''Позиционный регуляризатор в ARTM.'''
-
Презентация: [[Media:Voron17ptm10.pdf|(PDF,&nbsp;2,0&nbsp;МБ)]] {{важно|— обновление 05.05.2017}}.
+
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
 +
 
 +
== Именование и суммаризация тем ==
 +
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF,&nbsp;3,0&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/nShxhkPbGWY Видеозапись]
-
'''Модели связного текста.'''
 
-
* Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
 
-
* Контекстная документная кластеризация (CDC).
 
-
* Метод лексических цепочек.
 
-
'''Тематическая сегментация.'''
 
-
* Метод TopicTiling. Критерии определения границ сегментов.
 
-
* Критерии качества сегментации. Оптимизация параметров модели TopicTiling.
 
'''Методы суммаризации текстов.'''
'''Методы суммаризации текстов.'''
-
* Автоматическая суммаризация текстов: задачи и подходы.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
* Релаксационный метод для многокритериальной дискретной оптимизации.
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
* Тематическая модель предложений для суммаризации.
* Тематическая модель предложений для суммаризации.
-
* Семейство критериев качества суммаризации ROUGE.
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
<!--Задача автоматического именования тем.-->
+
 
-
<!--'''Позиционный регуляризатор в ARTM.'''
+
'''Автоматическое именование тем (topic labeling).'''
-
* Пост-обработка Е-шага. Формулы М-шага. Интерпретация текста как пучка временных рядов.
+
* Формирование названий-кандидатов.
-
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
+
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
 +
 
 +
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
 +
 
 +
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
 +
 
 +
'''Рекомендуемая структура отчёта об исследовании:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
 +
 
 +
'''Примеры отчётов:'''
 +
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
 +
 
 +
=Литература=
 +
 
 +
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2023.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
 +
 
 +
'''Дополнительная литература'''
 +
 
 +
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
 +
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
 +
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
 +
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 +
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 +
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
-->
-->
-
== Примеры приложений тематического моделирования ==
+
= Ссылки =
-
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
+
* [[Тематическое моделирование]]
 +
* [[Аддитивная регуляризация тематических моделей]]
 +
* [[Коллекции документов для тематического моделирования]]
 +
* [[BigARTM]]
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
-
* Разведочный информационный поиск (exploratory search). '''[https://www.youtube.com/watch?v=frLW8UVp_Ik Видео]'''.
+
'''Материалы для первого ознакомления:'''
-
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
+
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
-
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
+
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
-
<!---
+
= Подстраницы =
-
== Обзор задач и моделей ==
+
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
-
Презентация: [[Media:Voron-PTM-2.pdf|(PDF,&nbsp;8,3&nbsp;МБ)]] {{важно|— обновление 27.02.2016}}.
+
 
 +
[[Категория:Учебные курсы]]
 +
 
 +
 
 +
<!---------------------------------------------------
 +
 
 +
'''Модели связного текста.'''
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 
 +
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
 +
 
 +
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
 +
 
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
-
'''Обзор задач и моделей.'''
 
-
* Разновидности тематических моделей.
 
-
* Средства визуализации тематических моделей.
 
-
* Разведочный информационный поиск (exploratory search) и требования к тематическим моделям. '''[https://www.youtube.com/watch?v=frLW8UVp_Ik Видео]'''.
 
'''Примеры приложений тематического моделирования.'''
'''Примеры приложений тематического моделирования.'''
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
Строка 235: Строка 384:
* Разведочный поиск в коллективном блоге.
* Разведочный поиск в коллективном блоге.
* Сценарный анализ записей разговоров контактного центра.
* Сценарный анализ записей разговоров контактного центра.
-
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
Строка 241: Строка 389:
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
'''Инициализация.'''
 
-
* Случайная инициализация. Инициализация по документам.
 
-
* Контекстная документная кластеризация.
 
-
* Поиск якорных слов. Алгоритм Ароры.
 
'''Траектория регуляризации.'''
'''Траектория регуляризации.'''
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
Строка 251: Строка 395:
* Подходы к скаляризации критериев.
* Подходы к скаляризации критериев.
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
'''Тесты адекватности.'''
'''Тесты адекватности.'''
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
Строка 264: Строка 409:
* Внутренние и внешние критерии качества.
* Внутренние и внешние критерии качества.
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
''' Оценивание качества темы.'''
''' Оценивание качества темы.'''
* Лексическое ядро темы: множество типичных терминов темы.
* Лексическое ядро темы: множество типичных терминов темы.
Строка 271: Строка 417:
* Конфликтность темы: близость темы к другим темам.
* Конфликтность темы: близость темы к другим темам.
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
'''Устойчивость и полнота.'''
'''Устойчивость и полнота.'''
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
'''Критерии качества классификации и ранжирования.'''
'''Критерии качества классификации и ранжирования.'''
* Полнота, точность и F-мера в задачах классификации и ранжирования.
* Полнота, точность и F-мера в задачах классификации и ранжирования.
* Критерии качества ранжирования: MAP, DCG, NDCG.
* Критерии качества ранжирования: MAP, DCG, NDCG.
* Оценка качества тематического поиска документов по их длинным фрагментам.
* Оценка качества тематического поиска документов по их длинным фрагментам.
-
-->
 
-
=Литература=
 
-
 
-
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. {{важно|— обновление 31.07.2017}}.
 
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 
-
# Янина А. О., Воронцов К. В. [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 
-
<!--
 
-
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 
-
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
 
-
# ''Vorontsov K. V., Potapenko A. A.'' [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 
-
 
-
'''Дополнительная литература'''
 
-
 
-
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
 
-
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
 
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
 
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
-
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 
-
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 
-
-->
 
-
 
-
= Ссылки =
 
-
* [[Тематическое моделирование]]
 
-
* [[Аддитивная регуляризация тематических моделей]]
 
-
* [[Коллекции документов для тематического моделирования]]
 
-
* [[BigARTM]]
 
-
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 
-
 
-
= Подстраницы =
 
-
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
 
-
 
-
[[Категория:Учебные курсы]]
 
-
 
-
<!---
 
* Вывод M-шага для негладкого регуляризатора.
* Вывод M-шага для негладкого регуляризатора.
* Тематическая модель текста и изображений. Задача аннотирования изображений.
* Тематическая модель текста и изображений. Задача аннотирования изображений.
-
* Модель для выделения поведений объектов в видеопотоке.
+
-->
-
 
+
-
'''Автоматическое извлечение терминов.'''
+
-
* Синтаксическая, статистическая и тематическая фильтрация фраз. Задача редукции словаря (vocabulary reduction).
+
-
* Морфологический и микро-синтаксический анализ текста для первичной фильтрации фраз.
+
-
* Статистическая фильтрация фраз. Критерий коллокации CValue. Совмещение критериев TF-IDF и CValue.
+
-
* Тематическая фильтрация фраз.
+
-
* Методы оценивания качества фильтрации.
+
-
 
+
-
'''Модели дистрибутивной семантики.'''
+
-
* Векторные модели слов (word embedding).
+
-
* Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
+
-
* Гибрид тематической модели и векторной модели word2vec.
+
-
* Связь word2vec с регуляризатором когерентности.
+
-
* Эксперименты с гибридной моделью W2V-TM.
+
-
 
+
-
== Сегментация, аннотирование, суммаризация, именование тем ==
+
-
Презентация: [[Media:Voron-PTM-9.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
+
-
 
+
-
'''Тематическая сегментация.'''
+
-
* Тематические модели сегментации (segmentation topic model).
+
-
* Тематические модели предложений (sentence topic model).
+
-
'''Аннотирование и суммаризация.'''
+
-
* Аннотирование документа. Выделение тематичных слов и фраз (предложений). Оценка ценности фразы.
+
-
* Суммаризация текстовой коллекции.
+
-
* Суммаризация темы. Кластеризация и ранжирование тематичных фраз.
+
-
* Автоматическое именование тем (topic labeling).
+
-
--->
+

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 2,8 МБ) — обновление 21.09.2023. Видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.
  • Мультимодальные тематические модели.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 21.09.2023. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Онлайновый ЕМ-алгоритм и регуляризаторы

Презентация: (PDF, 1,3 МБ) — обновление 21.09.2023. Видеозапись 2022 г. Дополнение: Видеозапись 2023 г.

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый пакетный мультимодальный регуляризованный EM-алгоритм. Распараллеливание.
  • Как подбирать коэффициенты регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Разведочный информационный поиск

Презентация: (PDF, 2,5 МБ) — обновление 06.12.2023. Видеозапись

Разведочный информационный поиск.

  • Концепция разведочного поиска.
  • Особенности разведочного поиска.
  • Поисково-рекомендательная система SciSarch.AI

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 1,3 МБ) — обновление 06.12.2023. Видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Эксперименты с регуляризацией.

  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.
  • Задача планирования экспериментов для подбора гиперпараметров.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Теория ЕМ-алгоритма

Презентация: (PDF, 1,3 МБ) — обновление 06.12.2023. Видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,5 МБ) — обновление 06.12.2023. Видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление 06.12.2023. Видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 1,7 МБ) — обновление 06.12.2023. Видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 2,7 МБ) — обновление 06.12.2023. Видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Моделирование локального контекста

Презентация: (PDF, 2,2 МБ) — обновление 06.12.2023. Видеозапись

Тематическая сегментация.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Тематическое моделирование связного текста

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага. Сравнение с моделью внимания self-attention.
  • Двунаправленная тематическая модель контекста.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Именование и суммаризация тем

Презентация: (PDF, 3,0 МБ) — обновление 06.12.2023. Видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2023.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты