Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(программа 2019)
(уточнение)
(21 промежуточная версия не показана)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 4 и 6 курсов на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
 +
 +
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
'''Материалы для первого ознакомления:'''
'''Материалы для первого ознакомления:'''
Строка 14: Строка 16:
'''Основной материал:'''
'''Основной материал:'''
-
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация]]. {{важно|— обновление 05.02.2019}}.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: обзор моделей и аддитивная регуляризация]]. {{важно|— обновление 12.12.2019}}.
-
 
+
-
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
+
= Программа курса =
= Программа курса =
-
Условием сдачи спецкурса является выполнение индивидуальных практических заданий.
+
== Задача тематического моделирования ==
-
 
+
Презентация: [[Media:Voron19mipt-ptm-intro.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 12.09.2019}}.
-
== Введение ==
+
-
Презентация: [[Media:Voron19ptm-intro.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 14.02.2019}}.
+
'''Цели и задачи тематического моделирования.'''
'''Цели и задачи тематического моделирования.'''
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
-
* Вероятностные модели порождения текста.
+
* Вероятностная модель порождения текста.
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
 +
'''Аддитивная регуляризация тематических моделей.'''
'''Аддитивная регуляризация тематических моделей.'''
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
Строка 35: Строка 34:
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
* Мультимодальные тематические модели.
* Мультимодальные тематические модели.
 +
'''Библиотека [[BigARTM]].'''
'''Библиотека [[BigARTM]].'''
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
Строка 41: Строка 41:
* Проект с открытым кодом BigARTM.
* Проект с открытым кодом BigARTM.
-
== Аддитивная регуляризация тематических моделей ==
+
== Разведочный информационный поиск ==
-
Презентация: [[Media:Voron19ptm-artm.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 14.02.2019}}.
+
Презентация: [[Media:Voron19mipt-ptm-eploreg.pdf|(PDF, 2,4 МБ)]] {{важно|— обновление 12.09.2019}}.
 +
 
 +
'''Разведочный информационный поиск.'''
 +
* Концепция разведочного поиска.
 +
* Особенности разведочного поиска.
 +
* Разведочный поиск как рекомендательная система.
'''Часто используемые регуляризаторы.'''
'''Часто используемые регуляризаторы.'''
-
* Регуляризаторы сглаживания и разреживания.
+
* Сглаживание, разреживание, декоррелирование.
-
* Регуляризатор декоррелирования.
+
* Модальности.
-
* Регуляризатор отбора тем.
+
* Иерархии тем. Послойное построение иерархии. Псевдодокументы родительских тем.
-
'''Внутренние метрики качества модели.'''
+
 
-
* Правдоподобие и перплексия.
+
'''Эксперименты с тематическим поиском.'''
 +
* Методика измерения качества поиска.
 +
* Тематическая модель для документного поиска.
 +
* Оптимизация гиперпараметров.
 +
 
 +
== Оценивание качества тематических моделей ==
 +
Презентация: [[Media:Voron19mipt-ptm-quality.pdf|(PDF, 1,8 МБ)]] {{важно|— обновление 21.09.2019}}.
 +
 
 +
'''Измерение качества тематических моделей.'''
 +
* Правдоподобие и перплексия.
* Интерпретируемость и когерентность.
* Интерпретируемость и когерентность.
* Разреженность и различность.
* Разреженность и различность.
-
'''Эксперименты с регуляризаторами.'''
+
 
-
* Сглаживание, разреживание, декоррелирование.
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Существует ли оптимальное число тем?
+
* Проблема переобучения и робастные модели.
-
* Семантическая однородность тем.
+
* Проблема неустойчивости (на синтетических данных).
 +
* Проблема неустойчивости (на реальных данных).
 +
 
 +
'''Эксперименты с регуляризацией.'''
 +
* Проблема определения числа тем.
 +
* Проблема несбалансированности тем.
 +
* Комбинирование регуляризаторов.
== Обзор базовых инструментов ==
== Обзор базовых инструментов ==
Строка 66: Строка 86:
* Выделение энграмм.
* Выделение энграмм.
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
 +
'''Библиотека BigARTM'''
'''Библиотека BigARTM'''
* Методологические рекоммендации по проведению экспериментов.
* Методологические рекоммендации по проведению экспериментов.
Строка 78: Строка 99:
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
== Тематические иерархии и разведочный информационный поиск ==
+
== Модели PLSA, LDA и ЕМ-алгоритм ==
-
Презентация: [[Media:Voron19ptm-exp.pdf|(PDF, 4,5 МБ)]] {{важно|— обновление 15.03.2018}}.
+
Презентация: [[Media:Voron19mipt-ptm-emlda.pdf|(PDF, 1,8 МБ)]] {{важно|— обновление 22.09.2019}}.
-
 
+
-
'''Разведочный информационный поиск'''
+
-
* Концепция разведочного поиска.
+
-
* Концепция distant reading и идеи визуализации.
+
-
* Сценарии использования разведочного поиска.
+
-
'''Иерархические тематические модели.'''
+
-
* Визуализация тематических иерархий.
+
-
* Метод нисходящего послойного построения иерархии.
+
-
* Спектр тем.
+
-
'''Эксперименты с тематическим поиском.'''
+
-
* Методика измерения качества поиска.
+
-
* Тематическая модель для документного поиска.
+
-
* Оптимизация гиперпараметров.
+
-
 
+
-
== Модель LDA и ЕМ-алгоритм ==
+
-
Презентация: [[Media:Voron19ptm-emlda.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление ??.??.2019}}.
+
'''Классические модели PLSA, LDA.'''
'''Классические модели PLSA, LDA.'''
* Модель PLSA.
* Модель PLSA.
-
* Модель LDA. Максимизация апостериорной вероятности для модели LDA.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Начала байесовского подхода. Распределение Дирихле и его свойства. Сопряжённость с мультиномиальным распределением.
+
* Максимизация апостериорной вероятности для модели LDA.
 +
 
 +
'''Начала байесовского подхода.'''
 +
* Байесовский вывод со скрытыми переменными
 +
* Первый частный случай: скрытые переменные известны, равномерное априорное распределение.
 +
* Второй частный случай: скрытые переменные известны, априорное распределение Дирихле.
 +
* Свойство сопряжённости распределения Дирихле с мультиномиальным распределением.
 +
 
'''Общий EM-алгоритм.'''
'''Общий EM-алгоритм.'''
* EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
* EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
* Регуляризованный EM-алгоритм.
* Регуляризованный EM-алгоритм.
* Альтернативный вывод формул ARTM.
* Альтернативный вывод формул ARTM.
-
'''Эксперименты с PLSA и LDA.'''
 
-
* Неустойчивость на синтетических данных.
 
-
* Неустойчивость на реальных данных.
 
-
* Переобучение и робастность.
 
-
== Байесовское обучение тематических моделей ==
+
== Байесовское обучение модели LDA ==
-
Презентация: [[Media:Voron19ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 13.04.2018}}.
+
Презентация: [[Media:Voron19ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 8.11.2019}}.
'''Вариационный байесовский вывод.'''
'''Вариационный байесовский вывод.'''
Строка 117: Строка 125:
* [[Вариационный байесовский вывод]] для модели LDA.
* [[Вариационный байесовский вывод]] для модели LDA.
* VB ЕМ-алгоритм для модели LDA.
* VB ЕМ-алгоритм для модели LDA.
 +
'''Сэмплирование Гиббса.'''
'''Сэмплирование Гиббса.'''
* Основная теорема о сэмплировании Гиббса.
* Основная теорема о сэмплировании Гиббса.
* [[Сэмплирование Гиббса]] для модели LDA.
* [[Сэмплирование Гиббса]] для модели LDA.
* GS ЕМ-алгоритм для модели LDA.
* GS ЕМ-алгоритм для модели LDA.
 +
'''Замечания о байесовском подходе.'''
'''Замечания о байесовском подходе.'''
* Оптимизация гиперпараметров в LDA.
* Оптимизация гиперпараметров в LDA.
Строка 130: Строка 140:
* ''Потапенко А. А.'' [[Media:potapenko16BayesTM.pdf|Байесовское обучение тематических моделей]]. 2016.
* ''Потапенко А. А.'' [[Media:potapenko16BayesTM.pdf|Байесовское обучение тематических моделей]]. 2016.
-
== Мультимодальные тематические модели ==
+
== Тематические модели сочетаемости слов ==
-
Презентация: [[Media:Voron19ptm-modal.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 22.03.2018}}.
+
Презентация: [[Media:Voron19ptm-cooc.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 8.11.2019}}.
-
 
+
-
'''Мультиязычные тематические модели.'''
+
-
* Параллельные и сравнимые коллекции.
+
-
* Регуляризаторы для учёта двуязычных словарей.
+
-
* Кросс-язычный информационный поиск.
+
-
'''Трёхматричные и гиперграфовые модели.'''
+
-
* Модели трёхматричных разложений. Понятие порождающей модальности.
+
-
* Автор-тематическая модель (author-topic model).
+
-
* Модель для выделения поведений объектов в видеопотоке.
+
-
'''Тематические модели транзакционных данных.'''
+
-
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
+
-
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
+
-
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
+
-
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
+
-
 
+
-
== Тематические модели совстречаемости слов ==
+
-
Презентация: [[Media:Voron19ptm-cooc.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 29.03.2018}}.
+
'''Мультиграммные модели.'''
'''Мультиграммные модели.'''
Строка 154: Строка 147:
* Модель Topical N-grams (TNG).
* Модель Topical N-grams (TNG).
* Мультимодальная мультиграммная модель.
* Мультимодальная мультиграммная модель.
 +
'''Автоматическое выделение терминов.'''
'''Автоматическое выделение терминов.'''
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
Строка 159: Строка 153:
* Критерии тематичности фраз.
* Критерии тематичности фраз.
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
 +
'''Тематические модели дистрибутивной семантики.'''
'''Тематические модели дистрибутивной семантики.'''
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
Строка 169: Строка 164:
'''Дополнительный материал:'''
'''Дополнительный материал:'''
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
 
-
== Тематическая сегментация ==
 
-
Презентация: [[Media:Voron19ptm-segm.pdf|(PDF, 2,0 МБ)]] {{важно|— обновление 16.04.2018}}.
 
-
 
-
'''Модели связного текста.'''
 
-
* Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
 
-
* Контекстная документная кластеризация (CDC).
 
-
* Метод лексических цепочек.
 
-
'''Тематическая сегментация.'''
 
-
* Метод TopicTiling. Критерии определения границ сегментов.
 
-
* Критерии качества сегментации. Оптимизация параметров модели TopicTiling.
 
-
'''Позиционный регуляризатор в ARTM.'''
 
-
* Гипотеза о сегментной структуре текста.
 
-
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 
-
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
 
== Анализ зависимостей ==
== Анализ зависимостей ==
-
Презентация: [[Media:Voron19ptm-rel.pdf|(PDF, 6,7 МБ)]] {{важно|— обновление 01.05.2018}}.
+
Презентация: [[Media:Voron19ptm-rel.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 8.11.2019}}.
'''Зависимости, корреляции, связи.'''
'''Зависимости, корреляции, связи.'''
Строка 192: Строка 172:
* Модель коррелированных тем CTM (Correlated Topic Model).
* Модель коррелированных тем CTM (Correlated Topic Model).
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
 +
'''Время и пространство.'''
'''Время и пространство.'''
* Регуляризаторы времени.
* Регуляризаторы времени.
* Обнаружение и отслеживание тем.
* Обнаружение и отслеживание тем.
* Гео-пространственные модели.
* Гео-пространственные модели.
 +
'''Социальные сети.'''
'''Социальные сети.'''
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
* Регуляризаторы для выявления социальных ролей пользователей.
* Регуляризаторы для выявления социальных ролей пользователей.
 +
 +
== Мультимодальные тематические модели ==
 +
Презентация: [[Media:Voron19ptm-modal.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 8.11.2019}}.
 +
 +
'''Мультиязычные тематические модели.'''
 +
* Параллельные и сравнимые коллекции.
 +
* Регуляризаторы для учёта двуязычных словарей.
 +
* Кросс-язычный информационный поиск.
 +
 +
'''Трёхматричные и гиперграфовые модели.'''
 +
* Модели трёхматричных разложений. Понятие порождающей модальности.
 +
* Автор-тематическая модель (author-topic model).
 +
* Модель для выделения поведений объектов в видеопотоке.
 +
 +
'''Тематические модели транзакционных данных.'''
 +
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
 +
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
 +
 +
== Моделирование связного текста ==
 +
Презентация: [[Media:Voron19ptm-segm.pdf|(PDF, 2,4 МБ)]] {{важно|— обновление 25.04.2019}}.
 +
 +
'''Модели связного текста.'''
 +
* Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 +
'''Тематическая сегментация.'''
 +
* Метод TopicTiling. Критерии определения границ сегментов.
 +
* Критерии качества сегментации. Оптимизация параметров модели TopicTiling.
 +
 +
'''Позиционный регуляризатор в ARTM.'''
 +
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
== Визуализация и суммаризация тем ==
== Визуализация и суммаризация тем ==
-
Презентация: [[Media:Voron19ptm-vis.pdf|(PDF, 6,7 МБ)]] {{важно|— обновление 01.05.2018}}.
+
Презентация: [[Media:Voron19ptm-vis.pdf|(PDF, 6,2 МБ)]] {{важно|— обновление 25.04.2019}}.
'''Средства визуализации тематических моделей.'''
'''Средства визуализации тематических моделей.'''
 +
* Концепция distant reading и идеи визуализации.
* Визуализация матричного разложения.
* Визуализация матричного разложения.
* Визуализация кластерных структур, динамики, иерархий, сегментации.
* Визуализация кластерных структур, динамики, иерархий, сегментации.
 +
* Спектр тем.
* Проект VisARTM.
* Проект VisARTM.
 +
'''Методы суммаризации текстов.'''
'''Методы суммаризации текстов.'''
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
Строка 213: Строка 234:
* Тематическая модель предложений для суммаризации.
* Тематическая модель предложений для суммаризации.
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
 +
'''Автоматическое именование тем (topic labeling).'''
'''Автоматическое именование тем (topic labeling).'''
* Формирование названий-кандидатов.
* Формирование названий-кандидатов.
Строка 218: Строка 240:
* Оценивание качества именования тем.
* Оценивание качества именования тем.
 +
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
<!---
+
'''Рекомендуемая структура отчёта об исследовании по индивидуальному заданию:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
== Анализ разнородных данных ==
+
'''Примеры отчётов:'''
-
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
+
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
 +
 
 +
=Литература=
 +
 
 +
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. 2019.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
<!--
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
 +
 
 +
'''Дополнительная литература'''
 +
 
 +
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, 6. — С. 657–686.
 +
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
 +
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
 +
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 +
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 +
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. 2009. — Pp. 1973–1981.
 +
-->
 +
 
 +
= Ссылки =
 +
* [[Тематическое моделирование]]
 +
* [[Аддитивная регуляризация тематических моделей]]
 +
* [[Коллекции документов для тематического моделирования]]
 +
* [[BigARTM]]
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 +
 
 +
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
 +
 
 +
[[Категория:Учебные курсы]]
 +
 
 +
 
 +
<!---------------------------------------------------
 +
 
 +
'''Внутренние метрики качества модели.'''
 +
* Правдоподобие и перплексия.
 +
* Интерпретируемость и когерентность.
 +
* Разреженность и различность.
 +
 
 +
'''Эксперименты с регуляризаторами.'''
 +
* Комбинирование регуляризаторов сглаживания, разреживания, декоррелирования.
 +
* Проблема несбалансированности тем. Радиус семантической однородности тем.
 +
* Проверка гипотезы условной независимости
'''Определение числа тем.'''
'''Определение числа тем.'''
-
* Регуляризатор отбора тем.
+
* Регуляризатор отбора тем. Эксперименты на синтетических и реальных данных.
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
-
'''Эксперименты по устойчивости.'''
+
'''Расширяемые тематические модели.'''
-
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
+
* Пакетный ЕМ-алгоритм.
-
* Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
+
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
-
* Влияние регуляризаторов на устойчивость.
+
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
== Примеры приложений тематического моделирования ==
== Примеры приложений тематического моделирования ==
Строка 251: Строка 342:
* Контекстная документная кластеризация.
* Контекстная документная кластеризация.
* Поиск якорных слов. Алгоритм Ароры.
* Поиск якорных слов. Алгоритм Ароры.
 +
'''Траектория регуляризации.'''
'''Траектория регуляризации.'''
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
Строка 257: Строка 349:
* Подходы к скаляризации критериев.
* Подходы к скаляризации критериев.
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
'''Тесты адекватности.'''
'''Тесты адекватности.'''
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
Строка 270: Строка 363:
* Внутренние и внешние критерии качества.
* Внутренние и внешние критерии качества.
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
''' Оценивание качества темы.'''
''' Оценивание качества темы.'''
* Лексическое ядро темы: множество типичных терминов темы.
* Лексическое ядро темы: множество типичных терминов темы.
Строка 277: Строка 371:
* Конфликтность темы: близость темы к другим темам.
* Конфликтность темы: близость темы к другим темам.
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
'''Устойчивость и полнота.'''
'''Устойчивость и полнота.'''
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
'''Критерии качества классификации и ранжирования.'''
'''Критерии качества классификации и ранжирования.'''
* Полнота, точность и F-мера в задачах классификации и ранжирования.
* Полнота, точность и F-мера в задачах классификации и ранжирования.
Строка 288: Строка 384:
* Тематическая модель текста и изображений. Задача аннотирования изображений.
* Тематическая модель текста и изображений. Задача аннотирования изображений.
-->
-->
-
 
-
=Литература=
 
-
 
-
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Обзор вероятностных тематических моделей]]. 2019.
 
-
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 
-
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 
-
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 
-
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 
-
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 
-
 
-
<!--
 
-
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 
-
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
 
-
 
-
'''Дополнительная литература'''
 
-
 
-
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
 
-
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
 
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
 
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 
-
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 
-
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 
-
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 
-
-->
 
-
 
-
= Ссылки =
 
-
* [[Тематическое моделирование]]
 
-
* [[Аддитивная регуляризация тематических моделей]]
 
-
* [[Коллекции документов для тематического моделирования]]
 
-
* [[BigARTM]]
 
-
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 
-
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
 
-
 
-
= Подстраницы =
 
-
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
 
-
 
-
[[Категория:Учебные курсы]]
 

Версия 00:43, 12 декабря 2019

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 4 и 6 курсов на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Материалы для первого ознакомления:

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 1,7 МБ) — обновление 12.09.2019.

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM. Условия Каруша–Куна–Таккера.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.
  • Мультимодальные тематические модели.

Библиотека BigARTM.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
  • Проект с открытым кодом BigARTM.

Разведочный информационный поиск

Презентация: (PDF, 2,4 МБ) — обновление 12.09.2019.

Разведочный информационный поиск.

  • Концепция разведочного поиска.
  • Особенности разведочного поиска.
  • Разведочный поиск как рекомендательная система.

Часто используемые регуляризаторы.

  • Сглаживание, разреживание, декоррелирование.
  • Модальности.
  • Иерархии тем. Послойное построение иерархии. Псевдодокументы родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 1,8 МБ) — обновление 21.09.2019.

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность.
  • Разреженность и различность.

Эксперименты с моделями PLSA, LDA.

  • Проблема переобучения и робастные модели.
  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).

Эксперименты с регуляризацией.

  • Проблема определения числа тем.
  • Проблема несбалансированности тем.
  • Комбинирование регуляризаторов.

Обзор базовых инструментов

Александр Романенко, Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017.

Предварительная обработка текстов

  • Парсинг "сырых" данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Модели PLSA, LDA и ЕМ-алгоритм

Презентация: (PDF, 1,8 МБ) — обновление 22.09.2019.

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Начала байесовского подхода.

  • Байесовский вывод со скрытыми переменными
  • Первый частный случай: скрытые переменные известны, равномерное априорное распределение.
  • Второй частный случай: скрытые переменные известны, априорное распределение Дирихле.
  • Свойство сопряжённости распределения Дирихле с мультиномиальным распределением.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
  • Регуляризованный EM-алгоритм.
  • Альтернативный вывод формул ARTM.

Байесовское обучение модели LDA

Презентация: (PDF, 1,5 МБ) — обновление 8.11.2019.

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Дополнительный материал:

Тематические модели сочетаемости слов

Презентация: (PDF, 1,9 МБ) — обновление 8.11.2019.

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 1,9 МБ) — обновление 8.11.2019.

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 1,4 МБ) — обновление 8.11.2019.

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные и гиперграфовые модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Моделирование связного текста

Презентация: (PDF, 2,4 МБ) — обновление 25.04.2019.

Модели связного текста.

  • Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
  • Контекстная документная кластеризация (CDC).
  • Метод лексических цепочек.

Тематическая сегментация.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации. Оптимизация параметров модели TopicTiling.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Визуализация и суммаризация тем

Презентация: (PDF, 6,2 МБ) — обновление 25.04.2019.

Средства визуализации тематических моделей.

  • Концепция distant reading и идеи визуализации.
  • Визуализация матричного разложения.
  • Визуализация кластерных структур, динамики, иерархий, сегментации.
  • Спектр тем.
  • Проект VisARTM.

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании по индивидуальному заданию:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Обзор вероятностных тематических моделей. 2019.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
  6. Янина А. О., Воронцов К. В. Мультимодальные тематические модели для разведочного поиска в коллективном блоге // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.

Ссылки

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Личные инструменты