Математические методы анализа текстов (курс лекций) / осень 2020
Материал из MachineLearning.
(Различия между версиями)
(→Программа курса) |
(→Контакты) |
||
| Строка 8: | Строка 8: | ||
==Контакты== | ==Контакты== | ||
| - | * Преподаватели курса: [[Участник:Vokov|Воронцов К.В.]], [[Участник:mapishev|Апишев М.А.]], [[Участник:Arti_lehtonen|Попов А.С.]], Хрыльченко К.Я. | + | * Преподаватели курса: [[Участник:Vokov|Воронцов К.В.]], [[Участник:mapishev|Апишев М.А.]], [[Участник:Arti_lehtonen|Попов А.С.]], [[Участник:KKhrylchenko| Хрыльченко К.Я.]] |
* В этом семестре занятия будут проводиться онлайн в TBA | * В этом семестре занятия будут проводиться онлайн в TBA | ||
Версия 12:01, 1 сентября 2020
В курсе рассматриваются основные задачи и математические методы обработки естественного языка.
Курс читается:
- студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
- студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года
От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.
Содержание |
Контакты
- Преподаватели курса: Воронцов К.В., Апишев М.А., Попов А.С., Хрыльченко К.Я.
- В этом семестре занятия будут проводиться онлайн в TBA
- По всем конструктивным вопросам пишите в telegram-чат
- Репозиторий со всеми материалами: ссылка
- Короткая ссылка на страницу курса: https://clck.ru/QcKga
Правила сдачи курса
TBA
Правила сдачи экзамена
TBA
Программа курса
| № | Дата | Тема | Материалы | Д/З |
|---|---|---|---|---|
| лекция 1 | 02.09 16:10 | Введение в область анализа текстов (Natural Language Processing).
Обзор основных задач. Предобработка данных. Линейные модели классификации. | ||
| лекция 2 | ??? | Векторные представления слов | ||
| семинар | ??? | Библиотека pytorch. | ||
| лекция 3 | ??? | Задача теггинга. Задачи POS тегирования и NER.
Модели HMM, Linear CRF. | ||
| лекция 4 | ??? | Задача языкового моделирования. Статистические подходы её решения.
Архитектуры RNN, LSTM. Применение RNN для языкового моделирования и теггинга. | ||
| лекция 5 | ??? | Машинный перевод. Подход Sequence-to-sequence.
Механизм внимания в подходе sequence-to-sequence. Архитектура transformer. | ||
| лекция 6 | ??? | Задача генерации естественного языка.
Нейросетевые языковые модели. Модель GPT и её модификации. | ||
| лекция 7 | ??? | Transfer learning в NLP.
Модель BERT и её модификации. | ||
| лекция 8 | ??? | Задача классификации текстов.
Дизайн индустриальной ML-системы. | ||
| лекция 9 | ??? | Тематическое моделирование и тематический поиск. | ||
| лекция 10 | ??? | Синтаксический разбор и его применение в практических задачах. | ||
| лекция 11 | ??? | NLP в рекомендательных системах. | ||
| лекция 12 | ??? | Диалоговые и вопросно-ответные системы. | ||
| лекция 13 | ??? | TBA | ||
| лекция 14 | ??? | TBA |
|
Страницы прошлых лет
2018 (ФУПМ МФТИ), 2018 (ВМК МГУ)
Дополнительные материалы
Литература
- Dan Jurafsky and James H. Martin Speech and Language Processing (3rd ed. draft)
- Stewen Bird et. al. Natural Language Processing with Python. 2-nd edition. 2016.
- Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. НИУ ВШЭ, 2017.
- Yoav Goldberg et. al. Neural Network Methods in Natural Language Processing
- LxMLS summer school Practical guide on NLP in Python
Другие курсы по NLP
