Математические методы анализа текстов (ВМК МГУ) / 2021
Материал из MachineLearning.
(→Программа курса) |
(→Программа курса) |
||
| Строка 57: | Строка 57: | ||
| 14.09 | | 14.09 | ||
| Векторные представления слов. | | Векторные представления слов. | ||
| - | Count-based | + | Count-based и prediction-based методы. |
| + | |||
Построение представлений для слов не из словаря. | Построение представлений для слов не из словаря. | ||
| | | | ||
| Строка 67: | Строка 68: | ||
| 21.09 | | 21.09 | ||
| Задача разметки последовательностей (tagging). | | Задача разметки последовательностей (tagging). | ||
| - | Нейросетевые архитектуры для её решения. RNN, LSTM. Transformer. | + | Нейросетевые архитектуры для её решения. |
| + | |||
| + | RNN, LSTM. Transformer. | ||
| | | | ||
| | | | ||
| Строка 76: | Строка 79: | ||
| Структурированное обучение для задачи разметки. | | Структурированное обучение для задачи разметки. | ||
Модель Linear-CRF, её упрощения и обобщения. | Модель Linear-CRF, её упрощения и обобщения. | ||
| + | |||
Комбинирование нейросетей и CRF. | Комбинирование нейросетей и CRF. | ||
| | | | ||
| Строка 84: | Строка 88: | ||
| Задача языкового моделирования. | | Задача языкового моделирования. | ||
Статистические и нейросетевые языковые модели. | Статистические и нейросетевые языковые модели. | ||
| + | |||
Семейство моделей GPT. | Семейство моделей GPT. | ||
| | | | ||
| Строка 92: | Строка 97: | ||
| Машинный перевод. | | Машинный перевод. | ||
Подход Sequence-to-sequence. | Подход Sequence-to-sequence. | ||
| + | |||
Эвристики при авторегрессионной генерации. | Эвристики при авторегрессионной генерации. | ||
| + | | | ||
| + | <!-- Конец занятия --> | ||
| + | |- <!-- Новое занятие --> | ||
| + | | 7 | ||
| + | | 19.10 | ||
| + | | Контекстуальные векторные представления слов. | ||
| + | Transfer learning в NLP. | ||
| + | |||
| + | Модель BERT и её модификации. | ||
| | | | ||
<!-- Конец занятия --> | <!-- Конец занятия --> | ||
Версия 18:44, 5 сентября 2021
В курсе рассматриваются основные задачи и математические методы обработки естественного языка.
Курс читается:
- студентам кафедры «Математические методы прогнозирования» ВМК МГУ с 2016 года
- студентам кафедры «Интеллектуальные системы» ФУПМ МФТИ с 2018 года
От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.
Содержание |
Объявления
Нет
Контакты
- Преподаватели курса: Попов А.С., Апишев М.А., Хрыльченко К.Я., Воронцов К.В.
- В этом семестре занятия будут проводиться в аудитории TBA
- По всем конструктивным вопросам пишите в telegram-чат
- Репозиторий со всеми материалами: ссылка
- Видеозаписи лекций 2020 года: ссылка
- Короткая ссылка на страницу курса: TBA
Правила сдачи курса
Правила выставления итоговой оценки
В рамках курса предполагается четыре практических задания и экзамен. Практические задания сдаются в систему anytask (инвайт у преподавателя). Срок выполнения каждого задания — 2 недели. За каждое задание можно получить до 10-ти баллов. За каждый день просрочки назначается штраф 1 балл. Основной язык выполнения заданий — Python 3.
Студенты, набравшие за практические задания больше 40 баллов, получают автоматом максимальную оценку. Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:
TBA
Если после сдачи экзамена студенту не хватает баллов на положительную оценку, он отправляется на "пересдачу". Студент должен досдать домашние задания, которые он не сдавал в течение семестра, чтобы набрать баллы для получения минимальной удовлетворительной оценки. Домашние задания проверяются без учёта штрафа.
Программа курса
| № | Дата | Тема | Материалы | Д/З |
|---|---|---|---|---|
| 1 | 07.09 | Организация курса, правила игры.
Введение в обработку текстов (Natural Language Processing). Предобработка, выделение признаков и классификация . | ||
| 2 | 14.09 | Векторные представления слов.
Count-based и prediction-based методы. Построение представлений для слов не из словаря. | ||
| 3 | 21.09 | Задача разметки последовательностей (tagging).
Нейросетевые архитектуры для её решения. RNN, LSTM. Transformer. | ||
| 4 | 28.09 | Структурированное обучение для задачи разметки.
Модель Linear-CRF, её упрощения и обобщения. Комбинирование нейросетей и CRF. | ||
| 5 | 05.10 | Задача языкового моделирования.
Статистические и нейросетевые языковые модели. Семейство моделей GPT. | ||
| 6 | 12.10 | Машинный перевод.
Подход Sequence-to-sequence. Эвристики при авторегрессионной генерации. | ||
| 7 | 19.10 | Контекстуальные векторные представления слов.
Transfer learning в NLP. Модель BERT и её модификации. |
Страницы прошлых лет
- Математические методы анализа текстов (курс лекций) / осень 2020 ВМК & МФТИ
- Математические методы анализа текстов (курс лекций) / осень 2019 ВМК & МФТИ
- Математические методы анализа текстов (курс лекций, К.В.Воронцов, А.А.Потапенко) — 2018 (ФУПМ МФТИ)
- Математические методы анализа текстов (ВМиК МГУ) / 2018 — 2018 (ВМК МГУ)
- Математические методы анализа текстов (ВМиК МГУ) / 2017 — 2017 (ВМК МГУ)
Дополнительные материалы
Литература
- Dan Jurafsky and James H. Martin Speech and Language Processing (3rd ed. draft)
- Stewen Bird et. al. Natural Language Processing with Python. 2-nd edition. 2016.
- Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. Автоматическая обработка текстов на естественном языке и анализ данных. НИУ ВШЭ, 2017.
- Yoav Goldberg et. al. Neural Network Methods in Natural Language Processing
- LxMLS summer school Practical guide on NLP in Python
Другие курсы по NLP
