Математические методы анализа текстов (МФТИ) / 2021

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Программа курса)
(→Программа курса)
Строка 52: Строка 52:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 1
| 1
-
| 09.09
+
| 08.09
| Организация курса, правила игры.
| Организация курса, правила игры.
Строка 64: Строка 64:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 2
| 2
-
| 16.09
+
| 15.09
| Векторные представления слов
| Векторные представления слов
|
|
Строка 71: Строка 71:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 3
| 3
-
| 23.09
+
| 22.09
| Библиотека pytorch.
| Библиотека pytorch.
Строка 80: Строка 80:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 4
| 4
-
| 30.09
+
| 29.09
| Задача разметки последовательностей (tagging). Примеры задач.
| Задача разметки последовательностей (tagging). Примеры задач.
Строка 91: Строка 91:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 5
| 5
-
| 07.10
+
| 06.10
|
|
Модели рекуррентных нейронных сетей: RNN, LSTM.
Модели рекуррентных нейронных сетей: RNN, LSTM.
Строка 101: Строка 101:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 6
| 6
-
| 14.10
+
| 13.10
|
|
Pytorch для работы с последовательностями.
Pytorch для работы с последовательностями.
Строка 109: Строка 109:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 7
| 7
-
| 21.10
+
| 20.10
| Машинный перевод. Подход Sequence-to-sequence.
| Машинный перевод. Подход Sequence-to-sequence.
Строка 120: Строка 120:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 8
| 8
-
| 28.10
+
| 27.10
| Задача языкового моделирования.
| Задача языкового моделирования.
Строка 132: Строка 132:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 9
| 9
-
| 11.11
+
| 10.11
| Контекстуальные векторные представления слов.
| Контекстуальные векторные представления слов.
Строка 143: Строка 143:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 10
| 10
-
| 18.11
+
| 17.11
| Задача классификации текстов.
| Задача классификации текстов.
Строка 152: Строка 152:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 11
| 11
-
| 25.11
+
| 24.11
-
| Тематическое моделирование и его приложения.
+
| Различные приложения DL в NLP.
 +
 
|
|
Строка 160: Строка 161:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 12
| 12
-
| 02.12
+
| 01.12
-
|
+
| Тематическое моделирование и его приложения.
-
Различные приложения DL в NLP.
+
|
|
Строка 169: Строка 169:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 13
| 13
-
| 09.12
+
| 08.12
| TBA
| TBA
Строка 177: Строка 177:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 14
| 14
-
| 16.12
+
| 15.12
| TBA
| TBA
|
|

Версия 08:39, 18 ноября 2021

В курсе рассматриваются основные задачи и математические методы обработки естественного языка.

Курс читается:

От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.

Содержание

Объявления

Нет

Контакты

  • В этом семестре занятия будут проводиться онлайн в zoom
  • По всем конструктивным вопросам пишите в telegram-чат
  • Репозиторий со всеми материалами: ссылка
  • Видеозаписи лекций 2020 года: ссылка
  • Короткая ссылка на страницу курса: ссылка
  • Родственный курс на ВМК МГУ: ссылка

Правила сдачи курса

Правила выставления итоговой оценки

В рамках курса предполагается четыре практических задания и экзамен. Практические задания сдаются в систему anytask (инвайт у преподавателя). Срок выполнения каждого задания — 2 недели. За каждое задание можно получить до 10-ти баллов. За каждый день просрочки назначается штраф 1 балл. Основной язык выполнения заданий — Python 3.

Студенты, набравшие за практические задания больше 40 баллов, получают автоматом максимальную оценку. Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:

round(0.7 \times D / 5 + 0.3 \times E) \times \mathbb{I}[E >= 3] , где

D — оценка за дз, E — оценка за экзамен, round — математическое округление.

Есть дополнительные условия для получения каждой из оценок:

  • удовлетворительно (3, 4) — 2 сданных задания на положительную оценку
  • хорошо (5, 6, 7) — 3 сданных задания на положительную оценку
  • отлично (8, 9, 10) — 4 сданных задания на положительную оценку

Если после сдачи экзамена студенту не хватает баллов на положительную оценку, он отправляется на "пересдачу". Студент должен досдать домашние задания, которые он не сдавал в течение семестра, чтобы набрать баллы для получения минимальной удовлетворительной оценки. Домашние задания проверяются без учёта штрафа.

Программа курса

№ Дата Тема Материалы Д/З
1 08.09 Организация курса, правила игры.

Введение в обработку текстов (Natural Language Processing).

Предобработка, выделение признаков и классификация .

2 15.09 Векторные представления слов
3 22.09 Библиотека pytorch.

Pytorch при работе с представлениями слов.

4 29.09 Задача разметки последовательностей (tagging). Примеры задач.

Модель Linear-CRF, её упрощения и обобщения.

презентация

видео

5 06.10

Модели рекуррентных нейронных сетей: RNN, LSTM.

Применение LSTM для разметки последовательности.

6 13.10

Pytorch для работы с последовательностями.

7 20.10 Машинный перевод. Подход Sequence-to-sequence.

Механизм внимания в подходе sequence-to-sequence.

Архитектура transformer.

8 27.10 Задача языкового моделирования.

Статистические и нейросетевые языковые модели.

Задача генерации естественного языка.

9 10.11 Контекстуальные векторные представления слов.

Transfer learning в NLP.

Модель BERT и её модификации.

10 17.11 Задача классификации текстов.

Дизайн индустриальной ML-системы.

11 24.11 Различные приложения DL в NLP.


12 01.12 Тематическое моделирование и его приложения.
13 08.12 TBA
14 15.12 TBA

Страницы прошлых лет

Дополнительные материалы

Литература

Другие курсы по NLP

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%28%D0%9C%D0%A4%D0%A2%D0%98%29_/_2021»
Личные инструменты