Математические методы анализа текстов (ВМК МГУ) / 2021

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Программа курса)
(Программа курса)
Строка 67: Строка 67:
| 21.09
| 21.09
| Задача разметки последовательностей (tagging).
| Задача разметки последовательностей (tagging).
-
Нейросетевые архитектуры для её решения. RNN, LSTM. Трансформер.
+
Нейросетевые архитектуры для её решения. RNN, LSTM. Transformer.
|
|
|
|
Строка 73: Строка 73:
|- <!-- Новое занятие -->
|- <!-- Новое занятие -->
| 4
| 4
-
| 05.10
+
| 28.09
| Структурированное обучение для задачи разметки.
| Структурированное обучение для задачи разметки.
Модель Linear-CRF, её упрощения и обобщения.
Модель Linear-CRF, её упрощения и обобщения.
Строка 79: Строка 79:
|
|
<!-- Конец занятия -->
<!-- Конец занятия -->
-
 
+
|- <!-- Новое занятие -->
-
 
+
| 5
 +
| 05.10
 +
| Задача языкового моделирования.
 +
Статистические и нейросетевые языковые модели.
 +
Семейство моделей GPT.
 +
|
 +
<!-- Конец занятия -->
 +
|- <!-- Новое занятие -->
 +
| 6
 +
| 12.10
 +
| Машинный перевод.
 +
Подход Sequence-to-sequence.
 +
Эвристики при авторегрессионной генерации.
 +
|
 +
<!-- Конец занятия -->
|}
|}

Версия 18:42, 5 сентября 2021

В курсе рассматриваются основные задачи и математические методы обработки естественного языка.

Курс читается:

От студентов требуются знание курса машинного обучения, основ глубинного обучения, а также языка программирования Python.

Содержание

Объявления

Нет

Контакты

  • В этом семестре занятия будут проводиться в аудитории TBA
  • По всем конструктивным вопросам пишите в telegram-чат
  • Репозиторий со всеми материалами: ссылка
  • Видеозаписи лекций 2020 года: ссылка
  • Короткая ссылка на страницу курса: TBA

Правила сдачи курса

Правила выставления итоговой оценки

В рамках курса предполагается четыре практических задания и экзамен. Практические задания сдаются в систему anytask (инвайт у преподавателя). Срок выполнения каждого задания — 2 недели. За каждое задание можно получить до 10-ти баллов. За каждый день просрочки назначается штраф 1 балл. Основной язык выполнения заданий — Python 3.

Студенты, набравшие за практические задания больше 40 баллов, получают автоматом максимальную оценку. Для остальных итоговая оценка по 10-ти балльной шкале вычисляется по следующей формуле:

TBA

Если после сдачи экзамена студенту не хватает баллов на положительную оценку, он отправляется на "пересдачу". Студент должен досдать домашние задания, которые он не сдавал в течение семестра, чтобы набрать баллы для получения минимальной удовлетворительной оценки. Домашние задания проверяются без учёта штрафа.

Программа курса

Дата Тема Материалы Д/З
1 07.09 Организация курса, правила игры.

Введение в обработку текстов (Natural Language Processing).

Предобработка, выделение признаков и классификация .

2 14.09 Векторные представления слов.

Count-based (PMI, Glove) и prediction-based (CBOW, Skip-gram) методы. Построение представлений для слов не из словаря.

3 21.09 Задача разметки последовательностей (tagging).

Нейросетевые архитектуры для её решения. RNN, LSTM. Transformer.

4 28.09 Структурированное обучение для задачи разметки.

Модель Linear-CRF, её упрощения и обобщения. Комбинирование нейросетей и CRF.

5 05.10 Задача языкового моделирования.

Статистические и нейросетевые языковые модели. Семейство моделей GPT.

6 12.10 Машинный перевод.

Подход Sequence-to-sequence. Эвристики при авторегрессионной генерации.

Страницы прошлых лет

Дополнительные материалы

Литература

Другие курсы по NLP

Личные инструменты