Современные методы распознавания и синтеза речи (курс лекций)/2018
Материал из MachineLearning.
(лекция 1) |
(Конспект 1-й лекции + критерии получения зачета) |
||
Строка 18: | Строка 18: | ||
|- | |- | ||
|14.02.2018 || Лекция 1 || <h5>Дискретные сигналы. Преобразование Фурье.</h5> | |14.02.2018 || Лекция 1 || <h5>Дискретные сигналы. Преобразование Фурье.</h5> | ||
- | <p>Введение в курс. Терминология. Гильбертово пространство. <br >Неравенство Бесселя и тождество Парсеваля. Тригонометрический базис. <br> Дискретное преобразование Фурье (DFT, DFS, DTFT). Связь между преобразованиями. Свойства. </p> | + | <p>Введение в курс. Терминология. Гильбертово пространство. <br >Неравенство Бесселя и тождество Парсеваля. Тригонометрический базис. <br> Дискретное преобразование Фурье (DFT, DFS, DTFT). Связь между преобразованиями. <br> Свойства. Быстрое преобразование Фурье.</p> |
- | || Ch. 1 — Ch. 4, [2] | + | || [http://www.machinelearning.ru/wiki/images/8/8b/Digital_Signal_Processing%2C_lecture_1.pdf Конспект] <br> Ch. 1 — Ch. 4, [2] |
|- | |- | ||
|21.02.2018 || Лекция 2 || | |21.02.2018 || Лекция 2 || | ||
- | <p> | + | <p> <h5>Дискретные фильтры</h5> |
+ | Модуляция сигнала. Фильтрация. Линейные фильтры. <br>Обращение фильтра. Подходы к построению фильтров</p> | ||
|| | || | ||
|- | |- | ||
|18.02.2018 || Лекция 3 || | |18.02.2018 || Лекция 3 || | ||
- | <p> | + | <p><h5>Частотно-временной анализ.</h5> |
+ | Быстрое преобразование Фурье. Частотно-временной анализ. Оконное преобразование Фурье. <br> Вейвлет преобразование. Выделение признаков из сигнала: поиск аудиозаписи. Изменение длительности звучания. | ||
+ | </p> | ||
|| | || | ||
|- | |- |
Версия 09:58, 14 февраля 2018
Лекторы: Воропаев А., Соловьев Д., Полыковский Д.
Содержание |
Аннотация
Обработка речи начинает применяться в большом числе приложений — голосовых помощниках, автомобилях, картах и играх. Данный курс посвящен актуальным задачам и направлениям в этой области. Первые лекции будут посвящены классическим методам анализа цифровых сигналов, а также их применению в обработке речи. Во второй части будут рассмотрены современные нейросетевые подходы синтеза и распознавания речи, а также — голосовая идентификация пользователя и детекция ключевой фразы. На курсе студенты смогут самостоятельно реализовать рассматриваемые методы как на модельных примерах, так и в реальном командном проекте.
Учебный план
- Лекции проходят по средам в с 10:30 до 12:05 в ауд. 524
- Чат в Telegram: ссылка
- Инвайт в Anytask: lWVASKX
- [0, 40) — “неуд”
- [40, 60) — “удовл”
- [60, 80) — “хор”
- [80, 100] — “отл”
Дата | № занятия | Тема | Материалы |
---|---|---|---|
14.02.2018 | Лекция 1 | Дискретные сигналы. Преобразование Фурье.Введение в курс. Терминология. Гильбертово пространство. | Конспект Ch. 1 — Ch. 4, [2] |
21.02.2018 | Лекция 2 |
Дискретные фильтрыМодуляция сигнала. Фильтрация. Линейные фильтры.Обращение фильтра. Подходы к построению фильтров | |
18.02.2018 | Лекция 3 |
Частотно-временной анализ.Быстрое преобразование Фурье. Частотно-временной анализ. Оконное преобразование Фурье. | |
07.03.2018 | Лекция 4 |
Аналого-цифровые преобразователи. Теорема Котельникова. Сжатие сигналов (MP3, JPEG). Beamforming | |
14.03.2018 | Лекция 5 | Речь. Биологические аспекты. Формирование F0, F1, F2, F2. и их извлечение из звуковой волны. | |
21.03.2018 | Лекция 6 | Распознавание речи. Hidden Markov Models для распознавания. GMM. | |
28.03.2018 | Лекция 7 | Гибридные модели. Нейронные сети. Алгоритм обратного распространения ошибки. | |
04.04.2018 | Лекция 8 | Teacher forcing, Seq2Seq, Beam Search. Механизмы внимания. Listen, Attend and Spell. | |
11.04.2018 | Лекция 9 | Идентификация голоса. Определение конца предложения. | |
18.04.2018 | Лекция 10 | Синтез звука. Классические подходы. Восстановление звука из линейной спектрограммы. | |
25.04.2018 | Лекция 11 | Свертки на последовательностях. Современные архитектуры: WaveNet, DeepVoice и их улучшения. |
Практические задания
Тема | Макс. балл | Дата выдачи | Срок сдачи | Крайний срок |
---|---|---|---|---|
Преобразование Фурье | 15 | 21.02.2018 | 07.03.2018 | 21.03.2018 |
Распознавание команд | 25 | 21.03.2018 | 04.04.2018 | 18.04.2018 |
Синтез звука | 25 | 18.04.2018 | 02.05.2018 | 16.05.2018 |
Итоговый проект | 35 | 07.03.2018 | Досрочная защита | Экзамен |
Система выставления оценок по курсу
В курсе предусмотрено 3 практических задания и итоговый проект. Практические задания выдаются на 2 недели, после которых начисляется штраф 0.2 балла за каждый день просрочки. Через 2 недели после срока сдачи практическое задание не принимается. Защита итогового проекта проходит в день экзамена. Суммарно за практические задания и итоговый проект можно получить до 100 баллов.
При пересчете баллов итоговая оценка ставится по следующей шкале:
Литература
[1] The Digital Signal Processing Handbook, Vijay Madiestti
[2] Signal Processing For Communications, Paolo Prandoni & Martin Vettarli
[3] Speech and Language Processing. Dan Jurafsky and James H. Martin