Машинное обучение (семинары, ВМК МГУ)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Расписание занятий)
 
(18 промежуточных версий не показаны.)
Строка 3: Строка 3:
|[[Изображение:ML_surfaces.png|280px]]
|[[Изображение:ML_surfaces.png|280px]]
| valign="top"|
| valign="top"|
-
* Семинары в поддержку курса лекций [[Машинное обучение (курс лекций, В.В.Китов)/2015-2016|«Машинное обучение»]] [[Участник:Victor Kitov|В. В. Китова]].
+
* Семинары в поддержку курса лекций [[Математические методы распознавания образов (курс лекций, В.В.Китов)|«Математические методы распознавания образов»]] [[Участник:Victor Kitov|В. В. Китова]].
* Ведутся на кафедре [[Математические методы прогнозирования (кафедра ВМиК МГУ)|ММП]] [[Факультет вычислительной математики и кибернетики МГУ| ВМК МГУ]] с осени 2012 года.
* Ведутся на кафедре [[Математические методы прогнозирования (кафедра ВМиК МГУ)|ММП]] [[Факультет вычислительной математики и кибернетики МГУ| ВМК МГУ]] с осени 2012 года.
* Семинарист: [[Участник:EvgSokolov|Соколов Е.А.]]
* Семинарист: [[Участник:EvgSokolov|Соколов Е.А.]]
 +
* Ассистент: Николаев В.В.
* Почта семинариста: ''sokolov.evg+vmk-ml@gmail.com''
* Почта семинариста: ''sokolov.evg+vmk-ml@gmail.com''
* Почта для заданий: ''ml.cmc.msu@gmail.com''
* Почта для заданий: ''ml.cmc.msu@gmail.com''
Строка 12: Строка 13:
|}
|}
-
<!-- == Новости == -->
+
=== Актуальная информация ===
-
<!-- * новостей нет! -->
+
-
== Выставление оценки за курс ==
+
Вся актуальная информация по курсу находится на странице https://github.com/esokolov/ml-course-msu
-
Итоговая контрольная работа:
+
=== Оценки ===
 +
https://docs.google.com/spreadsheets/d/1A5BJs_dJcmqY2KVBUCTWlXueTeFWNVT6Tbx5e3dN6_c/edit?usp=sharing
-
# На последней лекции будет проведена контрольная работа, которая затронет все темы, изученные в течение семестра.
+
== Страницы курса прошлых лет ==
-
# Контрольная оценивается по двухбалльной шкале (зачет/незачет), незачет влечет за собой недопуск к экзамену.
+
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, весна|2015-2016 год, весна]]
-
# Студент, не получивший допуск, переписывает на экзамене контрольную. В случае успеха он сдает экзамен на первой пересдаче. В случае незачета он снова переписывает контрольную на первой пересдаче, и так далее.
+
-
Семинары:
+
[[Машинное обучение (семинары, ВМК МГУ)/2015-2016 год, осень|2015-2016 год, осень]]
-
# На семинарах по каждой пройденной теме будут проводиться проверочные работы. Каждая проверочная оценивается по пятибалльной шкале. В зависимости от оценки за проверочную, студент освобождается от части или от всех задач по этой теме на итоговой контрольной работе.
 
-
# Также на семинарах будут выдаваться практические задания, которые будут оцениваться по пятибалльной шкале.
 
-
# В течение семестра будут проводиться конкурсы по анализу данных. Каждый конкурс оценивается по 15-балльной шкале. За первое, второе и третье место выставляется 15, 13 и 11 баллов соответственно при условии, что студенты выступят с докладом о своем решении (в противном случае они получают 10 баллов). За места с четвертого и по самое последнее, превосходящее бейзлайн, выставляется от 10 до 1 баллов по равномерной сетке. Если все присланные группой решения будут тривиальными, то преподаватель имеет право снизить максимальную оценку до 10 или до 5 баллов.
 
-
# Оценка за работу в семестре равна сумме оценок за проверочные работы, практические задания и конкурсы.
 
-
# Если оценка за работу в семестре не меньше 100% от максимальной оценки за проверочные и лабораторные работы, то студент освобождается от написания итоговой контрольной и получает допуск к экзамену автоматом.
 
-
# Если оценка за работу в семестре не меньше 80% от максимальной оценки за проверочные и лабораторные работы и конкурсы, то студент получает +1 балл на экзамене (при условии получения положительной оценки).
 
-
# В конце семестра разрешается переписать одну пропущенную по любой причине проверочную работу. Также разрешается переписать все проверочные, пропущенные по уважительной причине.
 
-
 
-
== Осенний семестр 2015/2016 ==
 
-
 
-
=== Расписание занятий ===
 
-
{|class = "standard"
 
-
! Дата !! Номер !! Тема !! Материалы !! Д/З
 
-
|-
 
-
|4 сентября
 
-
|align="center"|Семинар 1
 
-
|
 
-
Вводное занятие:
 
-
* Знакомство с основными определениями в машинном обучении
 
-
* Этапы решения задачи анализа данных
 
-
* Напоминание основных фактов из прошлых курсов
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem01_intro.pdf Конспект]
 
-
|
 
-
|-
 
-
|11 сентября
 
-
|align="center"|Семинар 2
 
-
|
 
-
Метрические методы:
 
-
* Особенности метрических методов: чувствительность к масштабу и шуму, проклятие размерности
 
-
* Примеры метрик
 
-
* Задание метрик на категориальных признаках
 
-
* Введение в NumPy, SciPy, Pandas, Scikit-Learn
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem02_knn.pdf Конспект]
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem02_python_intro.ipynb IPython Notebook]
 
-
|
 
-
|-
 
-
|25 сентября
 
-
|align="center"|Семинар 3
 
-
|
 
-
Метрические методы:
 
-
* Locality-sensitive hashing
 
-
* Краткое упоминание рандомизированных алгоритмов и обучения хэшированию
 
-
* Векторизация операций в NumPy
 
-
* Практические особенности kNN и LSH
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem03_knn.pdf Конспект]
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem03_numpy_knn.ipynb IPython Notebook]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem03_knn_hw.pdf Домашнее задание]
 
-
|-
 
-
|2 октября
 
-
|align="center"|Семинар 4
 
-
|
 
-
Решающие деревья:
 
-
* Жадное построение решающих деревьев
 
-
* Критерии информативности
 
-
* Учет пропущенных значений
 
-
* Стрижка деревьев
 
-
* Работа с категориальными признаками
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem04_trees.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem04_trees_hw.pdf Домашнее задание]
 
-
|-
 
-
|9 октября
 
-
|align="center"|Семинар 5
 
-
|
 
-
Метрики качества:
 
-
* Регрессия: MSE, MAE, квантильная регрессия
 
-
* Бинарная классификация: precision/recall, AUC-ROC, AUC-PR, Lift
 
-
* Многоклассовая классификация: micro-averaging, macro-averaging
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem05_metrics.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem05_metrics_hw.pdf Домашнее задание]
 
-
|-
 
-
|9 октября
 
-
|align="center"|Семинар 6
 
-
|
 
-
Решающие деревья:
 
-
* примеры в sklearn
 
-
* объединение в решающие леса
 
-
 
-
Выдача первого конкурса:
 
-
* работа с текстами
 
-
* разреженные признаки
 
-
* blending
 
-
* word2vec
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem06_contest.pdf Слайды]
 
-
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem06_trees.ipynb Код по деревьям]
 
-
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem06_word2vec_fun.ipynb Код по word2vec]
 
-
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem06_contest_intro.ipynb Код по данным конкурса]
 
-
 
-
[https://db.tt/Pl0VzKeg Модель word2vec]
 
-
|
 
-
|-
 
-
|16 октября
 
-
|align="center"|Семинар 7
 
-
|
 
-
Линейные методы:
 
-
* векторное дифференцирование
 
-
* геометрия линейных классификаторов
 
-
* разновидности градиентного спуска: GD, SG, SAG
 
-
* длина шага в градиентном спуске
 
-
 
-
Метрики качества:
 
-
* примеры вычисления в sklearn
 
-
* кросс-валидация и стратификация в sklearn
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem07_linear.pdf Конспект]
 
-
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem07_metrics.ipynb Код по метрикам качества]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem07_linear_hw.pdf Домашнее задание]
 
-
|-
 
-
|30 октября
 
-
|align="center"|Семинар 8
 
-
|
 
-
Линейные методы:
 
-
* Знакомство с Vowpal Wabbit
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem08_vw.pdf Слайды]
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/src/Sem08_vw.ipynb Пример работы с Vowpal Wabbit]
 
-
|
 
-
|-
 
-
|6 ноября
 
-
|align="center"|Семинар 9
 
-
|
 
-
Линейные методы:
 
-
* условная задача оптимизации, лагранжиан
 
-
* двойственная задача
 
-
* теорема Куна-Таккера
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem09_linear.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem09_linear_hw.pdf Домашнее задание]
 
-
|-
 
-
|20 ноября
 
-
|align="center"|Семинар 10
 
-
|
 
-
Линейные методы:
 
-
* функции потерь и предсказание вероятностей
 
-
* логистическая регрессия
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem10_linear.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem10_linear_hw.pdf Домашнее задание]
 
-
|-
 
-
|20 ноября
 
-
|align="center"|Семинар 11
 
-
|
 
-
Линейные методы:
 
-
* SVM, постановка задачи
 
-
* вывод двойственной задачи SVM
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem11_linear.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem11_linear_hw.pdf Домашнее задание]
 
-
|-
 
-
|27 ноября
 
-
|align="center"|Семинар 12
 
-
|
 
-
Обсуждение первого конкурса
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/contests/contest1_slides/kibitova_contest1.pdf Валерия Кибитова]
 
-
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/contests/contest1_slides/nikolaev_contest1.pdf Владимир Николаев]
 
-
 
-
[https://github.com/esokolov/ml-course-msu/blob/master/ML15/contests/contest1_slides/kovalenko_contest1.pdf Павел Коваленко]
 
-
|
 
-
|-
 
-
|4 декабря
 
-
|align="center"|Семинар 13
 
-
|
 
-
Линейные методы:
 
-
* ядра и спрямляющие пространства
 
-
* применение ядер в линейной регрессии
 
-
* метрические операции в спрямляющем пространстве
 
-
* способы построения ядер
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem12_linear.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem12_linear_hw.pdf Домашнее задание]
 
-
|-
 
-
|4 декабря
 
-
|align="center"|Семинар 14
 
-
|
 
-
Байесовские методы:
 
-
* оптимальные байесовские правила для бинарной и квадратичной функций потерь
 
-
* метод максимального правдоподобия
 
-
* байесовская регуляризация на примере задачи линейной регрессии
 
-
* очень кратко про байесовский вывод
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem13_bayes.pdf Конспект]
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/homeworks/Sem13_bayes_hw.pdf Домашнее задание]
 
-
|-
 
-
| 11 декабря
 
-
|align="center"|Семинар 15
 
-
|
 
-
* кратко про наивный байесовский классификатор
 
-
* проверочная работа по линейным методам
 
-
|
 
-
|
 
-
|-
 
-
|18 декабря
 
-
|align="center"|Семинар 16
 
-
|
 
-
Байесовские методы:
 
-
* многомерное нормальное распределение, его свойства
 
-
* нормальный дискриминантный анализ
 
-
* вывод оценок максимального правдоподобия для многомерного нормального распределения
 
-
* линейный дискриминант Фишера как поиск одномерного представления выборки
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/lecture-notes/Sem14_bayes.pdf Конспект]
 
-
|
 
-
|}
 
-
 
-
=== Практические задания ===
 
-
 
-
Решения желательно присылать сразу в двух форматах:
 
-
* ссылка для просмотра ноутбука на NBViewer или GitHub
 
-
* файл с ноутбуком во вложении
 
-
 
-
За каждый день просрочки из оценки вычитается 0.2 балла.
 
-
 
-
{|class = "standard"
 
-
! Задание !! Тема !! Дата выдачи !! Срок сдачи !! Условие
 
-
|-
 
-
|align="center"|Лабораторная работа 1
 
-
| Язык Python, основные библиотеки для анализа данных
 
-
| 14.09.2015
 
-
| 27.09.2015, 23:59
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/labs/lab01_intro.ipynb Условие]
 
-
|-
 
-
|align="center"|Лабораторная работа 2
 
-
| Метод ближайших соседей, решающие деревья и категориальные признаки
 
-
| 10.10.2015
 
-
| 01.11.2015, 23:59
 
-
| [https://github.com/esokolov/ml-course-msu/blob/master/ML15/labs/lab02_knn_trees.ipynb Условие]
 
-
|-
 
-
|}
 
-
 
-
[[Машинное обучение (семинары, ВМК МГУ)/Виртуальная машина|Виртуальная машина с питоном и библиотеками]]
 
-
 
-
Полезные ссылки: см. репозиторий.
 
-
 
-
=== Соревнования ===
 
-
{|class = "standard"
 
-
! Задание !! Тема !! Дата начала !! Дата окончания !! Ссылка
 
-
|-
 
-
| Соревнование 1
 
-
| Закроют ли тему на StackOverflow?
 
-
| 12.10.2015
 
-
| 15.11.2015
 
-
| https://kaggle.com/join/mmpcmcmsu15161v2
 
-
|}
 
-
 
-
Все студенты должны прислать краткий отчет о своем решении и код, воспроизводящий результат.
 
-
 
-
=== Оценки ===
 
-
https://docs.google.com/spreadsheets/d/1vK3gM6sAj2TEqO9mPhm5cIuNSmpsw3CIpQnb4G4Dguo/edit?usp=sharing
 
-
 
-
== Страницы курса прошлых лет ==
 
[[Машинное обучение (семинары, ВМК МГУ)/2014-2015 год, весна|2014-2015 год, весна]]
[[Машинное обучение (семинары, ВМК МГУ)/2014-2015 год, весна|2014-2015 год, весна]]

Текущая версия

Содержание

Актуальная информация

Вся актуальная информация по курсу находится на странице https://github.com/esokolov/ml-course-msu

Оценки

https://docs.google.com/spreadsheets/d/1A5BJs_dJcmqY2KVBUCTWlXueTeFWNVT6Tbx5e3dN6_c/edit?usp=sharing

Страницы курса прошлых лет

2015-2016 год, весна

2015-2016 год, осень

2014-2015 год, весна

2014-2015 год, осень

2013-2014 год, весна

2013-2014 год, осень

2012 год

Личные инструменты