Прикладные задачи анализа данных (курс на ВМК 2017 года)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

ПРИКЛАДНЫЕ ЗАДАЧИ АНАЛИЗА ДАННЫХ (курс для магистров ММП ВМК МГУ)

  • Обязательный курс для магистров каф. ММП 1 г/о, читается в 1-м (9-м) семестре.
  • Лекции — 32 часа, семинаров - 32 часа.
  • Экзамен.
  • За курс отвечает кафедра Математических методов прогнозирования.
  • Автор программы: профессор А. Г. Дьяконов.



Как будет проходить экзамен:
  • Есть система штрафных баллов, по ней формируется итоговая оценка.
  • Пороги для конкретных оценок (по сумме баллов) объявлены изначально, но могут быть откорректированы лектором в пользу студентов.
  • Сам экзамен проводится письменно - на нём (при желании) можно улучшить итоговую оценку

хорошее написание письменного экзамена увеличивает итоговую оценку на 1 балл (порог будет заранее объявлен), безупречное написание - на 2 балла.

  • Итоговая "отлично" ставится автоматом.
  • Итоговая "неудовлетворительно" также ставится автоматом и означает недопуск к экзамену, чтобы получить допуск надо сдать все несданные задания (итоговая оценка при этом не меняется и может быть исправлена только на самом экзамене). Перечень заданий для допуска определяется персонально с учётом заданий, сданных во время семестра.


Содержание экзамена: задания эквивалентные заданиям со всех контрольных и семинаров (плюс задания по спектральной теории графов, плюс задания на знания теории и определений, если они были на лекциях и продублированы в списке рекомендуемой литературы, плюс задания на знания языков/библиотек, если они обсуждались на семинарах и лекциях)


  • Экзамен проходит по жёсткой схеме: нельзя пользоваться ничем (кроме ручки и листка бумаги). Аналогично контроль сдаваемых заданий после окончания семестра жёсткий: лектор уже не консультирует по самим заданиям, презентации оцениваются по формальным критериям: наличие постановки задачи, описание предложенных методов, их обоснование, подробное изложение экспериментов (с графиками и таблицами), формирование итоговой модели, выводы. Оценивается и сам доклад по задаче!


Аннотация

Курс посвящён решению прикладных задач анализа данных. Разбираются реальные задачи и бизнес-кейсы. Студенты пишут и настраивают алгоритмы на языках Python, R, M (Matlab).

Семинары посвящены

  • докладам по решению прикладных задач (с презентациями),
  • опросам по выполнению домашнего задания,
  • обучению программированию на скриптовых языках (для тех, у кого их не было в бакалавриате),
  • мозговому штурму по решению задач и обсуждению решений,
  • написанию контрольных работ, решению аналитических задач, работе над ошибками.

Система оценивания

В течение семестра студенты получают задания.

При сдаче правильно выполненного задания в срок студент не получает штрафных баллов.

В противном случае - он получает от 1 до 10 штрафных баллов.

Штраф в 10 баллов допустим за позднюю сдачу (даже если решение верное) в случае отсутствия уважительных причин (болезнь, подтверждаемая справкой, и т.п. - см. требования учебной части).

В некоторых случаях (на усмотрение лектора), магистру, который лучше всех выполнил конкретное задание, списываются штрафные баллы (до 10).

На экзамене также за неверные ответы студент получает штрафные баллы.


Итоговая оценка формируется следующим образом:

  • до 10 штрафных баллов включительно - отлично,
  • до 20 штрафных баллов включительно - хорошо,
  • до 30 штрафных баллов включительно - удовлетворительно.

Содержание курса

Наполняется по мере необходимости.

Число Занятие Тема Замечания
07.09.17 лекция Вводное занятие: цели курса, материалы, правила, участие в соревнованиях. презентация (pdf)
07.09.17 семинар Тест на знание основ машинного обучения.
07.09.17 дз Регистрация на платформе kaggle.com (каждый участник в четверг должен иметь действующий логин), регистрация на данном ресурсе (по возможности), исследование платформы kaggle (уметь назвать несколько задач с платформы, их постановку, функционал качества, методы, которые использовали участники).
14.09.17 лекция Оценка среднего и вероятности

материалы:

  1. Книга Шурыгин А.М. Математические методы прогнозирования // М., Горячая линия — Телеком, 2009, 180 с. * Неплохие идеи для решения некоторых практических задач статистики (но в целом, специфична)
  2. Статья  Дьяконов А.Г. Прогноз поведения клиентов супермаркетов с помощью весовых схем оценок вероятностей и плотностей // Бизнес-информатика. 2014. № 1 (27). С. 68–77..
  3. Видео Оценка вероятности: когда к нам придёт клиент?
презентация (pdf)
14.09.17 лекция
14.09.17 дз Первое домашнее задание:

Решение задачи [[1]]. Срок - до 04 октября 2017 23:59 (с выкладкой отчёта в [этой ветке форума]).

Все вопросы задаются в [форуме].

Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме.

до 27 сентября 2017 23:59 - преодолеть бенчмарк.

Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia).

max штраф за задание -10.

Но дополнительно, за непреодоление бенчмарка -5.


21.09.17
среда
лекция Язык программирования Python презентация (pdf)
21.09.17
среда
лекция Язык программирования Python (продолжение)
21.09.17
среда
дз Готовиться к к/р по языку Python.


28.09.16 лекция Визуализация данных

материалы:

28.09.16 лекция продолжение
28.09.16 дз

Второе домашнее задание:

  • Найти 2е интересные визуализации, выложить в [форуме(1)] (см. внимательно правила по ссылке). [10 штрафных / +10 анти]
  • Найти ещё одну визуализацию для игры "что за данные" (добавить её в конец презентации про решение 1й задачи к 5.10.2017)
  • Выбрать набор данных на kaggle.com в разделе [[2]]. См. правила и как выбрать на [форуме(2)]. Оформить презентацию-доклад. [10 штрафных / +10 анти]
  • След занятие: отчёт по 1й задаче и к/р Питон


05.10.17 семинар Отчёт по ДЗ №1 (определение суммы 1й покупки)
05.10.17 лекция Отчёт по ДЗ №1 (определение суммы 1й покупки)
05.10.17 дз Следующее реашемое нами соревнование - https://sascompetitions.ru/ - задача Хоум Кредит Банка (подробности на след. занятии).


12.10.17 лекция Функционалы качества и ошибки
12.10.17 лекция Функционалы качества и ошибки

материалы:

презентация (pdf) **NEW**
12.10.17 дз До следующего занятия в ветке форума выложить найденные закономерности в задаче скоринга (штраф: -5).




19.10.16 лекция продолжение Функционалы качества и ошибки, Минимизация ошибок презентация (pdf)
19.10.16 семинар Обсуждение закономерностей в задаче Скоринг HC
19.10.16 дз

НОВОЕ ЗАДАНИЕ

1. Подготовиться к контрольной по функционалам качества

2. Решать задачу скоринга

Файлы сабмитов в задаче скоринга начинать с 'msu_'


По просьбам Визуализация по данным Сбербанка


26.10.17 лекция Случайные леса

материалы:

презентация (pdf) *OLD*
26.10.17 лекция Случайные леса
26.10.17 д/з Продолжаем решать задачу скоринга. Штраф -10 за непреодоление нового бенчмарка 0.697481.


02.11.17 лекция Градиентный бустинг

материалы:

  • A. Natekin, A. Knoll Gradient boosting machines, a tutorial // Front Neurorobot. 2013; 7: 21.
  • García, Salvador, Luengo, Julián, Herrera, Francisco Data Preprocessing in Data Mining // Springer , 2015. 320 p. DOI 10.1007/978-3-319-10247-4
презентация (pdf)
02.11.17 лекция Предобработка данных, Генерация признаков презентация (pdf) , презентация (pdf)
02.11.17 д/з Начинаем решать задачу на платформе ... Boosters (почему-то открывается только через VPN) До след. пары сделать нетривиальный сабмит.


09.11.17 лекция Отбор признаков

материалы:

презентация (pdf)
09.11.17 лекция Категориальные признаки, Рекомендательные системы

материалы:


презентация (pdf), презентация (pdf)


09.11.17 дз До 15.11.17 преодолеть неизвестный бенчмарк задачи Boosters (+ задание в канале).


16.11.17 лекция Рекомендательные системы (окончание), обсуждение текущего задания


16.11.17 лекция Пост-троечные последовательности

материалы:

презентация (pdf)
16.11.17 дз
  • Превзойти результат Эмиля на 10%
  • сделать нетривиальное решение для TRAINMYDATA
  • найти интересные закономерности в TMD


23.11.17 нет лекции ПЕРЕНОС ЗАНЯТИЙ


30.11.17 лекция Теория нечётких множеств

материалы:

презентация (pdf)
30.11.17 семинар Задачи по нечётким множествам
30.11.17 дз Подготовиться к контрольной по нечётким множествам



07.12.16 лекция Исследование социальных сетей

материалы:

презентация (pdf)
07.12.16 лекция Исследование социальных сетей (продолжение)
07.12.16 дз  ???


14.12.17 лекция Исследование социальных сетей (продолжение)
14.12.17 лекция Спектральная теория графов (сколько успеем)

материалы:

презентация (pdf)
14.12.17 дз нет


Успеваемость

Изображение:Reiting.png

Литература

Указана локально - в сетке расписания.

История

Программы прошлых лет см. здесь:

Личные инструменты