Прикладной статистический анализ данных (курс лекций, 2017)

Материал из MachineLearning.

Перейти к: навигация, поиск

Лекторы: К. Воронцов, М. Хальман, Ш. Ишкина, А. Романенко, П. Швечиков.

Аналогичный курс в МФТИ


Содержание

Экзамен

Обратите внимание на перенос времени начала экзамена!

Экзамен по данному курсу назначен на 28 апреля, 10:30 и будет проходить в 704 аудитории.

Опаздывать на экзамен в пределах 15 минут полезно, ибо проверяющих сильно меньше чем студентов, поэтому равномерное распределение студентов по времени в промежутке от 10:30 до 10:45 даже приветствуется.

Пожалуйста, не опаздывайте на экзамен более чем на час! Такие опоздавшие без уважительной причины с большой долей вероятности допущены к экзамену не будут.


Структура экзамена содержит в себе два блока:

1. Теоретический вопрос (2 балла) и практическая задача (2 балла)

2. Два дополнительных вопроса по всему курсу (2 x 3 балла)

При подготовке ответа на первый блок можно пользоваться любыми материалами (в том числе и слайдами / лекциями). Время на подготовку к ответу не должно превышать 1.5 часа. При ответе на первый блок можно пользоваться только своими записями. "Практичность" задачи будет заключаться в том, что Вам будет выдана туманная постановка задачи из реальной жизни и будет проверяться ваше умение формализовать неясную постановку "заказчика", а также умение сравнить методы, которые Вы считаете приемлемыми для решения формализованной задачи. В качестве подготовки к практической части экзамена полезно просмотреть домашние задачи ваших коллег, т.к. каждому студенту в течение курса выдавались уникальные задания.

Второй блок начинается сразу после того, как студент закончил ответ на первый блок. При ответе на вопросы второго блока ничем пользоваться нельзя. Второй блок будет содержать общие вопросы на понимание предмета курса и могут включать важные детали курса. Суммарная полученная оценка (максимум 10 баллов) делится пополам и используется в общей итоговой формуле оценки за курс по правилу, указанному ниже на этой странице.

Заранее выложенных билетов не будет. Общий охват материала обоими блоками будет стремиться к полному курсу, поэтому готовиться имеет смысл по всем материалам курса. В качестве подготовки к экзамену убедитесь, что вы

1. понимаете интуицию методов, которые были на лекции

2. можете предложить альтернативы решения почти к каждому методу, который вам рассказывался

3. составили общую картину курса в голове, определив, какие методы нужны для каких задач


Удачи на экзамене!

Расписание занятий

Занятия начинаются в 10:30, если отдельно не указано иное.

Дата Тема Аудитория (лекция/семинар) Лекция Семинар
10.02.2017 Базовые распределения, статистики и их свойства; Оценка параметров 607 Слайды
13.02.2017 Проверка параметрических гипотез 526б Слайды Задания на семинар Решения
17.02.2017 Проверка непараметрических гипотез 704 Слайды Задания на семинар, Статья про boostrap, Решения
20.02.2017 Множественная проверка гипотез 523/526б Слайды Задания на семинар, Решения
27.02.2017 Анализ зависимостей 704 Слайды Задания на семинар, Решения
03.03.2017 Дисперсионный анализ 704 Слайды Задания на семинар, Решения
10.03.2017 Линейная регрессия 704 Слайды Задания на семинар, Решения
17.03.2017 Дополнения и обобщения регрессии 704 Слайды Задания на семинар, Решения
24.03.2017 Прогнозирование временных рядов, часть 1 704 Слайды Задания на семинар, Решения
31.03.2017 Прогнозирование временных рядов, часть 2 704 Слайды Задания на семинар, Решения
07.04.2017 Причинно-следственные связи 704 Слайды Задания на семинар, Решения, Видео про CausalImpact

Система выставления оценок по курсу

По курсу запланировано 4 практических задания и экзамен. Оценки за выполнение практических заданий суммируются.

Итоговая оценка за курс является минимум между суммарной оценкой за практические задания и оценкой за экзамен.

Округление итоговой оценки производится по правилу арифметического округления (4.5 => 5).

Разбалловку по заданиям смотри в разделе Практические задания .

Практическая работа

Основные ссылки



Минимальная практика

Для того, чтобы успешно выполнять практические задания и работать на семинаре, вам необходимо приобрести минимальные навыки работы в R. Для этого скачайте R, RStudio, и установите swirl (ссылки приведены выше).

До семинара, убедитесь, пожалуйста, что вы прошли из блока «R Programming: The basics of programming in R» пакета swirl (инструкция по установке и запуску swirl) следующие уроки:

  • 1: Basic Building Blocks
  • 4: Vectors
  • 7: Matrices and Data Frames
  • 10: lapply and sapply
  • 13: Simulation
  • 15: Base Graphics

В противном случае на семинаре вы не сможете полноценно влиться в работу и получите дополнительные сложности при выполнении практических заданий.




Практические задания

Дедлайн по заданию мягкий, за каждый день просрочки снимается 0.05 баллов.

Просрочка считается исходя из чистого времени, которое студент выполняет задание (при подсчете просрочки не учитывается время, которое задание находилось на проверке). Проверяющий может вернуть работу (с разъяснящими комментариями) на доработку (без потери баллов) не более одного раза.

В случае доработки задания проверяющий выставляет оценку исходя из выполнения условий задачи и требованных доработок.

Обратите внимание на то, что время, которое задание ожидает своей проверки в anytask, не включается во время выполенения задания студентом, но отправлять задание можно не более двух раз. После второй отправки задание будет оценено окончательно.

Поскольку anytask не позволяет выставлять дробные значения, то в самой системе anytask все максимальные баллы умножены на 10. На столько же нужно умножить и баллы просрочки (т.е. за каждый день просрочки в anytask будет сниматься 0.5 балла).


Номер задания Дата выдачи Дедлайн Название работы Максимальный балл
1 17.02.2017 03.03.2017 23:00 Исследование свойств стат. критериев на модельных данных 1
2 03.03.2017 17.03.2017 23:00 Проверка статгипотез 1.5
3 17.03.2017 31.03.2017 23:00 Линейная и обобщенная линейная регрессия 2
4 01.04.2017 15.04.2017 23:00 Прогнозирование временных рядов 1.5

Литература

1. Основная литература

  1. Вальд, А. Последовательный анализ. — М.: Физматлит, 1960.
  2. Кобзарь, А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  3. Лагутин, М. Б. Наглядная математическая статистика. — М.: П-центр, 2003.
  4. Agresti, A. Categorical Data Analysis. — Hoboken: John Wiley & Sons, 2013.
  5. Bilder, C.R., Loughin, T.M. Analysis of Categorical Data with R. — Boca Raton: Chapman and Hall/CRC, 2013.
  6. Bonnini, S., Corain, L., Marozzi, M., Salmaso S. Nonparametric Hypothesis Testing: Rank and Permutation Methods with Applications in R. — Hoboken: John Wiley & Sons, 2014.
  7. Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.
  8. Chihara, L., Hesterberg, T. Mathematical Statistics with Resampling and R — Hoboken: John Wiley & Sons, 2011.
  9. Diez, D.M, Barr, C.D., Cetinkaya-Rundel, M., Dorazio, L. Advanced High School Statistics. — OpenIntro, 2015.
  10. Hyndman, R.J., Athanasopoulos G. Forecasting: principles and practice. — OTexts, 2016. https://www.otexts.org/book/fpp
  11. Kanji, G.K. 100 statistical tests. — London: SAGE Publications, 2006.
  12. Mukhopadhyay, N., de Silva, B. M. Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009.
  13. Olsson, U. Generalized Linear Models: An Applied Approach. — Lund: Studentlitteratur, 2004.
  14. Pearl J., Glymour M., Jewell N.P. Causal Inference in Statistics: A Primer. — Chichester: John Wiley & Sons, 2016.
  15. Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. — Boston: Pearson Education, 2012.
  16. Wooldridge, J. Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013.

2. Дополнительная литература

  1. Cameron, A.A., Trivedi, P.K. Regression Analysis of Count Data. — Cambridge: Cambridge University Press, 2013.
  2. Dickhaus, T. Simultaneous Statistical Inference With Applications in the Life Sciences. — Heidelberg: Springer, 2014.
  3. Good, P. Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005.
  4. Hosmer, D.W., Lemeshow S., Sturdivant, R.X. Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013.
  5. Kirchgassner, G., Wolters, J., Hassler, U. Introduction to modern time series analysis. — Heidelberg: Springer, 2013.
  6. Nagarajan, R., Scutari, M., Lèbre, S. Bayesian Networks in R with Applications in Systems Biology. — New York: Springer, 2013.
Личные инструменты