|
|
(116 промежуточных версий не показаны.) |
Строка 1: |
Строка 1: |
- | [[Изображение:Ya-Icon-new-size.jpg|thumb]] В курсе рассматриваются основные задачи обучения по прецедентам: [[классификация]], [[кластеризация]], [[регрессия]]. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами. Данный курс расширяет и углубляет набор тем, рекомендованный международным стандартом '''ACM/IEEE Computing Curricula 2001''' по дисциплине «Машинное обучение и нейронные сети» (machine learning and neural networks) в разделе «Интеллектуальные системы» (intelligent systems).
| + | = Страница купса переехала сюда https://ml-mipt.github.io/ = |
- | | + | |
- | Семинарская часть курса ставит перед сабой задачи: научить студента видеть задачи машинного обучения в реальной жизни, применять изученные матоды для решения задач машинного обучения, при необходимости реализовать необходимый метод.
| + | |
- | | + | |
- | '''Лекторы''': Анастасия Зухба, проф. Константин Воронцов.
| + | |
- | | + | |
- | '''Семинаристы''': Алексей Романенко, Борис Коваленко, Ашуха Арсений,
| + | |
- | | + | |
- | Все вопросы по курсу можно задать через систему [https://piazza.com piazza].
| + | |
- | | + | |
- | Анонимные отзывы по курсу можно отправить [https://docs.google.com/forms/d/1U60EFqZ7j-Eib_-tB3lZLWxlZElui_1Qj_E_yH7hFWE/viewform?usp=send_form тут]
| + | |
- | | + | |
- | == Расписание Лекций ==
| + | |
- | {| class="standard"
| + | |
- | !Дата !! № занятия !! Занятие !! Материалы
| + | |
- | |-
| + | |
- | |12 февраля 2016 || align="center"| 1 || Задачи обучения по прецедентам. Supervised, unsupervised и semi-supervised обучение. Понятия переобучения и обобщающей способности. Скользящий контроль (cross-validation). ||
| + | |
- | |-
| + | |
- | |19 февраля 2016 || align="center"|2 || Метрические алгоритмы классификации. Обобщённый метрический классификатор, понятие отступа. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Отбор эталонных объектов. алгоритм СТОЛП. ||
| + | |
- | |-
| + | |
- | |26 февраля 2016 || align="center"|3 || Построение метрик и отбор признаков. Стандартные метрики. Оценивание качества метрики. Проклятие размерности. Жадный алгоритм отбора признаков. ||
| + | |
- | |-
| + | |
- | |4 марта 2016 || align="center"|4 || Логические закономерности. Статистический критерий информативности Ic(',Xl): смысл и способы вычисления. Энтропийный критерий информативности, информационный выигрыш IGainc(',Xl). Многоклассовые варианты критериев. Индекс Gini. Задача перебора конъюнкций. “Градиентный” алгоритм синтеза конъюнкций и его частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. ||
| + | |
- | |-
| + | |
- | |11 марта 2016 || align="center"|5 || Бинаризация признаков, алгоритм выделения информативных зон. Решающие списки. Решающие деревья: принцип работы. Разбиение пространства объектов на подмножества, выделяемые конъюнкциями терминальных вершин. Алгоритм ID3. Пре-прунинг и пост-прунинг. ||
| + | |
- | |-
| + | |
- | |18 марта 2016 || align="center"|6 || Знакомство с идеей композиции алгоритмов. Random Forest, Беггинг, RSM, стекинг. ||
| + | |
- | |-
| + | |
- | |25 марта 2016 || align="center"|7 || Линейная классификация. Непрерывные аппроксимации пороговой функции потерь. Метод минимизации аппроксимированного эмпирического риска. SG, SAG. Связь минимизации аппроксимированного эмпирического риска и максимизации совместного правдоподобия данных и модели. Регуляризация (l1, l2, elastic net). Вероятностный смысл регуляризаторов. Примеры различных функций потерь и классификаторов. Эвристический вывод логистической функции потерь. ||
| + | |
- | |-
| + | |
- | |1 апреля 2016 || align="center"|8 || Метод опорных векторов. Оптимизационная задача с ограничениями в виде неравенств и безусловная. Опорные векторы. Kernel trick. ||
| + | |
- | |-
| + | |
- | |8 апреля 2016 || align="center"|9 || Задача снижения размерности пространства признаков. Идея метода главных компонент
| + | |
- | (PCA). Связь PCA и сингулярного разложения матрицы признаков (SVD). Вычисление SVD в пространствах высокой размерности методом стохастического градиента (SG SVD). ||
| + | |
- | |-
| + | |
- | |15 апреля 2016 || align="center"|10 || Многомерная линейная регрессия. Геометрический и аналитический вывод. Регуляризация в задаче регрессии. Непараметрическая регрессия. Формула Надарая-Ватсона. Регрессионные деревья. ||
| + | |
- | |-
| + | |
- | |22 апреля 2016 || align="center"|11 || Байесовская классификация и регрессия. Функционал риска и функционал среднего риска. Оптимальный байесовский классификатор и теорема о минимизации среднего риска. Наивный байесовский классификатор. ||
| + | |
- | |-
| + | |
- | |29 апреля 2016 || align="center"|12 || Восстановление плотности: параметрический и непараметрический подход. Метод Парзеновского окна. Параметрический подход на примере нормального дискриминантного анализа. Линейный дискриминант Фишера. Логистическая регрессия.||
| + | |
- | |-
| + | |
- | |6 мая 2016 || align="center"|13 || Задача кластеризации. Аггломеративная и дивизионная кластеризация. Алгоритмы k-Means. Кластеризация с помощью EM-алгоритма (без вывода M-шага). Формула Ланса-Уилльямса. ||
| + | |
- | |-
| + | |
- | |13 мая 2016 || align="center"|14 || Метод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения. Выбор начального приближения, числа слоёв, числа нейронов скрытого слоя в градиентных методах настройки нейронных сетей. Методы ускорения сходимости. Метод оптимального прореживания нейронной сети. ||
| + | |
- | |-
| + | |
- | |20 мая 2016 || align="center"|15 || Задача прогнозирования временного ряда, примеры задач. Составление матрицы регрессии, адаптация весов регрессоров во времени. Экспоненциальное сглаживание, модель Хольта, модель Уинтерса.||
| + | |
- | |-
| + | |
- | | + | |
- | |}
| + | |
- | | + | |
- | == Семинары ==
| + | |
- | | + | |
- | === Семинары: Арсений Ашуха / Вторник 09:00 - 10:25===
| + | |
- | | + | |
- | Таблица с результатами находится [https://www.dropbox.com/sh/1a7gndl1yl2bl87/AAASvVPo0Z8HzHMcWDHDJbPNa?dl=0 тут], материалы к занятиям находятся [https://www.dropbox.com/sh/t4ounbrj40ddpy0/AADyhX5EoBa_cLQ43kgVERLEa?dl=0 тут], [https://www.dropbox.com/s/3yzfprqie8gz4sx/ashuha_resume.pdf?dl=0 cv]
| + | |
- | | + | |
- | '''Новости''':
| + | |
- | | + | |
- | '''Практические задания''':
| + | |
- | | + | |
- | | + | |
- | | + | |
- | === Семинары: Коваленко Борис / Вторник 10:35 - 12:00 ===
| + | |
- | | + | |
- | Лог посещений и результатов [https://docs.google.com/spreadsheets/d/1w3A9hPJVTfuo80wrvsQWmByRKOzl_YgIajb5Upx_jkI/edit?usp=sharing тут] [https://ru.linkedin.com/in/boriskovalenko Linkedin]
| + | |
- | | + | |
- | Семинар 1.
| + | |
- | | + | |
- | Материалы: ---
| + | |
- | | + | |
- | '''Новости''':
| + | |
- | | + | |
- | '''Практические задания''':
| + | |
- | | + | |
- | === Семинары: Алексей Романенко / Вторник 16:55 - 18:20 / Вторник 18:30 - 20:00===
| + | |
- | | + | |
- | Таблица рейтинга находится [https://docs.google.com/spreadsheets/d/1wd6j-eKVFLbh0xzkevHfZswdV6GE5t7hydnATwELhU0/edit?usp=sharing тут], материалы семинаров находятся [https://drive.google.com/folderview?id=0B9ZsO9o9XXqNaWVNeGJOMHpTeU0&usp=sharing тут],
| + | |
- | | + | |
- | '''Новости''':
| + | |
- | | + | |
- | '''Практические задания''':
| + | |
- | | + | |
- | == Литература ==
| + | |
- | # ''К. В. Воронцов'' [http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf Математические методы обучения по прецедентам]
| + | |
- | # ''Trevor Hastie'' [http://web.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition]
| + | |
- | # ''Christopher Bishop'' [http://www.rmki.kfki.hu/~banmi/elte/Bishop%20-%20Pattern%20Recognition%20and%20Machine%20Learning.pdf Pattern Recognition and Machine Learning]
| + | |
- | # Stanford [http://cs231n.github.io/python-numpy-tutorial/ python/numpy] [http://cs229.stanford.edu/section/cs229-linalg.pdf linear algebra] [http://cs229.stanford.edu/section/cs229-prob.pdf probability] [http://cs231n.github.io/optimization-1/ optimization] tururials
| + | |
- | | + | |
- | == Позезные пакеты == | + | |
- | # [https://www.continuum.io/downloads Anaconda] -- установка питона и большого количества библиотек.
| + | |
- | | + | |
- | == Страницы курса прошлых лет ==
| + | |
- | --
| + | |
- | | + | |
- | == См. также ==
| + | |
- | [[Категория:Учебные курсы]]
| + | |