Материал из MachineLearning.

Версия 07:08, 30 марта 2019 (править) Victor Kitov (Обсуждение | вклад) (→Выпуклые функции) ← К предыдущему изменению		Версия 04:35, 16 мая 2019 (править) (отменить) Victor Kitov (Обсуждение | вклад) (→Второй семестр) К следующему изменению →
Строка 91:		Строка 91:
	===Выпуклые функции===		===Выпуклые функции===
	[https://yadi.sk/i/NhBsfkgwqEbq6A Презентация]		[https://yadi.sk/i/NhBsfkgwqEbq6A Презентация]
-
-	===Многослойный персептрон===
-	[https://yadi.sk/i/KmCOkZZf3W4tWf Презентация]
	===Визуализация сверточных нейросетей===		===Визуализация сверточных нейросетей===
Строка 104:		Строка 101:
	===Смеси распределений===		===Смеси распределений===
	[https://yadi.sk/i/FlxGC4Zg3Q3UUS Презентация]		[https://yadi.sk/i/FlxGC4Zg3Q3UUS Презентация]
-
-	----
	[https://yadi.sk/i/Z2dLjT0h3Q3UUz Разделение смеси многомерных нормальных распределений]		[https://yadi.sk/i/Z2dLjT0h3Q3UUz Разделение смеси многомерных нормальных распределений]
		+	===Тематические модели===
		+	[https://yadi.sk/i/ySqnbCn4XVlASw Презентация]
		+
		+	[https://yadi.sk/i/d0KD1pGT3WN4PC Вывод EM для PLSA]
	===Сингулярное разложение.===		===Сингулярное разложение.===
Строка 114:		Строка 113:
	[https://yadi.sk/i/60l0YQG93W6G6H Доказательство всех основных свойств].		[https://yadi.sk/i/60l0YQG93W6G6H Доказательство всех основных свойств].
-
-	===Рекомендательные системы.===
-	[https://yadi.sk/i/vx3ALyzy3WfCPE Презентация]
-
-
-	===Тематические модели===
-	[https://yadi.sk/i/ySqnbCn4XVlASw Презентация]
-
-	[https://yadi.sk/i/d0KD1pGT3WN4PC Вывод EM для PLSA]
	===Ядерно-сглаженные оценки плотности.===		===Ядерно-сглаженные оценки плотности.===
Строка 132:		Строка 122:
	===Обнаружение аномалий===		===Обнаружение аномалий===
	[https://yadi.sk/i/K2EpGFqD3Q3UZM Презентация]		[https://yadi.sk/i/K2EpGFqD3Q3UZM Презентация]
		+
		+	===Рекомендательные системы.===
		+	[https://yadi.sk/i/vx3ALyzy3WfCPE Презентация]
	===Активное обучение===		===Активное обучение===
Строка 141:		Строка 134:
	===Частичное обучение===		===Частичное обучение===
	[https://yadi.sk/i/8yi21SL5ig_XHQ Презентация]		[https://yadi.sk/i/8yi21SL5ig_XHQ Презентация]
-
-
	===Рекомендуемые ресурсы по Python===		===Рекомендуемые ресурсы по Python===

---

Версия 04:35, 16 мая 2019

Содержание 1 Экзамен 2 Программа курса 2.1 Первый семестр 2.1.1 Введение в машинное обучение. 2.1.2 Метод ближайших центроидов и K ближайших соседей. 2.1.3 Другие метрические методы. 2.1.4 Сложность моделей. Подготовка данных. 2.1.5 Метрики близости. 2.1.6 Оптимизация метода K ближайших соседей. 2.1.7 Метод главных компонент. 2.1.8 Линейная регрессия. 2.1.9 Линейная классификация. 2.1.10 Метод опорных векторов. 2.1.11 Обобщения методов через ядра Мерсера. 2.1.12 Оценивание классификаторов. 2.1.13 Решающие деревья. 2.1.14 Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей. 2.1.15 Бустинг. 2.1.16 Усовершенствования бустинга. 2.2 Второй семестр 2.2.1 Байесовское решающее правило. Предположение наивного Байеса. Генеративные и дискриминативные модели. Примеры генеративных моделей. 2.2.2 Отбор признаков 2.2.3 Выпуклые функции 2.2.4 Визуализация сверточных нейросетей 2.2.5 Задача переноса стиля - онлайн, оффлайн методы 2.2.6 EM-алгоритм 2.2.7 Смеси распределений 2.2.8 Тематические модели 2.2.9 Сингулярное разложение. 2.2.10 Ядерно-сглаженные оценки плотности. 2.2.11 Кластеризация 2.2.12 Обнаружение аномалий 2.2.13 Рекомендательные системы. 2.2.14 Активное обучение 2.2.15 Нелинейное снижение размерности 2.2.16 Частичное обучение 2.2.17 Рекомендуемые ресурсы по Python

Курс посвящен алгоритмам машинного обучения (machine learning), которые сами настраиваются на известных данных, выделяя их характерную структуру и взаимосвязи между ними, для их прогнозирования, анализа, компактного описания и визуализации. Основной акцент курса сделан на задачах предсказания дискретных величин (классификация) и непрерывных величин (регрессия), хотя в курсе также рассматриваются смежные области - эффективное снижение размерности пространства, выделение наиболее значимых признаков для предсказания, методы оценивания и сравнения вероятностных распределений, рекомендательные системы и планирование экспериментов.

Лектор: Виктор Китов

Семинарист: Евгений Соколов

Курс читается студентам 3 курса кафедры «Математические методы прогнозирования» ВМиК МГУ, магистрам, зачисленным на эту кафедру, и не проходивших ранее аналогичных курсов, а также для всех желающих. На материал данного курса опираются последующие кафедральные курсы.

По изложению, рассматриваются математические основы методов, лежащие в их основе предположения о данных, взаимосвязи методов между собой и особенности их практического применения.

Курс сопровождается семинарами, раскрывающими дополнительные темы курса и отрабатывающими навыки практического применения рассматриваемых методов. Практическое использование методов машинного обучения в основном будет вестись с использованием языка python и соответствующих библиотек для научных вычислений.

От студентов требуются знания линейной алгебры, математического анализа, теории вероятностей, математической статистики и методов оптимизации. Практические задания должны выполняться с использованием языка Python и его научных библиотек.

• Курс во многом пересекается с курсом К.В.Воронцова по машинному обучению, с которым также рекомендуется ознакомиться.

• Анонимные отзывы и комментарии по лекциям можно оставлять здесь.

Экзамен

Билеты

Программа курса

Первый семестр

Введение в машинное обучение.

Презентация.

Метод ближайших центроидов и K ближайших соседей.

Презентация.

Другие метрические методы.

Презентация.

Сложность моделей. Подготовка данных.

Презентация.

Метрики близости.

Презентация.

Оптимизация метода K ближайших соседей.

Презентация.

Метод главных компонент.

Презентация.

Свойства симметричных матриц, положительно определенные матрицы, векторное дифференцирование.

Линейная регрессия.

Презентация.

Линейная классификация.

Презентация.

Метод опорных векторов.

Презентация. +вывод двойственной задачи SVM

Обобщения методов через ядра Мерсера.

Презентация. + двойственная задача для гребневой регрессии

Оценивание классификаторов.

Презентация.

Решающие деревья.

Презентация.

Ансамбли прогнозирующих алгоритмов. Смещение и дисперсия моделей.

Презентация.

Бустинг.

Презентация.

Усовершенствования бустинга.

Презентация.

Второй семестр

Байесовское решающее правило. Предположение наивного Байеса. Генеративные и дискриминативные модели. Примеры генеративных моделей.

Презентация

Отбор признаков

Презентация

Выпуклые функции

Презентация

Визуализация сверточных нейросетей

Задача переноса стиля - онлайн, оффлайн методы

EM-алгоритм

Презентация

Смеси распределений

Презентация

Разделение смеси многомерных нормальных распределений

Тематические модели

Презентация

Вывод EM для PLSA

Сингулярное разложение.

Презентация

Доказательство всех основных свойств.

Ядерно-сглаженные оценки плотности.

Презентация

Кластеризация

Презентация

Обнаружение аномалий

Презентация

Рекомендательные системы.

Презентация

Активное обучение

Презентация

Нелинейное снижение размерности

Презентация

Частичное обучение

Презентация

Рекомендуемые ресурсы по Python

• Примеры для начинающих: краткое руководство с примерами по Python 2
• Python from scratch: A Crash Course in Python for Scientists
• Коллекция интересных IPython ноутбуков
• Лекции Scientific Python
• Книга: Wes McKinney «Python for Data Analysis»
• Официальный сайт
• Научные библиотеки: NumPy, Pandas, SciKit-Learn, Matplotlib.