Автоматизация научных исследований в машинном обучении (практика, В.В. Стрижов)/ФУПМ, осень 2019

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Занятие 9 (5 ноября — 5 ноября))
(Занятие 12 (15 ноября — 20 ноября))
(23 промежуточные версии не показаны)
Строка 208: Строка 208:
== Занятие 9 (1 ноября — 5 ноября) ==
== Занятие 9 (1 ноября — 5 ноября) ==
-
{{tip|
+
* [https://youtu.be/fo4lsuYaLaA видео-стрим семинара]
-
Ссылки:
+
-
* [ видео-стрим семинара]
+
-
* телеграм для вопросов там же}}
+
-
'''Задание'''
+
 
 +
'''Задание''' (прошлый вариант задания перенесен на неделю вперед, поэтому задание будет простым)
 +
# В папке и файле '''main.ipynb''' от первого задания, после графиков дисперсии ошибки
 +
#* построить гистограмму регрессионных остатков,
 +
#* найти подходящий статистический текст и с его помощью
 +
#* проверить вектор регрессионных остатков на нормальность,
 +
#* сравнить визуальный результат и резульат теста.
 +
 +
'''Материалы'''
 +
* [[Media:Strijov2019TimeSeries.pdf|Прогнозирование и классификация временных рядов]], и короткое [[Media:Strijov2019TimeSeries2.pdf|приложение]]
 +
* [[Media:Uvarov2018PresentationCut.pdf|Прогнозирование ошибки]]
 +
 
 +
'''Анкета'''
 +
* [https://forms.gle/mBpLDHM8ypHkMQHz8 Анкета с вопросами] (основная. дедлайн 07.11.2019 9:00. доступна только с почты @phystech.edu)
 +
* [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с заданием. дедлайн 08.11.2019 9:00. доступна только с почты @phystech.edu)
 +
* [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 08.11.2019 9:00. доступна только с почты @phystech.edu)
 +
 
 +
== Занятие 10 (8 ноября — 12 ноября) ==
 +
* [https://youtu.be/y_ZriJMEfyw видео-стрим семинара]
 +
 
 +
'''Задание'''
# В папке от первого задания добавить ноутбук trajectory.ipynb с вычислительным экспериментом "визуализация фазовой траектории",
# В папке от первого задания добавить ноутбук trajectory.ipynb с вычислительным экспериментом "визуализация фазовой траектории",
-
#* выбрать периодический [[ |временной ряд из коллекции]],
+
#* выбрать периодический [[Временной ряд (библиотека примеров)|временной ряд из коллекции]],
#* выбрать несколько периодов ряда,
#* выбрать несколько периодов ряда,
-
#* построить матрицу Ганкеля,
+
# построить матрицу Ганкеля, в которой два отсчета в предыстории,
 +
#* написовать полученный график на плоскости
 +
# (остальное задание уходит на следующую неделю, 15 ноября)
 +
#* построить матрицу Ганкеля, в которой период или два периода в предыстории,
#* cделать ее сингулярное разложение,
#* cделать ее сингулярное разложение,
-
#* нарисовать пару главных компонент (на выбор, необязательно первые),
+
#* нарисовать пару главных компонент (на выбор, необязательно первые) на плоском графике,
#* или тройку главных компонент на трех осях.
#* или тройку главных компонент на трех осях.
-
Прокомментировать, что читатель видит на графике (например, какой тип движения).
+
# Прокомментировать коротким текстом, что читатель видит на графике (например, какой тип движения).
-
+
 
'''Материалы'''
'''Материалы'''
-
* [[Media:.pdf|Прогнозирование и классификация временных рядов]]
+
* [[Media:Stenina2015PresentationCut.pdf|Иерархическое прогнозирование]]
 +
* [[Media:Usmanova2018PresentationCut.pdf|Обнаружение зависимостей]]
 +
 
 +
'''Анкета'''
 +
* [https://forms.gle/vNeGpApciUut2D9a7 Анкета с вопросами] (основная. дедлайн 14.11.2019 9:00. доступна только с почты @phystech.edu)
 +
* [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с заданием. дедлайн 15.11.2019 9:00. доступна только с почты @phystech.edu)
 +
* [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 15.11.2019 9:00. доступна только с почты @phystech.edu)
 +
 
 +
== Занятие 11 (15 ноября — 20 ноября) ==
 +
{{tip|
 +
Ссылки:
 +
* [https://youtu.be/_tOQtaTrNqk видео-стрим семинара]
 +
* телеграм для вопросов там же}}
 +
 
 +
'''Задание (старое)'''
 +
# Доделать задание предыдущей недели.
 +
 
 +
'''Задание'''
 +
Написать эссе - запрос на постановку задачи, которое (по возможности) включает:
 +
* цель, которую требуется достичь,
 +
* описание данных,
 +
* экспертные предположения о задаче,
 +
* предполагаемую модель,
 +
* критерий качества.
 +
* Задание загрузить в папку 2019-Essay в файлах Surname2019ProjectRequest.pdf и .tex
 +
Все эссе будут разобраны с целью постановки задачи на одном из следующих занятий. Считайте это консультацией по интересующей вас теме.
 +
 
 +
'''Материалы'''
 +
* [[Media:Strijov2019ECoGaccel.pdf|Анализ поведения]]
 +
* [[Media:Ivanychev2018Slides_cut.pdf|Локальное моделирование]]
 +
 
 +
'''Анкета'''
 +
* [https://forms.gle/dhVwqvD9pMWj9XTe7 Анкета с вопросами] (основная. дедлайн 21.11.2019 9:00. доступна только с почты @phystech.edu)
 +
* [https://forms.gle/EFjLLr27jJdBAheB9 Анкета '''"сдача задания'''"] (для указание папки на GitHub с заданием. дедлайн 22.11.2019 9:00. доступна только с почты @phystech.edu)
 +
* [https://forms.gle/bAjdzDthU1QcGEpt8 Анкета '''"рецензия'''"] (собрать результаты людей. дедлайн 22.11.2019 9:00. доступна только с почты @phystech.edu)
 +
 
 +
== Занятие 12 (15 ноября — 20 ноября) ==
 +
{{tip|
 +
Ссылки:
 +
* [https://youtu.be/NZEqmjMvaII видео-стрим семинара]
 +
* телеграм для вопросов там же}}
 +
 
 +
'''Задание'''
 +
# Написать эссе - анализ наиболее перспективных (или бесперсективных) трендов развития области машинного обучения в ближайшее время, ваше мнение.
 +
#* Например, организаторы OpenTalks.ai, по моему мнению, видят развитие в Обучении с подкреплением. Специлисты говорят, что метод имеет ряд недостатков, затрудняющих получение адекватных моделей (от вас ожидаетя обоснование почему).
 +
#* Например, я считаю, что Атаки на ГАНы - тема бесперспективная, несмотря на большое число публикаций и проблема разрешается повышением усточивости сети за счет существенного снижения сложности (почему).
 +
#* Например, я считаю, что применение байесовских подходов в теории игр - тема перспективная (привести примеры, сказать почему).
 +
#* Например, я считаю, что SinGAN и обучение по малой выборке является перспективной задачей (что это такое, почему).
 +
# Объем текста - один-два абзаца с обоснованием тренда (трендов).
 +
# Задание загрузить в папку 2019-Essay в файлах Surname2019ProjectHype.pdf и .tex
 +
Все эссе будут разобраны с целью постановки задачи на одном из следующих занятий. Считайте это консультацией по интересующей вас теме.
 +
 
 +
'''Материалы'''
 +
 
 +
* [[Media:Strijov2019Control.pdf|Управление с обратной связью в машинном обучении]]
 +
* [[Media:Katrutsa2016BSPresentation_cut.pdf|Тестирование алгоритмов выбора признаков]]
 +
* [[Media:Katrutsa2016MSPresentation_cut.pdf|Квадратичный выбор призанков]]
'''Анкета'''
'''Анкета'''

Версия 16:26, 21 ноября 2019

Машинное обучение

Постановка задач и выбор моделей в машинном обучении

Занятие 1 (6 — 11 сентября)

  1. Подготовка инструментов: выполнить (или проверить, что владеете инструментом),
    • пункты 1, 2, 4, 6, 7, 9, 11, 12 ,13 ДЗ-1 из основной страницы,
    • пункты 4, 5 ДЗ-2.
  2. Получить доступ к https://github.com/Intelligent-Systems-Phystech/
  3. В папке 2019-StartCode создать папку ДЗ Surname2019Linear и файл main.ipynb
    1. В тетради кратко указать название и цель эксперимента.
    2. Загрузить выборку
      1. простую (цена на хлеб),
      2. посложнее (потребление электроэнергии),
      3. совет: лучше загружать по ссылке, а не сохранять в репозиторий.
    3. Построить несколько моделей (пример).
    4. Нарисовать график прогноза (оформление: пример 1, пример 2).
    5. Нарисовать дисперсию прогноза (пример полосы). Дисперсия в каждом значении зависимой переменной вычисляется путем случайного семплирования обучающей выборки, выборка разбивается несколько раз.
    6. Дополнительно*: предложить способ порождения новых (признаков) моделей.

Материалы

Советы по пользованию репозиторием

  • GitHub: клонируйте мастер и заливайте правки в него, если работаете только со своим кодом. См. краткое руководство по работе с GitHub.
    1. Update first, Commit after (Pull first, Push after)
    2. Your own work only, no external publications
    3. No big files (put link to external datasets)
    4. No temporary nor dummy files

Прочитать, чем отличается branch от fork

Анкета


Занятие 2 (13 — 18 сентября)

Задание

  1. Загрузить выборку (из прежнего задания, или из UCI, или на ваш вкус), нормировать признаки.
  2. Для линейной модели (на выбор: модель регрессии или классификации)
    • написать генетический алгоритм выбора признаков (или другой, по вашему выбору).
  3. Построить графики зависимости,
    1. ось абсцисс: итерации,
    2. ось ординат: функция ошибки S и ее стандартное отклонение (обучающая и тестовая выборка),
    3. ось ординат: параметны модели "лапша" (желательно стандартное отклонение),
    4. дополнительно, ось ординат: структура модели, индикаторная вектор-функция.
  4. Задание делать в той же папке 2019-StartCode
  5. Дополнительно: применить генетический алгоритм к выбору двухслойной нейросети и нарисовать те же графики и кривую обучения нейросети.

Материалы

Анкета

  • Анкета с вопросами (основная. дедлайн 19.09.2019 9:00. доступна только с почты @phystech.edu)
  • Анкета "сдача задания" (для указание папки на GitHub со 2м заданием. дедлайн 19.09.2019 9:00. доступна только с почты @phystech.edu)
  • Анкета "рецензия" (собрать результаты людей. дедлайн 20.09.2019 9:00. доступна только с почты @phystech.edu)

Занятие 3 (20 — 25 сентября)

Задание

  1. Выбрать проект на свой вкус, и записать его план (pdf) в следующем виде:
    1. название и ответы на вопросы (написать, от лица эксперта или аналитика),
    2. схема в формате IDEF0.
  2. Детализация проекта такова, что план понятен непосвященному читателю.
  3. Рисовать можно любым инструментом, включая карандаш.
  4. Задание загрузить в папку 2019-IDEF0 в файле Surname2019Projname.pdf

(В качестве проекта можно взять алгоритм выбора модели NN-AE из второй части этого семинара).

Материалы

Анкета

Занятие 4 (27 сентября — 2 октября)

Задание

  1. В файле main.ipynb от первого задания добавить раздел с новым вычислительным экспериментом "порождение метрических признаков"
    1. выборка та же, на ваш выбор,
    2. задача регрессии или классификации, на ваш выбор,
    3. кластеризовать, вычислить центры кластеров,
    4. набор признаков: вычислить расстояние от каждого объекта выборки до центра каждого кластера.
  2. Сравнить качество, полученное линейной моделью по исходным и по метрическим признакам.
  3. Построить график зависимости качества модели от числа кластеров.

Материалы

Анкета

Занятие 5 (4 октября — 9 октября)

Задание

  1. В папке от первого задания добавить ноутбук var_analysis.ipynb с вычислительным экспериментом "визуализация пространства параметров"
    • выборка та же, на ваш выбор,
    • задача регрессии или классификации, на ваш выбор,
  2. написать процедуру bootstrep, которая возвращает К выборок того же объема, что и обучающая,
    1. для каждой выборки настроить параметры,
    2. вычислить ожидание параметров, дисперсию и ковариацию параметров, ожидание ошибки, дисперсию ошибки.
  3. (Дополнительно) для фиксированного числа признаков построить график зависимости ожидания и дисперсии ошибки от объема выборки.

Материалы

Анкета

Занятие 6 (11 октября — 16 октября)

Задание

  1. В папке от первого задания добавить ноутбук isotonic.ipynb с вычислительным экспериментом "ранговая регрессия",
    • выборка на ваш выбор, или эта (про автомобили),
    • сами, как эксперты, выставьте рейтинг объектов (автомобилей) и признаков (их технических характеристик),
    • требуется решить задачу изотонической регрессии.
  2. Нарисовать график зависимости вычисленных параметров от выставленных при различных значениях регуляризатора:
    1. несколько графиков плоских, либо
    2. один трехмерный, по оси ординат регуляризатор, по оси аппликат - восстановленные веса, по оси абсцисс - выставленные.

Материалы

Анкета

Занятие 7 (18 октября — 23 октября)


Задание

  1. Написать эссе-постановку задачи построения монотонной модели классификации
    • задан признак, от которого целевая переменная зависит немонотонно,
    • требуется его изменить так, чтобы зависимость от новых признаков была монотонной,
    • допустимы только кусочно-линейные параметрические отображения.
  2. Постановка задачи должна включать две подзадачи оптимизации:
    1. оптимизация параметров кусочно-линейной функции,
    2. оптимизация параметров монотонной модели (логистическая ререссия, например).
  3. Дополнительно, с усложнением:
    1. и еще задан набор признаков, от которых целевая переменная зависит монотонно (и даже выполнено условие tbtb),
    2. добавить еще одну оптимизационную задачу с выбором оптимального набора признаков.
  4. Постановка задачи должна быть такова, чтобы по тексту легко и однозначно было бы возможно написать код.
  5. Ставить задачу можно любым инструментом, включая карандаш (но Latex предпочтителен).
  6. Задание загрузить в папку 2019-Essay в файлах Surname2019Picewise.pdf и .tex

Материалы

Анкета


Занятие 8 (25 октября — 30 октября)


Задание

  1. Написать эссе с описанием задачи построения суперпозиции:
    • найти пример из практики, интересный лично вам, в котором предполанаемая модель получается путем построения суперпозиции порождающих функций (функций-примитивов),
    • назвать проект,
    • кратко описать суть (несколько предложений),
    • указать множество моделей из который будет выбираться оптимальная (или перечислить функции-примитивы),
    • по возможности, указать критерий качества модели.
  2. Текст должен быть кратким и ясным, желательно не больше трети страницы, лучше меньше.
  3. Задание загрузить в папку 2019-Essay в файлах Surname2019Symbolic.pdf и .tex

Материалы

Анкета


Занятие 9 (1 ноября — 5 ноября)


Задание (прошлый вариант задания перенесен на неделю вперед, поэтому задание будет простым)

  1. В папке и файле main.ipynb от первого задания, после графиков дисперсии ошибки
    • построить гистограмму регрессионных остатков,
    • найти подходящий статистический текст и с его помощью
    • проверить вектор регрессионных остатков на нормальность,
    • сравнить визуальный результат и резульат теста.

Материалы

Анкета

Занятие 10 (8 ноября — 12 ноября)

Задание

  1. В папке от первого задания добавить ноутбук trajectory.ipynb с вычислительным экспериментом "визуализация фазовой траектории",
  2. построить матрицу Ганкеля, в которой два отсчета в предыстории,
    • написовать полученный график на плоскости
  3. (остальное задание уходит на следующую неделю, 15 ноября)
    • построить матрицу Ганкеля, в которой период или два периода в предыстории,
    • cделать ее сингулярное разложение,
    • нарисовать пару главных компонент (на выбор, необязательно первые) на плоском графике,
    • или тройку главных компонент на трех осях.
  4. Прокомментировать коротким текстом, что читатель видит на графике (например, какой тип движения).

Материалы

Анкета

Занятие 11 (15 ноября — 20 ноября)

Ссылки:


Задание (старое)

  1. Доделать задание предыдущей недели.

Задание Написать эссе - запрос на постановку задачи, которое (по возможности) включает:

  • цель, которую требуется достичь,
  • описание данных,
  • экспертные предположения о задаче,
  • предполагаемую модель,
  • критерий качества.
  • Задание загрузить в папку 2019-Essay в файлах Surname2019ProjectRequest.pdf и .tex

Все эссе будут разобраны с целью постановки задачи на одном из следующих занятий. Считайте это консультацией по интересующей вас теме.

Материалы

Анкета

Занятие 12 (15 ноября — 20 ноября)

Ссылки:


Задание

  1. Написать эссе - анализ наиболее перспективных (или бесперсективных) трендов развития области машинного обучения в ближайшее время, ваше мнение.
    • Например, организаторы OpenTalks.ai, по моему мнению, видят развитие в Обучении с подкреплением. Специлисты говорят, что метод имеет ряд недостатков, затрудняющих получение адекватных моделей (от вас ожидаетя обоснование почему).
    • Например, я считаю, что Атаки на ГАНы - тема бесперспективная, несмотря на большое число публикаций и проблема разрешается повышением усточивости сети за счет существенного снижения сложности (почему).
    • Например, я считаю, что применение байесовских подходов в теории игр - тема перспективная (привести примеры, сказать почему).
    • Например, я считаю, что SinGAN и обучение по малой выборке является перспективной задачей (что это такое, почему).
  2. Объем текста - один-два абзаца с обоснованием тренда (трендов).
  3. Задание загрузить в папку 2019-Essay в файлах Surname2019ProjectHype.pdf и .tex

Все эссе будут разобраны с целью постановки задачи на одном из следующих занятий. Считайте это консультацией по интересующей вас теме.

Материалы

Анкета

Личные инструменты