Машинное обучение (курс лекций, К.В.Воронцов)/Вопросы

Материал из MachineLearning.

Перейти к: навигация, поиск

Данная страница содержит вопросы к устному экзамену по учебному курсу К. В. Воронцова «Машинное обучение».

Содержание

Осень 2008

Байесовская классификация

  • Записать общую формулу байесовского классификатора (надо помнить формулу).
  • Какие вы знаете три подхода к восстановлению плотности распределения по выборке?
  • Что такое наивный байесовский классификатор?
  • Что такое оценка плотности Парзена-Розенблатта (надо помнить формулу). Выписать формулу алгоритма классификации в методе парзеновского окна.
  • На что влияет ширина окна, а на что вид ядра в методе парзеновского окна?
  • Многомерное нормальное распределение (надо помнить формулу). Вывести формулу квадратичного дискриминанта. При каком условии он становится линейным?
  • На каких предположениях осован линейный дискриминант Фишера?
  • Что такое «проблема мультиколлинеарности», в каких задачах и при использовании каких алгоритмов она возникает? Какие есть подходы к её решению?
  • Что такое «смесь распределений» (надо помнить формулу)?
  • Что такое ЕМ-алгоритм, какова его основная идея? Какая задача решается на Е-шаге, на М-шаге? Каков вероятностный смысл скрытых переменных?
  • Последовательное добавление компонент в ЕМ-алгоритме, основная идея алгоритма.
  • Что такое стохастический ЕМ-алгоритм, какова основная идея? В чём его преимущество (какой недостаток стандартного ЕМ-алгоритма он устраняет)?
  • Что такое сеть радиальных базисных функций?
  • Что такое «выбросы»? Как осуществляется фильтрация выбросов?

Метрическая классификация

  • Что такое обобщённый алгоритм классификации (надо помнить формулу)? Какие вы знаете частные случаи?
  • Как определяется понятие отступа в метрических алгоритмов классификации?
  • Что такое окно переменной ширины, в каких случаях его стоит использовать?
  • Что такое метод потенциальных функций? Идея алгоритма настройки. Сравните с методом радиальных базисных функций.
  • Зачем нужен отбор опорных объектов в метрических алгоритмах классификации?
  • Основная идея алгоритма СТОЛП.

Линейная классификация

  • Что такое модель МакКаллока-Питтса (надо помнить формулу)?
  • Метод стохастического градиента. Расписать градиентный шаг для квадратичной функции потерь и сигмоидной функции активации.
  • Недостатки метода SG и как с ними бороться?
  • Что такое линейный адаптивный элемент ADALINE?
  • Что такое правило Хэбба?
  • Что такое «сокращение весов»?
  • Обоснование логистической регрессии (основная теорема), основные посылки (3) и следствия (2). Как выражается апостериорная вероятность классов (надо помнить формулу).
  • Как выражается функция потерь в логистической регрессии (надо помнить формулу).
  • Две мотивации и постановка задачи метода опорных векторов. Уметь вывести постановку задачи SVM (рекомендуется помнить формулу постановки задачи).
  • Какая функция потерь используется в SVM? В логистической регрессии?
  • Что такое ядро в SVM? Зачем вводятся ядра? Любая ли функция может быть ядром?
  • Какое ядро порождает полимиальные разделяющие поверхности?
  • Основная идея алгоритма INCAS.
  • Что такое ROC-кривая, как она определяется? Как она эффективно вычисляется?
  • В каких алгоритмах классификации можно узнать не только классовую принадлежность классифицируемого объекта, но и вероятность того, что данный объект принадлежит каждому из классов?

Нейронные сети

  • Приведите пример выборки, которую невозможно классифицировать без ошибок с помощью линейного алгоритма классификации. Какова минимальная длина выборки, обладающая данным свойством? Какие существуют способы модифицировать линейный алгоритм так, чтобы данная выборка стала линейно разделимой?
  • Почему любая булева функция представима в виде двуслойной нейронной сети?
  • Метод обратного распространения ошибок. Основная идея. Основные недостатки и способы их устранения.
  • Как можно выбирать начальное приближение в градиентных методах настройки нейронных сетей?
  • Как можно ускорить сходимость в градиентных методах настройки нейронных сетей?
  • Что такое диагональный метод Левенберга-Марквардта?
  • Как выбирать число слоёв в градиентных методах настройки нейронных сетей?
  • Как выбирать число нейронов скрытого слоя в градиентных методах настройки нейронных сетей?
  • В чём заключается метод оптимального прореживания нейронной сети? Какие недостатки стандартного алгоритма обратного распространения ошибок позволяет устранить метод ODB?

Регрессия

  • На что влияет ширина окна, а на что вид ядра в непараметрической регрессии?
  • Что такое «выбросы»? Как осуществляется фильтрация выбросов в непараметрической регрессии?
  • Постановка задачи многомерной линейной регрессии. Матричная запись.
  • Что такое сингулярное разложение? Как оно используется для решения задачи наименьших квадратов?
  • Что такое «проблема мультиколлинеарности» в задачах многомерной линейной регрессии? Какие есть три подхода к её решению?
  • Сравнить гребневую регрессию и лассо. В каких задачах предпочтительнее использовать лассо?
  • Какую проблему решает метод главных компонент в многомерной линейной регрессии? Записать матричную постановку задачи для метода главных компонент.
  • Как свести задачу многомерной нелинейной регрессии к последовательности линейных задач?
  • Метод настройки с возвращениями (backfitting): постановка задачи и основная идея метода.

Примеры задач

  • Задана цена отказа от классификации. Выписать модифицированную формулу байесовского классификатора.
  • Вывести формулу линейного дискриминанта для случая независимых признаков.
  • Вывести формулу наивного байесовского классификатора для случая бинарных признаков (доказать, что он линеен).
  • Вывести формулу градиентного шага в методе логистической регрессии для задачи классификации с двумя классами. Сравнить с правилом Хэбба.
  • Вывести формулу непараметрической регрессии Надарая-Ватсона.
  • Вывести формулу регуляризованного решения задачи многомерной линейной регрессии через сингулярное разложение.
  • Вывести градиентный метод обучения в логистической регрессии.
Личные инструменты