Квадратичный дискриминант

Материал из MachineLearning.

Перейти к: навигация, поиск

Квадратичный дискриминант - это вариант Байесовского классификатора, который основывается на нескольких допущениях, касающихся вероятностных свойств выборки.

Содержание

Основные допущения

  • Выборка независима, то есть
p(x_1 ... x_m)=\prod_{i=1}^m p(x_i)
  • Выборка имеет многомерное нормальное распределение. То есть функция правдоподобия имеет следующий вид:
p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }}

где n - размерность пространства

Оценка параметров

Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид:

\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i
\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T

Алгоритм классификации

a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} )

Теорема: Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.

Недостатки квадратичного дискриминанта

Статья в настоящий момент дорабатывается.
Вера Батурина 00:18, 5 января 2010 (MSK)



Данная статья является непроверенным учебным заданием.
Студент: Участник:Вера Батурина
Преподаватель: Участник:Константин Воронцов
Срок: 6 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%B8%D1%87%D0%BD%D1%8B%D0%B9_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B8%D0%BC%D0%B8%D0%BD%D0%B0%D0%BD%D1%82»
Личные инструменты