Квадратичный дискриминант

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
-
'''Квадратичный дискриминант''' - это вариант [[Байесовский классификатор|Байесовского классификатора]], который основывается на нескольких допущениях, касающихся вероятностных свойств выборки.
+
'''Квадратичный дискриминант''' - это вариант [[Байесовский классификатор|Байесовского классификатора]], который основывается на двух дополнительных допущениях, касающихся вероятностных свойств выборки, а именно - независимость выборки и ее нормальность.
 +
[[Нормальное распределение|Нормальное (гауссово) распределение]] широко используется по причине вычислительного удобства и адекватности во многих случаях.
-
=== Основные допущения ===
+
== Основные допущения ==
* Выборка независима, то есть
* Выборка независима, то есть
Строка 13: Строка 14:
где <tex>n - </tex> размерность пространства
где <tex>n - </tex> размерность пространства
-
=== Оценка параметров ===
+
== Оценка параметров ==
-
Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид:
+
Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид для каждого класса <tex>y</tex>:
::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex>
::<tex>\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i</tex>
Строка 21: Строка 22:
::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex>
::<tex>\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T</tex>
-
=== Алгоритм классификации ===
+
Где <tex>x_i \in y,</tex>
 +
 
 +
<tex> m - </tex> количество элементов в классе <tex>y</tex>
 +
 
 +
== Алгоритм классификации ==
 +
 
 +
В общем виде, алгоритм Байесовского классификатора имеет вид
 +
 
 +
<tex>a(x)=argmax_{y \in Y} \lambda_y p_y(x) P_y</tex>
 +
 
 +
В условиях выдвинутых гипотез алгоритм очевидным образом приобретает следующий вид:
<tex> a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} ) </tex>
<tex> a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} ) </tex>
Строка 27: Строка 38:
<u>'''Теорема:'''</u> Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.
<u>'''Теорема:'''</u> Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.
-
=== Недостатки квадратичного дискриминанта ===
+
== Недостатки квадратичного дискриминанта ==
 +
 
 +
== Литература ==
-
{{UnderConstruction|[[Участник:Вера Батурина|Вера Батурина]] 00:18, 5 января 2010 (MSK)}}
+
# К.В.Воронцов [http://www.machinelearning.ru/wiki/images/e/ed/Voron-ML-Bayes.pdf „Лекции по статистическим (байесовским) алгоритмам классификации“]
 +
# Л.М.Местецкий [http://www.ccas.ru/frc/papers/mestetskii04course.pdf Курс лекций "Математические методы распознавания образов"]
{{Задание|Вера Батурина|Константин Воронцов|6 января 2010}}
{{Задание|Вера Батурина|Константин Воронцов|6 января 2010}}
[[Категория:Непроверенные учебные задания]]
[[Категория:Непроверенные учебные задания]]

Версия 18:55, 5 января 2010

Квадратичный дискриминант - это вариант Байесовского классификатора, который основывается на двух дополнительных допущениях, касающихся вероятностных свойств выборки, а именно - независимость выборки и ее нормальность. Нормальное (гауссово) распределение широко используется по причине вычислительного удобства и адекватности во многих случаях.

Содержание

Основные допущения

  • Выборка независима, то есть
p(x_1 ... x_m)=\prod_{i=1}^m p(x_i)
  • Выборка имеет многомерное нормальное распределение. То есть функция правдоподобия имеет следующий вид:
p(X)=N(X, \mu, \Sigma)=\frac {exp(-\frac {1}{2}(X- \mu)^T \Sigma^{-1} (X- \mu))}{\sqrt{(2 \pi)^n det \Sigma }}

где n - размерность пространства

Оценка параметров

Оценки, основанные на принципе максимума правдоподобия, принимают следующий вид для каждого класса y:

\hat \mu = \frac {1}{m} \sum _{i=1}^m x_i
\hat \Sigma = \frac {1}{m} \sum _{i=1}^m (x_i-\hat \mu)(x_i-\hat \mu)^T

Где x_i \in y,

m - количество элементов в классе y

Алгоритм классификации

В общем виде, алгоритм Байесовского классификатора имеет вид

a(x)=argmax_{y \in Y} \lambda_y p_y(x) P_y

В условиях выдвинутых гипотез алгоритм очевидным образом приобретает следующий вид:

a(x)= argmax_{y \in Y} (ln \lambda_y P_y - \frac {1}{2}(x- \hat \mu_y)^T \Sigma^{-1} (x- \hat \mu_y) - \frac {1}{2} ln det {\hat \Sigma_y} )

Теорема: Квадратичный дискриминант имеет квадратичную разделяющую поверхность, которая вырождается в линейную, если ковариационные матрицы классов совпадают.

Недостатки квадратичного дискриминанта

Литература

  1. К.В.Воронцов „Лекции по статистическим (байесовским) алгоритмам классификации“
  1. Л.М.Местецкий Курс лекций "Математические методы распознавания образов"


Данная статья является непроверенным учебным заданием.
Студент: Участник:Вера Батурина
Преподаватель: Участник:Константин Воронцов
Срок: 6 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%B2%D0%B0%D0%B4%D1%80%D0%B0%D1%82%D0%B8%D1%87%D0%BD%D1%8B%D0%B9_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B8%D0%BC%D0%B8%D0%BD%D0%B0%D0%BD%D1%82»
Личные инструменты