Наивный байесовский классификатор
Материал из MachineLearning.
| (3 промежуточные версии не показаны) | |||
| Строка 1: | Строка 1: | ||
| - | {{Main| | + | {{Main|Байесовский классификатор}} |
'''Наивный байесовский классификатор''' (naїve Bayes) — специальный частный случай [[байесовский классификатор|байесовского классификатора]], основанный на дополнительном предположении, что | '''Наивный байесовский классификатор''' (naїve Bayes) — специальный частный случай [[байесовский классификатор|байесовского классификатора]], основанный на дополнительном предположении, что | ||
| - | объекты описываются <tex>n</tex> независимыми признаками: | + | объекты <tex>x\in X</tex> описываются <tex>n</tex> статистически независимыми признаками: |
| - | <tex>x \equiv \bigl( \xi_1 | + | <center> |
| - | + | <tex>x \equiv \bigl( \xi_1,\ldots,\xi_n\bigr) \equiv \bigl( f_1(x),\ldots,f_n(x) \bigr)</tex>. | |
| + | </center> | ||
| + | |||
| + | Предположение о независимости означает, что функции правдоподобия классов представимы в виде | ||
| + | <center> | ||
<tex>p_y(x) = p_{y1}(\xi_1) \cdot \ldots \cdot p_{yn}(\xi_n)</tex>, | <tex>p_y(x) = p_{y1}(\xi_1) \cdot \ldots \cdot p_{yn}(\xi_n)</tex>, | ||
| + | </center> | ||
где | где | ||
<tex>p_{yj}(\xi_j)</tex> — плотность распределения значений | <tex>p_{yj}(\xi_j)</tex> — плотность распределения значений | ||
| Строка 15: | Строка 20: | ||
''Наивный байесовский классификатор'' может быть как параметрическим, так и непараметрическим, | ''Наивный байесовский классификатор'' может быть как параметрическим, так и непараметрическим, | ||
| - | в зависимости от того, каким методом [[Восстановление распределения | + | в зависимости от того, каким методом [[Восстановление распределения вероятностей|восстанавливаются одномерные плотности]]. |
Основные преимущества ''наивного байесовского классификатора'' — простота реализации | Основные преимущества ''наивного байесовского классификатора'' — простота реализации | ||
| Строка 30: | Строка 35: | ||
либо как элементарный строительный блок | либо как элементарный строительный блок | ||
в [[алгоритмическая композиция|алгоритмических композициях]]. | в [[алгоритмическая композиция|алгоритмических композициях]]. | ||
| + | |||
| + | == Параметрический наивный байесовский классификатор == | ||
| + | |||
| + | == Непараметрический наивный байесовский классификатор == | ||
| + | |||
| + | {{stub}} | ||
== Литература == | == Литература == | ||
| Строка 39: | Строка 50: | ||
== Ссылки == | == Ссылки == | ||
| - | * [[ | + | * [[Машинное обучение (курс лекций, К.В.Воронцов)]] |
[[Категория:Байесовская теория классификации]] | [[Категория:Байесовская теория классификации]] | ||
| - | |||
| - | |||
| - | |||
Текущая версия
Наивный байесовский классификатор (naїve Bayes) — специальный частный случай байесовского классификатора, основанный на дополнительном предположении, что
объекты описываются
статистически независимыми признаками:
.
Предположение о независимости означает, что функции правдоподобия классов представимы в виде
,
где
— плотность распределения значений
-го признака для класса
.
Предположение о независимости существенно упрощает задачу,
так как оценить одномерных плотностей гораздо легче, чем
одну
-мерную плотность.
К сожалению, оно крайне редко выполняется на практике, отсюда и название метода.
Наивный байесовский классификатор может быть как параметрическим, так и непараметрическим, в зависимости от того, каким методом восстанавливаются одномерные плотности.
Основные преимущества наивного байесовского классификатора — простота реализации и низкие вычислительные затраты при обучении и классификации. В тех редких случаях, когда признаки действительно независимы (или почти независимы), наивный байесовский классификатор (почти) оптимален.
Основной его недостаток — относительно низкое качество классификации в большинстве реальных задач.
Чаще всего он используется либо как примитивный эталон для сравнения различных моделей алгоритмов, либо как элементарный строительный блок в алгоритмических композициях.
Содержание |
Параметрический наивный байесовский классификатор
Непараметрический наивный байесовский классификатор
Литература
- Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
- Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974.
- Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
- Дуда Р., Харт П. Распознавание образов и анализ сцен. — М.: Мир, 1976.
- Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — Springer, 2001. ISBN 0-387-95284-5.
