Метод потенциального бустинга

Материал из MachineLearning.

Версия 16:09, 19 июня 2013 (править) Djulustan (Обсуждение | вклад) (→Постановка проблемы) ← К предыдущему изменению		Версия 16:21, 19 июня 2013 (править) (отменить) Djulustan (Обсуждение | вклад) (→Постановка проблемы) К следующему изменению →
Строка 10:		Строка 10:
	==Описание алгоритма==		==Описание алгоритма==
	===Постановка проблемы===		===Постановка проблемы===
-	Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, Y = {1,-1} - множество классов, X<sup>l</sup> = {(x<sub>1</sub>,y<sub>1</sub>),...,(x<sub>n</sub>,y<sub>n</sub>)} - обучающая выборка.
-		+	Пусть <tex>X</tex> — множество описаний объектов (все описания - m-мерные числовые векторы),
-		+	<tex>Y</tex>={1,-1} — множество номеров классов.
-		+	Существует неизвестная ''целевая зависимость'' — отображение
-	Normal 0 false false false RU X-NONE X-NONE	+	<tex>y^{*}:\; X\to Y</tex>,
		+	значения которой известны только на объектах конечной [[выборка|обучающей выборки]]
		+	<tex>X^l = \{(x_1,y_1),\dots,(x_n,y_n)\}</tex>.
		+	Требуется построить [[алгоритм]]
		+	<tex>B:\; X\to Y</tex>,
		+	способный классифицировать произвольный объект
		+	<tex>x \in X</tex>.

---

Версия 16:21, 19 июня 2013

Метод потенциального бустинга - алгоритм классификации, использующий процедуру бустинга для обучения классификатора - метода потенциальных функций.

Идея метода

Бустинг - одна метод построения композиции классификаторов, которая последовательно обучает базовые классификаторы, каждый раз стараясь исправить ошибки, допускаемые всеми предыдущими классификаторами.

Идея метода потенциальных функций состоит в том, чтобы в пространстве объектов каждый объект создавал потенциальное поле со своим зарядом, соответствующим его классу (по аналогии с электростатикой). В качестве функции потенциалов можно брать любую функцию, достигающую в центре своего максимума и убывающую при отдалении от центра. Классификатором становится совокупность всех потенциалов - объект причисляется к тому классу, представители которого дают наибольший суммарный потенциал в этом объекте.

Главной идеей метода потенциального бустинга является построение классификатора, которое является композицией базовых классификаторов - потенциальных функций. Построение композиции методом бустинга позволяет устранить типичные недостатки метода потенциальных функций: медленная сходимость алгоритма, отсутствие настройки или очень грубая настройка параметров потенциалов, зависимость результата от порядка выбора объектов обучающей выборки.

Описание алгоритма

Постановка проблемы

Пусть — множество описаний объектов (все описания - m-мерные числовые векторы), ={1,-1} — множество номеров классов. Существует неизвестная целевая зависимость — отображение , значения которой известны только на объектах конечной обучающей выборки . Требуется построить алгоритм , способный классифицировать произвольный объект .