Метод потенциального бустинга

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Постановка проблемы)
(Постановка проблемы)
Строка 10: Строка 10:
==Описание алгоритма==
==Описание алгоритма==
===Постановка проблемы===
===Постановка проблемы===
-
Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, Y = {1,-1} - множество классов, X<sup>l</sup> = {(x<sub>1</sub>,y<sub>1</sub>),...,(x<sub>n</sub>,y<sub>n</sub>)} - обучающая выборка.
 
-
 
+
Пусть <tex>X</tex> — множество описаний объектов (все описания - m-мерные числовые векторы),
-
+
<tex>Y</tex>={1,-1} — множество номеров классов.
-
 
+
Существует неизвестная ''целевая зависимость'' — отображение
-
Normal 0 false false false RU X-NONE X-NONE
+
<tex>y^{*}:\; X\to Y</tex>,
 +
значения которой известны только на объектах конечной [[выборка|обучающей выборки]]
 +
<tex>X^l = \{(x_1,y_1),\dots,(x_n,y_n)\}</tex>.
 +
Требуется построить [[алгоритм]]
 +
<tex>B:\; X\to Y</tex>,
 +
способный классифицировать произвольный объект
 +
<tex>x \in X</tex>.

Версия 16:21, 19 июня 2013

Метод потенциального бустинга - алгоритм классификации, использующий процедуру бустинга для обучения классификатора - метода потенциальных функций.

Идея метода

Бустинг - одна метод построения композиции классификаторов, которая последовательно обучает базовые классификаторы, каждый раз стараясь исправить ошибки, допускаемые всеми предыдущими классификаторами.

Идея метода потенциальных функций состоит в том, чтобы в пространстве объектов каждый объект создавал потенциальное поле со своим зарядом, соответствующим его классу (по аналогии с электростатикой). В качестве функции потенциалов можно брать любую функцию, достигающую в центре своего максимума и убывающую при отдалении от центра. Классификатором становится совокупность всех потенциалов - объект причисляется к тому классу, представители которого дают наибольший суммарный потенциал в этом объекте.

Главной идеей метода потенциального бустинга является построение классификатора, которое является композицией базовых классификаторов - потенциальных функций. Построение композиции методом бустинга позволяет устранить типичные недостатки метода потенциальных функций: медленная сходимость алгоритма, отсутствие настройки или очень грубая настройка параметров потенциалов, зависимость результата от порядка выбора объектов обучающей выборки.

Описание алгоритма

Постановка проблемы

Пусть X — множество описаний объектов (все описания - m-мерные числовые векторы), Y={1,-1} — множество номеров классов. Существует неизвестная целевая зависимость — отображение y^{*}:\; X\to Y, значения которой известны только на объектах конечной обучающей выборки X^l = \{(x_1,y_1),\dots,(x_n,y_n)\}. Требуется построить алгоритм B:\; X\to Y, способный классифицировать произвольный объект x \in X.

Личные инструменты