Метод потенциального бустинга
Материал из MachineLearning.
(→Постановка проблемы) |
|||
Строка 10: | Строка 10: | ||
==Описание алгоритма== | ==Описание алгоритма== | ||
===Постановка проблемы=== | ===Постановка проблемы=== | ||
- | Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, | + | Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, Y = {1,-1} - множество классов, X<sup>l</sup> = {(x<sub>1</sub>,y<sub>1</sub>),...,(x<sub>n</sub>,y<sub>n</sub>)} - обучающая выборка. |
+ | |||
+ | |||
+ | |||
Normal 0 false false false RU X-NONE X-NONE | Normal 0 false false false RU X-NONE X-NONE |
Версия 16:09, 19 июня 2013
Метод потенциального бустинга - алгоритм классификации, использующий процедуру бустинга для обучения классификатора - метода потенциальных функций.
Идея метода
Бустинг - одна метод построения композиции классификаторов, которая последовательно обучает базовые классификаторы, каждый раз стараясь исправить ошибки, допускаемые всеми предыдущими классификаторами.
Идея метода потенциальных функций состоит в том, чтобы в пространстве объектов каждый объект создавал потенциальное поле со своим зарядом, соответствующим его классу (по аналогии с электростатикой). В качестве функции потенциалов можно брать любую функцию, достигающую в центре своего максимума и убывающую при отдалении от центра. Классификатором становится совокупность всех потенциалов - объект причисляется к тому классу, представители которого дают наибольший суммарный потенциал в этом объекте.
Главной идеей метода потенциального бустинга является построение классификатора, которое является композицией базовых классификаторов - потенциальных функций. Построение композиции методом бустинга позволяет устранить типичные недостатки метода потенциальных функций: медленная сходимость алгоритма, отсутствие настройки или очень грубая настройка параметров потенциалов, зависимость результата от порядка выбора объектов обучающей выборки.
Описание алгоритма
Постановка проблемы
Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, Y = {1,-1} - множество классов, Xl = {(x1,y1),...,(xn,yn)} - обучающая выборка.
Normal 0 false false false RU X-NONE X-NONE