Метод потенциального бустинга
Материал из MachineLearning.
(→Постановка проблемы) |
(→Постановка проблемы) |
||
Строка 10: | Строка 10: | ||
==Описание алгоритма== | ==Описание алгоритма== | ||
===Постановка проблемы=== | ===Постановка проблемы=== | ||
- | |||
- | + | Пусть <tex>X</tex> — множество описаний объектов (все описания - m-мерные числовые векторы), | |
- | + | <tex>Y</tex>={1,-1} — множество номеров классов. | |
- | + | Существует неизвестная ''целевая зависимость'' — отображение | |
- | + | <tex>y^{*}:\; X\to Y</tex>, | |
+ | значения которой известны только на объектах конечной [[выборка|обучающей выборки]] | ||
+ | <tex>X^l = \{(x_1,y_1),\dots,(x_n,y_n)\}</tex>. | ||
+ | Требуется построить [[алгоритм]] | ||
+ | <tex>B:\; X\to Y</tex>, | ||
+ | способный классифицировать произвольный объект | ||
+ | <tex>x \in X</tex>. |
Версия 16:21, 19 июня 2013
Метод потенциального бустинга - алгоритм классификации, использующий процедуру бустинга для обучения классификатора - метода потенциальных функций.
Идея метода
Бустинг - одна метод построения композиции классификаторов, которая последовательно обучает базовые классификаторы, каждый раз стараясь исправить ошибки, допускаемые всеми предыдущими классификаторами.
Идея метода потенциальных функций состоит в том, чтобы в пространстве объектов каждый объект создавал потенциальное поле со своим зарядом, соответствующим его классу (по аналогии с электростатикой). В качестве функции потенциалов можно брать любую функцию, достигающую в центре своего максимума и убывающую при отдалении от центра. Классификатором становится совокупность всех потенциалов - объект причисляется к тому классу, представители которого дают наибольший суммарный потенциал в этом объекте.
Главной идеей метода потенциального бустинга является построение классификатора, которое является композицией базовых классификаторов - потенциальных функций. Построение композиции методом бустинга позволяет устранить типичные недостатки метода потенциальных функций: медленная сходимость алгоритма, отсутствие настройки или очень грубая настройка параметров потенциалов, зависимость результата от порядка выбора объектов обучающей выборки.
Описание алгоритма
Постановка проблемы
Пусть — множество описаний объектов (все описания - m-мерные числовые векторы), ={1,-1} — множество номеров классов. Существует неизвестная целевая зависимость — отображение , значения которой известны только на объектах конечной обучающей выборки . Требуется построить алгоритм , способный классифицировать произвольный объект .