Метод потенциальных функций
Материал из MachineLearning.
м (→Основная формула) |
(→Выбор параметров) |
||
Строка 39: | Строка 39: | ||
Ниже приведён алгоритм, который позволяет «обучать» параметры <tex>(\gamma(x_1), \dots, \gamma(x_n))</tex>, то есть подбирать их значения по обучающей выборке <tex>X^l</tex>. | Ниже приведён алгоритм, который позволяет «обучать» параметры <tex>(\gamma(x_1), \dots, \gamma(x_n))</tex>, то есть подбирать их значения по обучающей выборке <tex>X^l</tex>. | ||
- | Вход: Обучающая выборка из <tex>l</tex> пар «объект-ответ» – <tex>X^l=((x_1,y_1), \dots, (x_l,y_l) )</tex>. <br /> | + | Вход: Обучающая выборка из <tex>l</tex> пар «объект-ответ» – <tex>X^l=\left((x_1,y_1), \dots, (x_l,y_l) \right)</tex>. <br /> |
Выход: Значения параметров <tex>\gamma_i \equiv \gamma(x_i)</tex> для всех <tex>i=\overline{1,l}</tex> <br /> <br /> | Выход: Значения параметров <tex>\gamma_i \equiv \gamma(x_i)</tex> для всех <tex>i=\overline{1,l}</tex> <br /> <br /> | ||
1. Начало. Инициализация: <tex>\gamma_i:=0</tex> для всех <tex>i=\overline{1,l}</tex>; <br /> | 1. Начало. Инициализация: <tex>\gamma_i:=0</tex> для всех <tex>i=\overline{1,l}</tex>; <br /> | ||
2. Повторять {<br /> | 2. Повторять {<br /> | ||
- | + | 2.1 Выбрать очередной объект <tex>x_i</tex> из выборки <tex>X^l</tex>;<br /> | |
- | + | 2.2 Если <tex>a(x_i) \not= y_i</tex>, то <tex>\gamma_i:=\gamma_i+1</tex>;<br /> | |
- | + | 3. } пока <tex>Q(a,X^l) > \varepsilon</tex> (то есть пока процесс не стабилизируется);<br /> | |
+ | 4. Вернуть значения <tex>\gamma_i \equiv \gamma(x_i)</tex> для всех <tex>i=\overline{1,l}</tex>. | ||
== Преимущества и недостатки == | == Преимущества и недостатки == |
Версия 23:56, 3 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Метод потенциальных функций - метрический классификатор, частный случай метода ближайших соседей. Позволяет с помощью простого алгоритма оценивать вес («важность») объектов обучающей выборки при решении задачи классификации.
Содержание |
Введение
Общая идея метода иллюстрируется на примере электростатического взаимодействия элементарных частиц. Известно, что потенциал («мера воздействия») электрического поля элементарной заряженной частицы в некоторой точке пространства пропорционален отношению заряда частицы (Q) к расстоянию до частицы (r): .
Основная формула
Пусть имеется пространство объектов с заданной метрикой
и множество ответов
.
Пусть задана обучающая выборка пар «объект—ответ»
.
Пусть также имеется классифицируемый объект .
Перенумеруем объекты обучающей выборки относительно удаления от объекта
индексами
(
) – то есть таким образом, что
.
В общем виде, алгоритм ближайших соседей есть:
, где
– мера «важности» (вес) объекта
из обучающей выборки относительно классифицируемого объекта
.
Метод потенциальных функций заключается в выборе в качестве весовой функции следующего вида:
-
, где
-
-
. Константа
нужна чтобы избежать проблем с делением на ноль. Для простоты обычно полагают
.
-
– расстояние от объекта u до i-того ближайшего к u объекта –
.
-
– параметр. Общий смысл – «заряд» объекта
,
;
-
– параметр. Общий смысл – «ширина потенциала» объекта
,
. Вводится по аналогии с шириной окна в методе парзеновского окна.
Выбор параметров
Как мы уже заметили, в основной формуле метода потенциальных функций используются две группы параметров: и
.
Ниже приведён алгоритм, который позволяет «обучать» параметры , то есть подбирать их значения по обучающей выборке
.
Вход: Обучающая выборка изпар «объект-ответ» –
.
Выход: Значения параметровдля всех
![]()
1. Начало. Инициализация:для всех
;
2. Повторять {
2.1 Выбрать очередной объектиз выборки
;
2.2 Если, то
;
3. } пока(то есть пока процесс не стабилизируется);
4. Вернуть значениядля всех
.
Преимущества и недостатки
Преимущества метода потенциальных функций:
- Метод прост для понимания и алгоритмической реализации;
- Порождает потоковый алгоритм;
- Хранит лишь часть выборки, следовательно, экономит память.
Недостатки метода:
- Порождаемый алгоритм медленно сходится;
- Параметры
и
настраиваются слишком грубо;
- Значения параметров
зависят от порядка выбора объектов из выборки
.