Алгоритм обучения
Материал из MachineLearning.
Алгоритм обучения (learning algorithm), синоним Метод обучения — в задачах обучения по прецедентам алгоритм , который принимает на входе обучающую выборку данных , строит и выдаёт на выходе функцию , реализующую отображение из множества объектов во множество ответов .
Построенная функция называется классификатором (в задачах классификации) или функцией регрессии (в задачах восстановления регрессии). В общем случае её называют по-разному: алгоритмом (преимущественно в русскоязычных работах), концептом (concept) или гипотезой (в некоторых зарубежных работах), реже — аппроксимирующей функцией или моделью.
На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:
- алгоритм обучения или метод обучения — отображение ;
- алгоритм, классификатор, функция регрессии — отображение ;
- модель — семейство отображений , из которого метод обучения выбирает функцию .
Для задач обучения с учителем каноническим примером метода обучения является метод минимизации эмпирического риска. Он заключается в том, чтобы в заданной модели найти функцию, минимизирующую величину средней ошибки на обучающей выборке, называемую также эмпирическим риском:
В типичных случаях метод обучения реализуется путём численной минимизации функционала .
Ссылки
- Обучение по прецедентам
- Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006