Алгоритм Trust-Region
Материал из MachineLearning.
Содержание |
Введение
Рассмотрим здачу минимизации
Метод решения задачи
Алгоритм Trust-Region основан на построение модельной функции , которая приближает исходную в некоторой окрестности текущей точки . При этом функция может плохо приближать f в других точках, поэтому мы ограничиваен минимизацию этой некоторой окрестностью точки . Другими словами, решается здача:
, где лежит внутри доверельной окрестности
Обычно, доверительная окрестность - шар радиуса . В качесте модели функции обычно берется квадратичная:
- разложение функции f по формуле Тейлора до второго слааемого.
Итак, на каждом шаге решается подзадача:
s.t.
Первая проблема, которая возникает, это определение радиуса доверительного интервала. Мы выбираем этот радиус, исходя из модели функции и функции f на предыдущий итерациях. Определим соотношение