Аппроксимация функции ошибки
Материал из MachineLearning.
|
В работе рассматривается метод аппроксимации функции ошибки функцией многомерного нормального распределения. Рассматриваются случаи матрицы ковариации общего вида, диагональной матрицы ковариации, а также диагональной матрицы ковариации с равными значениями дисперсии. Для нормировки получившихся функций распределения используется аппроксимация Лапласа.
Постановка задачи
Дана выборка , где - вектора независимой переменной, а - значения зависимой переменной. Предполагается, что
Также предполагается, что задано апостериорное распределение параметров модели , которому соответствует функция ошибки :
Пусть - наиболее вероятные параметры модели. Требуется найти аппроксимацию Лапласа для функции в точке . Заметим, что в данной работе в качестве функции ошибки берется сумма квадратов ошибок аппроксимации
Описание решения
Сначала находим оптимальные значения параметров модели :
Далее необходимо найти аппроксимацию Лапласа в точке :
где - матрица, обратная к ковариационной матрице нормального распределения, а - нормирующий коэффициент. Заметим, что в силу положительной определенности матрицы ее можно представить в соответствии с разложением Холецкого: , где - верхнетреугольная матрица. Параметризуем матрицу следующим образом:
Также параметризуем нормирующий множитель . Получаем, что . Построим обучающую выборку , где точки берутся равномерно из окрестности наиболее вероятных параметров , в которой мы хотим построить аппроксимацию. Для нахождения неизвестных параметров минимизируем квадратичный критерий для точек обучающей выборки :
Заметим, что получаемые в результате решения данной оптимизационной задачи значения параметров могут существенно отличаться в зависимости от используемого для ее решения оптимизационного алгоритма. В данной работе рассматриваются два алгоритма оптимизации: Левенберг-Марквардт и Trust region.
После нахождения оптимальных значений параметров полученные распределения остается отнормировать в соответствии с аппроксимацией Лапласа:
Вычислительный эксперимент: качество аппроксимации
В эксперименте в качестве обучающей выборки использовался временной ряд цен на хлеб из 195 точек. Для приближения использовалась модель линейной регрессии . На картинках ниже графически представлены результаты.
Функция ошибки в рассмотренном случае хорошо аппроксимируется предложенным методом, причем качество аппроксимации возрастает с увеличением качества модели. Хорошее качество аппроксимации обусловлено тем, что функция ошибки в рассматриваемом примере принадлежит тому же классу, что и функция аппроксиматор.
Вычислительный эксперимент: устойчивость алгоритма
Для сравнения устойчивости алгоритмов Левенберга-Марквардта и Trust region в качестве обучающей выборки использовался временной ряд цен на хлеб из 195 точек. Для приближения использовалась регрессионная модель . При таком виде целевой функции вид функции ошибки в окрестности оптимума несколько отличается от гауссовского. Рассматривалась зависимость оптимизированного значения параметров и от начального значения.
Исходный код и полный текст работы
Смотри также
Литература
Данная статья была создана в рамках учебного задания.
См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |