Нелинейная регрессия
Материал из MachineLearning.
|
Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.
Постановка задачи
Задана выборка из пар . Задана регрессионная модель , которая зависит от параметров и свободной переменной . Требуется найти такие значения параметров, которые доставляли бы минимум сумме квадратов регрессионных остатков
где остатки для .
Для нахождения минимума функции , приравняем к нулю её первые частные производные параметрам :
Так как функция в общем случае не имеет единственного минимума[1], то предлагается назначить начальное значение вектора параметров и приближаться к оптимальному вектору по шагам:
Здесь - номер итерации, - вектор шага.
На каждом шаге итерации линеаризуем модель с помощью приближения рядом Тейлора относительно параметров
Здесь элемент матрицы Якоби - функция параметра ; значение свободной переменной фиксировано. В терминах линеаризованной модели
и регрессионные остатки определены как
Подставляя последнее выражение в выражение (*), получаем
Преобразуя, получаем систему из линейных уравнений, которые называются нормальным уравнением
Запишем нормальное уравнение в матричном обозначении как
В том случае, когда критерий оптимальности регрессионой модели задан как взвешенная сумма квадратов остатков
нормальное уравнение будет иметь вид
Для нахождения оптимальных параметров нелинейных регрессионных моделей используются метод сопряжённых градиентов, метод Ньютона-Гаусса или алгоритм Левенберга-Марквардта.
Литература
- Seber G.A.F Wild C.J. Nonlinear Regression. New York: John Wiley and Sons, 1989.
Примечания