МЛР
Материал из MachineLearning.
Строка 2: | Строка 2: | ||
== Многомерная линейная регрессия == | == Многомерная линейная регрессия == | ||
Имеется множество объектов <tex>X = \mathbb{R} ^n</tex> и множество ответов <tex>Y = \mathbb{R}</tex>. Также имеется набор <tex>n</tex> вещественнозначных признаков <tex>f_j(x), \ j=1, \ \ldots , \ n</tex>. Введём матричные обозначения: матрицу информации <tex>F</tex>, целевой вектор <tex>y</tex> и вектор параметров <tex>\alpha</tex>: | Имеется множество объектов <tex>X = \mathbb{R} ^n</tex> и множество ответов <tex>Y = \mathbb{R}</tex>. Также имеется набор <tex>n</tex> вещественнозначных признаков <tex>f_j(x), \ j=1, \ \ldots , \ n</tex>. Введём матричные обозначения: матрицу информации <tex>F</tex>, целевой вектор <tex>y</tex> и вектор параметров <tex>\alpha</tex>: | ||
- | :<tex>F=\(f_1 | + | :<tex>F=\(f_1\ \dots\ f_n\)\;,\ \ f_i=\(f_i(x_1)<br>\ \vdots<br>f_i(x_l)\)\;, \ \ y=\(y_1<br>\ \vdots<br>y_l\)\;, \ \ \ \alpha=\(\alpha_1<br>\ \vdots<br>\alpha_n\)\ .</tex> |
Алгоритм: | Алгоритм: | ||
Строка 12: | Строка 12: | ||
Найдём минимум <tex>Q(\alpha)</tex> по α: | Найдём минимум <tex>Q(\alpha)</tex> по α: | ||
- | :<tex>\frac{\partial Q (\alpha)}{\partial \alpha} = 2 F^T (F\alpha - y) = 0\ \Rightarrow\ (F^TF)\alpha = F^Ty</tex> | + | :<tex>\frac{\partial Q (\alpha)}{\partial \alpha} = 2 F^T (F\alpha - y) = 0\ \Rightarrow\ (F^TF)\alpha = F^Ty</tex>.<br /> |
+ | Если <tex>rank(F^TF) = n</tex>, то можно обращать матрицу <tex>F^TF\ \text{:}\ \alpha^* = (F^TF)^{-1}F^Ty = F^+y</tex>, где введено обозначение <tex>F^+ = (F^TF)^{-1}F^T</tex>. | ||
+ | |||
+ | |||
+ | В таком случае функционал качества записывается в более удобной форме:<br /> | ||
+ | :<tex>Q(\alpha^*) = \parallel F(F^TF)^{-1}F^Ty - y \parallel ^2 = \parallel P_Fy - y \parallel^2</tex>, где <tex>P_F</tex> — проекционная матрица:<br /> | ||
+ | <tex>P_Fy</tex> -- вектор, являющийся проекцией <tex>y</tex> на <tex>\mathfrak{L}(f_1,\ \dots,\ f_n)</tex>. |
Версия 22:19, 4 января 2010
Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Многомерная линейная регрессия
Имеется множество объектов и множество ответов . Также имеется набор вещественнозначных признаков . Введём матричные обозначения: матрицу информации , целевой вектор и вектор параметров :
Алгоритм:
- .
Оценим качество его работы на выборке методом наименьших квадратов:
- , или, в матричных обозначениях,
- .
Найдём минимум по α:
- .
Если , то можно обращать матрицу , где введено обозначение .
В таком случае функционал качества записывается в более удобной форме:
- , где — проекционная матрица:
-- вектор, являющийся проекцией на .