Описание окрестности точки наибольшего правдоподобия моделей (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 3: Строка 3:
<tex>X = \{\mathbf{x}_i\}^m_{i=1}</tex> - m свободных переменных,
<tex>X = \{\mathbf{x}_i\}^m_{i=1}</tex> - m свободных переменных,
-
 
+
<tex>\{x_i\}^m_{i=1} \in\mathbb{R}^n</tex> , где n - размерность пространства,
-
<tex>\{x_i\}^m_{i=1} \in\mathbb{R}^n</tex>, где n - размерность пространства,
+
-
 
+
<tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная.
<tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная.
 +
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
-
<tex>{(x^i, y^i)}^m_{i=1}</tex>, где <tex>m</tex> - число объектов выборки, <tex>x^i = (x^i_j)^n_{j=1}\in\mathbb{R}^n</tex> - n значений свободных переменных. <tex>y</tex>
+
<center><tex>\mathbf{y} = \mathbf{X}\mathbf{w} + \varepsilon,</tex></center>
-
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
+
-
<center><tex>y= \mathbf{w}^T\mathbf{x} + \nu,</tex></center>
+
где <tex>\varepsilon \in N(0, \sigma^2)</tex> - нормальное распределение.

Версия 23:24, 14 декабря 2010

Содержание

Постановка задачи

Пусть,

X = \{\mathbf{x}_i\}^m_{i=1} - m свободных переменных, \{x_i\}^m_{i=1} \in\mathbb{R}^n , где n - размерность пространства, \mathbf{y}\in\mathbb{R}^n - зависимая переменная.

Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными

\mathbf{y} = \mathbf{X}\mathbf{w} + \varepsilon,

где \varepsilon \in N(0, \sigma^2) - нормальное распределение.


Алгоритм

Вычислительный эксперимент

Исходный код

Литература

  1. Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.