Регрессионная модель

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая статья)
Текущая версия (07:18, 13 декабря 2010) (править) (отменить)
(Смотри также)
 
(12 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
Регрессионная модель
+
Термину '''регрессионная модель''', используемому в [[регрессионный анализ|регрессионном анализе]], можно сопоставить синонимы: «теория», «гипотеза».
-
 
+
Эти термины пришли из статистики, в частности из раздела «[[проверка статистических гипотез]]».
-
Термину '''регрессионная модель''', используемому в [[регрессионный анализ|регрессионном анализе]] можно сопоставить синонимы: "теория", "гипотеза".
+
-
Эти термины пришли из статистики, в частности из раздела "тестирование статистических гипотез".
+
Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.
Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.
-
Регрессионная модель&nbsp;<tex>f(\mathbf{w},\mathbf{x})</tex>&nbsp;&#151; параметрическое семейство функций, задающее отображение
+
Регрессионная модель&nbsp;<tex>f(\mathbf{w},\mathbf{x})</tex>&nbsp;— это параметрическое семейство функций, задающее отображение
<center><tex>f:W\times X\longrightarrow Y,</tex></center>
<center><tex>f:W\times X\longrightarrow Y,</tex></center>
-
где&nbsp;<tex>\mathbf{w}\in W</tex>&nbsp;&#151; пространтсво параметров, <tex>\mathbf{x}\in X</tex>&nbsp;&#151; пространство [[свободная переменная|свободных переменных]],
+
где&nbsp;<tex>\mathbf{w}\in W</tex>&nbsp;пространтсво параметров, <tex>\mathbf{x}\in X</tex>&nbsp;пространство [[свободная переменная|свободных переменных]],
-
<tex>Y</tex>&nbsp;&#151; пространство [[зависимая переменная|зависимых переменных]].
+
<tex>Y</tex>&nbsp;пространство [[зависимая переменная|зависимых переменных]].
Так как регрессионный анализ предполагает поиск зависимости матожидания случайной величины от свободных переменных
Так как регрессионный анализ предполагает поиск зависимости матожидания случайной величины от свободных переменных
-
<tex>E(y|\mathbf{x})=f(\mathbf{x})</tex>, то в ее состав входит адиттивная случайная величина&nbsp;<tex>\nu</tex>:
+
<tex>E(y|\mathbf{x})=f(\mathbf{x})</tex>, то в её состав входит аддитивная случайная величина&nbsp;<tex>\varepsilon</tex>:
-
<center><tex>y=f(\mathbf{w},\mathbf{x})+\nu.</tex></center>
+
<center><tex>y=f(\mathbf{w},\mathbf{x})+\varepsilon.</tex></center>
Предположение о характере распределения случайной величины&nbsp;<tex>\nu</tex> называются [[гипотеза порождения данных|гипотезой порождения данных]].
Предположение о характере распределения случайной величины&nbsp;<tex>\nu</tex> называются [[гипотеза порождения данных|гипотезой порождения данных]].
-
Эта гипотеза играет центральную роль в выборе целевой функции&nbsp;-- критерии оценки качества модели и, как следствие, в способе настройки параметров модели.
+
Эта гипотеза играет центральную роль в выборе критерия оценки качества модели и, как следствие, в способе настройки параметров модели.
-
Модель является настроенной (обученной) когда зафиксированы ее параметры, то есть модель задает отображение
+
Модель является настроенной (обученной) когда зафиксированы её параметры, то есть модель задаёт отображение
<center><tex>f:X\longrightarrow Y</tex></center>
<center><tex>f:X\longrightarrow Y</tex></center>
для фиксированного значения&nbsp;<tex>\bar{\mathbf{w}}</tex>.
для фиксированного значения&nbsp;<tex>\bar{\mathbf{w}}</tex>.
-
Различают <i>математическую модель</i> и <i>регрессионную модель</i>.
+
Различают ''математическую модель'' и ''регрессионную модель''.
Математическая модель предполагает участие аналитика в конструировании функции, которая описывает некоторую известную закономерность.
Математическая модель предполагает участие аналитика в конструировании функции, которая описывает некоторую известную закономерность.
-
Математическая модель является интерпретируемой&nbsp;&#151; объясняемой в рамках исследуемой закономерности.
+
Математическая модель является интерпретируемой&nbsp;объясняемой в рамках исследуемой закономерности.
-
При построении математической модели сначала создается параметрическое семейство функций, а затем с помощью измеряемых данных выполняется <i>идентификация модели</i>&nbsp;&#151; нахождение ее параметров.
+
При построении математической модели сначала создаётся параметрическое семейство функций, затем с помощью измеряемых данных выполняется ''идентификация модели''&nbsp;нахождение её параметров.
-
Известная функциональная зависимость объясняющей переменной и переменной отклика&nbsp;&#151; основное отличие математического моделирования от регрессионного анализа.
+
Известная функциональная зависимость объясняющей переменной и переменной отклика&nbsp;основное отличие математического моделирования от регрессионного анализа.
Недостаток математического моделирования состоит в том, что измеряемые данные используются для верификации, но не для построения модели, вследствие чего можно получить неадекватную модель.
Недостаток математического моделирования состоит в том, что измеряемые данные используются для верификации, но не для построения модели, вследствие чего можно получить неадекватную модель.
Также затруднительно получить модель сложного явления, в котором взаимосвязано большое число различных факторов.
Также затруднительно получить модель сложного явления, в котором взаимосвязано большое число различных факторов.
Регрессионная модель объединяет широкий класс универсальных функций, которые описывают некоторую закономерность.
Регрессионная модель объединяет широкий класс универсальных функций, которые описывают некоторую закономерность.
-
При этом для построения модели в-основном используются измеряемые данные, а не знание свойств исследуемой закономерности.
+
При этом для построения модели в основном используются измеряемые данные, а не знание свойств исследуемой закономерности.
Такая модель часто неинтерпретируема, но более точна.
Такая модель часто неинтерпретируема, но более точна.
Это объясняется либо большим числом моделей-претендентов, которые используются для построения оптимальной модели, либо большой сложностью модели.
Это объясняется либо большим числом моделей-претендентов, которые используются для построения оптимальной модели, либо большой сложностью модели.
-
Нахождение параметров информационной модели называется <i>обучением модели</i>.
+
Нахождение параметров регрессионной модели называется ''обучением модели''.
-
Недостатки регрессионного анализа: модели, имеющие слишком малую сложность могут оказаться неточными, а модели, имеющие избыточную сложность могут оказаться <i>переобученными</i>.
+
-
Примеры регрессионных моделей : линейные функции, алгебраические полиномы, ряды Чебышёва, нейронные сети без обратной связи, например, однослойный персептрон Розенблатта, радиальные базисные функции и прочее.
+
Недостатки регрессионного анализа: модели, имеющие слишком малую сложность, могут оказаться неточными, а модели, имеющие избыточную сложность, могут оказаться ''[[переобучение|переобученными]]''.
-
И регрессионная и математическая модель задает непрерывное отображение.
+
Примеры регрессионных моделей: линейные функции, алгебраические полиномы, ряды Чебышёва, нейронные сети без обратной связи, например, однослойный персептрон Розенблатта, радиальные базисные функции и прочее.
 +
 
 +
И регрессионная, и математическая модель, как правило, задают непрерывное отображение.
Требование непрерывности обусловлено классом решаемых задач: чаще всего это описание физических, химических и других явлений,
Требование непрерывности обусловлено классом решаемых задач: чаще всего это описание физических, химических и других явлений,
где требование непрерывности выставляется естественным образом.
где требование непрерывности выставляется естественным образом.
Иногда на отображение&nbsp;<tex>f</tex> накладываться ограничения монотонности, гладкости, измеримости, и некоторые другие.
Иногда на отображение&nbsp;<tex>f</tex> накладываться ограничения монотонности, гладкости, измеримости, и некоторые другие.
-
Теоретически, никто не запрещает работать с функциями произвольного вида, и допускать в моделях существование не только точек разрыва, но и задавать конечное,
+
Теоретически, никто не запрещает работать с функциями произвольного вида, и допускать в моделях существование не только точек разрыва, но и задавать конечное, неупорядоченное множество значений свободной переменной, то есть, превращать задачи регрессии в задачи классификации.
-
неупорядоченное множество значений свободной переменной, то есть, превращать задачи регрессии в задачи классификации.
+
При решении задач регрессионного анализа встают следующие вопросы.
При решении задач регрессионного анализа встают следующие вопросы.
* Как выбрать тип и структуру модели, какому именно семейству она должна принадлежать?
* Как выбрать тип и структуру модели, какому именно семейству она должна принадлежать?
* Какова гипотеза порождения данных, каково распределение случайной переменной?
* Какова гипотеза порождения данных, каково распределение случайной переменной?
-
* Каким способом отыскать параметры модели, каков должен быть алгоритм оптимизации параметров?
 
* Какой целевой функцией оценить качество аппроксимации?
* Какой целевой функцией оценить качество аппроксимации?
 +
* Каким способом отыскать параметры модели, каков должен быть [[алгоритм]] оптимизации параметров?
== Смотри также ==
== Смотри также ==
 +
 +
* [[Модель зависимости]]
* [[Регрессионный анализ]]
* [[Регрессионный анализ]]
-
* [[Гипотеза порождения данных]]
+
* [[Анализ регрессионных остатков]]
 +
* [[Символьная регрессия]]
 +
* [[Линейная регрессия (пример)]]
 +
* [[Алгоритмы выбора линейных регрессионных моделей (практика)]]
 +
* [[Регрессионный анализ (рекомендуемые обозначения)]]
 +
 
 +
== Литература ==
 +
* Дрейпер&nbsp;Н., Смит&nbsp;Г. Прикладной регрессионный анализ. М.:&nbsp;Издательский дом «Вильямс».&nbsp;2007.
 +
* Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55&nbsp;с. [[Media:strijov08ln.pdf|Брошюра, PDF]].
 +
* Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60&nbsp;с. [[Media:Strijov-Krymova10Model-Selection.pdf|Брошюра, PDF]].
== Литература ==
== Литература ==
Строка 61: Строка 70:
* Nabney, Yan T., Netlab: Algorithms for pattern recognition. Springer. 2004.
* Nabney, Yan T., Netlab: Algorithms for pattern recognition. Springer. 2004.
* Lehmann,&nbsp;E.&nbsp;L., Romano,&nbsp;J.&nbsp;P. Testing Statistical Hypotheses. Springer. 2005.
* Lehmann,&nbsp;E.&nbsp;L., Romano,&nbsp;J.&nbsp;P. Testing Statistical Hypotheses. Springer. 2005.
-
* Burnham,&nbsp;K., Anderson,&nbsp;D.&nbsp;R. Model Selection and Multimodel Inference. Springer. 2002.
+
* Burnham,&nbsp;K., Anderson,&nbsp;D.&nbsp;R. Model Selection and Multimodel Inference. Springer. 2002.
* Grunwald,&nbsp;P&nbsp;D., Myung,&nbsp;I.&nbsp;J. (eds.) Advances In Minimum Description Length: Theory And Applications. Springer. 2005.
* Grunwald,&nbsp;P&nbsp;D., Myung,&nbsp;I.&nbsp;J. (eds.) Advances In Minimum Description Length: Theory And Applications. Springer. 2005.
 +
* Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55&nbsp;с. [[Media:strijov08ln.pdf|Брошюра, PDF]].
[[Категория:Регрессионный анализ]]
[[Категория:Регрессионный анализ]]
 +
[[Категория:Энциклопедия анализа данных]]
 +
[[Категория:Популярные и обзорные статьи]]

Текущая версия

Термину регрессионная модель, используемому в регрессионном анализе, можно сопоставить синонимы: «теория», «гипотеза». Эти термины пришли из статистики, в частности из раздела «проверка статистических гипотез». Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.

Регрессионная модель f(\mathbf{w},\mathbf{x}) — это параметрическое семейство функций, задающее отображение

f:W\times X\longrightarrow Y,

где \mathbf{w}\in W — пространтсво параметров, \mathbf{x}\in X — пространство свободных переменных, Y — пространство зависимых переменных.

Так как регрессионный анализ предполагает поиск зависимости матожидания случайной величины от свободных переменных E(y|\mathbf{x})=f(\mathbf{x}), то в её состав входит аддитивная случайная величина \varepsilon:

y=f(\mathbf{w},\mathbf{x})+\varepsilon.

Предположение о характере распределения случайной величины \nu называются гипотезой порождения данных. Эта гипотеза играет центральную роль в выборе критерия оценки качества модели и, как следствие, в способе настройки параметров модели.

Модель является настроенной (обученной) когда зафиксированы её параметры, то есть модель задаёт отображение

f:X\longrightarrow Y

для фиксированного значения \bar{\mathbf{w}}.

Различают математическую модель и регрессионную модель. Математическая модель предполагает участие аналитика в конструировании функции, которая описывает некоторую известную закономерность. Математическая модель является интерпретируемой — объясняемой в рамках исследуемой закономерности. При построении математической модели сначала создаётся параметрическое семейство функций, затем с помощью измеряемых данных выполняется идентификация модели — нахождение её параметров. Известная функциональная зависимость объясняющей переменной и переменной отклика — основное отличие математического моделирования от регрессионного анализа. Недостаток математического моделирования состоит в том, что измеряемые данные используются для верификации, но не для построения модели, вследствие чего можно получить неадекватную модель. Также затруднительно получить модель сложного явления, в котором взаимосвязано большое число различных факторов.

Регрессионная модель объединяет широкий класс универсальных функций, которые описывают некоторую закономерность. При этом для построения модели в основном используются измеряемые данные, а не знание свойств исследуемой закономерности. Такая модель часто неинтерпретируема, но более точна. Это объясняется либо большим числом моделей-претендентов, которые используются для построения оптимальной модели, либо большой сложностью модели. Нахождение параметров регрессионной модели называется обучением модели.

Недостатки регрессионного анализа: модели, имеющие слишком малую сложность, могут оказаться неточными, а модели, имеющие избыточную сложность, могут оказаться переобученными.

Примеры регрессионных моделей: линейные функции, алгебраические полиномы, ряды Чебышёва, нейронные сети без обратной связи, например, однослойный персептрон Розенблатта, радиальные базисные функции и прочее.

И регрессионная, и математическая модель, как правило, задают непрерывное отображение. Требование непрерывности обусловлено классом решаемых задач: чаще всего это описание физических, химических и других явлений, где требование непрерывности выставляется естественным образом. Иногда на отображение f накладываться ограничения монотонности, гладкости, измеримости, и некоторые другие. Теоретически, никто не запрещает работать с функциями произвольного вида, и допускать в моделях существование не только точек разрыва, но и задавать конечное, неупорядоченное множество значений свободной переменной, то есть, превращать задачи регрессии в задачи классификации.

При решении задач регрессионного анализа встают следующие вопросы.

  • Как выбрать тип и структуру модели, какому именно семейству она должна принадлежать?
  • Какова гипотеза порождения данных, каково распределение случайной переменной?
  • Какой целевой функцией оценить качество аппроксимации?
  • Каким способом отыскать параметры модели, каков должен быть алгоритм оптимизации параметров?

Смотри также

Литература

  • Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  • Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55 с. Брошюра, PDF.
  • Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. М.: ВЦ РАН, 2010. 60 с. Брошюра, PDF.

Литература

  • Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.
  • MacKay, D. Information, inference, learning algorithms. Cambridge University Press. 2003.
  • Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  • Nabney, Yan T., Netlab: Algorithms for pattern recognition. Springer. 2004.
  • Lehmann, E. L., Romano, J. P. Testing Statistical Hypotheses. Springer. 2005.
  • Burnham, K., Anderson, D. R. Model Selection and Multimodel Inference. Springer. 2002.
  • Grunwald, P D., Myung, I. J. (eds.) Advances In Minimum Description Length: Theory And Applications. Springer. 2005.
  • Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55 с. Брошюра, PDF.
Личные инструменты