Регрессионная модель

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая статья)
м
Строка 1: Строка 1:
-
Регрессионная модель
+
Термину '''регрессионная модель''', используемому в [[регрессионный анализ|регрессионном анализе]], можно сопоставить синонимы: "теория", "гипотеза".
-
 
+
-
Термину '''регрессионная модель''', используемому в [[регрессионный анализ|регрессионном анализе]] можно сопоставить синонимы: "теория", "гипотеза".
+
Эти термины пришли из статистики, в частности из раздела "тестирование статистических гипотез".
Эти термины пришли из статистики, в частности из раздела "тестирование статистических гипотез".
Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.
Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.

Версия 16:39, 16 марта 2008

Термину регрессионная модель, используемому в регрессионном анализе, можно сопоставить синонимы: "теория", "гипотеза". Эти термины пришли из статистики, в частности из раздела "тестирование статистических гипотез". Регрессионная модель есть прежде всего гипотеза, которая должна быть подвергнута статистической проверке, после чего она принимается или отвергается.

Регрессионная модель f(\mathbf{w},\mathbf{x}) — параметрическое семейство функций, задающее отображение

f:W\times X\longrightarrow Y,

где \mathbf{w}\in W — пространтсво параметров, \mathbf{x}\in X — пространство свободных переменных, Y — пространство зависимых переменных.

Так как регрессионный анализ предполагает поиск зависимости матожидания случайной величины от свободных переменных E(y|\mathbf{x})=f(\mathbf{x}), то в ее состав входит адиттивная случайная величина \nu:

y=f(\mathbf{w},\mathbf{x})+\nu.

Предположение о характере распределения случайной величины \nu называются гипотезой порождения данных. Эта гипотеза играет центральную роль в выборе целевой функции -- критерии оценки качества модели и, как следствие, в способе настройки параметров модели.

Модель является настроенной (обученной) когда зафиксированы ее параметры, то есть модель задает отображение

f:X\longrightarrow Y

для фиксированного значения \bar{\mathbf{w}}.

Различают математическую модель и регрессионную модель. Математическая модель предполагает участие аналитика в конструировании функции, которая описывает некоторую известную закономерность. Математическая модель является интерпретируемой — объясняемой в рамках исследуемой закономерности. При построении математической модели сначала создается параметрическое семейство функций, а затем с помощью измеряемых данных выполняется идентификация модели — нахождение ее параметров. Известная функциональная зависимость объясняющей переменной и переменной отклика — основное отличие математического моделирования от регрессионного анализа. Недостаток математического моделирования состоит в том, что измеряемые данные используются для верификации, но не для построения модели, вследствие чего можно получить неадекватную модель. Также затруднительно получить модель сложного явления, в котором взаимосвязано большое число различных факторов.

Регрессионная модель объединяет широкий класс универсальных функций, которые описывают некоторую закономерность. При этом для построения модели в-основном используются измеряемые данные, а не знание свойств исследуемой закономерности. Такая модель часто неинтерпретируема, но более точна. Это объясняется либо большим числом моделей-претендентов, которые используются для построения оптимальной модели, либо большой сложностью модели. Нахождение параметров информационной модели называется обучением модели. Недостатки регрессионного анализа: модели, имеющие слишком малую сложность могут оказаться неточными, а модели, имеющие избыточную сложность могут оказаться переобученными.

Примеры регрессионных моделей : линейные функции, алгебраические полиномы, ряды Чебышёва, нейронные сети без обратной связи, например, однослойный персептрон Розенблатта, радиальные базисные функции и прочее.

И регрессионная и математическая модель задает непрерывное отображение. Требование непрерывности обусловлено классом решаемых задач: чаще всего это описание физических, химических и других явлений, где требование непрерывности выставляется естественным образом. Иногда на отображение f накладываться ограничения монотонности, гладкости, измеримости, и некоторые другие. Теоретически, никто не запрещает работать с функциями произвольного вида, и допускать в моделях существование не только точек разрыва, но и задавать конечное, неупорядоченное множество значений свободной переменной, то есть, превращать задачи регрессии в задачи классификации.

При решении задач регрессионного анализа встают следующие вопросы.

  • Как выбрать тип и структуру модели, какому именно семейству она должна принадлежать?
  • Какова гипотеза порождения данных, каково распределение случайной переменной?
  • Каким способом отыскать параметры модели, каков должен быть алгоритм оптимизации параметров?
  • Какой целевой функцией оценить качество аппроксимации?

Смотри также

Литература

  • Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.
  • MacKay, D. Information, inference, learning algorithms. Cambridge University Press. 2003.
  • Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом «Вильямс». 2007.
  • Nabney, Yan T., Netlab: Algorithms for pattern recognition. Springer. 2004.
  • Lehmann, E. L., Romano, J. P. Testing Statistical Hypotheses. Springer. 2005.
  • Burnham, K., Anderson, D. R. Model Selection and Multimodel Inference. Springer. 2002.
  • Grunwald, P D., Myung, I. J. (eds.) Advances In Minimum Description Length: Theory And Applications. Springer. 2005.
Личные инструменты