Символьная регрессия

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Литература по теме)
Строка 1: Строка 1:
 +
'''Символьная регрессия''' — метод построения [[регрессионная модель|регрессионных моделей]]] путем перебора различных произвольных суперпозиций функций из некоторого заданного набора. Суперпозиция функций при этом называется "программой", а стохастический оптимизационный алгоритм построения таких суперпозиций называется [[генетическое программирование|генетическим программированием]].
 +
 +
Генетическое программирование – модификация [[генетического алгоритма]]. Различие заключается в том, что для решения задач символьной регрессии необходима изменяющаяся длина хромосом, описывающих суперпозиции.
 +
 +
Так как подобные алгоритмы являются переборными и требуют значительных вычислительных ресурсов, то публикации по данной теме стали появляться в 90-х годах, а значительное развитие они получили после 2000-го года. Наиболее известным исследователем является Джон Коза.
 +
 +
== Постановка задачи ==
 +
 +
Задача отыскания оптимальной структуры регрессионной модели нескольких свободных переменных следующим образом. Задана выборка&nbsp;— множество <tex>\{\mathbf{x}_1,…,\mathbf{x}_N|\mathbf{x}\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,…,y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. Обозначим оба эти множества как множество исходных данных&nbsp;<tex>D</tex>.
 +
 +
Также задано множество <tex>G=\{g|g:\R\times…\times\R\longrightarrow\R\}</tex> гладких
 +
параметрических функций <tex>g=g(\mathbf{b},\cdot,\cdot,…,\cdot) </tex>. Первый аргумент функции&nbsp;<tex>g</tex>&nbsp;— вектор-строка параметров&nbsp;<tex>\mathbf{b}</tex>, последующие&nbsp;— переменные из множества действительных чисел, рассматриваемые как элементы вектора свободных переменных.
 +
Рассмотрим произвольную суперпозицию, состоящую из не более чем&nbsp;<tex>r</tex> функций&nbsp;<tex>g</tex>. Эта суперпозиция задает параметрическую регрессионную модель&nbsp;<tex>f=f(\mathbf{w},\mathbf{x}) </tex>. Регрессионная модель&nbsp;<tex>f</tex> зависит от вектора свободных переменных&nbsp;<tex>\mathbf{x}</tex> и от вектора параметров&nbsp;<tex>\mathbf{w}</tex>. Вектор&nbsp;<tex>\mathbf{w}\in\R^W</tex> состоит из присоединенных векторов-параметров
 +
функций&nbsp;<tex>g_1,…,g_r</tex>, то есть, <tex>\mathbf{w}=\mathbf{b}_1\vdots\mathbf{b}_2\vdots…\vdots\mathbf{b}_r</tex>, где <tex>\vdots</tex>&nbsp;— знак присоединения векторов. Обозначим&nbsp;<tex>\Phi=\{f_i\}</tex>&nbsp;— множество всех суперпозиций, индуктивно порожденное элементами множества&nbsp;<tex>G</tex>.
 +
 +
Требуется выбрать такую модель&nbsp;<tex>f_i</tex>, которая доставляет максимум заданного функционала&nbsp;<tex>p(\mathbf{w}|D) </tex>.
 +
{{Заготовка}}
{{Заготовка}}
== Литература ==
== Литература ==
 +
* {{s|Zelinka, I., Nolle, L., Oplatkova, Z.}} Analytic Programming — Symbiloc Regression by Means of Arbitrfary Evolutionary Algorithms&nbsp;/ Journal of Simulation. Vol. 6 No 9. P. 44—56.
* {{s|Koza, J. R.}} Genetic Programming IV: Routine Human-Competitive Machine Intelligence. Springer.&nbsp;2005.
* {{s|Koza, J. R.}} Genetic Programming IV: Routine Human-Competitive Machine Intelligence. Springer.&nbsp;2005.
* {{s|Riolo, R., Soule, T., Worzel, B. (Eds.)}} Genetic Programming Theory and Practice V. Series: Genetic and Evolutionary Computation. Springer. 2008.
* {{s|Riolo, R., Soule, T., Worzel, B. (Eds.)}} Genetic Programming Theory and Practice V. Series: Genetic and Evolutionary Computation. Springer. 2008.
Строка 11: Строка 29:
== Внешние ссылки ==
== Внешние ссылки ==
 +
* [http://alphard.ethz.ch/gerber/approx/default.html Simple Symbolic Regression Using Genetic Programming à la John Koza]
* [http://gplab.sourceforge.net {{s|Silva, S.}} GPLAB&nbsp;— A Genetic Programming Toolbox for MATLAB]
* [http://gplab.sourceforge.net {{s|Silva, S.}} GPLAB&nbsp;— A Genetic Programming Toolbox for MATLAB]
* [http://www.staff.ncl.ac.uk/d.p.searson/gptips.htm {{s|Searson, D.}} GPTIPS&nbsp;— Genetic Programming Tool for MATLAB]
* [http://www.staff.ncl.ac.uk/d.p.searson/gptips.htm {{s|Searson, D.}} GPTIPS&nbsp;— Genetic Programming Tool for MATLAB]
* [http://www.gepsoft.com {{s|Gepsoft}} GeneXproTools&nbsp;— Logistic Regression Analytics Platform]
* [http://www.gepsoft.com {{s|Gepsoft}} GeneXproTools&nbsp;— Logistic Regression Analytics Platform]
 +
* [http://en.wikipedia.org/wiki/Genetic_programming Genetic programming, Wikipedia]
 +
[[Категория:Незавершенные статьи]]
[[Категория:Регрессионный анализ]]
[[Категория:Регрессионный анализ]]
[[Категория:Энциклопедия анализа данных]]
[[Категория:Энциклопедия анализа данных]]

Версия 16:39, 30 марта 2008

Символьная регрессия — метод построения регрессионных моделей] путем перебора различных произвольных суперпозиций функций из некоторого заданного набора. Суперпозиция функций при этом называется "программой", а стохастический оптимизационный алгоритм построения таких суперпозиций называется генетическим программированием.

Генетическое программирование – модификация генетического алгоритма. Различие заключается в том, что для решения задач символьной регрессии необходима изменяющаяся длина хромосом, описывающих суперпозиции.

Так как подобные алгоритмы являются переборными и требуют значительных вычислительных ресурсов, то публикации по данной теме стали появляться в 90-х годах, а значительное развитие они получили после 2000-го года. Наиболее известным исследователем является Джон Коза.

Постановка задачи

Задача отыскания оптимальной структуры регрессионной модели нескольких свободных переменных следующим образом. Задана выборка — множество \{\mathbf{x}_1,…,\mathbf{x}_N|\mathbf{x}\in\R^M\} значений свободных переменных и множество \{y_1,…,y_N| y\in\R\} соответствующих им значений зависимой переменной. Обозначим оба эти множества как множество исходных данных D.

Также задано множество G=\{g|g:\R\times…\times\R\longrightarrow\R\} гладких параметрических функций g=g(\mathbf{b},\cdot,\cdot,…,\cdot) . Первый аргумент функции g — вектор-строка параметров \mathbf{b}, последующие — переменные из множества действительных чисел, рассматриваемые как элементы вектора свободных переменных. Рассмотрим произвольную суперпозицию, состоящую из не более чем r функций g. Эта суперпозиция задает параметрическую регрессионную модель f=f(\mathbf{w},\mathbf{x}) . Регрессионная модель f зависит от вектора свободных переменных \mathbf{x} и от вектора параметров \mathbf{w}. Вектор \mathbf{w}\in\R^W состоит из присоединенных векторов-параметров функций g_1,…,g_r, то есть, \mathbf{w}=\mathbf{b}_1\vdots\mathbf{b}_2\vdots…\vdots\mathbf{b}_r, где \vdots — знак присоединения векторов. Обозначим \Phi=\{f_i\} — множество всех суперпозиций, индуктивно порожденное элементами множества G.

Требуется выбрать такую модель f_i, которая доставляет максимум заданного функционала p(\mathbf{w}|D) .


Литература

  • Zelinka, I., Nolle, L., Oplatkova, Z. Analytic Programming — Symbiloc Regression by Means of Arbitrfary Evolutionary Algorithms / Journal of Simulation. Vol. 6 No 9. P. 44—56.
  • Koza, J. R. Genetic Programming IV: Routine Human-Competitive Machine Intelligence. Springer. 2005.
  • Riolo, R., Soule, T., Worzel, B. (Eds.) Genetic Programming Theory and Practice V. Series: Genetic and Evolutionary Computation. Springer. 2008.
  • Madar, J., Janos, A., Szeifert, F. Genetic Programming for the Identification of Nonlinear Input-Output Models. citeseer.ist.psu.edu. 2005.
  • Hazan, A. et al. Modelling Expressive Performance: A Regression Tree Approach Based on Strongly Typed Genetic Programming / Applications of Evolutionary Computing. Springer. Vol. 3907/2006. P. 676—687.
  • Kohavi, R. A study of cross-validation and bootstrap for accuracy estimation and model selection / Proceedings of 14 International Joint Conference of Artificial Intelligence. 2(12). P. 1137—1143.

Внешние ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A1%D0%B8%D0%BC%D0%B2%D0%BE%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»
Личные инструменты