Однослойные сети RBF для решения задач регрессии (пример)
Материал из MachineLearning.
Строка 10: | Строка 10: | ||
Задана выборка — множество <tex>\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. Предполагается, что множество объектов можно представить в виде смеси распределений: <tex>k</tex> гауссиан с параметрами <tex>\mu</tex> и <tex>\Sigma</tex>, | Задана выборка — множество <tex>\{{x}_1,\ldots,{x}_N|x\in\R^M\}</tex> значений свободных переменных и множество <tex>\{y_1,\ldots, y_N| y\in\R\}</tex> соответствующих им значений зависимой переменной. Предполагается, что множество объектов можно представить в виде смеси распределений: <tex>k</tex> гауссиан с параметрами <tex>\mu</tex> и <tex>\Sigma</tex>, | ||
- | + | <tex>p(x) = \sum_{i=1}^k w_jp_j(x) = \sum_{i=1}^k w_jN(x;\mu_j,\Sigma_j).</tex> | |
- | + | <tex>N(x;\mu_j,\Sigma_j) = \frac{1}{\sqrt{(2\pi)^ndet\Sigma_j}}e^{-\frac{1}{2}(x-\mu_j)\Sigma_j^{-1}(x-\mu_j)^{T}}</tex> | |
Требуется решить задачу [[регрессия|{{S|регрессии}}]] с помощью однослойной сети RBF, обучаемой с помощью [[EM-алгоритм|{{S|EM-алгоритма с добавлением компонент}}]]. | Требуется решить задачу [[регрессия|{{S|регрессии}}]] с помощью однослойной сети RBF, обучаемой с помощью [[EM-алгоритм|{{S|EM-алгоритма с добавлением компонент}}]]. | ||
Версия 21:00, 6 июня 2010
Радиальная функция — это функция , зависящая только от расстояния между x и фиксированной точкой пространства X.
В данной рабоет используются гауссианы
, которые можно представить в виде
где — нормировочный множитель,
— взвешенная евклидова метрика в n-мерном пространстве X:
,
.
Сеть радиальных базисных функций - нейронная сеть прямого распространения сигнала, которая содержит промежуточный (скрытый) слой радиально симметричных нейронов. Такой нейрон преобразовывает расстояние от данного входного вектора до соответствующего ему "центра" по некоторому нелинейному закону. В данной статье мы рассмотрим применение этой нейронной сети к решению задачи регрессии с помощью восстановления смесей распределений.
Постановка задачи
Задана выборка — множество значений свободных переменных и множество
соответствующих им значений зависимой переменной. Предполагается, что множество объектов можно представить в виде смеси распределений:
гауссиан с параметрами
и
,
Требуется решить задачу регрессии с помощью однослойной сети RBF, обучаемой с помощью EM-алгоритма с добавлением компонент.
Описание алгоритма
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |