Метод релевантных векторов
Материал из MachineLearning.
(Различия между версиями)
Строка 10: | Строка 10: | ||
== Подход к решению == | == Подход к решению == | ||
*Следуя байесовскому подходу, воспользуемся методом максимума апостериорной плотности: | *Следуя байесовскому подходу, воспользуемся методом максимума апостериорной плотности: | ||
- | ::<tex>\mathbf{\omega}_{MP} = \arg\,\max_{\mathbf{\omega}}\,\,p(\mathbf{\omega}|X,\mathbf {t}) = \arg\,\max_{\mathbf{\omega}}\,\,p(\mathbf {t}|X,\mathbf{\omega})p(\mathbf{\omega})</tex> | + | ::<tex>\mathbf{\omega}_{MP} = \arg\,\max_{\mathbf{\omega}}\,\,p(\mathbf{\omega} |X,\mathbf{t}) = \arg\,\max_{\mathbf{\omega}} \,\,p(\mathbf{t} |X,\mathbf{\omega}) p(\mathbf{\omega})</tex> |
+ | *Для получения разреженного решения введем в качестве априорного распределения на параметры <tex>\mathbf{\omega} </tex> нормальное распределение с диагональной матрицей ковариации '''с различными элементами на диагонали:''' |
Версия 11:48, 7 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Метод релевантных векторов (RVM, Relevance vector machine) — алгоритм восстановления регрессии, основанный на Байесовском подходе. В методе используется обобщенная линейная модель с введенной регуляризацией, которая, в Байесовкой интерпретации, равносильна введению априорных распределений на вектор параметров. Главной особенностью является то, что все параметры регуляризируются независимо.
Решаемая задача
- Имеется выборка
, где вектор признаков
, а целевая переменная
. Требуется для нового объекта
предсказать значение целевой переменной
- Предполагается, что
, где
, а
Подход к решению
- Следуя байесовскому подходу, воспользуемся методом максимума апостериорной плотности:
- Для получения разреженного решения введем в качестве априорного распределения на параметры
нормальное распределение с диагональной матрицей ковариации с различными элементами на диагонали: