Функция ядра

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
 +
==Определение==
 +
Пусть <tex>X</tex> – некоторое пространство. Тогда отображение <tex>K:\ X \times X \to \mathbb R</tex> называется '''ядром''' или '''kernel function''', если оно представимо в виде:
 +
 +
<tex>K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H </tex>, где <tex> \psi </tex> – некоторое отображение <tex>\psi:\ X \to H </tex>.
 +
 +
[[Теорема Мерсера]] устанавливает необходимые и достаточные условия, при которых отображение <tex>K</tex> является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.
 +
 +
==Конструктивные способы порождения ядер==
 +
 +
Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:
 +
 +
1. '''Тривиальное ядро''': <tex>K(x,x^{\prime}) = \left< x,x^{\prime} \right></tex> - ''ядро'' по определению; <br />
 +
 +
2. '''Констатнта''': <tex>K(x,x^{\prime}) = 1 </tex> – также является ''ядром''; <br />
 +
 +
3. '''Произведение ядер''': <tex>K(x,x^{\prime}) = K_1(x,x^{\prime})K_2(x,x^{\prime})</tex> – ''ядро'', если <tex>K_1,K_2</tex> – ''ядра''; <br />
 +
 +
4. '''Произведение отображений''': <tex>K(x,x^{\prime}) = \psi(x) \psi(x^{\prime}) </tex> – ''ядро'' <tex>\forall \psi:\ X \to \mathbb R </tex>; <br/>
 +
 +
5. '''Линейная комбинация ядер''': <tex>K(x,x^{\prime}) = \alpha_1 K_1(x,x^{\prime}) + \alpha_2 K_2(x,x^{\prime}) </tex> - ''ядро'' <tex>\forall \alpha_1,\alpha_2 \geq 0 </tex> <br />
 +
 +
6. '''Композиция ядра и отображения''': <tex>K(x,x^{\prime}) = K_0\left(\varphi(x),\varphi(x^{\prime})\right) </tex> – ''ядро'', где <tex>K_0(x,x^{\prime})</tex> – произовльное ''ядро'' и <tex>\varphi(x)</tex> – произвольное отображение <tex>\varphi: \ X \to X</tex>; <br />
 +
 +
7. '''Интегральное скалярное произведение''': <tex>\int\limits_X S(x,z)S(x^{\prime},z)\,dz</tex> – ''ядро'' для любой симметричной интегрируемой функции <tex>S:\ X\times X \to \mathbb R</tex>; <br />
 +
 +
 +
8. '''Отображение с неотрицательным Фурье-образом''': <tex>K(x,x^{\prime}) = k(x-x^{\prime})</tex> – ''ядро'' тогда и только тогда, когда неотрицателен Фурье-образ отображения <tex>k</tex>, то есть:
 +
<tex>F[k] (w) = (2 \pi)^{\frac{n}{2})} \int\limits_X exp(-i \left<w,x \right> k(x)\,dx \geq 0</tex>; <br />
 +
 +
9. '''Степенной ряд''': Если <tex>K_0</tex> – ''ядро'', <tex>f: \ \mathbb R \to \mathbb R </tex> – сходящийся степенной ряд с неотрицательными коэффициентами, тогда <tex>K(x,x^{\prime}) = f(K_0(x,x^{\prime}))</tex> – ''ядро''; <br />
 +
 +
 +
Этот список можно пополнять другими различными правилами. Обычно ''ядро'' выбирают, исходя из специфики задачи.
 +
 +
 +
== См. также ==
 +
* [[Теорема Мерсера]]
 +
* [[Спрямляющее пространство|Переход в спрямляющее пространство]]
 +
* [[Линейный классификатор]]
 +
 +
{{Задание|osa|Константин Воронцов|25 января 2010}}
{{Задание|osa|Константин Воронцов|25 января 2010}}

Версия 13:16, 6 января 2010

Определение

Пусть X – некоторое пространство. Тогда отображение K:\ X \times X \to \mathbb R называется ядром или kernel function, если оно представимо в виде:

K \left(x,x^{\prime} \right) = \left< \psi(x), \psi (x^{\prime}) \right>_H , где \psi – некоторое отображение \psi:\ X \to H .

Теорема Мерсера устанавливает необходимые и достаточные условия, при которых отображение K является ядром. Эти условия красивы с теоретической точки зрения, однако на практике их применение затруднительно. В качестве практически применимой альтернативы используют конструктивные способы порождения ядер.

Конструктивные способы порождения ядер

Ниже приведены некоторые правила, применение которых позволяет конструктивно получить любое ядро из достаточно широкого класса ядер:

1. Тривиальное ядро: K(x,x^{\prime}) = \left< x,x^{\prime} \right> - ядро по определению;

2. Констатнта: K(x,x^{\prime}) = 1 – также является ядром;

3. Произведение ядер: K(x,x^{\prime}) = K_1(x,x^{\prime})K_2(x,x^{\prime}) – ядро, если K_1,K_2 – ядра;

4. Произведение отображений: K(x,x^{\prime}) = \psi(x) \psi(x^{\prime}) – ядро \forall \psi:\ X \to \mathbb R ;

5. Линейная комбинация ядер: K(x,x^{\prime}) = \alpha_1 K_1(x,x^{\prime}) + \alpha_2 K_2(x,x^{\prime}) - ядро \forall \alpha_1,\alpha_2 \geq 0

6. Композиция ядра и отображения: K(x,x^{\prime}) = K_0\left(\varphi(x),\varphi(x^{\prime})\right) – ядро, где K_0(x,x^{\prime}) – произовльное ядро и \varphi(x) – произвольное отображение \varphi: \ X \to X;

7. Интегральное скалярное произведение: \int\limits_X S(x,z)S(x^{\prime},z)\,dz – ядро для любой симметричной интегрируемой функции S:\ X\times X \to \mathbb R;


8. Отображение с неотрицательным Фурье-образом: K(x,x^{\prime}) = k(x-x^{\prime}) – ядро тогда и только тогда, когда неотрицателен Фурье-образ отображения k, то есть: F[k] (w) = (2 \pi)^{\frac{n}{2})} \int\limits_X exp(-i \left<w,x \right> k(x)\,dx \geq 0;

9. Степенной ряд: Если K_0 – ядро, f: \ \mathbb R \to \mathbb R – сходящийся степенной ряд с неотрицательными коэффициентами, тогда K(x,x^{\prime}) = f(K_0(x,x^{\prime})) – ядро;


Этот список можно пополнять другими различными правилами. Обычно ядро выбирают, исходя из специфики задачи.


См. также


Данная статья является непроверенным учебным заданием.
Студент: Участник:osa
Преподаватель: Участник:Константин Воронцов
Срок: 25 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A4%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D1%8F%D0%B4%D1%80%D0%B0»