Отступ

Материал из MachineLearning.

Версия от 21:04, 29 июня 2026; Danis Sabirov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Шаблон:Философия ИИ/Статья создана с помощью ИИ

Содержание

1 Отступ (Margin) в машинном обучении

Отступ (Margin) в машинном обучении

Отступ (англ. margin) — фундаментальное понятие в теории статистического обучения, определяющее степень уверенности классификатора в правильности принимаемого решения. Концепция отступа лежит в основе таких алгоритмов, как метод опорных векторов (SVM), логистическая регрессия и бустинг. Максимизация отступа является ключевым механизмом повышения обобщающей способности моделей и снижения риска переобучения.

1. Математическая постановка и виды отступов

Рассмотрим задачу бинарной классификации. Пусть задана обучающая выборка $\mathcal{X} = \{(x_1, y_1), \dots, (x_N, y_N)\}$ , где $x_i \in \mathbf{R}^D$ — вектор признаков объекта, а $y_i \in \{-1, +1\}$ — его истинная метка класса.

Линейный классификатор задается вектором весов $w \in \mathbf{R}^D$ и смещением (порогом) $b \in \mathbf{R}$ . Решающее правило имеет вид:

$a(x) = \text{sign}(\langle w, x \rangle + b)$

Для оценки качества предсказания на конкретном объекте $x_i$ вводятся два связанных понятия отступа:

Функциональный отступ (Functional Margin):

$M_i = y_i (\langle w, x_i \rangle + b)$

Знак $M_i</math> указывает на корректность классификации (если <tex>M_i > 0$ , ответ верный), а абсолютная величина $|M_i|$ характеризует уверенность модели. Однако функциональный отступ можно сделать сколь угодно большим простым масштабированием параметров $(w, b) \to (c \cdot w, c \cdot b)$ при $c > 1$ , что не меняет саму разделяющую плоскость.

Геометрический отступ (Geometric Margin):

$\rho_i = \frac{y_i (\langle w, x_i \rangle + b)}{\|w\|} = \frac{M_i}{\|w\|}$

Это евклидово расстояние от точки $x_i$ до разделяющей гиперплоскости $\langle w, x \rangle + b = 0$ . Геометрический отступ инвариантен к масштабированию параметров и имеет строгий геометрический смысл.

2. Принцип максимального отступа (Hard Margin SVM)

Если выборка линейно разделима, существует бесконечное множество гиперплоскостей, безошибочно разделяющих классы. Метод опорных векторов (Vapnik, Cortes, 1995) постулирует выбор такой гиперплоскостей, которая максимизирует минимальный геометрический отступ по всей обучающей выборке.

Зафиксируем функциональный отступ для объектов, лежащих на границе разделяющей полосы, равным единице: $\min_i M_i = 1$ . Тoгда ширина полосы между классами составит $\frac{2}{\|w\|}$ . Задача максимизации полосы сводится к задаче квадратичного программирования:

$\min_{w, b} \frac{1}{2} \|w\|^2$

при ограничениях:

$y_i (\langle w, x_i \rangle + b) \geq 1, \quad \forall i \in \{1, \dots, N\}$

3. Мягкий отступ (Soft Margin SVM)

На практике данные редко бывают линейно разделимыми из-за шума и выбросов. Для допуска ошибок классификации вводится концепция «мягкого отступа» с использованием неотрицательных слабинных переменных (slack variables) $\xi_i \geq 0$ .