Отступ

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Шаблон:Философия ИИ/Статья создана с помощью ИИ

Содержание

1 Введение
2 Математическое определение отступа
3 Геометрический смысл
4 Отступ в методе опорных векторов
5 Использование отступа в современных методах машинного обучения
6 Практический пример применения
7 Заключение и рекомендации
8 Список литературы
9 Рекомендуемые материалы
10 Список иллюстраций

Введение

Отступ (англ. margin) — фундаментальное понятие в теории статистического обучения и математических методах распознавания образов, характеризующее степень уверенности разделяющего классификатора в правильности предсказания на конкретном объекте. Концепция отступа служит теоретическим базисом для конструирования алгоритмов с высокой обобщающей способностью и минимизации структурного риска. Она играет определяющую роль в математическом обосновании метода опорных векторов (SVM), линейных классификаторов, алгоритмов градиентного бустинга и современных регуляризационных подходов в глубоком обучении.

Математическое определение отступа

Рассмотрим задачу бинарной классификации в непрерывном признаковом пространстве. Пусть задана обучающая выборка:

$D = \{(x_1, y_1), \dots, (x_n, y_n)\}$

где $x_i \in \mathbf{R}^d$ представляет собой вектор признаков объекта, а $y_i \in \{-1, +1\}$ — истинную метку класса. Линейный разделяющий классификатор аппроксимирует целевую зависимость с помощью вещественнозначной функции:

$f(x) = w^T x + b$

Параметрами модели являются вектор весов $w \in \mathbf{R}^d$ (нормаль к разделяющей гиперплоскости) и свободный член (смещение) $b \in \mathbf{R}$ . Окончательное решающее правило определяется как $a(x) = \text{sign}(f(x))$ .

Функциональным отступом (алгебраическим отступом) алгоритма на объект $x_i$ называется скалярная величина:

$M_i = y_i(w^T x_i + b)$

Величина функционального отступа обладает следующими свойствами:

$M_i > 0$ тогда и только тогда, когда знак предсказания классификатора совпадает со знаком истинной метки класса $y_i$ (объект классифицирован верно).
$M_i < 0$ указывает на ошибочное решение алгоритма на объекте $x_i$ .
Абсолютное значение $|M_i|$ пропорционально удалению объекта от границы раздела фаз в пространстве признаков, экстраполируя меру «невозмутимости» предсказания при вариациях параметров модели.

Основной недостаток функционального отступа заключается в его чувствительности к масштабированию параметров. При преобразовании $(w, b) \to (\alpha w, \alpha b)$ для $\alpha > 0$ решающее правило и геометрическое положение границы знака не изменяются, однако функциональный отступ масштабируется в $\alpha$ раз: $M_i \to \alpha M_i$ .

Геометрический смысл

Для устранения масштабной неопределенности вводится нормированный, или геометрический отступ $\gamma_i$ . Он определяется как функциональный отступ, деленный на евклидову нему вектора весов:

$\gamma_i = \frac{y_i(w^T x_i + b)}{\|w\|} = \frac{M_i}{\|w\|}$

Геометрический смысл величины $\gamma_i$ выводится из аналитической геометрии: абсолютное значение $|\gamma_i|$ строго равно евклидову расстоянию от точки $x_i$ в пространстве $\mathbf{R}^d$ до разделяющей гиперплоскости, заданной уравнением:

$w^T x + b = 0$

Геометрический отступ выборки $D$ относительно классификатора определяется как минимальный геометрический отступ среди всех объектов выборки:

$\gamma = \min_{i=1,\dots,n} \gamma_i$

Максимизация данной величины эквивалентна поиску разделяющей полосы максимальной ширины между распределениями двух классов.

Отступ в методе опорных векторов

Исторический контекст

Истоки концепции оптимальной разделяющей гиперплоскости восходят к работам А. Б. Новикова (Novikoff, 1962), доказавшего теорему о сходимости персептрона через величину зазора между классами. В рамках статистической теории обучения, развиваемой В. Н. Вапником и А. Я. Червоненкисом с 1960-х годов, было показано, что обобщающая способность линейных классификаторов напрямую зависит от геометрического отступа, а не от размерности пространства признаков $d$ . Полноценная реализация принципа максимизации отступа для нелинейных зависимостей с использованием ядерного перехода (kernel trick) была предложена К. Кортес и В. Н. Вапником в 1995 году (Cortes, Vapnik, 1995), что сформировало классический метод опорных векторов (Support Vector Machine, SVM).

Принцип максимизации отступа (Hard Margin)

В предположении линейной разделимости выборки задача поиска оптимальной гиперплоскости формулируется как максимизация геометрического отступа выборки $\gamma$ :

$\max_{w,b} \frac{\min_i y_i(w^T x_i + b)}{\|w\|}$

Для устранения масштабной инвариантности фиксируют функциональный отступ ближайших к гиперплоскости объектов (опорных векторов) равным единице: $\min_i y_i(w^T x_i + b) = 1$ . Задача максимизации геометрического зазора $\frac{1}{\|w\|}$ переходит в эквивалентную задачу минимизации квадратичной формы (задачу условной квадратичной оптимизации):

$\min_{w,b} \frac{1}{2}\|w\|^2$

при выполнении системы ограничений-неравенств:

$y_i(w^T x_i + b) \geq 1, \quad i = 1, \dots, n$

Мягкий отступ (Soft Margin) и функция потерь Hinge Loss

Для работы с линейно неразделимыми данными и обеспечения устойчивости к шумовым выбросам концепция максимизации отступа модифицируется введением слабинных переменных $\xi_i \geq 0$ (Soft Margin SVM). Это позволяет объектам нарушать идеальную разделяющую полосу или оказываться на чужой стороне гиперплоскости со штрафом, пропорциональным величине нарушения.

Математически данная схема эквивалентна минимизации регуляризованного эмпирического риска, где штраф за неоптимальный отступ задается кусочно-линейной функцией потерь Hinge Loss (петлевая функция потерь):

$L(y, f(x)) = \max(0, 1 - y f(x))$

Интегральная оптимизационная задача SVM принимает вид:

$\min_{w,b} \frac{1}{2}\|w\|^2 + C \sum_{i=1}^n \max(0, 1 - y_i(w^T x_i + b))$

где $C > 0$ — гиперпараметр регуляризации, контролирующий баланс между максимизацией геометрического зазора и минимизацией ошибок классификации.

Связь с обобщающей способностью

Обоснование эффективности максимизации отступа дает верхняя оценка Вапника — Червоненкиса для емкости (VC-размерности) $h$ семейства линейных классификаторов. Если все объекты обучающей выборки лежат внутри сферы радиуса $R$ , то VC-размерность класса гиперплоскостей с геометрическим отступом не менее $\gamma$ ограничена величиной:

$h \leq \min\left(d, \left\lceil \frac{R^2}{\gamma^2} \right\rceil \right) + 1$

Следовательно, максимизация геометрического отступа $\gamma$ минимизирует верхнюю оценку вероятности переобучения модели, гарантируя стабильность решающего правила на независимых тестовых данных независимо от номинальной размерности пространства $d$ .

Использование отступа в современных методах машинного обучения

Концепция оценки качества модели на базе анализа распределения отступов нашла отражение в альтернативных парадигмах обучения:

Ансамблевые методы (Бустинг): В алгоритмах AdaBoost и градиентного бустинга над решающими деревьями максимизация отступа происходит неявно. Теория, предложенная Шапиром и др. (Schapire et al., 1998), доказывает, что бустинг последовательно сдвигает эмпирическое распределение функциональных отступов выборки в область положительных значений, что объясняет феномен непрекращающегося снижения ошибки на тестовой выборке даже после достижения нулевой ошибки на обучении. Различные алгоритмы оптимизируют специфичные функции отступа $\mathcal{L}(M_i)$ , такие как экспоненциальная функция потерь в AdaBoost: $\mathcal{L}_{exp}(M_i) = \exp(-M_i)$ , или логистическая функция в логистической регрессии: $\mathcal{L}_{log}(M_i) = \log(1 + \exp(-M_i))$ .
Глубокое обучение (Deep Learning): В задачах метрического обучения (Metric Learning) и распознавания лиц (Face Recognition) используются специализированные функции потерь, максимизирующие угловой или евклидов отступ между представлениями классов в латентном пространстве признаков (например, Contrastive Loss, Triplet Loss, ArcFace). В сверхпараметризованных нейронных сетях стохастический градиентный спуск (SGD) обладает так называемым «неявным смещением» (implicit bias), сходясь к решениям, максимизирующим отступ в пространстве активаций последнего слоя.

Практический пример применения

Рассмотрим задачу бинарной классификации биомедицинских профилей экспрессии генов для детекции онкологических патологий.

Описание задачи и входные данные

**Входные данные:** Матрица признаков $X \in \mathbf{R}^{n \times d}$ , где число объектов (пациентов) $n = 100$ , а число признаков (уровней экспрессии отдельных РНК-транскриптов) $d = 10\,000$ . Выборка характеризуется сверхвысокой размерностью при малом объеме ( $d \gg n$ ).
**Целевая переменная:** $y_i \in \{-1, +1\}$ (где $-1$ соответствует норме, а $+1$ — патологии).

Модель и интеграция отступа

Ввиду линейной разделимости данных в пространстве $\mathbf{R}^{10\,000}$ применяется линейный классификатор опорных векторов (Linear SVM). Обучение модели сводится к решению оптимизационной задачи Soft Margin с вычислением вектора весов $w$ и смещения $b$ .

Функциональный отступ используется на двух этапах:

**При обучении:** Оптимизатор находит гиперплоскость, которая максимизирует геометрический зазор, отсекая шумовые биологические вариации.
**При инференсе (эксплуатации модели):** Для нового пациента вычисляется значение $f(x^*) = w^T x^* + b$ . Модуль данной величины выступает в качестве суррогатной меры диагностической уверенности. Объект с отступом $M^* = y_{true} f(x^*)$ , близким к нулю, классифицируется как «пограничный случай» и направляется на дополнительную верификацию.

Причина эффективности максимизации отступа в данной задаче

Стандартные линейные методы (например, метод наименьших квадратов без регуляризации) при $d \gg n$ строят гиперплоскость, проходящую чрезмерно близко к точкам обучающей выборки, подстраиваясь под случайные шумы измерения конкретных микрочипов. Увеличение геометрического отступа $\gamma$ заставляет алгоритм выбирать инвариантную плоскость, равноудаленную от обоих кластеров. Это предотвращает ложную корреляцию высокоразмерных признаков и обеспечивает устойчивость к стохастическому шуму при тестировании модели на данных, полученных из других лабораторий.

Заключение и рекомендации

Отступ является фундаментальным математическим критерием оценки устойчивости классификаторов. Ориентация на максимизацию отступа при проектировании систем машинного обучения полезна в следующих сценариях:

При обработке высокоразмерных данных, где число признаков существенно превышает число наблюдений ( $d \gg n$ ).
При наличии стохастического шума в признаковых описаниях, поскольку максимизация зазора гарантирует запас устойчивости к малым возмущениям векторов $x_i$ .
В критически важных прикладных областях (медицина, автономный транспорт), где требуется строгое разделение объектов на зоны уверенной классификации и зоны неопределенности для минимизации риска ложноположительных и ложноотрицательных срабатываний.

Список литературы

Cortes C., Vapnik V. Support-vector networks // Machine Learning. — 1995. — Vol. 20, no. 3. — P. 273–297.
Novikoff A. B. On convergence proofs on perceptrons // Symposium on the Mathematical Theory of Automata. — 1962. — Vol. 12. — P. 615–622.
Schapire R. E., Freund Y., Bartlett P., Lee W. S. Boosting the margin: A new explanation for the effectiveness of voting methods // The Annals of Statistics. — 1998. — Vol. 26, no. 5. — P. 1651–1686.
Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2nd ed. — Springer, 2009. — 745 p.

Список иллюстраций

Схема разделяющей гиперплоскости, разделяющей полосы и геометрического отступа $\gamma_i$ для линейно разделимой выборки (визуализация опорных векторов).
График функций потерь в координатах «Потери — Отступ» ( $L$ от $M$ ): сравнение Hinge Loss, Logistic Loss и пороговой функции потерь $[M < 0]$ .

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D1%82%D1%81%D1%82%D1%83%D0%BF»

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''Gemini(PRO)''' и проверена участником ~~Danis Sabirov~~}}
+{{Шаблон:Философия ИИ/Статья создана с помощью ИИ|модель=Gemini Pro|проверка=Укажите_ваше_имя}}
-== Отступ (Margin) в машинном обучении ==
+== Введение ==
-'''Отступ''' (англ. ''margin'') — фундаментальное понятие в теории статистического обучения, определяющее степень уверенности классификатора в правильности принимаемого решения. Концепция отступа лежит в основе таких алгоритмов, как метод опорных векторов (SVM), логистическая регрессия и бустинг. Максимизация отступа является ключевым механизмом повышения обобщающей способности моделей и снижения риска переобучения.
+'''Отступ''' (англ. ''margin'') — фундаментальное понятие в теории статистического обучения и математических методах распознавания образов, характеризующее степень уверенности разделяющего классификатора в правильности предсказания на конкретном объекте. Концепция отступа служит теоретическим базисом для конструирования алгоритмов с высокой обобщающей способностью и минимизации структурного риска. Она играет определяющую роль в математическом обосновании метода опорных векторов (SVM), линейных классификаторов, алгоритмов градиентного бустинга и современных регуляризационных подходов в глубоком обучении.
-=== 1. Математическая постановка и виды отступов ===
+== Математическое определение отступа ==
-Рассмотрим задачу бинарной классификации. Пусть задана обучающая выборка <tex>\mathcal{X} = \{(x_1, y_1), \dots, (x_N, y_N)\}</tex>, где <tex>x_i \in \mathbf{R}^D</tex> — вектор признаков объекта, а <tex>y_i \in \{-1, +1\}</tex> — его истинная метка класса.
-Линейный классификатор задается вектором весов <tex>w \in \mathbf{R}^D</tex> и смещением (порогом) <tex>b \in \mathbf{R}</tex>. Решающее правило имеет вид:
+Рассмотрим задачу бинарной классификации в непрерывном признаковом пространстве. Пусть задана обучающая выборка:
-:<tex>a(x) = \text{sign}(\langle w, x \rangle + b)</tex>
-Для оценки качества предсказания на конкретном объекте <tex>x_i</tex> вводятся два связанных понятия отступа:
+: <tex>D = \{(x_1, y_1), \dots, (x_n, y_n)\}</tex>
-* '''Функциональный отступ (Functional Margin):'''
+где <tex>x_i \in \mathbf{R}^d</tex> представляет собой вектор признаков объекта, а <tex>y_i \in \{-1, +1\}</tex> — истинную метку класса. Линейный разделяющий классификатор аппроксимирует целевую зависимость с помощью вещественнозначной функции:
-:<tex>M_i = y_i (\langle w, x_i \rangle + b)</tex>
-:: Знак <tex>M_i</tex> указывает на корректность классификации (если <tex>M_i > 0</tex>, ответ верный), а абсолютная величина <tex>|M_i|</tex> характеризует уверенность модели. Однако функциональный отступ можно сделать сколь угодно большим простым масштабированием параметров <tex>(w, b) \to (c \cdot w, c \cdot b)</tex> при <tex>c > 1</tex>, что не меняет саму разделяющую плоскость.
-* '''Геометрический отступ (Geometric Margin):'''
+: <tex>f(x) = w^T x + b</tex>
-:<tex>\rho_i = \frac{y_i (\langle w, x_i \rangle + b)}{\|w\|} = \frac{M_i}{\|w\|}</tex>
-:: Это евклидово расстояние от точки <tex>x_i</tex> до разделяющей гиперплоскости <tex>\langle w, x \rangle + b = 0</tex>. Геометрический отступ инвариантен к масштабированию параметров и имеет строгий геометрический смысл.
-=== 2. Принцип maximal'ного отступа (Hard Margin SVM) ===
+Параметрами модели являются вектор весов <tex>w \in \mathbf{R}^d</tex> (нормаль к разделяющей гиперплоскости) и свободный член (смещение) <tex>b \in \mathbf{R}</tex>. Окончательное решающее правило определяется как <tex>a(x) = \text{sign}(f(x))</tex>.
-Если выборка линейно разделима, существует бесконечное множество гиперплоскостей, безошибочно разделяющих классы. Метод опорных векторов (Vapnik, Cortes, 1995) постулирует выбор такой гиперплоскости, которая максимизирует минимальный геометрический отступ по всей обучающей выборке.
-Зафиксируем функциональный отступ для объектов, лежащих на границе разделяющей полосы, равным единице: <tex>\min_i M_i = 1</tex>. Тогда ширина полосы между классами составит <tex>\frac{2}{\|w\|}</tex>. Задача максимизации полосы сводится к задаче квадратичного программирования:
+'''Функциональным отступом''' (алгебраическим отступом) алгоритма на объект <tex>x_i</tex> называется скалярная величина:
-:<tex>\min_{w, b} \frac{1}{2} \|w\|^2</tex>
-при ограничениях:
-:<tex>y_i (\langle w, x_i \rangle + b) \geq 1, \quad \forall i \in \{1, \dots, N\}</tex>
-=== 3. Мягкий отступ (Soft Margin SVM) ===
+: <tex>M_i = y_i(w^T x_i + b)</tex>
-На практике данные редко бывают линейно разделимыми из-за шума и выбросов. Для допуска ошибок классификации вводится концепция «мягкого отступа» с использованием неотрицательных слабинных переменных (slack variables) <tex>\xi_i \geq 0</tex>.
-Оптимизационная задача модифицируется путем добавления штрафа за нарушение отступа:
+Величина функционального отступа обладает следующими свойствами:
-:<tex>\min_{w, b, \xi} \left( \frac{1}{2} \|w\|^2 + C \sum_{i=1}^{N} \xi_i \right)</tex>
+* <tex>M_i > 0</tex> тогда и только тогда, когда знак предсказания классификатора совпадает со знаком истинной метки класса <tex>y_i</tex> (объект классифицирован верно).
-при ограничениях:
+* <tex>M_i < 0</tex> указывает на ошибочное решение алгоритма на объекте <tex>x_i</tex>.
-:<tex>y_i (\langle w, x_i \rangle + b) \geq 1 - \xi_i, \quad \xi_i \geq 0, \quad \forall i</tex>
+* Абсолютное значение <tex>|M_i|</tex> пропорционально удалению объекта от границы раздела фаз в пространстве признаков, экстраполируя меру «невозмутимости» предсказания при вариациях параметров модели.
-где гиперпараметр <tex>C > 0</tex> контролирует баланс между максимизацией ширины разделяющей полосы и минимизацией суммарной ошибки классификации на обучающей выборке.
-=== 4. Отступ и функции потерь (Margin-based Loss Functions) ===
+Основной недостаток функционального отступа заключается в его чувствительности к масштабированию параметров. При преобразовании <tex>(w, b) \to (\alpha w, \alpha b)</tex> для <tex>\alpha > 0</tex> решающее правило и геометрическое положение границы знака не изменяются, однако функциональный отступ масштабируется в <tex>\alpha</tex> раз: <tex>M_i \to \alpha M_i</tex>.
-В современном машинном обучении задача классификации часто формулируется как минимизация эмпирического риска с использованием аппроксимаций пороговой функции потерь. Различные алгоритмы оптимизируют разные функции отступа <tex>\mathcal{L}(M_i)</tex>:
-* '''Кусочно-линейная функция (Hinge Loss):''' Используется в SVM.
+== Геометрический смысл ==
-:<tex>\mathcal{L}_{hinge}(M_i) = \max(0, 1 - M_i)</tex>
-:: Штрафует не только за ошибки (<tex>M_i < 0</tex>), но и за неуверенные правильные ответы (<tex>0 < M_i < 1</tex>).
-* '''Логистическая функция (Logistic Loss):''' Используется в логистической регрессии.
-:<tex>\mathcal{L}_{log}(M_i) = \log(1 + \exp(-M_i))</tex>
-:: Гладкая выпуклая оценка, асимптотически стремящаяся к нулю при <tex>M_i \to +\infty</tex>.
-* '''Экспоненциальная функция (Exponential Loss):''' Используется в алгоритме AdaBoost.
-:<tex>\mathcal{L}_{exp}(M_i) = \exp(-M_i)</tex>
-=== 5. Теоретические гарантии обобщающей способности ===
+Для устранения масштабной неопределенности вводится нормированный, или '''геометрический отступ''' <tex>\gamma_i</tex>. Он определяется как функциональный отступ, деленный на евклидову нему вектора весов:
-Значимость геометрического отступа обосновывается теорией Вапника-Червоненкиса (VC-теория). Размерность Вапника-Червоненкиса <tex>h</tex> для линейных классификаторов с геометрическим отступом не менее <tex>\rho</tex> в пространстве, ограниченном сферой радиуса <tex>R</tex>, ограничена сверху:
-:<tex>h \leq \min\left(D, \left\lceil \frac{R^2}{\rho^2} \right\rceil \right) + 1</tex>
-Чем больше отступ <tex>\rho</tex>, тем меньше емкость класса функций (VC-размерность), что приводит к более жесткой верхней оценке вероятности ошибки на новых данных.
-=== 6. Практические рекомендации и типичные ошибки ===
+: <tex>\gamma_i = \frac{y_i(w^T x_i + b)}{\|w\|} = \frac{M_i}{\|w\|}</tex>
-* '''Обязательная стандартизация признаков:''' Поскольку геометрический отступ <tex>\rho</tex> опирается на евклидову метрику в пространстве признаков, алгоритмы на базе отступа (особенно SVM) критически чувствительны к масштабу данных. Если признаки имеют разный масштаб, разделяющая гиперплоскость будет необоснованно смещена вдоль осей с наибольшей дисперсией. Матрицу <tex>X</tex> необходимо стандартизировать до среднего <tex>0</tex> и единичной дисперсии перед обучением.
-* '''Выбор ядра (Kernel Trick):''' Для нелинейно разделимых выборок скалярное произведение <tex>\langle x_i, x_j \rangle</tex> заменяется ядерной функцией <tex>K(x_i, x_j)</tex>. В таком нелинейном пространстве понятие отступа сохраняется, однако метрика расстояния искривляется в соответствии с выбранным ядром (например, RBF).
-== Литература ==
+Геометрический смысл величины <tex>\gamma_i</tex> выводится из аналитической геометрии: абсолютное значение <tex>|\gamma_i|</tex> строго равно евклидову расстоянию от точки <tex>x_i</tex> в пространстве <tex>\mathbf{R}^d</tex> до разделяющей гиперплоскости, заданной уравнением:
-* ''Cortes C., Vapnik V.'' Support-vector networks // Machine learning. — 1995. — Vol. 20, no. 3. — P. 273-297.
-* ''Bishop C. M.'' Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.
+: <tex>w^T x + b = 0</tex>
-* ''Hastie T., Tibshirani R., Friedman J.'' The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — Springer, 2009. — 745 p.
-* ''Воронцов К. В.'' Математические методы обучения по прецедентам (курс лекций). — МФТИ, 2011.
+Геометрический отступ выборки <tex>D</tex> относительно классификатора определяется как минимальный геометрический отступ среди всех объектов выборки:
+: <tex>\gamma = \min_{i=1,\dots,n} \gamma_i</tex>
+Максимизация данной величины эквивалентна поиску разделяющей полосы максимальной ширины между распределениями двух классов.
+== Отступ в методе опорных векторов ==
+=== Исторический контекст ===
+Истоки концепции оптимальной разделяющей гиперплоскости восходят к работам А. Б. Новикова (Novikoff, 1962), доказавшего теорему о сходимости персептрона через величину зазора между классами. В рамках статистической теории обучения, развиваемой В. Н. Вапником и А. Я. Червоненкисом с 1960-х годов, было показано, что обобщающая способность линейных классификаторов напрямую зависит от геометрического отступа, а не от размерности пространства признаков <tex>d</tex>. Полноценная реализация принципа максимизации отступа для нелинейных зависимостей с использованием ядерного перехода (kernel trick) была предложена К. Кортес и В. Н. Вапником в 1995 году (Cortes, Vapnik, 1995), что сформировало классический метод опорных векторов (Support Vector Machine, SVM).
+=== Принцип максимизации отступа (Hard Margin) ===
+В предположении линейной разделимости выборки задача поиска оптимальной гиперплоскости формулируется как максимизация геометрического отступа выборки <tex>\gamma</tex>:
+: <tex>\max_{w,b} \frac{\min_i y_i(w^T x_i + b)}{\|w\|}</tex>
+Для устранения масштабной инвариантности фиксируют функциональный отступ ближайших к гиперплоскости объектов (опорных векторов) равным единице: <tex>\min_i y_i(w^T x_i + b) = 1</tex>. Задача максимизации геометрического зазора <tex>\frac{1}{\|w\|}</tex> переходит в эквивалентную задачу минимизации квадратичной формы (задачу условной квадратичной оптимизации):
+: <tex>\min_{w,b} \frac{1}{2}\|w\|^2</tex>
+при выполнении системы ограничений-неравенств:
+: <tex>y_i(w^T x_i + b) \geq 1, \quad i = 1, \dots, n</tex>
+=== Мягкий отступ (Soft Margin) и функция потерь Hinge Loss ===
+Для работы с линейно неразделимыми данными и обеспечения устойчивости к шумовым выбросам концепция максимизации отступа модифицируется введением слабинных переменных <tex>\xi_i \geq 0</tex> (Soft Margin SVM). Это позволяет объектам нарушать идеальную разделяющую полосу или оказываться на чужой стороне гиперплоскости со штрафом, пропорциональным величине нарушения.
+Математически данная схема эквивалентна минимизации регуляризованного эмпирического риска, где штраф за неоптимальный отступ задается кусочно-линейной функцией потерь '''Hinge Loss''' (петлевая функция потерь):
+: <tex>L(y, f(x)) = \max(0, 1 - y f(x))</tex>
+Интегральная оптимизационная задача SVM принимает вид:
+: <tex>\min_{w,b} \frac{1}{2}\|w\|^2 + C \sum_{i=1}^n \max(0, 1 - y_i(w^T x_i + b))</tex>
+где <tex>C > 0</tex> — гиперпараметр регуляризации, контролирующий баланс между максимизацией геометрического зазора и минимизацией ошибок классификации.
+=== Связь с обобщающей способностью ===
+Обоснование эффективности максимизации отступа дает верхняя оценка Вапника — Червоненкиса для емкости (VC-размерности) <tex>h</tex> семейства линейных классификаторов. Если все объекты обучающей выборки лежат внутри сферы радиуса <tex>R</tex>, то VC-размерность класса гиперплоскостей с геометрическим отступом не менее <tex>\gamma</tex> ограничена величиной:
+: <tex>h \leq \min\left(d, \left\lceil \frac{R^2}{\gamma^2} \right\rceil \right) + 1</tex>
+Следовательно, максимизация геометрического отступа <tex>\gamma</tex> минимизирует верхнюю оценку вероятности переобучения модели, гарантируя стабильность решающего правила на независимых тестовых данных независимо от номинальной размерности пространства <tex>d</tex>.
+== Использование отступа в современных методах машинного обучения ==
+Концепция оценки качества модели на базе анализа распределения отступов нашла отражение в альтернативных парадигмах обучения:
+* '''Ансамблевые методы (Бустинг):''' В алгоритмах AdaBoost и градиентного бустинга над решающими деревьями максимизация отступа происходит неявно. Теория, предложенная Шапиром и др. (Schapire et al., 1998), доказывает, что бустинг последовательно сдвигает эмпирическое распределение функциональных отступов выборки в область положительных значений, что объясняет феномен непрекращающегося снижения ошибки на тестовой выборке даже после достижения нулевой ошибки на обучении. Различные алгоритмы оптимизируют специфичные функции отступа <tex>\mathcal{L}(M_i)</tex>, такие как экспоненциальная функция потерь в AdaBoost: <tex>\mathcal{L}_{exp}(M_i) = \exp(-M_i)</tex>, или логистическая функция в логистической регрессии: <tex>\mathcal{L}_{log}(M_i) = \log(1 + \exp(-M_i))</tex>.
+* '''Глубокое обучение (Deep Learning):''' В задачах метрического обучения (Metric Learning) и распознавания лиц (Face Recognition) используются специализированные функции потерь, максимизирующие угловой или евклидов отступ между представлениями классов в латентном пространстве признаков (например, ''Contrastive Loss'', ''Triplet Loss'', ''ArcFace''). В сверхпараметризованных нейронных сетях стохастический градиентный спуск (SGD) обладает так называемым «неявным смещением» (implicit bias), сходясь к решениям, максимизирующим отступ в пространстве активаций последнего слоя.
+== Практический пример применения ==
+Рассмотрим задачу бинарной классификации биомедицинских профилей экспрессии генов для детекции онкологических патологий.
+=== Описание задачи и входные данные ===
+* **Входные данные:** Матрица признаков <tex>X \in \mathbf{R}^{n \times d}</tex>, где число объектов (пациентов) <tex>n = 100</tex>, а число признаков (уровней экспрессии отдельных РНК-транскриптов) <tex>d = 10\,000</tex>. Выборка характеризуется сверхвысокой размерностью при малом объеме (<tex>d \gg n</tex>).
+* **Целевая переменная:** <tex>y_i \in \{-1, +1\}</tex> (где <tex>-1</tex> соответствует норме, а <tex>+1</tex> — патологии).
+=== Модель и интеграция отступа ===
+Ввиду линейной разделимости данных в пространстве <tex>\mathbf{R}^{10\,000}</tex> применяется линейный классификатор опорных векторов (Linear SVM). Обучение модели сводится к решению оптимизационной задачи Soft Margin с вычислением вектора весов <tex>w</tex> и смещения <tex>b</tex>.
+Функциональный отступ используется на двух этапах:
+# **При обучении:** Оптимизатор находит гиперплоскость, которая максимизирует геометрический зазор, отсекая шумовые биологические вариации.
+# **При инференсе (эксплуатации модели):** Для нового пациента вычисляется значение <tex>f(x^*) = w^T x^* + b</tex>. Модуль данной величины выступает в качестве суррогатной меры диагностической уверенности. Объект с отступом <tex>M^* = y_{true} f(x^*)</tex>, близким к нулю, классифицируется как «пограничный случай» и направляется на дополнительную верификацию.
+=== Причина эффективности максимизации отступа в данной задаче ===
+Стандартные линейные методы (например, метод наименьших квадратов без регуляризации) при <tex>d \gg n</tex> строят гиперплоскость, проходящую чрезмерно близко к точкам обучающей выборки, подстраиваясь под случайные шумы измерения конкретных микрочипов. Увеличение геометрического отступа <tex>\gamma</tex> заставляет алгоритм выбирать инвариантную плоскость, равноудаленную от обоих кластеров. Это предотвращает ложную корреляцию высокоразмерных признаков и обеспечивает устойчивость к стохастическому шуму при тестировании модели на данных, полученных из других лабораторий.
+== Заключение и рекомендации ==
+Отступ является фундаментальным математическим критерием оценки устойчивости классификаторов. Ориентация на максимизацию отступа при проектировании систем машинного обучения полезна в следующих сценариях:
+* При обработке высокоразмерных данных, где число признаков существенно превышает число наблюдений (<tex>d \gg n</tex>).
+* При наличии стохастического шума в признаковых описаниях, поскольку максимизация зазора гарантирует запас устойчивости к малым возмущениям векторов <tex>x_i</tex>.
+* В критически важных прикладных областях (медицина, автономный транспорт), где требуется строгое разделение объектов на зоны уверенной классификации и зоны неопределенности для минимизации риска ложноположительных и ложноотрицательных срабатываний.
+== Список литературы ==
+* ''Cortes C., Vapnik V.'' Support-vector networks // Machine Learning. — 1995. — Vol. 20, no. 3. — P. 273–297.
+* ''Novikoff A. B.'' On convergence proofs on perceptrons // Symposium on the Mathematical Theory of Automata. — 1962. — Vol. 12. — P. 615–622.
+* ''Schapire R. E., Freund Y., Bartlett P., Lee W. S.'' Boosting the margin: A new explanation for the effectiveness of voting methods // The Annals of Statistics. — 1998. — Vol. 26, no. 5. — P. 1651–1686.
+* ''Hastie T., Tibshirani R., Friedman J.'' The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2nd ed. — Springer, 2009. — 745 p.
+== Рекомендуемые материалы ==
+* ''Вапник В. Н.'' Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979. — 448 с.
+* Курс лекций «Математические методы обучения по прецедентам», раздел «Линейные классификаторы и метод опорных векторов», К. В. Воронцов, МФТИ.
+== Список иллюстраций ==
+* Схема разделяющей гиперплоскости, разделяющей полосы и геометрического отступа <tex>\gamma_i</tex> для линейно разделимой выборки (визуализация опорных векторов).
+* График функций потерь в координатах «Потери — Отступ» (<tex>L</tex> от <tex>M</tex>): сравнение Hinge Loss, Logistic Loss и пороговой функции потерь <tex>[M < 0]</tex>.