Выпуклая функция
Материал из MachineLearning.
| Статья написана с использованием LLM GPT-5.6 Thinking и проверена участником К.Н.Гибадуллина 22:50, 14 июля 2026 (MSD) |
Содержание |
Выпуклая функция
Выпуклая функция — функция, график которой не имеет «впадин», направленных вниз. Интуитивно её можно представить как поверхность чаши: при движении вдоль такой поверхности значение функции сначала уменьшается, достигает минимума, а затем увеличивается. Выпуклые функции играют важную роль в оптимизации, поскольку для них сравнительно легко находить точки минимума.
Выпуклая функция обычно рассматривается на выпуклом множестве, то есть на такой области, которая вместе с любыми двумя своими точками содержит весь соединяющий их отрезок.
Определение
Пусть — выпуклое множество, а
— вещественнозначная функция, определённая на множестве
. Функция
называется выпуклой, если для любых точек
и любого числа
выполняется неравенство
Точка
лежит на отрезке между точками и
. Правая часть неравенства соответствует точке на отрезке, соединяющем точки графика
и
. Поэтому геометрический смысл выпуклости состоит в том, что отрезок между двумя точками графика проходит не ниже графика функции.
Функция называется строго выпуклой, если для любых различных точек и любого
выполняется строгое неравенство
Иными словами, график строго выпуклой функции между двумя выбранными точками располагается строго ниже соединяющего их отрезка.
Вогнутой функцией называется функция, для которой выполняется противоположное неравенство:
Функция является вогнутой тогда и только тогда, когда функция
является выпуклой.
Примеры
К простейшим примерам выпуклых функций относятся следующие функции.
Квадратичная функция
строго выпукла на всей числовой прямой. Её график представляет собой параболу, направленную ветвями вверх.
Функция модуля
также выпукла на всей числовой прямой. Она не является дифференцируемой в точке , однако отсутствие производной в отдельной точке не мешает функции быть выпуклой. Эта функция не является строго выпуклой, поскольку на промежутках
и
её график состоит из прямых линий.
Экспоненциальная функция
строго выпукла на всей числовой прямой. Её скорость роста увеличивается с ростом аргумента.
Не всякая гладкая функция является выпуклой. Например, функция
не является выпуклой на всей числовой прямой. При отрицательных значениях её график имеет один характер изгиба, а при положительных — противоположный. При этом на промежутке
функция
выпукла, а на промежутке
— вогнута.
Линейная функция
одновременно является выпуклой и вогнутой. Для неё неравенство из определения выпуклости всегда выполняется как равенство.
Критерии выпуклости
Для дважды дифференцируемой функции одной переменной существует простой критерий выпуклости. Если на некотором интервале выполняется условие
то функция выпукла на этом интервале. Неотрицательность второй производной означает, что первая производная функции не убывает.
Например, для функции
поэтому она строго выпукла. Для экспоненциальной функции
что также подтверждает её строгую выпуклость.
Для функции вторая производная равна
Она отрицательна при и положительна при
, поэтому функция не является выпуклой на всей числовой прямой.
Условие является достаточным условием строгой выпуклости. Однако оно не является необходимым: строго выпуклая функция может иметь отдельные точки, в которых вторая производная равна нулю. Например, функция
строго выпукла, хотя
.
Для дважды дифференцируемых функций многих переменных аналогичную роль играет матрица Гессе, составленная из вторых частных производных. Если матрица Гессе положительно полуопределена во всех точках выпуклой области, то функция является выпуклой. Положительная определённость матрицы Гессе служит достаточным условием строгой выпуклости.
Значение в оптимизации и машинном обучении
Выпуклость имеет большое значение в выпуклой оптимизации. Главное свойство состоит в том, что любой локальный минимум выпуклой функции на выпуклом множестве одновременно является глобальным минимумом. Поэтому алгоритм, нашедший локальный минимум, фактически решает всю задачу оптимизации.
Строго выпуклая функция может иметь не более одной точки глобального минимума. При этом существование минимума не следует только из строгой выпуклости: оно также зависит от области определения и поведения функции на её границе или при больших значениях аргумента.
Для дифференцируемой выпуклой функции точка , в которой градиент равен нулю,
является точкой глобального минимума. Это свойство лежит в основе многих численных методов оптимизации.
В машинном обучении выпуклыми часто являются функции потерь простых моделей. Например, среднеквадратичная ошибка в задаче линейной регрессии имеет вид
и является выпуклой функцией параметров . При выполнении дополнительных условий, связанных с признаками, она может быть строго выпуклой.
Логистическая функция потерь, применяемая в логистической регрессии, также выпукла по параметрам линейной модели. Для одного объекта её можно записать в виде
где , а
— значение линейной модели.
Распространённые виды регуляризации сохраняют выпуклость задачи. L1-регуляризация использует функцию
а L2-регуляризация — квадратичную функцию
Обе функции выпуклы. L1-регуляризация может приводить к появлению нулевых коэффициентов, а L2-регуляризация штрафует большие значения параметров.
Для минимизации дифференцируемых функций часто применяется Градиентный спуск. Его итерация имеет вид
где — величина шага. В выпуклой задаче направление антиградиента позволяет последовательно приближаться к глобальному минимуму при подходящем выборе шага и выполнении условий сходимости.
Однако не все задачи машинного обучения являются выпуклыми. Обучение глубоких нейронных сетей обычно приводит к невыпуклой функции потерь, имеющей сложную геометрию, седловые точки и множество различных локальных минимумов. Поэтому свойства и гарантии методов выпуклой оптимизации для таких моделей в общем случае не выполняются.
