Сеть Колмогорова-Арнольда

Материал из MachineLearning.

Версия 17:46, 19 июля 2026

Сети Колмогорова-Арнольда (англ. Kolmogorov-Arnold Networks, KAN) — класс искусственных нейронных сетей, в которых линейные веса и фиксированные функции активации традиционных многослойных перцептронов (MLP) заменены на обучаемые нелинейные функции, определённые на рёбрах графа сети.

Архитектура KAN опирается на теорему представления Колмогорова-Арнольда, доказанную в 1957 году. В контексте современного машинного обучения и статистики KAN рассматриваются как мощное средство для символьной регрессии, решения дифференциальных уравнений и построения интерпретируемых моделей, выступая глубоким нелинейным обобщением обобщённых аддитивных моделей (GAM).

В отличие от «чёрных ящиков» стандартных нейросетей, KAN позволяют извлекать аналитические формулы из данных, что сделало их одним из ключевых инструментов в области научного машинного обучения (Scientific Machine Learning, SciML) к середине 2020-х годов.

Историческая справка и мотивация

13-я проблема Гильберта и чистая математика

История сетей KAN начинается не в компьютерных науках, а в чистой математике. В 1900 году Давид Гильберт сформулировал 23 проблемы, среди которых 13-я проблема касалась вопроса: можно ли любую непрерывную функцию трёх переменных представить в виде суперпозиции непрерывных функций двух переменных?

Ответ был найден лишь спустя более чем полвека. В 1957 году советские математики Андрей Николаевич Колмогоров и его ученик Владимир Игоревич Арнольд (которому на момент доказательства было всего 19 лет) показали, что суперпозиция функций одного переменного достаточна для представления функций любого числа переменных^[1][1].

Изначально теорема носила чисто экзистенциальный характер: она доказывала существование таких функций, но не давала конструктивного метода их построения, из-за чего долгое время не находила практического применения в вычислительной математике.

Переход в машинное обучение

В машинном обучении доминировал другой математический результат — теорема универсальной аппроксимации (Cybenko, 1989)^[1], которая обосновывала использование многослойных перцептронов (MLP). В MLP веса на рёбрах линейны, а нелинейность вносится фиксированными функциями активации (ReLU, Tanh) в узлах. Это обеспечивает высокую вычислительную эффективность, но делает модели неинтерпретируемыми.

Прорыв произошёл в 2024 году, когда группа исследователей из MIT, Caltech и других университетов (Ziming Liu, Yixuan Wang и др.) опубликовала работу, в которой предложила заменить линейные веса MLP на обучаемые одномерные функции (параметризованные B-сплайнами)^[1]. Это позволило «оживить» теорему Колмогорова-Арнольда, превратив её из абстрактного математического факта в работающую архитектуру глубокого обучения.

Математическое обоснование

Оригинальная теорема

Теорема представления Колмогорова-Арнольда утверждает, что любую непрерывную функцию <math>f: [0,1]^n \to \mathbb{R}</math> многих переменных можно записать в виде:

<math display="block"> f(x_1, \dots, x_n) = \sum_{q=1}^{2n+1} \Phi_q \left( \sum_{p=1}^n \phi_{q,p}(x_p) \right) </math>

где <math>\phi_{q,p}</math> — заранее известные, не зависящие от <math>f</math> функции одного переменного (внутренние функции), а <math>\Phi_q</math> — непрерывные функции одного переменного, зависящие от <math>f</math> (внешние функции).

Адаптация для машинного обучения

В классической теореме внутренние функции фиксированы, что затрудняло её использование для аппроксимации данных. В архитектуре KAN это ограничение снимается: все функции на рёбрах сети делаются обучаемыми.

Если в стандартном MLP выходной сигнал узла вычисляется как <math>y = \sigma(\sum w_i x_i + b)</math>, где <math>\sigma</math> — фиксированная функция, а <math>w_i</math> — обучаемые скаляры, то в KAN узел просто суммирует сигналы, а на рёбрах применяются обучаемые нелинейные функции <math>\phi_{i,j}</math>:

<math display="block"> \text{KAN}(\mathbf{x}) = \mathbf{\Phi} \otimes \mathbf{x} </math>

где <math>\mathbf{x} = (x_1, \dots, x_n)^T</math> — входной вектор, <math>\mathbf{\Phi}</math> — матрица размером <math>m \times n</math>, состоящая из одномерных функций <math>\phi_{i,j}</math>, а операция <math>\otimes</math> означает применение функций с последующим суммированием по строкам:

<math display="block"> y_i = \sum_{j=1}^n \phi_{i,j}(x_j), \quad i = 1, \dots, m </math>

Параметризация сплайнами

Для параметризации функций <math>\phi_{i,j}(x)</math> в KAN используются B-сплайны. Функция на ребре представляется как линейная комбинация базисных сплайнов:

<math display="block"> \phi(x) = \sum_{k} c_k B_k(x) </math>

где <math>c_k</math> — обучаемые коэффициенты (веса), а <math>B_k(x)</math> — базисные функции B-сплайна, определяемые набором узлов (knots). В процессе обратного распространения ошибки градиенты вычисляются как по коэффициентам <math>c_k</math>, так и по положениям узлов, что позволяет сети адаптировать форму функции к данным.

Архитектура и принцип работы

Для инженера по машинному обучению важно понимать фундаментальное различие в топологии вычислений между MLP и KAN:

1. Расположение нелинейности: В MLP нелинейность находится в узлах (нейронах), а рёбра осуществляют линейное преобразование. В KAN нелинейность находится на рёбрах, а узлы лишь суммируют входящие сигналы (линейная операция).
2. Отсутствие явных весов: В KAN нет скалярных весов <math>w</math> и смещений <math>b</math> в привычном понимании. Их роль выполняют параметры сплайнов.
3. Глобальная и локальная адаптация: Сплайны позволяют KAN легко комбинировать глобальную аппроксимацию (за счёт базисных функций) и локальную адаптацию (за счёт изменения параметров в конкретных узлах сетки).

Статистическая и ML-интерпретация

Связь со статистикой

С точки зрения статистики, KAN можно рассматривать как глубокое расширение обобщённых аддитивных моделей (GAM), предложенных Хейсти и Тибширани в 1986 году^[1]. Если классический GAM моделирует отклик как сумму сглаженных функций предикторов <math>g(y) = \beta_0 + f_1(x_1) + \dots + f_p(x_p)</math>, то KAN позволяют строить иерархические суперпозиции таких сглаживаний, сохраняя при этом аддитивную структуру на каждом слое.

Интерпретируемость и символьная регрессия

Главное преимущество KAN для исследователя данных — прозрачность. Поскольку каждое ребро представляет собой одномерную функцию, её можно визуализировать. Более того, применив технику «очищения» (pruning) — обнуления незначимых сплайнов с последующей фитировкой оставшихся узлов простыми аналитическими функциями (синусами, экспонентами, полиномами) — инженеры могут извлекать из обученной сети точные физические или математические уравнения. Это делает KAN идеальным инструментом для символьной регрессии.

Области применения

К середине 2020-х годов KAN заняли прочную нишу в задачах, где важны интерпретируемость, точность на малых данных и интеграция с физическими законами:

1. AI for Science (ИИ для науки): Решение дифференциальных уравнений в частных производных (PDE). KAN показывают на порядок лучшую сходимость и точность по сравнению с MLP в задачах физико-информированных нейронных сетей (PINNs), благодаря гладкости сплайнов^[1].
2. Медицина и биоинформатика: Построение интерпретируемых моделей для табличных данных, где врачу или биологу важно понимать, как именно признак влияет на прогноз.
3. Обучение с подкреплением (RL): Использование KAN в качестве агентов позволяет анализировать стратегии, выраженные в виде символьных формул.
4. Обработка временных рядов: Адаптации KAN (например, Time-series KAN) успешно применяются для прогнозирования, обеспечивая устойчивость к сдвигу распределений (concept drift).

Ограничения и вычислительная сложность

Несмотря на математическую элегантность, KAN имеют ряд ограничений, о которых инженер должен помнить при выборе архитектуры:

• Вычислительные затраты: Вычисление сплайнов и их производных требует больше операций, чем простое сравнение с нулем в функции ReLU. На больших объёмах неструктурированных данных (например, в компьютерном зрении или NLP) KAN проигрывают MLP и трансформерам в скорости обучения из-за отсутствия таких же глубоко оптимизированных CUDA-ядер (хотя библиотеки вроде EfficientKAN значительно сократили этот разрыв).
• Масштабирование: На данный момент KAN не демонстрируют такого же безупречного скейлинга на триллионах токенов, как трансформеры. Их «стихия» — это задачи с умеренной размерностью, сложными физическими законами и требованием к интерпретируемости.
• Проклятие размерности: Как и любые методы, опирающиеся на теорему Колмогорова-Арнольда, KAN могут требовать экспоненциального роста числа параметров при работе с данными сверхвысокой размерности без учёта их внутренней структуры.

Практические рекомендации по применению

Если вы специалист по данным и рассматриваете KAN для своего проекта, используйте следующий чек-лист:

1. Используйте KAN, если у вас табличные данные, небольшие выборки (data-scarce regime), или если вам нужно вывести аналитическую формулу из данных (например, для калибровки физической модели).
2. Используйте KAN, если вы решаете задачи SciML (PDE, физика жидкостей, квантовая механика), где гладкость сплайнов дает выигрыш в градиентах.
3. Оставайтесь на MLP/Transformer, если вы обучаете модель на миллионах изображений или текстов, где важна пропускная способность (throughput) и масштабирование на кластерах GPU.

См. также

• Теорема универсальной аппроксимации
• Обобщённые аддитивные модели
• Символьная регрессия
• Физико-информированные нейронные сети
• Сплайн

Примечания

Литература

• Liu Z., Wang Y., Vaidya S., Ruehle F., Halbleib A., Chen Y., ... & Tegmark M. KAN: Kolmogorov-Arnold Networks // Advances in Neural Information Processing Systems (NeurIPS), 2024. — arXiv:2404.19756.
• Hastie T., Tibshirani R. Generalized Additive Models // Statistical Science. — 1986. — Vol. 1, no. 3. — P. 297-310.
• Kolmogorov A. N. On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition // Doklady Akademii Nauk SSSR. — 1957. — Vol. 114, no. 5. — P. 953-956.
• Arnold V. I. On the representation of continuous functions of three variables by superpositions of continuous functions of two variables // Doklady Akademii Nauk SSSR. — 1957. — Vol. 114, no. 4. — P. 679-681.
• Cybenko G. Approximation by superpositions of a sigmoidal function // Mathematics of Control, Signals and Systems. — 1989. — Vol. 2, no. 4. — P. 303-314.