Жидкие нейронные сети

Материал из MachineLearning.

Статья написана с использованием LLM DeepSeek-V3 и проверена участником А. Клёсов 19:45, 11 июля 2026 (MSD)

Содержание 1 Определение и концепция 2 Математические основы 2.1 От дискретных слоёв к непрерывным во времени рекуррентным сетям 2.2 Скрытое состояние нейрона и ОДУ 2.3 Liquid Time-Constant (LTC) 2.4 Уравнения синаптической проводимости 3 Обучение 3.1 Солверы ОДУ и метод сопряжённых состояний 3.2 Практические аспекты обучения 4 Преимущества 4.1 Параметрическая эффективность 4.2 Устойчивость к шуму и обобщение вне распределения 4.3 Интерпретируемость 5 Проблемы и ограничения 5.1 Вычислительная сложность обучения 5.2 Проблема исчезающего градиента 5.3 Разработка более быстрых версий: CfC 6 См. также 7 Примечания 8 Литература

Жидкие нейронные сети (англ. Liquid Neural Networks, LNN) — класс рекуррентных нейронных сетей с непрерывным временем, динамика которых описывается системой обыкновенных дифференциальных уравнений (ОДУ) с переменной, зависящей от входного сигнала постоянной времени нейрона. В отличие от классических архитектур, где веса синапсов фиксируются после обучения, в LNN эти параметры продолжают изменяться на этапе вывода (инференса) в ответ на поступающие данные, что обеспечивает адаптивность, аналогичную биологическим нейронным системам. Концепция была предложена группой исследователей под руководством Рамина Хасани и Матиаса Лехнера из Массачусетского технологического института (MIT CSAIL) в серии работ, начиная с 2020 года ^[1][1].

Определение и концепция

Жидкие нейронные сети представляют собой эволюцию рекуррентных нейронных сетей (RNN) и нейронных ОДУ (Neural ODEs), в которых скрытое состояние нейрона является решением ОДУ. Главная особенность LNN — жидкие синапсы (англ. liquid synapses): проводимость синаптической связи между нейронами не является фиксированной константой, а непрерывно эволюционирует во времени в зависимости от текущего контекста входных данных ^[1]. Эта динамическая модуляция синаптического веса позволяет сети менять свою реакцию на стимулы даже после завершения обучения, что кардинально отличает её от традиционных моделей с замороженными параметрами ^[1].

Биологическим прообразом для LNN послужила нервная система нематоды Caenorhabditis elegans. Несмотря на то, что её нервная система насчитывает всего 302 нейрона, она демонстрирует удивительно сложное и адаптивное поведение ^[1][1]. Исследователи обратили внимание на то, что в биологических сетях синапсы обладают нелинейной динамикой, а постоянная времени мембраны нейрона не является фиксированной, а модулируется активностью пресинаптических нейронов ^[1]. Именно этот принцип — зависимость динамических характеристик нейрона от входного сигнала — был положен в основу математической модели LNN.

В контексте LNN термин «жидкий» (англ. liquid) отражает способность сети непрерывно подстраивать свою динамику под изменяющиеся условия входного потока, подобно тому, как жидкость принимает форму сосуда ^[1]. Это свойство делает LNN особенно привлекательными для задач, требующих работы в нестационарных средах, где статистические закономерности данных могут меняться со временем.

Математические основы

От дискретных слоёв к непрерывным во времени рекуррентным сетям

Классические рекуррентные нейронные сети оперируют в дискретном времени, обновляя скрытое состояние на каждом шаге t по формуле:

,

где h_t — скрытое состояние в момент t, x_t — входной вектор, а f — нелинейная функция активации. Такой подход, однако, накладывает ограничения на моделирование процессов, протекающих в непрерывном времени, и плохо справляется с нерегулярно семплированными данными.

Жидкие нейронные сети являются подклассом непрерывных во времени рекуррентных сетей (англ. Continuous-Time RNN, CTRNN) ^[1]. В CTRNN динамика скрытого состояния x(t) задаётся обыкновенным дифференциальным уравнением:

,

где τ — постоянная времени нейрона, определяющая скорость его реакции на входные сигналы, I(t) — внешний входной ток, а θ — обучаемые параметры сети ^[1]. Слагаемое обеспечивает стремление системы к равновесному состоянию при отсутствии внешних воздействий.

Скрытое состояние нейрона и ОДУ

В общем виде динамика i-го нейрона в LTC-сети описывается уравнением мембранного интегратора ^[1]:

,

где V_i(t) — мембранный потенциал i-го нейрона в момент времени t, C_mi — мембранная ёмкость, G_Leaki — проводимость утечки, V_Leaki — потенциал покоя, а — суммарный входной ток от пресинаптических нейронов j. Входной ток от нейрона j к нейрону i моделируется как произведение синаптической проводимости на разность потенциалов:

,

где V_syn — синаптический потенциал реверсии (обычно принимается равным 0 мВ для возбуждающих и -70 мВ для тормозных синапсов). Синаптическая проводимость, в свою очередь, является нелинейной функцией от состояния пресинаптического нейрона:

,

где — максимальная проводимость синапса, σ — сигмоидальная функция (например, ), а μ_ij и γ_ij — параметры, определяющие порог и крутизну синаптической передачи ^[1].

Liquid Time-Constant (LTC)

Ключевая инновация LNN заключается в том, что постоянная времени нейрона становится зависимой от входного сигнала. В классических CTRNN постоянная времени τ является фиксированным гиперпараметром. В LTC-сетях она динамически модулируется через синаптическую проводимость. Переписывая уравнение мембранного интегратора в форме, аналогичной CTRNN, можно получить выражение для жидкой постоянной времени (англ. Liquid Time-Constant):

.

Таким образом, постоянная времени i-го нейрона зависит от суммы проводимостей всех синапсов, через которые на него поступают сигналы. Поскольку синаптические проводимости g_ij(t) являются нелинейными функциями от состояний пресинаптических нейронов, постоянная времени непрерывно изменяется во времени в зависимости от входного контекста ^[1][1].

Это свойство имеет глубокий физиологический и вычислительный смысл. Когда на нейрон поступает сильный сигнал (высокая синаптическая проводимость), его эффективная постоянная времени уменьшается, и нейрон быстрее реагирует на изменения. В отсутствие сигналов постоянная времени возрастает, и нейрон сохраняет своё состояние дольше, проявляя своего рода «кратковременную память». Такая адаптивная динамика позволяет LNN эффективно обрабатывать события, происходящие в разных временных масштабах, без необходимости явно задавать эти масштабы.

Уравнения синаптической проводимости

В работах Хасани и соавторов ^[1][1] синаптическая проводимость моделируется сигмоидальной функцией от мембранного потенциала пресинаптического нейрона:

,

где w_ij — обучаемый синаптический вес (максимальная проводимость), а σ — сигмоида, часто выбираемая в виде:

.

Здесь β_ij определяет крутизну зависимости проводимости от потенциала, а θ_ij — порог активации синапса. Такая параметризация обеспечивает гладкую и дифференцируемую зависимость, что критически важно для обучения методом обратного распространения ошибки.

Обучение

Обучение жидких нейронных сетей представляет собой нетривиальную задачу, поскольку динамика сети определяется системой ОДУ, а не дискретной последовательностью слоёв. Для вычисления градиентов функции потерь по параметрам сети используются два основных подхода.

Солверы ОДУ и метод сопряжённых состояний

Прямой проход (forward pass) в LNN заключается в численном решении системы ОДУ, задающей динамику скрытых состояний. Для этого применяются стандартные солверы ОДУ, такие как методы Рунге-Кутты (например, RK4) или адаптивные солверы с контролем ошибки (например, Dormand-Prince) ^[1]. Солвер принимает начальное состояние x(t₀), входной сигнал I(t) на интервале [t₀, t₁] и параметры сети θ, и возвращает состояние x(t₁).

Для вычисления градиентов по параметрам может использоваться метод сопряжённых состояний (англ. adjoint method) ^[1]. Этот подход, широко применяемый в нейронных ОДУ ^[1], позволяет вычислить градиенты с постоянными затратами памяти (O(1) по времени), не сохраняя всю траекторию состояния. Вместо этого решается «обратное» ОДУ для сопряжённого состояния a(t):

,

где f — правая часть ОДУ, определяющая динамику системы. Градиенты по параметрам вычисляются через интеграл от сопряжённого состояния и производных f по параметрам.

Альтернативно, можно использовать обратное распространение ошибки во времени (англ. Backpropagation Through Time, BPTT) через вычислительный граф солвера ^[1]. Этот подход проще в реализации, но требует хранения всей траектории состояния и может быть весьма затратным по памяти для длинных последовательностей.

Практические аспекты обучения

На практике обучение LNN реализуется в современных фреймворках автоматического дифференцирования (например, PyTorch, TensorFlow) с использованием доступных реализаций солверов ОДУ. Исследователи отмечают, что обучение LNN может быть вычислительно сложным, особенно при использовании адаптивных солверов с малым допустимым шагом по времени ^[1]. Однако, как будет показано ниже, существуют методы ускорения, основанные на аппроксимации решения в замкнутой форме.

Важно отметить, что, несмотря на сложность обучения, LNN демонстрируют высокую стабильность градиентов благодаря своей непрерывной динамике. В отличие от классических RNN, где градиенты могут экспоненциально затухать или взрываться при развёртывании во времени, LNN, будучи выраженными через ОДУ, обладают более гладким ландшафтом функции потерь ^[1].

Преимущества

Параметрическая эффективность

Одним из самых впечатляющих свойств жидких нейронных сетей является их исключительная параметрическая эффективность. В ряде экспериментов, включая управление беспилотными автомобилями и дронами, LNN с всего лишь 19–20 нейронами демонстрировали производительность, сравнимую или превосходящую традиционные глубокие сети с миллионами параметров ^[1][1]. Это достигается за счёт того, что каждый нейрон в LNN обладает богатой внутренней динамикой и способен выполнять сложные нелинейные преобразования, которые в классических сетях требуют целых слоёв. Как отметил Рамин Хасани, «благодаря небольшому числу высокоэкспрессивных нейронов легче заглянуть в «чёрный ящик» принятия решений сетью и диагностировать, почему сеть сделала ту или иную характеристику» ^[1].

Устойчивость к шуму и обобщение вне распределения

Благодаря своей непрерывной и адаптивной динамике, LNN проявляют высокую устойчивость к шуму (англ. robustness) и способность к обобщению вне распределения (англ. out-of-distribution generalization, OOD generalization) ^[1][1]. В отличие от традиционных сетей, поведение которых фиксируется после обучения, LNN могут подстраиваться под изменения во входных данных даже на этапе вывода. Это делает их устойчивыми к неожиданным или зашумлённым данным, например, когда камера беспилотного автомобиля заслоняется дождём ^[1].

Эксперименты показали, что LNN превосходят классические RNN и даже современные архитектуры на основе трансформеров в задачах, где тестовые данные существенно отличаются от обучающих ^[1]. Это свойство критически важно для реальных приложений, где условия эксплуатации редко полностью совпадают с условиями обучения.

Интерпретируемость

Непрерывная динамика и малое число нейронов делают LNN более интерпретируемыми по сравнению с глубокими чёрными ящиками. Исследователи могут анализировать фазовые портреты системы, отслеживать траектории скрытых состояний и понимать, какие именно динамические режимы активируются в ответ на те или иные входные стимулы ^[1]. Это открывает возможности для верификации и сертификации систем на основе LNN в критически важных приложениях.

Проблемы и ограничения

Вычислительная сложность обучения

Основным ограничением LNN является высокая вычислительная сложность на этапе обучения, обусловленная необходимостью численного решения систем ОДУ ^[1][1]. Адаптивные солверы, хотя и обеспечивают высокую точность, требуют многократного вычисления правой части ОДУ на каждом шаге интегрирования, что существенно замедляет как прямой, так и обратный проходы. Эта проблема становится особенно острой по мере увеличения размерности скрытого состояния и сложности решаемой задачи.

Проблема исчезающего градиента

Несмотря на то, что LNN в целом демонстрируют более стабильную динамику градиентов, чем классические RNN, проблема исчезающего градиента при обработке очень длинных последовательностей может проявляться и в них ^[1]. Если постоянная времени нейронов становится слишком большой, информация о далёких прошлых событиях может затухать, что затрудняет обучение долгосрочным зависимостям. Решением может служить регуляризация постоянных времени или использование специализированных архитектур, таких как LTC с ограниченным диапазоном постоянных времени.

Разработка более быстрых версий: CfC

Для преодоления вычислительных ограничений LNN та же группа исследователей предложила архитектуру Closed-form Continuous-time Neural Networks (CfC) ^[1][1]. Вместо численного решения ОДУ, CfC используют аппроксимацию решения в замкнутой форме (англ. closed-form), полученную для класса систем, описывающих взаимодействие нейронов и синапсов ^[1].

Ключевая идея состоит в том, чтобы найти аналитическое приближение для интеграла, возникающего в динамике LTC-сетей. Это позволяет вычислить состояние сети в произвольный момент времени t за один шаг, без итерационного интегрирования ^[1]. Как показано в работе ^[1], CfC-модели обеспечивают ускорение обучения и вывода от одного до пяти порядков по сравнению с ODE-базированными аналогами, при сохранении ключевых свойств LNN: адаптивности, устойчивости и интерпретируемости. В одном из экспериментов на медицинской задаче прогнозирования CfC-модели оказались в 220 раз быстрее на выборке из 8000 пациентов ^[1]. При этом CfC сохраняют причинность, компактность и пригодность для критически важных приложений ^[1].

См. также

• Нейронные ОДУ
• Рекуррентная нейронная сеть
• Долгая краткосрочная память
• Нейроморфные вычисления
• Caenorhabditis elegans

Примечания

Литература

Hasani, R., Lechner, M., Amini, A., Rus, D., & Grosu, R. Liquid Time-Constant Networks // Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI-21). — 2021. — С. 7657–7666.

Lechner, M., & Hasani, R. M. Learning Long-Term Dependencies in Irregularly-Sampled Time Series // arXiv preprint. — 2020.

Hasani, R. M., Lechner, M., Amini, A., Rus, D., & Grosu, R. Liquid Time-constant Recurrent Neural Networks as Universal Approximators // arXiv preprint. — 2018.

Hasani, R., Lechner, M., Amini, A., Liebenwein, L., Ray, A., Tschaikowski, M., Teschl, G., & Rus, D. Closed-form Continuous-time Neural Networks // Nature Machine Intelligence. — 2022.

Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. Neural Ordinary Differential Equations // Advances in Neural Information Processing Systems (NeurIPS). — 2018.

MIT News “Liquid” machine-learning system adapts to changing conditions // MIT News. — 2021.

MIT CSAIL These neural networks know what they’re doing // MIT CSAIL News. — 2021.

MIT EECS Solving brain dynamics gives rise to flexible machine-learning models // MIT EECS News. — 2022.

Quanta Magazine Researchers Discover a More Flexible Approach to Machine Learning // Quanta Magazine. — 2023.