Инкрементное обучение

Материал из MachineLearning.

Версия от 06:29, 9 июля 2026; Dan-Кhaiaa Lakpazhap (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM DeepSeek-V4 и проверена участником Участник:Dan-Кhaiaa Lakpazhap 18:29, 30 июня 2026 (MSD).

Промпт приводится полностью в Обсуждение:Инкрементное обучение.

Содержание

1 Отличие от смежных парадигм
2 Формальная постановка задачи
3 Ключевая проблема: катастрофическое забывание
4 Основные группы методов
5 Практические аспекты и метрики
6 Применения
7 Связь с другими дисциплинами
8 См. также
9 Примечания
10 Литература

Инкрементное обучение (англ. incremental learning) — парадигма машинного обучения, при которой модель последовательно адаптируется к новым данным или классам без полного переобучения на всех ранее виденных примерах. В отличие от классического пакетного (англ. batch learning) подхода, где обучающая выборка доступна целиком, инкрементное обучение имитирует естественный процесс непрерывного накопления знаний, позволяя системе доучиваться «на лету». Ключевой вызов этого направления — катастрофическое забывание (англ. catastrophic forgetting) — резкое падение качества на старых задачах при обработке новых данных. Инкрементное обучение тесно связано с непрерывным обучением (англ. continual learning), онлайн-обучением и обучением в течение всей жизни (англ. lifelong learning), но фокусируется на поэтапном расширении компетенций модели при ограниченном доступе к историческим данным.

Отличие от смежных парадигм

Пакетное обучение (batch learning) предполагает одновременное использование всего набора данных. Модель статична и переобучается с нуля при появлении новой информации. Инкрементное обучение, напротив, обновляет существующую модель, не требуя полного доступа к прошлым данным.
Онлайн-обучение (online learning) обрабатывает примеры последовательно, часто за один проход, но обычно решает одну стационарную задачу. Инкрементное обучение допускает нестационарность — изменение распределения данных, появление новых классов или целей.
Дообучение (fine-tuning) адаптирует предобученную модель к новой задаче, но не гарантирует сохранения эффективности на исходной. Инкрементные алгоритмы специально разработаны для борьбы с забыванием.
Непрерывное обучение является более широкой концепцией, включающей инкрементное обучение как частный случай, когда новые данные поступают дискретными порциями (инкрементами) и, как правило, без явного разделения по задачам.

Формальная постановка задачи

Пусть модель $f(x; \theta)$ с параметрами $\theta$ обучена на наборе данных $\mathcal{D}_{\text{old}} = \{(x_i, y_i)\}_{i=1}^{N_{\text{old}}}$ . Поступает новая партия данных $\mathcal{D}_{\text{new}}$ , которая может содержать примеры из ранее известных классов, новых классов или даже новые задачи. Инкрементное обучение требует найти параметры $\theta'$ , оптимизирующие целевую функцию на всех встреченных данных:

$\theta^* = \arg\min_{\theta} \left[ \mathcal{L}_{\text{new}}(\theta; \mathcal{D}_{\text{new}}) + \Omega(\theta; \mathcal{D}_{\text{old}}) \right],$

где $\mathcal{L}_{\text{new}}$ — функция потерь на новых данных, а регуляризационный член $\Omega$ отвечает за сохранение знаний о старых примерах, явный доступ к которым ограничен или невозможен. Основная сложность состоит в том, чтобы удержать баланс между пластичностью (способностью усваивать новое) и стабильностью (сохранением старого) — дилемма стабильности–пластичности (англ. stability–plasticity dilemma).

Ключевая проблема: катастрофическое забывание

При последовательном обучении нейронных сетей новые градиенты могут перезаписывать веса, критически важные для предыдущих задач, что ведёт к резкому падению точности. Это явление, впервые детально исследованное в контексте коннекционистских моделей^[1], стало центральным вызовом для инкрементного обучения. В современных глубоких сетях катастрофическое забывание проявляется даже при незначительном сдвиге распределения данных и требует специальных архитектурных и алгоритмических решений.

Основные группы методов

В обзорной литературе^[1] выделяют три семейства подходов к инкрементному обучению.

Методы, основанные на воспроизведении опыта (replay)

Эти алгоритмы сохраняют небольшое подмножество старых примеров (буфер памяти) либо генерируют синтетические данные, напоминающие прошлый опыт. При дообучении на новых примерах модель одновременно тренируется и на воспроизведённых образцах, предотвращая забывание.

Experience Replay — простейший вариант, когда случайная выборка из сохранённых старых данных добавляется в каждый мини-батч при обучении на новых данных. Объём памяти ограничен, и выбор стратегии отбора образцов (например, по наибольшей неопределённости) существенно влияет на результат.
iCaRL (Incremental Classifier and Representation Learning)^[1] — для задач инкрементного добавления классов. Сохраняет репрезентативные примеры каждого класса и использует дистилляцию знаний для согласования старых и новых предсказаний.
Генеративное воспроизведение (англ. generative replay) — вместо хранения реальных данных обучают генеративную модель (например, VAE или GAN), способную синтезировать правдоподобные образцы прошлых задач. Это полностью снимает ограничения конфиденциальности, но требует дополнительных вычислительных затрат.

Методы, основанные на регуляризации (regularization-based)

Данные подходы вводят дополнительный штраф в функцию потерь, замедляющий изменение параметров, критически важных для предыдущих задач. Оценка «важности» весов вычисляется на основе информации, доступной после завершения обучения на старых данных.

Elastic Weight Consolidation (EWC)^[1] — использует информационную матрицу Фишера $F$ для оценки значимости параметров. Функция потерь принимает вид:

$\mathcal{L}(\theta) = \mathcal{L}_{\text{new}}(\theta) + \frac{\lambda}{2} \sum_{i} F_i (\theta_i - \theta_{\text{old},i})^2,$

где $\theta_{\text{old}}$ — параметры после обучения на старой задаче, а $F_i$ — диагональные элементы матрицы Фишера, отражающие, насколько сильно изменение $i$ -го веса влияет на выход модели. Коэффициент $\lambda$ управляет силой регуляризации.

Synaptic Intelligence (SI)^[1] — оценивает важность весов вдоль траектории оптимизации, накапливая вклад каждого параметра в уменьшение функции потерь. Это позволяет обойтись без вычисления вторых производных.
Memory Aware Synapses (MAS)^[1] — оценивает важность весов по чувствительности выхода модели к малым возмущениям веса, не требуя доступа к меткам.
Learning without Forgetting (LwF)^[1] — основан на дистилляции знаний: ответы «учительской» (старой) сети на новых данных используются как мягкие целевые метки наряду с истинными метками новых примеров. Это позволяет сохранять старые знания без доступа к старым данным.

Методы, основанные на изоляции параметров (parameter isolation)

В этих подходах для разных задач или этапов обучения выделяются непересекающиеся подмножества параметров, что полностью устраняет интерференцию.

Progressive Neural Networks (PNN)^[1] — для каждой новой задачи к исходной сети добавляется отдельный столбец слоёв, а связи с предыдущими столбцами фиксируются. Платой является линейный рост числа параметров.
PackNet^[1] — использует итеративное прунинг (англ. pruning) для высвобождения весов под новые задачи в одной фиксированной по размеру сети.
Динамическое расширение архитектуры — группа методов, добавляющих новые нейроны или слои по мере необходимости (например, DEN^[1]), что позволяет наращивать ёмкость без катастрофического забывания.

Практические аспекты и метрики

При инкрементном обучении важны ограничения по памяти (размер буфера воспроизведения) и вычислительные затраты. Сценарии различаются по типу поступающих инкрементов: инкремент классов (добавление новых классов при сохранении старых), инкремент задач (чётко разделённые последовательные задачи) и инкремент данных (поток примеров в рамках одной задачи). Каждый сценарий предъявляет свои требования к методу.

Для количественной оценки успешности инкрементного обучения используется набор метрик, среди которых^[1]:

Средняя точность (англ. average accuracy) по всем виденным задачам после завершения последовательности.
Показатель забывания (англ. forgetting measure) — разность между максимальной точностью, достигнутой на задаче, и точностью после обучения на последующих задачах. Формально для задачи $j$ : $f_j^k = \max_{l \in \{1,\dots,k-1\}} (a_{l,j} - a_{k,j})$ , где $a_{k,j}$ — точность на задаче $j$ после обучения на задаче $k$ .
Перенос знаний (англ. backward transfer) — показывает, насколько обучение новым задачам улучшило (положительный перенос) или ухудшило (отрицательный) результаты на старых.

Применения

Робототехника — робот, действующий в реальном мире, постоянно сталкивается с новыми объектами, условиями освещения и командами. Инкрементное обучение позволяет адаптироваться без переобучения с нуля, что критически важно для автономных систем^[1].
Рекомендательные системы — интересы пользователей меняются, появляются новые товары. Инкрементные алгоритмы дообучают модель на свежих взаимодействиях, не теряя накопленной информации о долгосрочных предпочтениях.
Автономное вождение — потоковая обработка сенсорных данных в меняющихся погодных и дорожных условиях требует постоянной адаптации без забывания базовых навыков восприятия.
Медицинская диагностика — при появлении новых заболеваний или методов визуализации модель должна расширять свои возможности без повторного обучения на исторических медицинских данных, которые могут быть недоступны по этическим или юридическим причинам.
Обработка естественного языка — языковые модели, дообучаемые на новых текстах или терминах, рискуют забыть ранее выученные языковые конструкции; методы инкрементного обучения позволяют этого избежать.

Связь с другими дисциплинами

Инкрементное обучение перекликается с исследованиями нейробиологии (механизмы памяти и забывания в мозге), когнитивной наукой (консолидация памяти, интерференция) и психологией научения. Дилемма стабильности–пластичности имеет прямой биологический аналог в синаптической пластичности. В техническом плане оно заимствует идеи из оптимизации (регуляризация, дистилляция), теории информации (информация Фишера) и байесовской статистики (априорное распределение как закрепление старых знаний).

См. также

Примечания

Литература

McCloskey M., Cohen N. J. Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem // Psychology of Learning and Motivation. — 1989. — Т. 24. — С. 109—165.
Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A. A., ... Hadsell R. Overcoming catastrophic forgetting in neural networks // Proceedings of the National Academy of Sciences. — 2017. — Т. 114. — № 13. — С. 3521—3526.
Rebuffi S.-A., Kolesnikov A., Sperl G., Lampert C. H. iCaRL: Incremental Classifier and Representation Learning // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2017. — С. 2001—2010.
Li Z., Hoiem D. Learning without Forgetting // Proceedings of the European Conference on Computer Vision (ECCV). — 2016. — С. 614—629.
Zenke F., Poole B., Ganguli S. Continual Learning Through Synaptic Intelligence // Proceedings of the 34th International Conference on Machine Learning (ICML). — 2017. — С. 3987—3995.
Aljundi R., Babiloni F., Elhoseiny M., Rohrbach M., Tuytelaars T. Memory Aware Synapses: Learning what (not) to forget // Proceedings of the European Conference on Computer Vision (ECCV). — 2018. — С. 139—154.
De Lange M., Aljundi R., Masana M., Parisot S., Jia X., Leonardis A., ... Tuytelaars T. A continual learning survey: Defying forgetting in classification tasks // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2021. — Т. 44. — № 7. — С. 3366—3385.
Rusu A. A., Rabinowitz N. C., Desjardins G., Soyer H., Kirkpatrick J., Kavukcuoglu K., ... Hadsell R. Progressive Neural Networks // arXiv preprint arXiv:1606.04671. — 2016.
Yoon J., Yang E., Lee J., Hwang S. J. Lifelong Learning with Dynamically Expandable Networks // International Conference on Learning Representations (ICLR). — 2018.
Lesort T., Lomonaco V., Stoian A., Maltoni D., Filliat D., Díaz-Rodríguez N. Continual learning for robotics: Definition, framework, learning strategies, opportunities and challenges // Information Fusion. — 2020. — Т. 58. — С. 52—68.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%98%D0%BD%D0%BA%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»