Имитационное обучение

Материал из MachineLearning.

---

Версия 13:49, 10 июля 2026

Имитацио́нное обуче́ние (англ. imitation learning, также встречаются термины «обучение по демонстрациям», англ. learning from demonstration, LfD, и «обучение подражанием») — раздел машинного обучения, изучающий методы построения стратегий поведения (политик) агента путём подражания демонстрациям эксперта, а не путём непосредственной оптимизации заданной функции вознаграждения, как это делается в классическом обучении с подкреплением (RL). Имитационное обучение применяется в задачах, где сформулировать явную функцию вознаграждения затруднительно или дорого, но при этом доступны примеры желаемого поведения — траектории, полученные от человека-оператора либо от более совершенного контроллера^[1][1].

Содержание 1 Определение 2 Мотивация 3 История 4 Постановка задачи и основные подходы 4.1 Поведенческое клонирование 4.2 Интерактивное имитационное обучение (DAgger) 4.3 Обратное обучение с подкреплением 4.4 Состязательное имитационное обучение (GAIL) 5 Проблема ковариационного сдвига и накопления ошибок 6 Имитационное обучение и обучение с подкреплением 7 Применения 8 См. также 9 Примечания 10 Литература

Определение

Формально задача имитационного обучения рассматривается в рамках марковского процесса принятия решений (MDP) без заданной функции вознаграждения. Пусть — пространство состояний, — пространство действий, а динамика среды описывается переходной функцией . Эксперт задаёт (неизвестную явно) стратегию , из взаимодействия которой со средой получен набор демонстраций

Задача состоит в том, чтобы по множеству построить стратегию агента , которая воспроизводит поведение эксперта — как правило, минимизируя некоторое расхождение между распределением траекторий, порождаемых , и распределением траекторий эксперта ^[1]. При этом сигнал вознаграждения агенту, как правило, недоступен — вместо него единственным источником информации о задаче служат сами демонстрации.

Мотивация

Имитационное обучение возникает как альтернатива обучению с подкреплением в тех случаях, когда:

• задать функцию вознаграждения, адекватно описывающую желаемое поведение, сложно или дорого (например, «естественность» движений робота или «плавность» вождения автомобиля с трудом формализуются в виде скалярной функции)^[1];
• прямое взаимодействие агента со средой на этапе обучения опасно или дорого (например, при обучении беспилотного автомобиля или робота-манипулятора методом проб и ошибок)^[1];
• уже существует источник качественного поведения — человек-эксперт или ранее настроенный контроллер, — и его демонстрации можно записать и использовать как обучающие данные^[1].

В этом смысле имитационное обучение сводит (полностью или частично) задачу последовательного принятия решений к более изученной и статистически устойчивой задаче обучения с учителем — предсказанию действия эксперта по наблюдаемому состоянию.

История

Одной из первых и наиболее известных демонстраций подхода стал проект ALVINN (Autonomous Land Vehicle In a Neural Network), выполненный Дин Померло в Университете Карнеги — Меллон в 1989 году: нейронная сеть обучалась отображать изображения с камеры и данные лазерного дальномера непосредственно в угол поворота руля, используя записи действий человека-водителя^[1]. Этот подход впоследствии получил название поведенческого клонирования (behavioral cloning); его теоретическое оформление в виде сведения имитации к обучению с учителем связывают с работами Бэйна и Саммута конца 1990-х годов^[1].

Параллельно в робототехнике развивалось направление «обучения по демонстрациям» (learning from demonstration, «программирование через демонстрацию»), нацеленное на то, чтобы избежать ручного программирования сложных манипуляций и переносить навык непосредственно от человека к роботу; систематическая формализация и обзор направления даны в работе Аткесона и Шаля 1997 года^[1] и в широко цитируемом обзоре Аргалла и соавторов 2009 года^[1].

Существенный вклад в теорию был сделан в конце 1990-х — 2000-х годах в связи с методами обратного обучения с подкреплением (inverse reinforcement learning, IRL): в 2000 году Эндрю Ын и Стюарт Рассел предложили формальную постановку задачи восстановления функции вознаграждения по наблюдаемому поведению эксперта^[1], а в 2004 году Питер Абель и Эндрю Ын развили эту идею в подход «ученичества» (apprenticeship learning), в котором стратегия ищется так, чтобы её ожидаемая отдача совпадала с отдачей эксперта относительно неизвестной, но линейно параметризованной функции вознаграждения^[1]. В 2008 году Брайан Зибарт с соавторами предложили принцип максимума энтропии для устранения неоднозначности восстанавливаемого вознаграждения (Maximum Entropy IRL)^[1].

Важным этапом стало осознание принципиальной проблемы поведенческого клонирования — накопления ошибки из-за смещения распределения состояний между обучением и исполнением (covariate shift). В 2011 году Стефан Росс, Джеффри Гордон и Эндрю Бэгнелл предложили алгоритм DAgger (Dataset Aggregation), сводящий имитационное обучение к последовательности задач обучения с учителем в рамках теории безрегретного онлайн-обучения, с интерактивным обращением к эксперту^[1].

Развитие глубокого обучения в 2010-х годах привело к новому всплеску интереса: в 2016 году Джонатан Хо и Стефано Эрмон предложили GAIL (Generative Adversarial Imitation Learning) — метод, соединяющий идеи IRL с генеративно-состязательными сетями (GAN) Гудфеллоу и др. (2014)^[1][1]. В том же десятилетии поведенческое клонирование на глубоких нейронных сетях получило масштабное практическое применение, в частности в системе end-to-end управления автомобилем компании NVIDIA^[1].

Постановка задачи и основные подходы

Существующие методы принято делить на три большие группы^[1][1]: поведенческое клонирование (прямая имитация как задача обучения с учителем), интерактивное (онлайн) имитационное обучение (агент обращается к эксперту в процессе исполнения) и обратное обучение с подкреплением (включая его состязательные варианты).

Поведенческое клонирование

Простейший подход — поведенческое клонирование (behavioral cloning, BC) — трактует имитацию как задачу обучения с учителем: пары «состояние — действие» из демонстраций эксперта рассматриваются как независимые одинаково распределённые примеры, а стратегия с параметрами обучается минимизировать эмпирический риск

где — функция потерь (например, среднеквадратичная ошибка для непрерывных действий или кросс-энтропия для дискретных)^[1][1]. Достоинства метода — простота и вычислительная дешевизна, поскольку не требуется взаимодействие со средой во время обучения. Основной недостаток — предположение о независимости и одинаковой распределённости пар нарушается на практике: действие агента влияет на следующее состояние, и небольшие ошибки предсказания приводят к смещению распределения состояний относительно обучающего (см. раздел ниже).

Интерактивное имитационное обучение (DAgger)

Чтобы преодолеть проблему смещения распределения, Росс, Гордон и Бэгнелл предложили алгоритм DAgger^[1]. На каждой итерации текущая стратегия исполняется в среде, порождая траектории; для посещённых состояний запрашивается «правильное» действие эксперта , полученные пары добавляются к общему датасету

после чего стратегия переобучается на объединённом множестве . За счёт того что обучающие состояния берутся из распределения, порождаемого самим агентом, а не только экспертом, устраняется рассинхронизация между обучением и исполнением. Авторы показали, что при сведении к безрегретному онлайн-обучению суммарная ошибка растёт линейно по горизонту и по ошибке классификации , тогда как для «наивного» поведенческого клонирования худший случай даёт квадратичный по рост числа ошибок^[1]. Практический недостаток DAgger — необходимость многократного онлайн-обращения к эксперту, что затратно или неудобно, если экспертом выступает человек; это стимулировало разработку менее «дорогих» интерактивных вариантов, например SMILe и AggreVaTeD^[1].

Обратное обучение с подкреплением

Обратное обучение с подкреплением (inverse reinforcement learning, IRL) исходит из предположения, что демонстрации эксперта близки к оптимальным относительно некоторой неизвестной функции вознаграждения . Задача состоит в том, чтобы восстановить такую функцию , при которой поведение эксперта оптимально (или близко к оптимальному) в исходном MDP, а затем найти стратегию агента с помощью стандартного обучения с подкреплением, максимизирующего ^[1]. Поскольку одному и тому же поведению может соответствовать бесконечно много функций вознаграждения (проблема неидентифицируемости), в подходе «ученичества» Абеля и Ына стратегия ищется так, чтобы её ожидаемые накопленные значения признаков-характеристик состояния совпадали с аналогичными значениями для эксперта, при условии, что вознаграждение линейно по этим признакам^[1]. Зибарт и соавторы предложили устранять неоднозначность через принцип максимума энтропии, выбирая среди согласованных с демонстрациями распределений траекторий то, что обладает наибольшей энтропией (Maximum Entropy IRL)^[1].

Состязательное имитационное обучение (GAIL)

Идея GAIL состоит в том, чтобы обойти дорогостоящий по вычислениям внутренний цикл «восстановление вознаграждения → обучение с подкреплением», характерный для классического IRL, и напрямую сопоставлять распределение траекторий агента с распределением траекторий эксперта с помощью аппарата генеративно-состязательных сетей^[1]. Обучаются одновременно дискриминатор , различающий пары «состояние — действие» агента и эксперта, и стратегия-«генератор» , максимизирующая величину, которую дискриминатор ошибочно относит к эксперту:

где — энтропийная регуляризация стратегии. Обновление стратегии производится методами обучения с подкреплением на основе градиента политики (в частности, TRPO), где выход дискриминатора играет роль суррогатного вознаграждения^[1]. Показано, что GAIL приближённо соответствует максимально-энтропийному IRL с определённым выбором штрафа за отклонение стратегии от «занятости» состояний эксперта^[1]; последующие работы (например, Adversarial IRL Фу и др.) уточнили эту связь и предложили извлекать из дискриминатора переносимую функцию вознаграждения.

Проблема ковариационного сдвига и накопления ошибок

Ключевая теоретическая трудность поведенческого клонирования — ковариационный сдвиг (covariate shift): стратегия обучается на распределении состояний, порождаемом экспертом, но исполняется в распределении состояний, которое порождает сама себя, и эти два распределения расходятся по мере накопления даже небольших ошибок^[1]. Если вероятность ошибки классификатора на шаге равна , а горизонт эпизода составляет шагов, то в худшем случае суммарное число ошибок (а вместе с ним и потеря качества) поведенческого клонирования растёт как , тогда как для алгоритмов интерактивного типа (DAgger) при выполнении условий безрегретности эта величина ограничена линейным ростом ^[1][1]. Данный эффект — попадание агента в состояния, отсутствовавшие в обучающей выборке, и, как следствие, непредсказуемое, часто ухудшающееся поведение — иногда называют «накоплением ошибок» (compounding errors, error compounding)^[1]. Помимо интерактивных методов запроса к эксперту (DAgger и его модификации), для смягчения этой проблемы применяются, в частности, внесение шума в демонстрации на этапе сбора данных, обучение по модели среды и восстановление вознаграждения (IRL/GAIL), поскольку последнее по построению учитывает распределение состояний, порождаемое самой стратегией.

Имитационное обучение и обучение с подкреплением

Имитационное обучение и обучение с подкреплением решают близкие задачи последовательного принятия решений, но опираются на разные источники сигнала: RL использует явное скалярное вознаграждение, получаемое при взаимодействии со средой, тогда как IL использует демонстрации желаемого поведения без явного вознаграждения^[1]. На практике эти подходы часто комбинируют: демонстрации используют для предварительной инициализации стратегии (pre-training), которую затем дообучают методами RL, либо восстановленную с помощью IRL/GAIL функцию вознаграждения используют как основу для дальнейшей оптимизации политики методами обучения с подкреплением^[1].

Применения

Среди практических областей применения имитационного обучения:

• автономное вождение — от исходной системы ALVINN^[1] до современных end-to-end систем управления автомобилем на глубоких нейронных сетях^[1];
• робототехника и манипуляция объектами — перенос навыков с человека на робота-манипулятора, в том числе через телеуправление^[1][1];
• управление беспилотными летательными аппаратами и локомоция шагающих роботов^[1];
• обучение агентов в видеоиграх и симуляциях, где демонстрации человека используются как начальное приближение стратегии перед дообучением RL.

См. также

• Обучение с подкреплением
• Обучение с учителем
• Марковский процесс принятия решений
• Генеративно-состязательная сеть
• Ковариационный сдвиг

Примечания

Литература

1. Pomerleau, D. A. ALVINN: An Autonomous Land Vehicle in a Neural Network // Advances in Neural Information Processing Systems (NIPS). — 1989. — Vol. 1. — P. 305–313.
2. Bain, M., Sammut, C. A Framework for Behavioural Cloning // Machine Intelligence 15. — Oxford University Press, 1999. — P. 103–129.
3. Atkeson, C. G., Schaal, S. Robot Learning From Demonstration // Proceedings of the 14th International Conference on Machine Learning (ICML). — 1997. — P. 12–20.
4. Argall, B. D., Chernova, S., Veloso, M., Browning, B. A survey of robot learning from demonstration // Robotics and Autonomous Systems. — 2009. — Vol. 57, No. 5. — P. 469–483.
5. Ng, A. Y., Russell, S. J. Algorithms for Inverse Reinforcement Learning // Proceedings of the 17th International Conference on Machine Learning (ICML). — 2000. — P. 663–670.
6. Abbeel, P., Ng, A. Y. Apprenticeship Learning via Inverse Reinforcement Learning // Proceedings of the 21st International Conference on Machine Learning (ICML). — 2004. — P. 1.
7. Ziebart, B. D., Maas, A., Bagnell, J. A., Dey, A. K. Maximum Entropy Inverse Reinforcement Learning // Proceedings of the AAAI Conference on Artificial Intelligence. — 2008. — Vol. 8. — P. 1433–1438.
8. Ross, S., Gordon, G. J., Bagnell, J. A. A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning // Proceedings of the 14th International Conference on Artificial Intelligence and Statistics (AISTATS). — 2011. — P. 627–635.
9. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., Bengio, Y. Generative Adversarial Nets // Advances in Neural Information Processing Systems (NIPS). — 2014. — Vol. 27. — P. 2672–2680.
10. Ho, J., Ermon, S. Generative Adversarial Imitation Learning // Advances in Neural Information Processing Systems (NeurIPS). — 2016. — Vol. 29. — P. 4565–4573.
11. Bojarski, M., Del Testa, D., Dworakowski, D. et al. End to End Learning for Self-Driving Cars // arXiv:1604.07316. — 2016.
12. Osa, T., Pajarinen, J., Neumann, G., Bagnell, J. A., Abbeel, P., Peters, J. An Algorithmic Perspective on Imitation Learning // Foundations and Trends in Robotics. — 2018. — Vol. 7, No. 1–2. — P. 1–179.
13. Hussein, A., Gaber, M. M., Elyan, E., Jayne, C. Imitation Learning: A Survey of Learning Methods // ACM Computing Surveys. — 2017. — Vol. 50, No. 2. — Article 21.
14. Spencer, J., Choudhury, S., Venkatraman, A., Ziebart, B., Bagnell, J. A. Feedback in Imitation Learning: The Three Regimes of Covariate Shift // arXiv:2102.02872. — 2021.