Визуально-языковая модель действий

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{well|Статья написана с использованием LLM '''GPT-5.6 Thinking''' и проверена участником ~~~~}} '''Визуально-языковая ...)
 
Строка 1: Строка 1:
-
{{well|Статья написана с использованием LLM '''GPT-5.6 Thinking''' и проверена участником [[Участник:Egor Goroshko|Egor Goroshko]] 20:50, 13 июля 2026 (MSD)}}
+
{{well|Статья написана с использованием LLM '''GPT-5.6 Thinking''' и проверена участником [[Участник:Egor Goroshko|Egor Goroshko]] 23:03, 13 июля 2026 (MSD)}}
 +
 
'''Визуально-языковая модель действий''' (англ. ''vision-language-action model'', VLA) — [[Мультимодальное машинное обучение|мультимодальная]] модель, которая получает изображения окружающей среды, инструкцию на естественном языке и, при необходимости, сведения о текущем состоянии агента, а затем формирует действие или последовательность действий. Такие модели объединяют [[Компьютерное зрение|зрение]], [[Обработка естественного языка|понимание языка]] и управление поведением.
'''Визуально-языковая модель действий''' (англ. ''vision-language-action model'', VLA) — [[Мультимодальное машинное обучение|мультимодальная]] модель, которая получает изображения окружающей среды, инструкцию на естественном языке и, при необходимости, сведения о текущем состоянии агента, а затем формирует действие или последовательность действий. Такие модели объединяют [[Компьютерное зрение|зрение]], [[Обработка естественного языка|понимание языка]] и управление поведением.
 +
== Основная идея ==
== Основная идея ==
 +
Обычная [[Визуально-языковая модель|визуально-языковая модель]] (англ. ''vision-language model'', VLM) сопоставляет изображения и текст: описывает сцену, отвечает на вопросы или находит объект по словесному запросу. VLA-модель делает следующий шаг — преобразует это понимание в действие.
Обычная [[Визуально-языковая модель|визуально-языковая модель]] (англ. ''vision-language model'', VLM) сопоставляет изображения и текст: описывает сцену, отвечает на вопросы или находит объект по словесному запросу. VLA-модель делает следующий шаг — преобразует это понимание в действие.
 +
Её работу можно представить как замкнутый цикл:
Её работу можно представить как замкнутый цикл:
 +
<center>'''Изображение и команда → действие → изменение среды → новое изображение'''</center>
<center>'''Изображение и команда → действие → изменение среды → новое изображение'''</center>
 +
Например, по команде «положи яблоко в миску» модель должна связать слова с объектами на изображении, понять требуемый результат, выбрать действия и проверить, изменилось ли состояние сцены ожидаемым образом. Таким образом, VLA должна не только распознавать предметы, но и понимать, какие действия с ними допустимы и уместны в заданном контексте.
Например, по команде «положи яблоко в миску» модель должна связать слова с объектами на изображении, понять требуемый результат, выбрать действия и проверить, изменилось ли состояние сцены ожидаемым образом. Таким образом, VLA должна не только распознавать предметы, но и понимать, какие действия с ними допустимы и уместны в заданном контексте.
 +
== Отличие от визуально-языковой модели ==
== Отличие от визуально-языковой модели ==
 +
Визуально-языковая модель обычно выдаёт текст, оценку соответствия или внутреннее представление изображения. Результатом VLA является действие, способное изменить наблюдаемую среду.
Визуально-языковая модель обычно выдаёт текст, оценку соответствия или внутреннее представление изображения. Результатом VLA является действие, способное изменить наблюдаемую среду.
 +
Различаются и обучающие данные. VLM обучается главным образом на парах «изображение — текст», тогда как VLA дополнительно нужны записи поведения: наблюдения, инструкции и выполненные действия. После каждого шага VLA получает новую информацию о среде, поэтому должна работать в цикле с обратной связью и достаточно быстро реагировать на изменения.
Различаются и обучающие данные. VLM обучается главным образом на парах «изображение — текст», тогда как VLA дополнительно нужны записи поведения: наблюдения, инструкции и выполненные действия. После каждого шага VLA получает новую информацию о среде, поэтому должна работать в цикле с обратной связью и достаточно быстро реагировать на изменения.
 +
Визуально-языковая модель может служить основой VLA. В этом случае к уже обученной системе понимания изображений и текста добавляется компонент, преобразующий мультимодальное представление в действия.
Визуально-языковая модель может служить основой VLA. В этом случае к уже обученной системе понимания изображений и текста добавляется компонент, преобразующий мультимодальное представление в действия.
 +
== Краткая история ==
== Краткая история ==
 +
Развитие VLA продолжило работы по [[Имитационное обучение|имитационному обучению]], мультимодальным моделям и обучению общих стратегий поведения. RT-1 показала, что единый [[Трансформер|трансформер]] может обучаться выполнению множества задач по изображениям и языковым инструкциям.<ref>Brohan A. et al. RT-1: Robotics Transformer for Real-World Control at Scale. arXiv:2212.06817, 2022.</ref>
Развитие VLA продолжило работы по [[Имитационное обучение|имитационному обучению]], мультимодальным моделям и обучению общих стратегий поведения. RT-1 показала, что единый [[Трансформер|трансформер]] может обучаться выполнению множества задач по изображениям и языковым инструкциям.<ref>Brohan A. et al. RT-1: Robotics Transformer for Real-World Control at Scale. arXiv:2212.06817, 2022.</ref>
 +
В PaLM-E изображения и другие наблюдения были включены во вход большой языковой модели для решения задач воплощённого рассуждения.<ref>Driess D. et al. PaLM-E: An Embodied Multimodal Language Model // ''Proceedings of the 40th International Conference on Machine Learning''. PMLR. 2023. Vol. 202. P. 8469–8488.</ref>
В PaLM-E изображения и другие наблюдения были включены во вход большой языковой модели для решения задач воплощённого рассуждения.<ref>Driess D. et al. PaLM-E: An Embodied Multimodal Language Model // ''Proceedings of the 40th International Conference on Machine Learning''. PMLR. 2023. Vol. 202. P. 8469–8488.</ref>
 +
Термин ''vision-language-action model'' получил широкое распространение после публикации RT-2, где действия представлялись специальными токенами и обрабатывались вместе с текстом.<ref>Zitkovich B. et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control // ''Proceedings of the 7th Conference on Robot Learning''. PMLR. 2023. Vol. 229. P. 2165–2183.</ref>
Термин ''vision-language-action model'' получил широкое распространение после публикации RT-2, где действия представлялись специальными токенами и обрабатывались вместе с текстом.<ref>Zitkovich B. et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control // ''Proceedings of the 7th Conference on Robot Learning''. PMLR. 2023. Vol. 229. P. 2165–2183.</ref>
 +
== Формальная постановка ==
== Формальная постановка ==
 +
Пусть в момент времени <tex>t</tex> модель получает изображение <tex>I_t</tex>, языковую инструкцию <tex>l</tex> и, если она доступна, дополнительную информацию о состоянии агента <tex>x_t</tex>. VLA задаёт стратегию <tex>\pi_\theta</tex>, определяющую распределение возможных действий:
Пусть в момент времени <tex>t</tex> модель получает изображение <tex>I_t</tex>, языковую инструкцию <tex>l</tex> и, если она доступна, дополнительную информацию о состоянии агента <tex>x_t</tex>. VLA задаёт стратегию <tex>\pi_\theta</tex>, определяющую распределение возможных действий:
-
<tex>
+
 
-
a_t \sim \pi_\theta(a_t \mid I_t,l,x_t).
+
<tex>a_t \sim \pi_\theta(a_t \mid I_t,l,x_t).</tex>
-
</tex>
+
 
Здесь <tex>a_t</tex> — действие, а <tex>\theta</tex> — параметры модели.
Здесь <tex>a_t</tex> — действие, а <tex>\theta</tex> — параметры модели.
 +
Вместо одного шага модель может сформировать блок будущих действий:
Вместо одного шага модель может сформировать блок будущих действий:
-
<tex>
+
 
-
A_t=(a_t,a_{t+1},\ldots,a_{t+H-1}),
+
<tex>A_t=(a_t,a_{t+1},\ldots,a_{t+H-1}),</tex>
-
</tex>
+
 
где <tex>H</tex> — длина блока. После выполнения одного или нескольких действий система получает новое наблюдение и повторяет вычисление.
где <tex>H</tex> — длина блока. После выполнения одного или нескольких действий система получает новое наблюдение и повторяет вычисление.
 +
Обучающий набор можно записать как
Обучающий набор можно записать как
-
<tex>
+
 
-
D=\{(I_i,l_i,x_i,a_i)\}_{i=1}^{N}.
+
<tex>D={(I_i,l_i,x_i,a_i)}_{i=1}^{N}.</tex>
-
</tex>
+
 
При вероятностном представлении действий параметры модели находят минимизацией отрицательного логарифма правдоподобия:
При вероятностном представлении действий параметры модели находят минимизацией отрицательного логарифма правдоподобия:
-
<tex>
+
 
-
L(\theta)=-\sum_{i=1}^{N}\log \pi_\theta(a_i \mid I_i,l_i,x_i).
+
<tex>L(\theta)=-\sum_{i=1}^{N}\log \pi_\theta(a_i \mid I_i,l_i,x_i).</tex>
-
</tex>
+
 
Такая функция потерь поощряет модель назначать высокую вероятность действиям, содержащимся в обучающих демонстрациях.
Такая функция потерь поощряет модель назначать высокую вероятность действиям, содержащимся в обучающих демонстрациях.
 +
== Устройство модели ==
== Устройство модели ==
 +
Типичная VLA включает визуальный кодировщик, языковую часть и компонент формирования действий. Визуальный кодировщик преобразует изображение в признаки, отражающие объекты, их свойства, взаимное расположение и изменения сцены. Языковая часть представляет команду в совместимой форме, а мультимодальный блок связывает слова с элементами изображения.
Типичная VLA включает визуальный кодировщик, языковую часть и компонент формирования действий. Визуальный кодировщик преобразует изображение в признаки, отражающие объекты, их свойства, взаимное расположение и изменения сцены. Языковая часть представляет команду в совместимой форме, а мультимодальный блок связывает слова с элементами изображения.
 +
Например, в инструкции «возьми красный предмет слева» модель должна сопоставить признаки цвета и положения с конкретным объектом. После этого компонент действий преобразует общее представление ситуации и цели в управляющий выход.
Например, в инструкции «возьми красный предмет слева» модель должна сопоставить признаки цвета и положения с конкретным объектом. После этого компонент действий преобразует общее представление ситуации и цели в управляющий выход.
 +
Результатом может быть одно действие, последовательность дискретных команд, набор непрерывных значений, короткий блок действий или высокоуровневый план. В одних архитектурах зрение, язык и действия обрабатываются одним трансформером, в других используется отдельный декодер действий.
Результатом может быть одно действие, последовательность дискретных команд, набор непрерывных значений, короткий блок действий или высокоуровневый план. В одних архитектурах зрение, язык и действия обрабатываются одним трансформером, в других используется отдельный декодер действий.
 +
== Представление действий ==
== Представление действий ==
 +
=== Дискретные токены ===
=== Дискретные токены ===
 +
Непрерывное значение можно разбить на интервалы и представить специальным токеном:
Непрерывное значение можно разбить на интервалы и представить специальным токеном:
-
<tex>
+
 
-
z_k=Q(a_k).
+
<tex>z_k=Q(a_k).</tex>
-
</tex>
+
 
Здесь <tex>Q</tex> — операция дискретизации, <tex>a_k</tex> — исходное значение, а <tex>z_k</tex> — соответствующий токен.
Здесь <tex>Q</tex> — операция дискретизации, <tex>a_k</tex> — исходное значение, а <tex>z_k</tex> — соответствующий токен.
 +
После этого действия предсказываются подобно словам в языковой модели. Такой подход использовался в RT-2 и OpenVLA.<ref>Kim M. J. et al. OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246, 2024.</ref> Он позволяет использовать стандартную архитектуру языковой модели, однако дискретизация уменьшает точность, а последовательное формирование длинной цепочки токенов повышает задержку.
После этого действия предсказываются подобно словам в языковой модели. Такой подход использовался в RT-2 и OpenVLA.<ref>Kim M. J. et al. OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246, 2024.</ref> Он позволяет использовать стандартную архитектуру языковой модели, однако дискретизация уменьшает точность, а последовательное формирование длинной цепочки токенов повышает задержку.
 +
=== Непрерывное и генеративное предсказание ===
=== Непрерывное и генеративное предсказание ===
 +
Другой вариант — непосредственно выдавать числовые значения:
Другой вариант — непосредственно выдавать числовые значения:
-
<tex>
+
 
-
\hat{a}_t=f_\theta(I_t,l,x_t).
+
<tex>\hat{a}*t=f*\theta(I_t,l,x_t).</tex>
-
</tex>
+
 
Для обучения может использоваться ошибка между правильным и предсказанным действием:
Для обучения может использоваться ошибка между правильным и предсказанным действием:
-
<tex>
+
 
-
L_{\mathrm{reg}}=\sum_i |a_i-\hat{a}_i|.
+
<tex>L_{\mathrm{reg}}=\sum_i |a_i-\hat{a}_i|.</tex>
-
</tex>
+
 
Непрерывное представление не требует превращения действий в токены и может работать быстрее. Однако простая регрессия склонна усреднять несколько допустимых вариантов поведения.
Непрерывное представление не требует превращения действий в токены и может работать быстрее. Однако простая регрессия склонна усреднять несколько допустимых вариантов поведения.
 +
Чтобы моделировать распределение возможных действий, применяют диффузионные модели и согласование потоков (англ. ''flow matching''). Эти методы начинают со случайного сигнала и постепенно преобразуют его в согласованную последовательность действий.<ref>Lipman Y., Chen R. T. Q., Ben-Hamu H., Nickel M., Le M. Flow Matching for Generative Modeling // ''Proceedings of the International Conference on Learning Representations''. 2023.</ref>
Чтобы моделировать распределение возможных действий, применяют диффузионные модели и согласование потоков (англ. ''flow matching''). Эти методы начинают со случайного сигнала и постепенно преобразуют его в согласованную последовательность действий.<ref>Lipman Y., Chen R. T. Q., Ben-Hamu H., Nickel M., Le M. Flow Matching for Generative Modeling // ''Proceedings of the International Conference on Learning Representations''. 2023.</ref>
 +
=== Блоки действий ===
=== Блоки действий ===
 +
VLA может формировать сразу несколько будущих действий. Такой выход называют блоком действий (англ. ''action chunk''). Блоки уменьшают число обращений к большой модели и помогают сохранять согласованность поведения.
VLA может формировать сразу несколько будущих действий. Такой выход называют блоком действий (англ. ''action chunk''). Блоки уменьшают число обращений к большой модели и помогают сохранять согласованность поведения.
 +
У этого решения есть компромисс. Короткие блоки обеспечивают частую обратную связь, но требуют больше вычислений. Длинные блоки выполняются быстрее, однако могут устареть после неожиданного изменения среды. Поэтому на практике часто исполняют только часть сформированной последовательности, после чего модель получает новое наблюдение.
У этого решения есть компромисс. Короткие блоки обеспечивают частую обратную связь, но требуют больше вычислений. Длинные блоки выполняются быстрее, однако могут устареть после неожиданного изменения среды. Поэтому на практике часто исполняют только часть сформированной последовательности, после чего модель получает новое наблюдение.
 +
== Обучение VLA-моделей ==
== Обучение VLA-моделей ==
 +
Основным методом остаётся обучение по демонстрациям. Модель получает записи, показывающие, какое действие выполнялось при определённом наблюдении и инструкции. Демонстрации могут собираться человеком, другой автоматической системой, в виртуальной среде или путём исправления поведения уже обученной модели.
Основным методом остаётся обучение по демонстрациям. Модель получает записи, показывающие, какое действие выполнялось при определённом наблюдении и инструкции. Демонстрации могут собираться человеком, другой автоматической системой, в виртуальной среде или путём исправления поведения уже обученной модели.
 +
Основой VLA часто служит предварительно обученная визуально-языковая модель. Она уже умеет распознавать объекты, понимать тексты и связывать слова с изображениями. Затем её дополнительно обучают на данных действий. Такой перенос знаний снижает объём специализированных данных, но не устраняет необходимость в них: знание названия и описания предмета не равнозначно умению надёжно взаимодействовать с ним.
Основой VLA часто служит предварительно обученная визуально-языковая модель. Она уже умеет распознавать объекты, понимать тексты и связывать слова с изображениями. Затем её дополнительно обучают на данных действий. Такой перенос знаний снижает объём специализированных данных, но не устраняет необходимость в них: знание названия и описания предмета не равнозначно умению надёжно взаимодействовать с ним.
 +
Совместное обучение может использовать изображения и текстовые описания, вопросы и ответы, языковые инструкции, записи действий, промежуточные планы и данные виртуальных сред. Это помогает сохранить общие визуальные и языковые способности, одновременно добавляя управление поведением.
Совместное обучение может использовать изображения и текстовые описания, вопросы и ответы, языковые инструкции, записи действий, промежуточные планы и данные виртуальных сред. Это помогает сохранить общие визуальные и языковые способности, одновременно добавляя управление поведением.
 +
Данные разных агентов различаются по наблюдениям, доступным действиям и способу записи. Для их объединения вводят общий формат либо явно указывают модели тип агента. Проект Open X-Embodiment объединил данные от 22 типов роботов, собранные 21 исследовательской организацией, и показал возможность положительного переноса опыта между платформами.<ref>Open X-Embodiment Collaboration et al. Open X-Embodiment: Robotic Learning Datasets and RT-X Models // ''Proceedings of the IEEE International Conference on Robotics and Automation''. 2024. doi:10.1109/ICRA57147.2024.10611477.</ref>
Данные разных агентов различаются по наблюдениям, доступным действиям и способу записи. Для их объединения вводят общий формат либо явно указывают модели тип агента. Проект Open X-Embodiment объединил данные от 22 типов роботов, собранные 21 исследовательской организацией, и показал возможность положительного переноса опыта между платформами.<ref>Open X-Embodiment Collaboration et al. Open X-Embodiment: Robotic Learning Datasets and RT-X Models // ''Proceedings of the IEEE International Conference on Robotics and Automation''. 2024. doi:10.1109/ICRA57147.2024.10611477.</ref>
 +
Для новой задачи модель можно дообучить на дополнительном наборе демонстраций. При полном дообучении изменяются все параметры, а при параметрически эффективной адаптации — только небольшая их часть. Второй способ дешевле, но может оказаться недостаточным при значительном отличии новой среды или набора действий.
Для новой задачи модель можно дообучить на дополнительном наборе демонстраций. При полном дообучении изменяются все параметры, а при параметрически эффективной адаптации — только небольшая их часть. Второй способ дешевле, но может оказаться недостаточным при значительном отличии новой среды или набора действий.
 +
После имитационного обучения возможно применение [[Обучение с подкреплением|обучения с подкреплением]] (англ. ''reinforcement learning''). Оно позволяет улучшать поведение по оценке результата, а не только воспроизводить демонстрации, но требует безопасного сбора новых взаимодействий и корректно заданного вознаграждения.
После имитационного обучения возможно применение [[Обучение с подкреплением|обучения с подкреплением]] (англ. ''reinforcement learning''). Оно позволяет улучшать поведение по оценке результата, а не только воспроизводить демонстрации, но требует безопасного сбора новых взаимодействий и корректно заданного вознаграждения.
 +
== Основные архитектурные подходы ==
== Основные архитектурные подходы ==
 +
В сквозной архитектуре изображения и инструкция непосредственно преобразуются в действия. Такой подход позволяет совместно обучать восприятие, язык и поведение, но требует много данных и затрудняет поиск причины ошибки.
В сквозной архитектуре изображения и инструкция непосредственно преобразуются в действия. Такой подход позволяет совместно обучать восприятие, язык и поведение, но требует много данных и затрудняет поиск причины ошибки.
 +
Иерархическая система сначала строит общий план или выделяет подзадачи, а затем формирует конкретные действия. Например, команда «убери предметы со стола» может быть разложена на поиск предметов, выбор места назначения, перемещение и проверку результата. Иерархия удобна для длительных задач, однако ошибка в разбиении команды влияет на всю дальнейшую последовательность.
Иерархическая система сначала строит общий план или выделяет подзадачи, а затем формирует конкретные действия. Например, команда «убери предметы со стола» может быть разложена на поиск предметов, выбор места назначения, перемещение и проверку результата. Иерархия удобна для длительных задач, однако ошибка в разбиении команды влияет на всю дальнейшую последовательность.
 +
Гибридная система сочетает VLA с отдельными механизмами планирования, проверки и безопасности. VLA предлагает действие, а дополнительные компоненты проверяют его допустимость, контролируют выполнение и при необходимости запускают повторное планирование. Такая схема сложнее, но обычно предсказуемее полностью сквозной модели.
Гибридная система сочетает VLA с отдельными механизмами планирования, проверки и безопасности. VLA предлагает действие, а дополнительные компоненты проверяют его допустимость, контролируют выполнение и при необходимости запускают повторное планирование. Такая схема сложнее, но обычно предсказуемее полностью сквозной модели.
 +
== Известные модели ==
== Известные модели ==
 +
=== RT-2 ===
=== RT-2 ===
 +
RT-2 стала одной из первых работ, в которых был явно выделен класс VLA-моделей. Действия представлялись как специальные токены, а обучение проводилось одновременно на визуально-языковых и роботизированных данных.<ref>Zitkovich B. et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control // ''Proceedings of the 7th Conference on Robot Learning''. PMLR. 2023. Vol. 229. P. 2165–2183.</ref>
RT-2 стала одной из первых работ, в которых был явно выделен класс VLA-моделей. Действия представлялись как специальные токены, а обучение проводилось одновременно на визуально-языковых и роботизированных данных.<ref>Zitkovich B. et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control // ''Proceedings of the 7th Conference on Robot Learning''. PMLR. 2023. Vol. 229. P. 2165–2183.</ref>
 +
Авторы исследовали перенос знаний из визуально-языкового предварительного обучения на задачи выбора действий. Модель могла учитывать смысловые свойства объектов, не встречавшиеся в таком же виде в данных управления.
Авторы исследовали перенос знаний из визуально-языкового предварительного обучения на задачи выбора действий. Модель могла учитывать смысловые свойства объектов, не встречавшиеся в таком же виде в данных управления.
 +
=== OpenVLA ===
=== OpenVLA ===
 +
OpenVLA — открытая VLA-модель с семью миллиардами параметров, обученная на 970 тысячах демонстраций из Open X-Embodiment.<ref>Kim M. J. et al. OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246, 2024.</ref>
OpenVLA — открытая VLA-модель с семью миллиардами параметров, обученная на 970 тысячах демонстраций из Open X-Embodiment.<ref>Kim M. J. et al. OpenVLA: An Open-Source Vision-Language-Action Model. arXiv:2406.09246, 2024.</ref>
 +
Она объединяет предварительно обученные визуальные кодировщики, языковую модель и представление действий в виде токенов. Авторы опубликовали параметры, код и средства дополнительного обучения.
Она объединяет предварительно обученные визуальные кодировщики, языковую модель и представление действий в виде токенов. Авторы опубликовали параметры, код и средства дополнительного обучения.
 +
=== π0 и π0.5 ===
=== π0 и π0.5 ===
 +
Модель π0 объединяет предварительно обученную визуально-языковую основу с генератором непрерывных действий на основе согласования потоков.<ref>Black K. et al. π0: A Vision-Language-Action Flow Model for General Robot Control. arXiv:2410.24164, 2024.</ref> Вместо последовательного формирования дискретных токенов она создаёт непрерывные блоки действий.
Модель π0 объединяет предварительно обученную визуально-языковую основу с генератором непрерывных действий на основе согласования потоков.<ref>Black K. et al. π0: A Vision-Language-Action Flow Model for General Robot Control. arXiv:2410.24164, 2024.</ref> Вместо последовательного формирования дискретных токенов она создаёт непрерывные блоки действий.
 +
Модель π0.5 развивает этот подход и использует совместное обучение на изображениях, языковых командах, высокоуровневых подзадачах и действиях.<ref>Physical Intelligence et al. π0.5: A Vision-Language-Action Model with Open-World Generalization. arXiv:2504.16054, 2025.</ref> Авторы исследовали выполнение длительных задач в помещениях, не использовавшихся при сборе основных демонстраций.
Модель π0.5 развивает этот подход и использует совместное обучение на изображениях, языковых командах, высокоуровневых подзадачах и действиях.<ref>Physical Intelligence et al. π0.5: A Vision-Language-Action Model with Open-World Generalization. arXiv:2504.16054, 2025.</ref> Авторы исследовали выполнение длительных задач в помещениях, не использовавшихся при сборе основных демонстраций.
 +
=== Gemini Robotics ===
=== Gemini Robotics ===
 +
Gemini Robotics — семейство моделей, созданное на основе мультимодальной модели Gemini для понимания физической среды и формирования действий.<ref>Gemini Robotics Team et al. Gemini Robotics: Bringing AI into the Physical World. arXiv:2503.20020, 2025.</ref>
Gemini Robotics — семейство моделей, созданное на основе мультимодальной модели Gemini для понимания физической среды и формирования действий.<ref>Gemini Robotics Team et al. Gemini Robotics: Bringing AI into the Physical World. arXiv:2503.20020, 2025.</ref>
 +
В работе рассматриваются модель непосредственного формирования действий и связанная с ней модель воплощённого рассуждения, предназначенная для пространственного анализа и планирования.
В работе рассматриваются модель непосредственного формирования действий и связанная с ней модель воплощённого рассуждения, предназначенная для пространственного анализа и планирования.
 +
== Применение ==
== Применение ==
 +
VLA исследуются в задачах, где необходимо связать естественно-языковую цель с наблюдаемой ситуацией: при сортировке и перемещении предметов, выполнении бытовых инструкций, упаковке, сборке, работе в складской или производственной среде, управлении мобильными агентами и выполнении заданий в виртуальных мирах.
VLA исследуются в задачах, где необходимо связать естественно-языковую цель с наблюдаемой ситуацией: при сортировке и перемещении предметов, выполнении бытовых инструкций, упаковке, сборке, работе в складской или производственной среде, управлении мобильными агентами и выполнении заданий в виртуальных мирах.
 +
Особенно полезны такие модели там, где невозможно заранее перечислить все формулировки команд, варианты внешнего вида предметов и условия выполнения. Вместе с тем большинство современных систем остаётся экспериментальным или работает в ограниченной среде. Успех на отдельных демонстрациях не означает надёжного выполнения произвольных задач.
Особенно полезны такие модели там, где невозможно заранее перечислить все формулировки команд, варианты внешнего вида предметов и условия выполнения. Вместе с тем большинство современных систем остаётся экспериментальным или работает в ограниченной среде. Успех на отдельных демонстрациях не означает надёжного выполнения произвольных задач.
 +
== Оценивание ==
== Оценивание ==
 +
Качество VLA нельзя оценивать только по совпадению предсказанного действия с демонстрацией: одно и то же задание нередко допускает несколько правильных способов выполнения. Поэтому главным показателем остаётся успешность всей задачи, дополненная оценкой отдельных этапов, времени выполнения, числа неудачных действий и вмешательств человека.
Качество VLA нельзя оценивать только по совпадению предсказанного действия с демонстрацией: одно и то же задание нередко допускает несколько правильных способов выполнения. Поэтому главным показателем остаётся успешность всей задачи, дополненная оценкой отдельных этапов, времени выполнения, числа неудачных действий и вмешательств человека.
 +
Отдельно проверяют способность модели работать с новыми объектами, формулировками инструкций и изменённым внешним видом сцены. Существенна и устойчивость к событиям, которые происходят уже после начала выполнения: предмет может сместиться, путь — оказаться перекрытым, а первоначальный план — потерять смысл. В таких случаях модель должна заметить изменение и скорректировать поведение.
Отдельно проверяют способность модели работать с новыми объектами, формулировками инструкций и изменённым внешним видом сцены. Существенна и устойчивость к событиям, которые происходят уже после начала выполнения: предмет может сместиться, путь — оказаться перекрытым, а первоначальный план — потерять смысл. В таких случаях модель должна заметить изменение и скорректировать поведение.
 +
Сравнение результатов разных VLA затруднено тем, что модели обучаются на разных наборах данных, используют неодинаковые пространства действий и испытываются в различных средах. Поэтому численное значение успешности имеет смысл только вместе с описанием протокола, состава задач и степени новизны испытательных условий.
Сравнение результатов разных VLA затруднено тем, что модели обучаются на разных наборах данных, используют неодинаковые пространства действий и испытываются в различных средах. Поэтому численное значение успешности имеет смысл только вместе с описанием протокола, состава задач и степени новизны испытательных условий.
 +
== Ограничения и открытые проблемы ==
== Ограничения и открытые проблемы ==
 +
Главным ограничением остаётся стоимость данных. Записи действий требуют оборудования, времени и участия операторов, а сами демонстрации часто собираются в небольшом числе помещений и на ограниченном наборе объектов. Из-за этого модель может усвоить особенности конкретной среды вместо общего способа решения. Простое объединение наборов также не гарантирует улучшения: данные различаются по качеству, способу записи, формату команд и критериям успеха.
Главным ограничением остаётся стоимость данных. Записи действий требуют оборудования, времени и участия операторов, а сами демонстрации часто собираются в небольшом числе помещений и на ограниченном наборе объектов. Из-за этого модель может усвоить особенности конкретной среды вместо общего способа решения. Простое объединение наборов также не гарантирует улучшения: данные различаются по качеству, способу записи, формату команд и критериям успеха.
 +
Ошибки восприятия, языка и действия тесно связаны. Модель может перепутать похожие предметы, неверно понять пространственное отношение или не заметить изменение сцены, после чего выбрать формально правдоподобное, но неподходящее действие. Неочевидная ошибка при анализе таких систем — считать, что наличие больших языковых знаний автоматически даёт понимание физических последствий. Текстовое знание о предмете не гарантирует правильного поведения с ним.
Ошибки восприятия, языка и действия тесно связаны. Модель может перепутать похожие предметы, неверно понять пространственное отношение или не заметить изменение сцены, после чего выбрать формально правдоподобное, но неподходящее действие. Неочевидная ошибка при анализе таких систем — считать, что наличие больших языковых знаний автоматически даёт понимание физических последствий. Текстовое знание о предмете не гарантирует правильного поведения с ним.
 +
Серьёзной проблемой остаётся накопление ошибок. Большинство VLA обучается на правильных демонстрациях, однако при самостоятельной работе первая неточность переводит систему в состояние, которое могло не встречаться в обучающих данных. Поэтому особенно важны память о выполненных этапах, обнаружение неудачи и возвращение к планированию. Оценка только финального успеха скрывает эту сторону поведения: две модели могут одинаково не выполнить задачу, хотя одна почти достигла цели и распознала ошибку, а другая потеряла её после первого шага.
Серьёзной проблемой остаётся накопление ошибок. Большинство VLA обучается на правильных демонстрациях, однако при самостоятельной работе первая неточность переводит систему в состояние, которое могло не встречаться в обучающих данных. Поэтому особенно важны память о выполненных этапах, обнаружение неудачи и возвращение к планированию. Оценка только финального успеха скрывает эту сторону поведения: две модели могут одинаково не выполнить задачу, хотя одна почти достигла цели и распознала ошибку, а другая потеряла её после первого шага.
 +
Перенос между агентами также далёк от решения. Общий смысл команды может сохраняться, но формы наблюдений и действий различаются. Для обучения на человеческом видео возникает дополнительная трудность: оно содержит богатую информацию о поведении, но обычно не даёт точных действий, пригодных для непосредственного обучения модели.
Перенос между агентами также далёк от решения. Общий смысл команды может сохраняться, но формы наблюдений и действий различаются. Для обучения на человеческом видео возникает дополнительная трудность: оно содержит богатую информацию о поведении, но обычно не даёт точных действий, пригодных для непосредственного обучения модели.
 +
Крупные VLA требуют значительных вычислительных ресурсов. Если вывод формируется слишком медленно, агент не успевает реагировать на изменения. Блоки действий уменьшают задержку, но реже обновляют решение по обратной связи. Поиск баланса между скоростью и адаптивностью остаётся одной из центральных инженерных задач.
Крупные VLA требуют значительных вычислительных ресурсов. Если вывод формируется слишком медленно, агент не успевает реагировать на изменения. Блоки действий уменьшают задержку, но реже обновляют решение по обратной связи. Поиск баланса между скоростью и адаптивностью остаётся одной из центральных инженерных задач.
 +
Наконец, VLA предсказывает вероятное действие, но не доказывает его безопасность. Для практического применения необходимы оценка неопределённости, независимые ограничения, контроль выполнения и возможность безопасно остановиться. Передача модели полного управления без таких механизмов является не следствием архитектуры VLA, а ошибкой проектирования системы.
Наконец, VLA предсказывает вероятное действие, но не доказывает его безопасность. Для практического применения необходимы оценка неопределённости, независимые ограничения, контроль выполнения и возможность безопасно остановиться. Передача модели полного управления без таких механизмов является не следствием архитектуры VLA, а ошибкой проектирования системы.
 +
К открытым вопросам относятся обучение на собственном опыте без опасного исследования, использование звука и осязания, длительное планирование, интерпретируемость решений и разработка общих протоколов испытаний. Универсальная оценка должна учитывать не только успешность, но и способность модели понимать, когда имеющихся данных недостаточно.
К открытым вопросам относятся обучение на собственном опыте без опасного исследования, использование звука и осязания, длительное планирование, интерпретируемость решений и разработка общих протоколов испытаний. Универсальная оценка должна учитывать не только успешность, но и способность модели понимать, когда имеющихся данных недостаточно.
 +
== Связь с близкими понятиями ==
== Связь с близкими понятиями ==
 +
=== Визуально-языковая модель ===
=== Визуально-языковая модель ===
 +
[[Визуально-языковая модель]] связывает изображения и текст, но обычно не формирует непосредственные действия. Она может быть основой VLA или отдельным компонентом анализа сцены и построения плана.
[[Визуально-языковая модель]] связывает изображения и текст, но обычно не формирует непосредственные действия. Она может быть основой VLA или отдельным компонентом анализа сцены и построения плана.
 +
=== Воплощённый искусственный интеллект ===
=== Воплощённый искусственный интеллект ===
 +
[[Воплощённый искусственный интеллект]] — более широкое направление, изучающее агентов, которые воспринимают интерактивную среду и действуют в ней. VLA является одним из подходов к их построению, но воплощённая система может состоять и из отдельных компонентов восприятия, планирования и управления.
[[Воплощённый искусственный интеллект]] — более широкое направление, изучающее агентов, которые воспринимают интерактивную среду и действуют в ней. VLA является одним из подходов к их построению, но воплощённая система может состоять и из отдельных компонентов восприятия, планирования и управления.
 +
=== Большая языковая модель ===
=== Большая языковая модель ===
 +
[[Большая языковая модель]] способна сформировать текстовый план, но обычно не выдаёт непосредственные действия на основе текущего изображения. VLA теснее связывает язык с наблюдением и исполнением, хотя её решения часто труднее интерпретировать.
[[Большая языковая модель]] способна сформировать текстовый план, но обычно не выдаёт непосредственные действия на основе текущего изображения. VLA теснее связывает язык с наблюдением и исполнением, хотя её решения часто труднее интерпретировать.
 +
=== Имитационное обучение ===
=== Имитационное обучение ===
 +
[[Имитационное обучение]] — общий метод обучения по демонстрациям. Большинство VLA обучается с его помощью, но не всякая модель имитационного обучения использует язык или предварительно обученную мультимодальную основу.
[[Имитационное обучение]] — общий метод обучения по демонстрациям. Большинство VLA обучается с его помощью, но не всякая модель имитационного обучения использует язык или предварительно обученную мультимодальную основу.
 +
=== Модель мира ===
=== Модель мира ===
 +
[[Модель мира]] предсказывает, как изменится среда после действия, тогда как VLA прежде всего предсказывает само действие. Подходы могут дополнять друг друга: VLA предлагает действие, а модель мира оценивает его возможные последствия.
[[Модель мира]] предсказывает, как изменится среда после действия, тогда как VLA прежде всего предсказывает само действие. Подходы могут дополнять друг друга: VLA предлагает действие, а модель мира оценивает его возможные последствия.
 +
== Современное состояние ==
== Современное состояние ==
 +
К середине 2020-х годов VLA стали одним из основных подходов к созданию общих моделей поведения для воплощённых агентов. Развитие постепенно смещается от последовательного предсказания дискретных токенов к быстрому формированию непрерывных блоков действий.
К середине 2020-х годов VLA стали одним из основных подходов к созданию общих моделей поведения для воплощённых агентов. Развитие постепенно смещается от последовательного предсказания дискретных токенов к быстрому формированию непрерывных блоков действий.
 +
Одновременно растёт разнообразие обучающих данных. Модели обучают на демонстрациях разных агентов, изображениях, текстах, видео и высокоуровневых описаниях задач. Большое внимание уделяется адаптации по небольшому числу примеров, сохранению памяти о длительной задаче и обучению не только на успешных, но и на неудачных попытках.
Одновременно растёт разнообразие обучающих данных. Модели обучают на демонстрациях разных агентов, изображениях, текстах, видео и высокоуровневых описаниях задач. Большое внимание уделяется адаптации по небольшому числу примеров, сохранению памяти о длительной задаче и обучению не только на успешных, но и на неудачных попытках.
 +
Современные системы всё чаще строятся не как полностью автономная нейронная сеть, а как часть гибридной архитектуры с отдельными механизмами проверки и безопасности. Это отражает важный сдвиг: задача состоит уже не только в том, чтобы модель могла предложить действие, но и в том, чтобы вся система могла вовремя распознать ошибку и отказаться от ненадёжного решения.
Современные системы всё чаще строятся не как полностью автономная нейронная сеть, а как часть гибридной архитектуры с отдельными механизмами проверки и безопасности. Это отражает важный сдвиг: задача состоит уже не только в том, чтобы модель могла предложить действие, но и в том, чтобы вся система могла вовремя распознать ошибку и отказаться от ненадёжного решения.
 +
Несмотря на прогресс, качество VLA по-прежнему сильно зависит от обучающих данных, устройства агента и протокола испытания. Универсальной модели, способной без дополнительной настройки надёжно выполнять произвольные задачи в открытом физическом мире, пока не существует.
Несмотря на прогресс, качество VLA по-прежнему сильно зависит от обучающих данных, устройства агента и протокола испытания. Универсальной модели, способной без дополнительной настройки надёжно выполнять произвольные задачи в открытом физическом мире, пока не существует.
 +
== Литература ==
== Литература ==
 +
<references/>
<references/>
 +
[[Категория:Искусственный интеллект]]
[[Категория:Искусственный интеллект]]
[[Категория:Машинное обучение]]
[[Категория:Машинное обучение]]

Текущая версия

Статья написана с использованием LLM GPT-5.6 Thinking и проверена участником Egor Goroshko 23:03, 13 июля 2026 (MSD)


Визуально-языковая модель действий (англ. vision-language-action model, VLA) — мультимодальная модель, которая получает изображения окружающей среды, инструкцию на естественном языке и, при необходимости, сведения о текущем состоянии агента, а затем формирует действие или последовательность действий. Такие модели объединяют зрение, понимание языка и управление поведением.

Содержание

Основная идея

Обычная визуально-языковая модель (англ. vision-language model, VLM) сопоставляет изображения и текст: описывает сцену, отвечает на вопросы или находит объект по словесному запросу. VLA-модель делает следующий шаг — преобразует это понимание в действие.

Её работу можно представить как замкнутый цикл:

Изображение и команда → действие → изменение среды → новое изображение

Например, по команде «положи яблоко в миску» модель должна связать слова с объектами на изображении, понять требуемый результат, выбрать действия и проверить, изменилось ли состояние сцены ожидаемым образом. Таким образом, VLA должна не только распознавать предметы, но и понимать, какие действия с ними допустимы и уместны в заданном контексте.

Отличие от визуально-языковой модели

Визуально-языковая модель обычно выдаёт текст, оценку соответствия или внутреннее представление изображения. Результатом VLA является действие, способное изменить наблюдаемую среду.

Различаются и обучающие данные. VLM обучается главным образом на парах «изображение — текст», тогда как VLA дополнительно нужны записи поведения: наблюдения, инструкции и выполненные действия. После каждого шага VLA получает новую информацию о среде, поэтому должна работать в цикле с обратной связью и достаточно быстро реагировать на изменения.

Визуально-языковая модель может служить основой VLA. В этом случае к уже обученной системе понимания изображений и текста добавляется компонент, преобразующий мультимодальное представление в действия.

Краткая история

Развитие VLA продолжило работы по имитационному обучению, мультимодальным моделям и обучению общих стратегий поведения. RT-1 показала, что единый трансформер может обучаться выполнению множества задач по изображениям и языковым инструкциям.[1]

В PaLM-E изображения и другие наблюдения были включены во вход большой языковой модели для решения задач воплощённого рассуждения.[1]

Термин vision-language-action model получил широкое распространение после публикации RT-2, где действия представлялись специальными токенами и обрабатывались вместе с текстом.[1]

Формальная постановка

Пусть в момент времени t модель получает изображение I_t, языковую инструкцию l и, если она доступна, дополнительную информацию о состоянии агента x_t. VLA задаёт стратегию \pi_\theta, определяющую распределение возможных действий:

a_t \sim \pi_\theta(a_t \mid I_t,l,x_t).

Здесь a_t — действие, а \theta — параметры модели.

Вместо одного шага модель может сформировать блок будущих действий:

A_t=(a_t,a_{t+1},\ldots,a_{t+H-1}),

где H — длина блока. После выполнения одного или нескольких действий система получает новое наблюдение и повторяет вычисление.

Обучающий набор можно записать как

D={(I_i,l_i,x_i,a_i)}_{i=1}^{N}.

При вероятностном представлении действий параметры модели находят минимизацией отрицательного логарифма правдоподобия:

L(\theta)=-\sum_{i=1}^{N}\log \pi_\theta(a_i \mid I_i,l_i,x_i).

Такая функция потерь поощряет модель назначать высокую вероятность действиям, содержащимся в обучающих демонстрациях.

Устройство модели

Типичная VLA включает визуальный кодировщик, языковую часть и компонент формирования действий. Визуальный кодировщик преобразует изображение в признаки, отражающие объекты, их свойства, взаимное расположение и изменения сцены. Языковая часть представляет команду в совместимой форме, а мультимодальный блок связывает слова с элементами изображения.

Например, в инструкции «возьми красный предмет слева» модель должна сопоставить признаки цвета и положения с конкретным объектом. После этого компонент действий преобразует общее представление ситуации и цели в управляющий выход.

Результатом может быть одно действие, последовательность дискретных команд, набор непрерывных значений, короткий блок действий или высокоуровневый план. В одних архитектурах зрение, язык и действия обрабатываются одним трансформером, в других используется отдельный декодер действий.

Представление действий

Дискретные токены

Непрерывное значение можно разбить на интервалы и представить специальным токеном:

z_k=Q(a_k).

Здесь Q — операция дискретизации, a_k — исходное значение, а z_k — соответствующий токен.

После этого действия предсказываются подобно словам в языковой модели. Такой подход использовался в RT-2 и OpenVLA.[1] Он позволяет использовать стандартную архитектуру языковой модели, однако дискретизация уменьшает точность, а последовательное формирование длинной цепочки токенов повышает задержку.

Непрерывное и генеративное предсказание

Другой вариант — непосредственно выдавать числовые значения:

\hat{a}*t=f*\theta(I_t,l,x_t).

Для обучения может использоваться ошибка между правильным и предсказанным действием:

L_{\mathrm{reg}}=\sum_i |a_i-\hat{a}_i|.

Непрерывное представление не требует превращения действий в токены и может работать быстрее. Однако простая регрессия склонна усреднять несколько допустимых вариантов поведения.

Чтобы моделировать распределение возможных действий, применяют диффузионные модели и согласование потоков (англ. flow matching). Эти методы начинают со случайного сигнала и постепенно преобразуют его в согласованную последовательность действий.[1]

Блоки действий

VLA может формировать сразу несколько будущих действий. Такой выход называют блоком действий (англ. action chunk). Блоки уменьшают число обращений к большой модели и помогают сохранять согласованность поведения.

У этого решения есть компромисс. Короткие блоки обеспечивают частую обратную связь, но требуют больше вычислений. Длинные блоки выполняются быстрее, однако могут устареть после неожиданного изменения среды. Поэтому на практике часто исполняют только часть сформированной последовательности, после чего модель получает новое наблюдение.

Обучение VLA-моделей

Основным методом остаётся обучение по демонстрациям. Модель получает записи, показывающие, какое действие выполнялось при определённом наблюдении и инструкции. Демонстрации могут собираться человеком, другой автоматической системой, в виртуальной среде или путём исправления поведения уже обученной модели.

Основой VLA часто служит предварительно обученная визуально-языковая модель. Она уже умеет распознавать объекты, понимать тексты и связывать слова с изображениями. Затем её дополнительно обучают на данных действий. Такой перенос знаний снижает объём специализированных данных, но не устраняет необходимость в них: знание названия и описания предмета не равнозначно умению надёжно взаимодействовать с ним.

Совместное обучение может использовать изображения и текстовые описания, вопросы и ответы, языковые инструкции, записи действий, промежуточные планы и данные виртуальных сред. Это помогает сохранить общие визуальные и языковые способности, одновременно добавляя управление поведением.

Данные разных агентов различаются по наблюдениям, доступным действиям и способу записи. Для их объединения вводят общий формат либо явно указывают модели тип агента. Проект Open X-Embodiment объединил данные от 22 типов роботов, собранные 21 исследовательской организацией, и показал возможность положительного переноса опыта между платформами.[1]

Для новой задачи модель можно дообучить на дополнительном наборе демонстраций. При полном дообучении изменяются все параметры, а при параметрически эффективной адаптации — только небольшая их часть. Второй способ дешевле, но может оказаться недостаточным при значительном отличии новой среды или набора действий.

После имитационного обучения возможно применение обучения с подкреплением (англ. reinforcement learning). Оно позволяет улучшать поведение по оценке результата, а не только воспроизводить демонстрации, но требует безопасного сбора новых взаимодействий и корректно заданного вознаграждения.

Основные архитектурные подходы

В сквозной архитектуре изображения и инструкция непосредственно преобразуются в действия. Такой подход позволяет совместно обучать восприятие, язык и поведение, но требует много данных и затрудняет поиск причины ошибки.

Иерархическая система сначала строит общий план или выделяет подзадачи, а затем формирует конкретные действия. Например, команда «убери предметы со стола» может быть разложена на поиск предметов, выбор места назначения, перемещение и проверку результата. Иерархия удобна для длительных задач, однако ошибка в разбиении команды влияет на всю дальнейшую последовательность.

Гибридная система сочетает VLA с отдельными механизмами планирования, проверки и безопасности. VLA предлагает действие, а дополнительные компоненты проверяют его допустимость, контролируют выполнение и при необходимости запускают повторное планирование. Такая схема сложнее, но обычно предсказуемее полностью сквозной модели.

Известные модели

RT-2

RT-2 стала одной из первых работ, в которых был явно выделен класс VLA-моделей. Действия представлялись как специальные токены, а обучение проводилось одновременно на визуально-языковых и роботизированных данных.[1]

Авторы исследовали перенос знаний из визуально-языкового предварительного обучения на задачи выбора действий. Модель могла учитывать смысловые свойства объектов, не встречавшиеся в таком же виде в данных управления.

OpenVLA

OpenVLA — открытая VLA-модель с семью миллиардами параметров, обученная на 970 тысячах демонстраций из Open X-Embodiment.[1]

Она объединяет предварительно обученные визуальные кодировщики, языковую модель и представление действий в виде токенов. Авторы опубликовали параметры, код и средства дополнительного обучения.

π0 и π0.5

Модель π0 объединяет предварительно обученную визуально-языковую основу с генератором непрерывных действий на основе согласования потоков.[1] Вместо последовательного формирования дискретных токенов она создаёт непрерывные блоки действий.

Модель π0.5 развивает этот подход и использует совместное обучение на изображениях, языковых командах, высокоуровневых подзадачах и действиях.[1] Авторы исследовали выполнение длительных задач в помещениях, не использовавшихся при сборе основных демонстраций.

Gemini Robotics

Gemini Robotics — семейство моделей, созданное на основе мультимодальной модели Gemini для понимания физической среды и формирования действий.[1]

В работе рассматриваются модель непосредственного формирования действий и связанная с ней модель воплощённого рассуждения, предназначенная для пространственного анализа и планирования.

Применение

VLA исследуются в задачах, где необходимо связать естественно-языковую цель с наблюдаемой ситуацией: при сортировке и перемещении предметов, выполнении бытовых инструкций, упаковке, сборке, работе в складской или производственной среде, управлении мобильными агентами и выполнении заданий в виртуальных мирах.

Особенно полезны такие модели там, где невозможно заранее перечислить все формулировки команд, варианты внешнего вида предметов и условия выполнения. Вместе с тем большинство современных систем остаётся экспериментальным или работает в ограниченной среде. Успех на отдельных демонстрациях не означает надёжного выполнения произвольных задач.

Оценивание

Качество VLA нельзя оценивать только по совпадению предсказанного действия с демонстрацией: одно и то же задание нередко допускает несколько правильных способов выполнения. Поэтому главным показателем остаётся успешность всей задачи, дополненная оценкой отдельных этапов, времени выполнения, числа неудачных действий и вмешательств человека.

Отдельно проверяют способность модели работать с новыми объектами, формулировками инструкций и изменённым внешним видом сцены. Существенна и устойчивость к событиям, которые происходят уже после начала выполнения: предмет может сместиться, путь — оказаться перекрытым, а первоначальный план — потерять смысл. В таких случаях модель должна заметить изменение и скорректировать поведение.

Сравнение результатов разных VLA затруднено тем, что модели обучаются на разных наборах данных, используют неодинаковые пространства действий и испытываются в различных средах. Поэтому численное значение успешности имеет смысл только вместе с описанием протокола, состава задач и степени новизны испытательных условий.

Ограничения и открытые проблемы

Главным ограничением остаётся стоимость данных. Записи действий требуют оборудования, времени и участия операторов, а сами демонстрации часто собираются в небольшом числе помещений и на ограниченном наборе объектов. Из-за этого модель может усвоить особенности конкретной среды вместо общего способа решения. Простое объединение наборов также не гарантирует улучшения: данные различаются по качеству, способу записи, формату команд и критериям успеха.

Ошибки восприятия, языка и действия тесно связаны. Модель может перепутать похожие предметы, неверно понять пространственное отношение или не заметить изменение сцены, после чего выбрать формально правдоподобное, но неподходящее действие. Неочевидная ошибка при анализе таких систем — считать, что наличие больших языковых знаний автоматически даёт понимание физических последствий. Текстовое знание о предмете не гарантирует правильного поведения с ним.

Серьёзной проблемой остаётся накопление ошибок. Большинство VLA обучается на правильных демонстрациях, однако при самостоятельной работе первая неточность переводит систему в состояние, которое могло не встречаться в обучающих данных. Поэтому особенно важны память о выполненных этапах, обнаружение неудачи и возвращение к планированию. Оценка только финального успеха скрывает эту сторону поведения: две модели могут одинаково не выполнить задачу, хотя одна почти достигла цели и распознала ошибку, а другая потеряла её после первого шага.

Перенос между агентами также далёк от решения. Общий смысл команды может сохраняться, но формы наблюдений и действий различаются. Для обучения на человеческом видео возникает дополнительная трудность: оно содержит богатую информацию о поведении, но обычно не даёт точных действий, пригодных для непосредственного обучения модели.

Крупные VLA требуют значительных вычислительных ресурсов. Если вывод формируется слишком медленно, агент не успевает реагировать на изменения. Блоки действий уменьшают задержку, но реже обновляют решение по обратной связи. Поиск баланса между скоростью и адаптивностью остаётся одной из центральных инженерных задач.

Наконец, VLA предсказывает вероятное действие, но не доказывает его безопасность. Для практического применения необходимы оценка неопределённости, независимые ограничения, контроль выполнения и возможность безопасно остановиться. Передача модели полного управления без таких механизмов является не следствием архитектуры VLA, а ошибкой проектирования системы.

К открытым вопросам относятся обучение на собственном опыте без опасного исследования, использование звука и осязания, длительное планирование, интерпретируемость решений и разработка общих протоколов испытаний. Универсальная оценка должна учитывать не только успешность, но и способность модели понимать, когда имеющихся данных недостаточно.

Связь с близкими понятиями

Визуально-языковая модель

Визуально-языковая модель связывает изображения и текст, но обычно не формирует непосредственные действия. Она может быть основой VLA или отдельным компонентом анализа сцены и построения плана.

Воплощённый искусственный интеллект

Воплощённый искусственный интеллект — более широкое направление, изучающее агентов, которые воспринимают интерактивную среду и действуют в ней. VLA является одним из подходов к их построению, но воплощённая система может состоять и из отдельных компонентов восприятия, планирования и управления.

Большая языковая модель

Большая языковая модель способна сформировать текстовый план, но обычно не выдаёт непосредственные действия на основе текущего изображения. VLA теснее связывает язык с наблюдением и исполнением, хотя её решения часто труднее интерпретировать.

Имитационное обучение

Имитационное обучение — общий метод обучения по демонстрациям. Большинство VLA обучается с его помощью, но не всякая модель имитационного обучения использует язык или предварительно обученную мультимодальную основу.

Модель мира

Модель мира предсказывает, как изменится среда после действия, тогда как VLA прежде всего предсказывает само действие. Подходы могут дополнять друг друга: VLA предлагает действие, а модель мира оценивает его возможные последствия.

Современное состояние

К середине 2020-х годов VLA стали одним из основных подходов к созданию общих моделей поведения для воплощённых агентов. Развитие постепенно смещается от последовательного предсказания дискретных токенов к быстрому формированию непрерывных блоков действий.

Одновременно растёт разнообразие обучающих данных. Модели обучают на демонстрациях разных агентов, изображениях, текстах, видео и высокоуровневых описаниях задач. Большое внимание уделяется адаптации по небольшому числу примеров, сохранению памяти о длительной задаче и обучению не только на успешных, но и на неудачных попытках.

Современные системы всё чаще строятся не как полностью автономная нейронная сеть, а как часть гибридной архитектуры с отдельными механизмами проверки и безопасности. Это отражает важный сдвиг: задача состоит уже не только в том, чтобы модель могла предложить действие, но и в том, чтобы вся система могла вовремя распознать ошибку и отказаться от ненадёжного решения.

Несмотря на прогресс, качество VLA по-прежнему сильно зависит от обучающих данных, устройства агента и протокола испытания. Универсальной модели, способной без дополнительной настройки надёжно выполнять произвольные задачи в открытом физическом мире, пока не существует.

Литература

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B8%D0%B7%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D0%B9»
Личные инструменты