Робот складывает футболку. Первые попытки заканчиваются успехом в 13 случаях из 100: рукав ложится не туда, ткань выскальзывает из захвата, складка выходит кривой. Два цикла дообучения на записях собственных попыток поднимают успех до 55,56%. Новых демонстраций от человека не было: робот учился на том, что сам натворил, включая брак.

Так работает LoopWAM, метод из свежей статьи на arXiv от 13 октября 2026 года. Развёртывание робота перестаёт быть финальным экзаменом и становится источником обучающих данных. Даже провальные попытки.

Что такое LoopWAM

LoopWAM это world-action model, модель мира и действий для роботов. Она одновременно предсказывает будущие кадры и генерирует управляющие команды, а обучается на всём спектре опыта развёртывания: чистых успехах, посредственных попытках и полных провалах. Оценка качества траектории определяет, насколько её действия становятся примером для подражания. Последствия же наблюдаются целиком, независимо от качества.

Над статьёй работали 14 исследователей, первый автор Wenxuan Guo, тематика это робототехника (cs.RO) с пересечением в компьютерное зрение.

Почему демонстраций недостаточно

Масштабирование человеческих демонстраций расширило возможности универсальных робот-политик, но не замкнуло контур между развёртыванием и постоянным улучшением. В реальной работе робот попадает в состояния, взаимодействия и режимы отказов, которых нет в отобранных демонстрациях. Это готовый материал для маховика данных (data flywheel), вопрос лишь в том, как его использовать.

Классический ответ это обучение с подкреплением прямо на роботе. Но реальное RL сужает распределение предсказаний модели и плохо переносится на многозадачные универсальные политики. Обходной путь, дистилляция универсала из множества RL-специалистов, тоже упирается в потолок: специалисты передают только отобранные успешные траектории, а вся история взаимодействий выбрасывается.

Отсюда дилемма. Копировать каждое записанное действие значит закреплять плохое поведение. Отфильтровать провалы значит потерять свидетельства о физике: как вёл себя захват, в какой момент выскользнула ткань, что произошло после неудачного касания.

Существующие методы решают задачу лишь частично. VLA-подходы вроде π0.6 и π0.7 управляют генерацией через метки качества, но не учат физику последствий напрямую. Модели τ0-WM и FACT учитывают последствия, однако первая требует отдельного симулятора для отбора действий, а вторая разделяет генерацию действий и последствий на последовательные этапы. LoopWAM обходится одной моделью и одним процессом денойзинга.

Одна модель, два потока

Архитектурно LoopWAM это Mixture-of-Transformer с двумя ветками, видеоветкой и веткой действий. Видео-бэкбон инициализируется из Wan2.2-TI2V-5B, ветка действий построена как diffusion transformer со скрытой размерностью 1024. Двунаправленное внимание связывает потоки на каждом слое, поэтому обучение предсказанию будущего напрямую тренирует признаки, которыми пользуется генерация действий.

На вход модель получает наблюдение, состояние робота и текстовую инструкцию. Предсказываются две цели: блок из 64 шагов действий и девять RGB-кадров будущего с интервалом в восемь управляющих тактов. Оба потока обучаются через flow matching, причём уровень шума для каждой модальности задаётся независимо. Кадр наблюдения остаётся чистым, а маска внимания разрешает токенам наблюдения смотреть только внутри первого кадра.

Оба потока перекрёстно смотрят на инструкцию с оценкой качества, а токены состояния робота дополнительно управляют веткой действий. Такая схема нужна, чтобы предсказание последствий и генерация движения учились согласованно, на одних и тех же признаках.

Ключевое отличие от предшественников в том, что последствия действий не проходят через отдельный этап оценки. Видео и действия денойзятся параллельно, и представления о будущем участвуют в формировании действий напрямую. Отдельного оценщика последствий, как в τ0-WM, или последовательного этапа предсказания, как в FACT, здесь нет вовсе.

Три механизма, превращающие провалы в урок

Первый механизм это разный уровень шума для разных источников. У экспертных траекторий видеопоток зашумляется сильно (Beta(7,1)), а поток действий получает базовое зашумление. У роллаутов наоборот: действия почти не зашумляются (Beta(1,7)), поэтому записанное движение сохраняется, а видеоветка учится предсказывать его последствия. Один тренировочный проход совмещает обучение поведению и обучение модели мира.

Второй механизм это управление качеством через инструкцию. К тексту задачи добавляется суффикс вида «Quality: q», и числовая оценка траектории становится частью условия генерации. Разметка бывает поштучной, когда каждая траектория оценивается по шкале от 1 до 12, или грубой, когда одна оценка выдаётся всем роллаутам контрольной точки: успешные получают балл по доле успеха и плавности движения, а провалы минимальный. Экспертные демонстрации получают высший балл, и на развёртывании модель тоже управляется им, что сдвигает генерацию в сторону экспертного поведения.

Третий механизм это взвешивание действий по качеству. Видеонаблюдение сохраняется для всех траекторий без исключения, а вклад действий регулируется весом λ(q) из отрезка от нуля до единицы. У экспертных траекторий вес максимальный, у полностью провальных он равен нулю: модель не имитирует провальные действия, но продолжает учиться на их визуальных последствиях. Итоговая цель состоит из двух слагаемых: полное наблюдение за миром плюс взвешенная имитация поведения.

Замкнутый цикл улучшения

Дальше начинается самое интересное. Обученная модель развёртывается, собирает около 100 траекторий на задачу, получает оценки качества и возвращается в обучение вместе с экспертной демонстрацией и всеми накопленными роллаутами прошлых раундов. Обновлённая версия снова выходит в поле, и цикл повторяется. На каждом раунде модель управляется экспертной оценкой q*, поэтому генерация держится в верхней части шкалы качества.

Оценки на реальном бенчмарке берутся из официальной платформы: операторы и так оценивают каждый прогон по шкале от 1 до 10, где успешные обычно получают не меньше 8,5, а все провалы приводятся к единице. Дополнительная разметка не нужна.

Масштаб собранного опыта конкретен. На RoboTwin 2.0 к 2500 чистым и 25000 рандомизированным экспертным демонстрациям добавили роллауты от трёх политик: по 20 чистых и 130 рандомизированных прогонов на задачу от каждой, всего 22500 траекторий. Суммарная длительность этого корпуса примерно равна длительности экспертного, а сбор и оценка шли на разных случайных сидах, чтобы исключить утечку данных.

Учиться при этом можно не только на своём опыте. Формулировка принимает роллауты любых развёрнутых политик, даже слабых: каждая траектория вносит вклад сообразно своему качеству. На симуляционных бенчмарках это проверено буквально: к экспертным данным добавлялись роллауты сразу от трёх политик, LoopWAM, X-VLA и π0.5.

Результаты

Главный полигон это RoboChallenge Table30-V2, реальный робот-бенчмарк из 30 задач на четырёх платформах: ALOHA, DOS-W1, ARX5 и UR5. Задачи охватывают работу с инструментами, точные манипуляции и двуручную координацию. Стартовая экспертная модель показывала 23,67% успеха. После трёх раундов развёртывания и дообучения результат растёт шаг за шагом: 28,00%, затем 37,67%, затем 43,33%.

Итоговый счёт 56,80 вывел LoopWAM на первое место среди сравниваемых методов, на 2,38 балла и 2,67 процентного пункта выше ближайшего конкурента VLA-DM0.5. Для контекста: стартовая экспертная версия набирала 36,10 балла, а сам VLA-DM0.5 54,42 балла при 40,67% успеха. Разброс по платформам показателен: на UR5 успех 76,67%, на ARX5 55,71%, на DOS-W1 42%, на ALOHA 26%. Складывание футболки после отдельного дообучения стартовало с 13,20% и дошло до 55,56% за два раунда, а счёт вырос с 14,44 до 67,78.

В симуляторах картина тоже сильная. RoboTwin 2.0: 94,58% в чистых сценах и 94,42% при доменной рандомизации, в среднем 94,50% без дополнительного предобучения на embodied-данных. Это на 1,7 пункта выше AHA-WAM и на 0,9 выше LingBot-VA 2.0. На RoboCasa365 модель набирает 49,5% на 50 задачах и опережает ABot-M0.6 на 2,9 пункта, причём улучшение распространяется на составные задачи, которых не было в обучающих данных.

Что показала аблация

Аблация на RoboTwin 2.0 расставляет приоритеты. Без управления качеством средний результат падает до 72,3%, то есть смешанный опыт почти не работает. С грубой разметкой он возвращается к 92,7%, а с взвешиванием действий достигает 94,5%. Разрыв между полным отсутствием оценки и грубой разметкой больше 20 пунктов, а взвешивание действий добавляет поверх ещё 1,8 пункта.

Даже сверхгрубая схема, где все провалы помечаются как low, а успехи как medium, работает близко к тому же уровню. Вывод авторов: тонкая поштучная разметка не обязательна, достаточно различить уровни качества. Но совсем без оценки качества учиться на смешанном опыте не получается.

Что это значит

Результат интересен не столько цифрами на лидерборде, сколько сменой статуса ошибки. Провальный роллаут перестаёт быть мусором, который выкидывают из датасета, и становится свидетельством о физике: как ведёт себя ткань, где соскальзывает захват, что происходит после неудачного касания. Мир учится на всём, поведение только на хорошем.

Второй вывод касается экономики данных. Грубая разметка по контрольным точкам снижает порог входа: размечать каждую траекторию не нужно, достаточно одной оценки на чекпоинт. Для команд, которые гоняют реальных роботов, это меняет стоимость сбора опыта.

Если смотреть шире, LoopWAM встраивается в заметный тренд: world-модели перестают быть только симуляторами для планирования и превращаются в механизм обучения. Свежий разбор в блоге показал, почему модели мира пока слабо выучивают физику по видео. LoopWAM подходит с другой стороны: идеально предсказывать мир не требуется, достаточно извлекать полезный сигнал из последствий неудач.

Есть и оговорки. 43,33% успеха на реальном бенчмарке по-прежнему скромный результат, впереди много работы. Симуляционные числа близки к насыщению, и там разницу между подходами разглядеть труднее. Наконец, цикл требует реальных прогонов и хотя бы грубых оценок качества, а это не бесплатно.

Часто задаваемые вопросы

Чем LoopWAM отличается от reinforcement learning?

RL оптимизирует награду и в реальном мире сужает распределение модели, плохо переносясь на многозадачность. LoopWAM награду не максимизирует: он учится на записанных траекториях любого качества, где провалы дают видеонаблюдение, а имитация действий взвешивается по оценке качества. Обновление политики идёт через переобучение на накопленном опыте, а не через градиент награды.

Нужно ли размечать каждую траекторию вручную?

Нет. Помимо поштучной разметки поддерживается грубая схема: одна оценка на все роллауты контрольной точки, где успешные получают балл по доле успеха и плавности движения, а провальные минимальный. Аблация показала, что даже сверхгрубые метки уровня low, medium и high работают почти так же хорошо, как точные.

Может ли робот учиться на опыте других роботов?

Да, это часть замысла. Формулировка принимает роллауты любой развёрнутой политики, даже слабой, и каждая траектория вносит вклад сообразно качеству. На RoboTwin 2.0 к экспертным данным добавляли траектории от LoopWAM, X-VLA и π0.5 одновременно. Такой сценарий расширяет самоулучшение за пределы одной модели.

Итог

LoopWAM показывает, что развёртывание можно превратить в обучающий контур, где смешанный по качеству опыт работает на результат: успехи задают поведение, провалы дают физику. Три раунда подняли успех на реальном бенчмарке на 19,7 процентного пункта, а складывание футболки с 13,2% до 55,56%. Если вы запускаете роботов в реальном мире, присмотритесь к схеме разметки качества: возможно, логи неудачных прогонов стоят дороже, чем кажется. Полный текст статьи на arXiv, демонстрации на странице проекта.