Агент делает тридцать шагов по веб-интерфейсу, ошибается на двадцать девятом и получает тот же штраф, что и траектория, развалившаяся на втором. Так выглядит стандартное обучение LLM-агентов с подкреплением: награда одна на всю траекторию, и она сообщает только «не получилось», ничего не говоря о том, где именно всё сломалось.

Свежая работа «Co-Evolving Acting and Forecasting for Language Agents» от исследователей из UIUC, Meta AI и UCSD предлагает неожиданно простое дополнение: пусть агент заодно предсказывает свои собственные будущие действия. Метод назвали CoPE, и он ускоряет обучение в 1,6 раза на AppWorld и вдвое на ScienceWorld, поднимая успех сразу на пяти бенчмарках. Ни одной новой модели на инференсе при этом не появляется.

Что такое CoPE

CoPE (Co-evolving Acting and Forecasting) это метод обучения LLM-агентов, в котором одна и та же модель решает две задачи: выбирает следующее действие и предсказывает собственные действия на несколько шагов вперёд. Прогноз строится только по успешным эпизодам, а его функция потерь добавляется к основному алгоритму RL, поэтому обе задачи улучшают общие веса.

Один скаляр на всю траекторию

Стандартом обучения агентов стал GRPO: для каждой задачи модель генерирует группу траекторий, сравнивает их между собой и усиливает те, что привели к успеху. Проблема в том, что награда здесь одна на всю траекторию. А траектории длинные: десятки шагов и вызовов инструментов, и каждый прогон стоит GPU-часов. Все действия внутри эпизода получают одинаковое преимущество: и удачный поиск товара, и роковая ошибка с размером. Обучение узнаёт, что эпизод провалился, но не узнаёт, где именно он сломался.

Между тем промежуточные шаги хранят самую ценную информацию: как каждое решение повлияло на следующее. Исследователи давно пытаются вытащить этот сигнал. Одно направление строит value-таргеты: process reward models и пошаговое credit assignment оценивают вероятность успеха после каждого действия. Другое работает с наблюдениями среды: отдельные world-модели или вспомогательные лоссы предсказывают следующее наблюдение, как в методах ECHO и RWML. Оба подхода дороги: первый требует обученного критика, второй моделирует среду. Мы уже разбирали, как TRACE распределяет rollout-бюджет между перспективными точками траектории, и почему эволюционные стратегии лечат коллапс энтропии GRPO. CoPE идёт третьим путём и не делает ни того, ни другого.

Почему прогнозировать действия выгоднее, чем наблюдения

Ключевое наблюдение авторов: наблюдения и действия устроены по-разному. Наблюдение это огромный кусок текста, где большая часть токенов к решению отношения не имеет: разметка страницы, навигация, служебные сообщения. Действие же короткое и всегда значимое. Если заставлять модель предсказывать наблюдения, она тратит ёмкость на восстановление мусора.

CoPE предсказывает действия. Формально вводится success-conditioned action chunk: распределение следующих K+1 действий в успешных траекториях, где промежуточные наблюдения маргинализованы. Проще говоря, модель учится отвечать на вопрос: что делают агенты, которые в итоге добиваются успеха, начиная с этой точки?

Авторы показывают, что GRPO в теории подгоняет только одношаговую версию этого распределения (K=0). CoPE расширяет цель на несколько шагов вперёд, и это расширение не требует модели среды: все таргеты лежат в пространстве действий. По структуре целей CoPE напоминает action chunking из робототехники: политики ACT и Diffusion Policy тоже предсказывают последовательности действий, а не отдельные шаги.

Как работает CoPE

Конструкция состоит из трёх частей, и каждая решает свою проблему.

Один бэкбон. Политика и прогнозист живут в одной LLM. Прогноз это просто ещё один ответ той же модели на историю с добавленной инструкцией «предскажи свои следующие действия». Никакой второй сети не появляется: нечего отдельно обучать, хранить и обслуживать. Бонус важнее экономии: градиенты от прогноза обновляют то же представление, из которого политика выбирает действия, и две задачи эволюционируют вместе. Отсюда и название.

Фильтр по успеху. Прогнозист обучается только на успешных эпизодах. Без этого фильтра модель начинает имитировать средние и провальные траектории, и возникает конфликт целей: в первых экспериментах награда падала до нуля уже через несколько шагов обучения. С фильтром прогнозист учится тому, как ведёт себя агент в эпизодах, которые в итоге доходят до цели.

Нормализация по группе. По мере улучшения политики успешных траекторий в группе становится больше, и без нормализации прогнозный градиент растёт вместе с их числом. Возникают всплески нормы градиента и скачки награды. Усреднение по успешным эпизодам убирает эту зависимость.

Итоговый лосс это сумма GRPO и прогнозного слагаемого с коэффициентом λ. Горизонт прогноза K и вес λ подбираются, об этом ниже.

Результаты: пять бенчмарков

Эксперименты шли на пяти средах с разреженными наградами: ALFWorld (домашние задачи), ScienceWorld (школьные эксперименты), WebShop (покупки в веб-магазине), τ²-bench (клиентский сервис с симулятором пользователя) и AppWorld (композиция вызовов API в потребительских приложениях). Базовая модель Qwen2.5-7B-Instruct, на самом сложном AppWorld Qwen2.5-14B-Instruct. Инфраструктура стандартная: симулированные среды построены на AgentGym-RL, обучение идёт на фреймворке verl (v0.2.0.post2), к которому авторы дописали адаптеры для AppWorld и τ²-bench.

ALFWorld: 95,5% успеха против 90,5% у GRPO, плюс 5 пунктов. CoPE обходит и оба наблюдение-ориентированных бейзлайна (ECHO 94,5%, RWML 92,0%), и, что любопытно, промптинг GPT-5.5, который набирает 93,5%. Семимиллиардная модель, обученная новым лоссом, обыгрывает флагман в режиме промптинга на этой задаче.

WebShop: успех растёт с 64,5% до 77%, это +12,5 пункта, а средний score с 84,1 до 89,4. Для сравнения, GPT-5.5 в промптинге вытягивает лишь 56,5%.

ScienceWorld: с 64,5% до 72,5%, плюс 8 пунктов. Здесь промптинг GPT-5.5 пока впереди: 79% против 72,5%.

τ²-bench: общий успех 28,7% против 27,5%, но за средним числом прячется раскол. На домене Retail рост с 17,5% до 29,4%, на Airline падение с 26,2% до 16,2%. Про причины ниже, это самая интересная часть статьи.

AppWorld: на обычном сплите с 41,67% до 55,36%, плюс почти 14 пунктов, а на challenge-сплите с 18,71% до 22,54%.

Отдельно про эффективность. Чтобы дойти до score 0,4 на ScienceWorld, CoPE нужно примерно вдвое меньше шагов RL, чем GRPO. В целом метод в 2 раза экономнее по сэмплам на ScienceWorld и в 1,6 раза на AppWorld. Накладные расходы почти незаметны: прогнозный лосс добавляет 11% к стоимости одного шага обучения, а сквозное время на ScienceWorld даже сокращается на 9%.

Рост не привязан к одной модели: на Qwen3-8B WebShop прибавляет с 64% до 72,5%, а ScienceWorld с 61,5% до 71,5%.

Абляции: горизонт прогноза и его вес

Горизонт K. Бейзлайн K=0 (предсказывается только текущее действие, с фильтром невалидных) проигрывает всем вариантам с ненулевым горизонтом. Лучший результат у K=2, а при K=4 становится чуть хуже: дальние цели зашумлены, потому что зависят от наблюдений, которых прогнозист не видит.

Вес λ. Весь протестированный диапазон от 0,0001 до 0,1 улучшает GRPO, лучшим оказался 0,01. Большие значения ускоряют ранний прогресс, маленькие идут той же траекторией, но с задержкой.

Ещё один эксперимент про природу сигнала. Таргет с нулевой задержкой (предсказывать только текущее действие) ускоряет раннее обучение, но вредит на длинной дистанции. Фильтр невалидных действий поднимает K=0-бейзлайн с +2,0 до +5,0. CoPE добирается до +8,0 вообще без сигналов, специфичных для среды, обучая каждое действие на всех задержках сразу.

Почему это работает: неявный ансамбль

Самая изящная часть статьи. Авторы отдельно проверили гипотезу, что прогноз улучшает выбор действий через неявное временное ансамблирование. Схема эксперимента: обучить отдельного прогнозиста на LoRA, чтобы его градиенты не попадали в политику, а затем с его помощью переранжировать восемь кандидатных действий, оценивая их прогнозами с разных горизонтов, и выполнить лучшее.

Результат: явное переранжирование улучшает GRPO и сокращает его отставание от CoPE, но самому CoPE не добавляет ничего. То есть информация, которую отдельный прогнозист извлекает ценой дополнительных проходов на инференсе, у политики CoPE уже есть внутри, и достаётся она за один прямой проход.

Так замыкается петля совместной эволюции: политика поставляет прогнозисту данные, успешные траектории, а прогнозист возвращает политике структуру, которой у неё не было.

Где CoPE спотыкается

Провал на Airline в τ²-bench авторы разбирают честно. В этом домене 38% задач решаются без изменений в базе данных, против 4,4% в Retail. Эти задачи самые простые: в начале обучения они проходятся в 52% случаев, тогда как задачи с изменениями только в 8,9%. Большинство успешных эпизодов приходит именно от них, а внешне такие задачи почти неотличимы от тех, где нужно действовать: отказ в возврате после превышения порога выглядит как обычный отказ.

Поведение, которое работает на простых задачах (ничего не делать), переносится на похожие задачи, требующие действий, и прогнозист, обучающийся только на успехах, всё сильнее склоняется к бездействию. GRPO такому циклу не подвержен: неудачные отказы получают отрицательные преимущества, а прогнозный лосс видит только успехи. Это известное ограничение outcome-conditioned imitation: таргеты для похожих историй приходят в основном из самых лёгких задач.

Второе ограничение методологическое. Это исследовательская работа, код авторы обещают выложить после публикации, а все эксперименты шли на разреженных наградах и моделях размером от 7 до 14 миллиардов параметров.

Часто задаваемые вопросы

CoPE можно применить к любой модели?

Архитектурных изменений не требуется. Авторы проверили метод на Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct и Qwen3-8B: везде рост относительно GRPO. Прогноз это дополнительное слагаемое в функции потерь, а не новая архитектура, поэтому он накладывается на любой пайплайн обучения с GRPO. Прирост не размывается при смене поколения: на Qwen2.5-7B WebShop прибавляет 12,5 пункта, на Qwen3-8B 8,5 пункта.

Нужен ли прогнозист на инференсе?

Нет. На этапе использования работает обычная политика: один бэкбон, один прямой проход на действие. Инструкция о прогнозе появляется только в обучении. Именно этим CoPE отличается от схем с отдельной world-моделью или внешним переранжировщиком, которым на инференсе нужны дополнительные вычисления.

Почему бы просто не предсказывать следующее наблюдение?

Наблюдения в агентных средах огромны и зашумлены: веб-страницы и списки объектов содержат тысячи токенов, большая часть которых к решению не относится. Действия короткие и решают всё. Плюс многократное предсказание действий на K шагов вперёд обыгрывает одношаговые наблюдение-таргеты (ECHO, RWML) на всех трёх симулированных средах.

Итог

CoPE добавляет к обучению LLM-агентов одну идею: модель, которая учится действовать, должна ещё и предсказывать собственные действия в успешных эпизодах. Пять бенчмарков, рост от 5 до 12,5 пунктов успеха, удвоение sample efficiency на ScienceWorld и 1,6× на AppWorld, и всё это без единой новой модели на инференсе.

Если вы тренируете агентов через GRPO, прогнозный лосс выглядит как дешёвый эксперимент с понятной механикой: одна инструкция, один дополнительный таргет, одна константа λ. Статья лежит на arXiv (2610.20597), код авторы обещают после публикации.