Агент, который чинит баг за две минуты, сегодня никого не удивляет. Другое дело агент, который часами ведёт многоэтапный проект: собирает хранилище данных из шести месяцев грязных выгрузок, разбирает причины падения платежного кластера, восстанавливает финансовую отчётность по битым файлам. Такие задачи называют long-horizon, и открытые модели пока решают их в единичных случаях.

Причина в данных. Для коротких задач существуют корпуса на десятки тысяч сред, а для длинных нет ни одного тренировочного набора: всё, что есть, это десятки-сотни авторских задач для бенчмарков. Свежая работа исследователей Adobe Research и UCLA (arXiv, октябрь 2026) закрывает пробел с двух сторон: предлагает способ строить длинные задачи пачками и метод обучения, который превращает медленный прогресс агента в плотный сигнал.

Проект называется Tev. Внутри датасет Tev-Gym из 1 170 проверенных сред, механизм наград PPRS и открытые модели Tev-9B и Tev-27B, которые на части бенчмарков догоняют топовые API-модели. Разбираем, как это устроено.

Что такое long-horizon агенты

Long-horizon агенты это ИИ-системы, которые автономно работают часами и днями над многоэтапными задачами: научными и инженерными проектами, рефакторингом кода, администрированием инфраструктуры. Их ценность в том, что они открывают путь к автоматизации исследований и рекурсивному самоулучшению. В Tev-Gym медианная задача занимает у агента 12,4 минуты работы, и это только нижняя граница класса: бенчмарк Agents' Last Exam рассчитан на задачи, где эксперт тратит часы.

Почему открытые модели пасуют на длинных задачах

Короткие и средние задачи в open-source сообществе масштабируют корпусами: SWE-Smith (50 100 сред), Terminal-Universe (32 000), TMAX-15K (14 600), SETA (4 500), Endless Terminals (3 300), CLI-Gym (1 700). Звучит солидно, но каждая среда это правка размером с pull request или короткая сессия в терминале: медианное время работы агента от 0,5 до 2 минут. Награда в таких корпусах одна на всю задачу: тесты прошли или не прошли.

Длинные задачи устроены иначе, и здесь ломается стандартная схема обучения с подкреплением. GRPO, который используют почти все современные пайплайны агентного RL, нормирует награды внутри группы из G попыток одной задачи. Если все попытки провалились и получили терминальный ноль, преимущество каждой тоже ноль, и вся группа не даёт градиента.

Математика безжалостна: при вероятности успеха 5% и группе из 8 попыток бесполезными оказываются 66% групп, при вероятности 1% уже 92%. Для нетренированной открытой модели на длинных задачах эта вероятность как раз около одной десятой или ниже. Даже группа с единственным успехом даёт мало: одна успешная попытка противопоставляется семи провалам с одинаковым отрицательным весом, и градиент не различает почти-попадание и попытку без прогресса.

Латентный мир: задача, собранная задом наперёд

Авторы предлагают строить задачи наоборот: сначала собирают латентный мир, полное и корректное описание предметной области. Генератор, детерминированная программа с сидом, создаёт мир W (клиентов, товары и транзакции розничного склада или тензорные шарды распределённого чекпоинта) и проверяет его инварианты.

Дальше мир превращается в задачу. Рабочий процесс компилируется в ориентированный ациклический граф из этапов с зависимостями, входные файлы рендерятся из мира в целевые форматы (CSV, JSON, SQLite, safetensors, манифесты), а затем к ним применяется план дефектов, контролируемая порча: дрейф схемы, дубликаты и пропуски записей, перемешанные индексы шардов. Испорченное дерево и есть задача для агента, а нетронутый мир остаётся эталоном.

Ключевое свойство конструкции: решение вычислимо из того, что агент видит, но известно точно без запуска решателя. Рендер и порча обратимы, поэтому по входным файлам мир восстанавливается однозначно. Это единый якорь для всего: и промпт задачи, и строгий verifier, и метрика прогресса являются функциями одного и того же мира W. Так исчезает типичная болезнь LLM-синтеза, когда задача, входные данные и чекер генерируются по отдельности и описывают разные проблемы.

Генерация масштабируется без вызовов моделей: каждая среда воспроизводимо пересобирается из генератора, сида и уровня масштаба за медианные 30 секунд CPU. Кодинг-агенты помогают авторам писать сами генераторы, но в момент генерации, проверки и подсчёта наград языковая модель не участвует.

Tev-Gym: 1 170 сред и шесть раз длиннее

Итог конвейера, Tev-Gym: 1 170 проверенных сред в семи доменах, от разработки ПО и инженерии данных до квантовых вычислений, безопасности и форензики. Внутри трёх категорий среды распределены так: Coding & System 664, Math & Science 264, ML 242, с балансом 0,89 и 0,91 по нормализованной энтропии.

У типовой среды медианно шесть стадий workflow (от 3 до 12), восемь узлов прогресса, две инъекции дефектов и 12 входных файлов, которые агент видит: до 501 файла и 6,1 МБ в самых тяжёлых случаях, суммарно 23 формата данных. Промпт задачи, около 583 токенов.

Сложность измеряли всерьёз. Нетренированная Qwen3.8-27B полностью решает 3,2% сред при среднем балле 0,06, а 52% её попыток упираются в лимит контекста в 65 536 токенов до отправки ответа. У фиксированного оценщика, Gemini 3.6 Flash, pass@1 составляет 29% против 47-83% на коротких корпусах. На 26 из 92 сред подвыборки он не решает вообще ничего. Значительная часть Tev-Gym находится за пределами досягаемости текущего фронтира, и это осознанный выбор авторов.

Награда за прогресс вместо награды за финиш

Сердце метода в том, что латентный мир умеет оценивать не только финиш, но и середину. Каждая среда предоставляет контракт прогресса: набор проверяемых узлов с весами, где частичный балл считается прямо по текущему рабочему каталогу агента. Кредит привязан к предпосылкам: узел засчитывается не выше, чем самый слабый из его предшественников по графу, поэтому прогресс нельзя нарисовать, перепрыгнув этапы.

Потенциал Φ это взвешенная сумма таких баллов от 0 до 1. Три квалификационных гейта делают его пригодным для обучения. Он равен нулю на нетронутом дереве и строго единице, когда строгий verifier принимает работу: все 14 гейминг-проб дают ноль. Он монотонно растёт по мере продвижения и падает, если выполненная работа уничтожена. И он вычисляется кодом, изолированным от кода verifier и эталонных решателей, чтобы дефект одного оценщика не наследовался другим.

Дальше включается PPRS, reward shaping по потенциалу. Награда за шаг это прирост потенциала, а награда за попытку: единица за успех плюс λ·Φ на финальном состоянии, где λ = 0,25. В отличие от классического потенциального shaping, терминальный член не обнуляется: авторы сознательно меняют цель, чтобы попытка, которая продвинулась далеко, но не успела отправить результат, всё равно получила сигнал.

Эффект на GRPO виден сразу. В группе, где никто не финишировал, награды теперь равны λ·Φ финальных состояний, а они различаются, если попытки ушли на разную глубину. Преимущества перестают быть нулевыми, и группа начинает сортировать попытки по прогрессу. В статье приведена группа из восьми попыток обученной 27B-модели на складской среде: две отправили неполный результат, пять исчерпали контекст, одна собрала всё, но не отправила. При терминальной награде все восемь получили бы ноль, с потенциалом у группы появляется структура.

Результаты: 27B догоняет топовые API-модели

Основные цифры на ALE-CM, вычислительно-математическом срезе бенчмарка Agents' Last Exam. Tev-9B поднимает Pass@5 на 83% относительно Qwen3.5-9B, а Tev-27B улучшает результат Qwen3.8-27B на 65%, до 0,28, и на этой метрике сравнивается с GPT-6 Astra и Claude Opus 5. Доля полностью решённых задач у 27B вырастает на 33%, средний балл с 0,33 до 0,40.

Обобщение на более длинные задачи оказалось переносимым. На подмножествах Terminal-Bench 3.0 и 4.0 модель не обучали, но Tev-27B поднимает Pass@1 с 0,09 до 0,14 на TB 3.0 (+56%) и с 0,04 до 0,10 на TB 4.0 (в 2,5 раза), обходя сильнейшую открытую модель GLM 5.2. До фронтира при этом далеко: Claude Opus 5 держит 0,53 и 0,52 на тех же наборах. На средних по длине задачах TB 2.1 у 9B прирост Pass@1 на 28%, а 27B выходит на 0,794, уровень Claude Opus 4.8.

Рецепт переносится и на большую базу: та же схема на GLM-5.3-Flash даёт Tev-320B с ростом Pass@1 с 0,20 до 0,27 на TB 3.0 и с 0,29 до 0,37 на TB 4.0, включая скачок в security-категории с 0,22 до 0,45. Любопытная деталь: улучшения концентрируются в Pass@1, а Pass@5 почти не растёт. Обучение не открывает моделям новые задачи, а заставляет надёжнее решать те, до которых они и так дотягиваются.

Качественный пример из статьи хорошо показывает, что это значит на практике. В задаче на поиск корневой причины падения k8s-кластера платежей Tev-27B получил от грейдера 0,97 против 0,75 у GPT-6 Astra и 0,70 у базовой 27B-модели. Разница в том, что Tev связал причину с измерением: время прогрева кэша 6,67 секунды против initialDelaySeconds: 5, и на этом основании счёл откат безопасным, тогда как базовая модель назвала только симптомы и откат запретила.

Абляции: что именно работает

Авторы разложили метод на части в 9B-конфигурации. Если разрешить модели писать verifier только из видимой части, без доступа к латентному миру, 88% групп отбраковываются во время обучения, а итоговый балл падает: 0,24 против 0,29 у полного метода, причём базовой модели такая схема не помогает вообще. Замена всего конвейера на классический self-instruct (промпт раньше входов, verifier и решения) даёт 0,23.

По награде картина такая: PPRS даёт 0,29 S@1 при 9,0 GPU-часах на шаг обучения, терминальная награда только 0,25 при 16,7 GPU-часах, то есть плотный сигнал одновременно дешевле и точнее. Прямая аддитивная награда без распространения кредита (γ = 0) ведёт к тому, что больше попыток исчерпывают контекст, а траектории удлиняются. На 27B разрыв становится драматичным: со sparse-наградой обучение не может завершить ни одного шага оптимизатора, одни нулевые группы.

Утечку данных проверили отдельно: ни одна среда Tev-Gym не делит 13-граммы или 8-граммы с задачами ALE-CM, TB 3.0, TB 4.0 и TB 2.1, а медианная Jaccard-близость промптов 0,13-0,22 ниже, чем между задачами внутри самих бенчмарков.

Ограничения и что дальше

Честный раздел в статье тоже есть. Пока речь только о синтетических терминальных средах, а чтобы покрыть новые рабочие процессы, авторам приходится писать и валидировать новые компоненты сред. Разрыв с лидирующими фронтир-агентами на самых сложных бенчмарках остаётся, и для его сокращения нужны более сильные открытые базовые модели. Аппаратно рецепт не из дешёвых: 27B обучали четыре дня на 4 узлах B200 или 8 узлах A100, с группой из 24 попыток на задачу и восемью задачами на шаг, до 64 вызовов инструментов за попытку в контейнере с одним bash.

Но направление понятно: если генераторы сред продолжат масштабироваться без вызовов моделей, а рецепт награды работает даже на 320B, у открытых агентов появляется путь к задачам, которые сегодня по силам только проприетарному фронтиру.

Часто задаваемые вопросы

Что такое long-horizon агенты простыми словами?

Это ИИ-агенты, которые автономно работают над одной задачей часами и днями: переносят данные, чинят инфраструктуру, ведут исследования. От обычных агентов их отличает длина цепочки шагов и цена ошибки на каждом этапе. В Tev-Gym медианная задача занимает у агента 12,4 минуты.

Почему обычная награда не работает на длинных задачах?

Потому что она приходит только в конце. Если все попытки провалились, группа из GRPO получает нулевые преимущества и не даёт градиента: при вероятности успеха 5% и группе из 8 попыток впустую пропадают 66% групп. Плотная награда за прогресс решает эту проблему.

Можно ли воспроизвести Tev-Gym?

Да. Каждая среда это детерминированная функция от генератора, сида и уровня масштаба: пересборка не требует вызовов моделей и занимает в медиане 30 секунд CPU. Все базовые модели, включая Qwen3.5-9B и GLM-5.3-Flash, открыты, а гиперпараметры и протокол оценки опубликованы в приложении к статье.

Итог

Tev показывает, что бутылочное горлышко long-horizon агентов лежит не в моделях, а в данных и наградах. Латентный мир даёт задачам эталон, который некуда дрейфовать, а потенциал прогресса превращает медленное продвижение в сигнал, который GRPO умеет использовать. Результат: 27B-модель на части задач уровня Agents' Last Exam идёт вровень с GPT-6 Astra и Claude Opus 5, а 320B-версия становится сильнейшей открытой моделью на подмножествах Terminal-Bench.

Если интересно, как похожие рецепты меняют экономику агентного обучения, почитайте наш разбор LoopWAM: там та же идея превращения собственного опыта агента в обучающий сигнал, только для роботов.