Миллион параллельных сред звучит как рецепт успеха: больше опыта, быстрее обучение. В свежем эксперименте этот рецепт дал 6% успеха на сборке гайки с болтом. Не потому, что мало симуляции, а потому, что робота заставляли практиковать не то: заметная доля сред стартовала из состояний, которые политика давно освоила или пока не могла решить. Замена одного компонента, сэмплера задач, подняла результат на той же симуляции до 70%.

Препринт «A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control» (arXiv:2610.12465, 8 октября 2026 года) от команды из Вашингтонского университета разбирает эту проблему и предлагает метод Success Guided Sampling (SGS). Обучение с подкреплением (reinforcement learning, RL) для роботов здесь превращается из инженерного ремесла в управление расписанием практики: что робот тренирует сегодня, решает статистика его же успехов.

Почему масштаб RL не работает сам по себе

Симуляция с физикой давно стала рабочим инструментом робототехники: политика учится в миллионах параллельных копий среды, а потом переносится на реальное железо. Но за каждым успехом стоит ручная работа. Награды подбирают эксперты, учебные планы (curricula) проектируют под конкретную задачу, демонстрации собирают люди. Каждая новая задача начинается как отдельный проект со своим набором гиперпараметров.

Работа OmniReset показала, что часть этого можно убрать: разнообразные программно генерируемые стартовые состояния (resets) плюс массово-параллельная симуляция заменяют демонстрации и ручные награды. Но у этого рецепта нашлась дыра. Resets решают, откуда начинать, но не решают, сколько времени отдавать каждой конфигурации задачи. При равномерной выборке заметная доля сред тратится на состояния, которые политика уже прошла или пока не тянет. Чем больше параллельных сред, тем больше доля выброшенного опыта: масштаб растёт, а отдача нет.

Отсюда центральный тезис статьи: масштаб сам по себе не создаёт обучение. Создаёт его состав практики, и этим составом можно управлять.

Что такое SGS

Success Guided Sampling это адаптивный сэмплер конфигураций задач для крупномасштабного RL. Он оценивает текущий процент успеха каждой конфигурации и смещает тренировочное время к задачам умеренной сложности, на границу возможностей политики: не то, что уже получается легко, и не то, что пока не получается вообще.

Технически это выглядит так. До обучения из распределения задач выбирается фиксированный набор конфигураций: 32 768 для манипуляции и 104 000 для локомоции. Для каждой хранится история последних 100 исходов, по которой считается доля успеха p. Вес конфигурации задаётся ядром в форме бета-распределения: w = (p + ε)^(κt) (1 - p + ε)^(κ(1-t)), где t это целевой процент успеха, а κ управляет концентрацией выборки вокруг него. Следующая конфигурация вытягивается softmax-выборкой с температурой, а добавка ε гарантирует, что даже конфигурации с нулевым или стопроцентным успехом сохранят ненулевую вероятность: без этого оценки успеха устаревали бы.

Для локомоции авторы взяли целевой успех 0,66 и κ = 5, для манипуляции 0,5 и κ = 1. Никакой нейросети и отдельного критика: успех эпизода это дешёвый сигнал, который уже есть в любой RL-задаче.

Динамику видно на графике выборки. В начале обучения SGS размазывает внимание равномерно. В середине фокус смещается на прыжки между островами одинаковой высоты. Ближе к концу, когда ровные платформы освоены, сэмплер подсовывает политике самое трудное: вершину центральной колонны со значительным перепадом высоты.

Одна награда на все задачи

Второе решение статьи: отказаться от наград под каждую задачу. Все задачи локомоции используют одну общую награду, все задачи манипуляции другую. Каждая состоит из булева сигнала успеха в конце эпизода и небольших штрафов за нежелательные привычки: механическую работу, отклонение от позы, скорость суставов. В манипуляции успешный эпизод даёт +50, провальный отнимает 50, а регуляризаторы на порядки меньше.

Практический смысл в том, что инженеру больше не нужно писать свою награду под каждый тип рельефа или каждую деталь на стенде. Один домен, одна награда, а распределение сложности берёт на себя сэмплер.

Тренировка шла алгоритмом PPO на масштабе до примерно миллиона параллельных сред. На одну GPU помещается до 32 768 сред для локомоции и до 16 384 для сборки гайки с болтом, всё это на L40S и H200. Локомоция училась около 36 часов (5 000 итераций PPO), сборка гайки 128 часов (7 500 итераций).

Результаты: где масштаб начинает работать

Локомоция. Четвероногий робот Anymal-D и 13 типов рельефа: наклоны, ямы, лестницы, балансир, плавающие острова, соединённые узкими перемычками и прыжковыми блоками. В отличие от многих прежних работ, авторы обучили одну политику сразу для всех террейнов, без специалистов под каждый тип и последующей дистилляции. На миллионе параллельных сред SGS показал средний успех 73% против 54% у Prioritized Level Replay, популярного метода отбора задач.

Манипуляция. На стенде NIST Assembly Taskboard: вставка стержня 16 мм, прямоугольного штифта, зубчатого колеса, герметичного коннектора, разъём BNC и сборка гайки с болтом, где гайку M16 нужно накрутить примерно на 6,5 оборота. На простых задачах SGS идёт наравне с равномерной выборкой, на сложных отрывается кратно. Сборка гайки на миллионе сред: 70% против 6% у uniform sampling и 5% у PLR. Вставка стержня: на 32 тысячах сред SGS уже решает задачу, где оба бейзлайна сидят на нуле, а на 256 тысячах все методы сходятся около 98%.

Отдельно показана деградация конкурента. Sampling for Learnability на 4 тысячах сред проигрывает SGS со счётом 25,5% против 45,6%, а на 32 тысячах его финальный результат падает до 5,1% при собственном пике в 42,1%. У SGS успех растёт с масштабом монотонно, у остальных методов он либо топчется, либо обваливается.

Аблации: что действительно важно

Состав практики проверен аблациями. Уберите из буфера стартовых состояний resets «рядом с целью», и обучение разваливается полностью: успех падает до нуля. Без resets «устойчивого захвата» проседает reaching (63,8%), без «дотягивания» страдает near-goal (81,3%). Все три типа вместе дают 99,5%, 96,0% и 100% соответственно.

Гравитационный учебный план, который авторы добавляли по привычке, оказался ненужным: с ним 70,2%, без него 69,4%. Чувствительность к параметрам сэмплера низкая: результаты почти не меняются при широком диапазоне целевого успеха, концентрации, температуры и длины истории.

Перенос на реальное железо

Финальная часть работы это zero-shot перенос на реального робота UR5e. Учитель наблюдал облако точек, его дистиллировали в RGB-ученика через онлайн DAgger: камера сбоку плюс камера на запястье, кодировщики ResNet-18. Дистилляция заняла около двух дней на четырёх GPU L40S по 480 сред каждая. На железе, без единой калибровочной сессии: сборка гайки 37,5% (18 успехов из 48 попыток, 12,5% с первой попытки), вставка стержня 61% (30 из 49, 28,57% с первой попытки), зубчатое колесо 94% (47 из 50, 76% с первой попытки). Пропускная способность 0,23, 0,71 и 3,08 успеха в минуту. В симуляции учитель давал 90,04%, 95,70% и 96,09%, а ученик почти не потерял: 89,05%, 93,36% и 96,42%.

Наблюдения за поведением политик не менее интересны: робот перехватывает и пробует снова, переворачивает гайку, подталкивает колесо к валу. Это манипуляции без захвата, которым его отдельно не учили, они выросли из RL поверх разнообразных resets.

Две детали для практиков. Первая: трение губок захвата в симуляции авторы снизили с μ = 100 (как было у OmniReset) до μ = 2. При высоком трении обучение сходится на физически нереалистичных захватах, которые рассыпаются на железе, но при трении меньше 2 обучение вообще не стартовало, так что минимум пришлось искать перебором. Вторая: симметричные resets и симметричные критерии успеха сокращают разрыв между учителем и учеником, потому что не требуют от RGB-политики различать ориентации, которых камера не видит. На вставке штифта это подняло успех ученика с 55,45% до 98%.

Что это значит

Авторы честно очерчивают границы метода. SGS работает с дискретным набором конфигураций: 32 768 ячеек хватает для их задач, но непрерывные или намного большие пространства потребуют обучаемой или иерархической оценки. Сэмплер не строит распределение задач сам: за разнообразие resets по-прежнему отвечают методы вроде OmniReset, и открытым остаётся вопрос, какие конфигурации вообще доступны роботу. Наконец, разрыв между симуляцией и железом никуда не делся: на сложных задачах успех на реальном роботе в разы ниже симуляционного.

Главный вывод шире одной статьи. Спор о масштабе в робототехнике смещается с вопроса «сколько вычислений» на вопрос «что именно политика практикует». Демонстрации, ручные награды и учебные планы по таймлайну заменяются принципом «держи политику на границе умений». SGS, Prioritized Level Replay и Sampling for Learnability это три ответа на один вопрос, и эксперимент показывает, что ответы бывают принципиально разного качества: разница между 6% и 70% на одной и той же симуляции.

Блог уже разбирал соседние сюжеты: DenseReward про то, как плотные награды убирают потолок имитационного обучения, и LaST-HD про передачу навыков с человеческих рук. SGS добавляет к этой картине третью опору: не только награда и не только данные, но и расписание практики. Препринт доступен на arXiv.

Часто задаваемые вопросы

Нужны ли демонстрации для обучения с SGS?

Нет. Все политики в работе обучены с нуля, без единой демонстрации. Вместо них используются разнообразные программные resets и одна общая награда на домен, а сэмплер сам решает, какие конфигурации практиковать в каждый момент.

Почему uniform sampling теряет эффективность при масштабировании?

Равномерная выборка не различает конфигурации по сложности. С ростом числа сред всё большая их доля стартует из уже освоенных или ещё неподъёмных состояний, поэтому доля полезного сигнала в батче падает, а дополнительные среды почти не ускоряют обучение.

Можно ли применить SGS за пределами робототехники?

Архитектурно метод не привязан к роботам: это сэмплер для любого RL-пайплайна с дискретным набором конфигураций. Ограничение то же, что у авторов: для непрерывных пространств нужна обучаемая оценка вместо таблицы ячеек.

Итог

Масштаб без расписания практики работает вполсилы: миллион параллельных сред не создаёт обучение сам, если большая часть опыта уходит на задачи, которые политика уже решила или пока не может решить. SGS показывает, что дешёвая онлайн-оценка успеха плюс бета-распределение поверх неё превращают масштаб в реальную отдачу: 73% против 54% на локомоции, 70% против 6% на сборке гайки с болтом, zero-shot перенос на UR5e с 94% на зубчатом колесе. Для обучения с подкреплением это означает смену главного вопроса: следующий шаг не про размер симуляции, а про то, кто построит сэмплер, который сам придумывает новые конфигурации, а не выбирает из готового списка.

А как у вас с curricula и sampling в RL: до сих пор пишете учебные планы руками или уже доверяете это статистике успехов?