Робот приносит вашу кружку из кухни, ставит её на стол и отчитывается: задача выполнена. Формально всё верно. Но он схватил её за бок, который только что был в микроволновке, и поставил ручкой внутрь, хотя вы всегда берёте кружку за ручку. Задача сделана, а привычки человека проигнорированы.

Этот разрыв теперь можно измерить. Бенчмарк LIBERO-PeRM, опубликованный на arXiv (2610.22372), разделяет две вещи, которые раньше сливались в одну оценку: выполнение задачи и следование предпочтениям пользователя. Результаты у современных моделей неутешительные: они отлично делают первое и почти не умеют второе.

Что такое LIBERO-PeRM

LIBERO-PeRM это бенчмарк для персонализированной роботизированной манипуляции, построенный поверх LIBERO, популярной среды для обучения манипуляции. Предпочтения в нём становятся отдельным измерением наравне с задачами и раскладками сцены, поэтому оба навыка измеряются раздельно и не маскируют друг друга.

Авторы определяют персонализацию просто: робот должен выполнять задачу способом, который соответствует привычкам, ограничениям и вкусам конкретного человека. Предпочтение при этом не заменяет цель, а ограничивает путь к ней.

Задача та же, способ другой

Ключевая идея бенчмарка в том, что предпочтение это переменная, независимая от цели задачи. «Поставь кружку на стол» остаётся целью, а «ручкой наружу» или «не ставь у края» меняют только то, как эта цель достигается. Такая формулировка отделяет персонализацию от обычного перефразирования задачи.

Предпочтения в LIBERO-PeRM делятся на три типа. Движенческие задают свойства траектории: ускориться, замедлиться, держаться подальше от плиты или двигаться по прямой. Навыковые меняют способ исполнения: взять за ручку, толкать вместо перестановки, бросить вместо того, чтобы аккуратно положить. Профильные опираются на контекст пользователя и подсказывают, какой объект или ящик выбрать: «предпочитаю зелёные предметы», «для еды верхний ящик, для напитков средний».

Всего в бенчмарке 37 единичных предпочтений (8 движенческих, 14 навыковых и 15 профильных) и 18 парных комбинаций. Промпт для политики собирается из двух частей: инструкция задачи плюс инструкция предпочтения.

Формулировка сознательно ограничена. Бенчмарк не моделирует неявные предпочтения из истории взаимодействия, невербальные сигналы вроде жестов и открытые пожелания без автоматической метрики. Всё, что попало в набор, можно выразить словами, проверить программно и перенести на другие задачи.

Zero-shot: 97,6% успеха при 24,38% следования

Эксперименты начинаются с вопроса, который волнует любого, кто ставит робота домой: умеют ли готовые политики следовать предпочтениям без специального обучения? Проверили шесть моделей: OpenVLA-OFT, π0-fast, π0.5, GR00T-N1.6, SmolVLA и UniVLA.

Результат однозначный. Минимальные правки раскладки, которые пайплайн вносит в сцены LIBERO, не ломают обычные задачи: π0.5 сохраняет 97,6% успеха без предпочтений. Но стоит добавить предпочтение, и картина рассыпается. Та же π0.5 на движенческих предпочтениях показывает 97,50% успеха по задаче и лишь 24,38% следования предпочтению. На навыковых ещё контрастнее: 100% успеха и 25,00% следования.

То есть модель выполняет задачу и полностью игнорирует то, как её просили выполнить. Худший результат у OpenVLA-OFT: 4,53% следования при 91,2% успеха без предпочтений. SmolVLA с трудом удерживает 60% успеха и 2,03% следования.

Труднее всего даются профильные предпочтения, ведь они меняют сам выбор объекта. У всех шести моделей успех на них падает ниже 20%, а у SmolVLA и UniVLA до нуля. Даже лидер π0.5 снижается до 19,12%.

Дообучение делает предпочтения обучаемыми

Хорошая новость: предпочтения в принципе выучиваются. Авторы дообучают π0.5 через LoRA на данных бенчмарка, и все три категории поднимаются до сопоставимых значений: 84,96% успеха и 82,48% следования в среднем по всем предпочтениям (усреднение по 10 прогонам оценки). По категориям: движенческие 90,00% против 85,37%, навыковые 78,86% против 76,67%, профильные 86,67% против 85,22%.

Схема эксперимента аккуратная: все варианты стартуют с одного чекпоинта π0.5, а метрики усреднены по 10 прогонам оценки с фиксированными весами. Разбросы в таблицах отражают случайность оценки, а не разные тренировочные запуски.

Интереснее сравнение стратегий обучения. Sequential LoRA сначала дообучается на обычных данных LIBERO, затем на SinglePref, и это ломает модель: успех без предпочтений падает до 52,33%. Mixed LoRA, обученный на смеси обоих датасетов, сохраняет 91,00% и доходит до 84,55% успеха на предпочтениях.

Разница видна и на понимании контекста. В наборе ComprePref, где предпочтение нужно вывести из формулировки, смешанное обучение даёт 72,83% успеха и 70,07% следования против 44,00% и 42,64% у обучения только на предпочтениях.

Но и у смешанного обучения есть цена: движенческие предпочтения проседают с 90,00% до 66,88% успеха. Авторы честно оговариваются, что результат не делает смешанное обучение универсально лучшим. Это компромисс, зависящий от категории предпочтений.

Как устроен пайплайн данных

Бенчмарк построен на процедурном пайплайне из трёх стадий. Сначала VLM минимально правит раскладку сцены: добавляет красный объект, если пользователь предпочитает красное, или выбирает плиту как зону, которую надо обходить. Затем модель планирования собирает план подзадач отдельно для версии с предпочтением и без него, а библиотека эвристических навыков разворачивает план в траектории. Для каждого навыка собран один человеческий пример, ключевые точки которого размножаются планировщиком OMPL со случайными начальными состояниями. По данным авторов, больше 72% навыков не требуют ручной подстройки.

Третья стадия создаёт метрики следования. Для движенческих предпочтений они считаются прямо по траектории, для навыковых добавляются проверки кадров через VLM, для профильных отслеживается план подзадач. Каждый эпизод получает дискретную оценку из четырёх уровней: 0, 1/4, 3/4 или 1. Важная деталь: метрика следования учитывает предпочтение только в тех эпизодах, где задача завершилась успешно.

Человеческая валидация проходила с участием 15 человек. Они оценили правдоподобие предпочтений и человечность демонстраций: средние оценки 9,11 из 10 за демонстрации и 8,35 за правдоподобие предпочтений. Расхождение между первым ревьюером и перекрёстной проверкой составило 11,8%.

Итог по данным: 312 задач, в среднем больше 100 траекторий на задачу и 40,8 тысячи эпизодов суммарно. Авторы подчёркивают, что приоритет в релизе отдан контролируемому качеству, а не рекордному числу траекторий: пайплайн расширяется новыми начальными состояниями и миссиями.

Пять наборов задач

SinglePref (100 задач) учит одиночным предпочтениям, PrefScale (100) проверяет масштабирование по данным, задачам и раскладкам, PrefConflict (48) сталкивает предпочтения друг с другом и с целью задачи, PrefCompose (64) учит композиции двух предпочтений, а ComprePref переписывает промпты так, что предпочтение надо вывести из контекста.

Про ComprePref интересно: «ускорься» превращается в «гости будут пользоваться этим сразу», а «возьми за ручку» в «кружка только что из микроволновки, корпус слишком горячий». Политика должна понять, что от неё хотят, не получая предпочтение отдельным полем.

Что пока не получается

Даже после дообучения остаются три вещи, которые роботам не даются. Первая: композиция. Если политика выучила предпочтения A и B по отдельности, собрать из них A+B она может лишь частично: 25,0% успеха и следования на усложнённой оценке против 58,3% на знакомых условиях.

Вторая: декомпозиция. Попросите модель вывести B из комбинации A+B и знания A, и успех задачи удержится на 37,5%, а следование упадёт до 0,0%. Успешно выполнить задачу и выполнить её с нужным предпочтением это разные навыки.

Третья: конфликты. Когда два предпочтения противоречат друг другу, успех и следование падают до 66,00% и 47,75%, и ни одно из предпочтений не доминирует: показатель доминирования всего 11,25%. Когда предпочтение противоречит цели задачи, робот чаще проваливает всё: 33,3% случаев следуют задаче, 29,2% следуют предпочтению, а 37,5% не доводят до конца ни то, ни другое.

Конвенция оценки при конфликтах устроена так: в столкновении задачи и предпочтения приоритет отдаётся задаче, а в столкновении двух предпочтений засчитывается лучшее из двух. Авторы оговариваются: эти правила проверяют исполнение при противоречивых инструкциях, но не то, умеет ли политика обнаруживать конфликт или спрашивать пользователя.

Отдельно про обобщение. На новых раскладках и новых задачах показатели резко падают: та же модель в тех же задачах, но на незнакомой раскладке показывает 37,49% успеха и 28,36% следования. А по данным масштабирования выяснилась неочевидная вещь: разнообразие раскладок учит предпочтениям лучше, чем простое увеличение числа демонстраций. Добавление данных без предпочтений тоже помогает, отделяя предпочтения от подсказок конкретной сцены.

Почему это важно

Персонализация это следующий барьер после собственно умения выполнять задачи. Универсальные манипуляторы уже уверенно берут предметы и открывают ящики, но дом не лаборатория: у каждого свои привычки, порядок на полках и представления о том, как правильно. Здесь «правильно» значит «как принято у конкретного человека».

Вопрос не абстрактный. Человекообразные роботы дешевеют и постепенно заходят в дома, а значит, требование «делай как у меня» станет таким же обязательным, как и само умение выполнять задачи.

До этой работы сравнивать методы персонализации было почти невозможно. Одни работы определяли её через неявное выравнивание предпочтений, другие через стиль под пользователя, третьи через пары объект и место; оценки тоже различались, от пользовательских исследований до скоринговых функций. LIBERO-PeRM даёт общий протокол: открытые данные, автоматические метрики и код на libero-perm.github.io.

Метрика успеха задачи больше не единственный критерий. Появление пары SR и SA (success rate и satisfaction) задаёт планку, по которой домашних роботов будут оценивать дальше: мало поднять предмет, важно поднять его так, как просил хозяин.

Часто задаваемые вопросы

Что такое LIBERO-PeRM?

LIBERO-PeRM это бенчмарк из 312 задач для персонализированной роботизированной манипуляции, построенный на базе LIBERO. Он разделяет оценку на два показателя, успех задачи и следование предпочтению, и охватывает пять наборов задач: одиночные предпочтения, масштабирование, конфликты, композицию и вывод предпочтений из контекста.

Почему современные роботы игнорируют предпочтения?

Их учили выполнять задачи, а не подстраиваться под человека. В zero-shot режиме политики показывают высокий успех и почти нулевое следование: предпочтение для них просто дополнительный текст в промпте, который не меняет поведение. Следование предпочтениям оказывается отдельным навыком, и тренировать его нужно целенаправленно.

Дообучение решает проблему?

Частично. LoRA-дообучение поднимает следование предпочтениям до 82,48% на знакомых задачах, но композиция, декомпозиция и конфликты остаются слабыми, а на незнакомых раскладках показатели падают до 28,36%. Выбор стратегии тоже компромисс: смешанное обучение сохраняет обычные задачи, но ослабляет движенческие предпочтения.

Итог

LIBERO-PeRM делает видимой слепую зону робототехники: модели умеют выполнять задачи и не умеют выполнять их по-вашему. Разрыв между 97,6% успеха и 24,38% следования говорит сам за себя, а то, что дообучение поднимает следование выше 80%, показывает: проблема решаемая, но требует отдельной работы.

Код, датасеты и демонстрации открыты на libero-perm.github.io, так что проверить свой пайплайн может любая команда. А о том, как робота учат порядкам конкретной квартиры через получасовой скан комнаты, мы разбирали в посте про Splat2Act.