Робот-манипулятор приезжает к вам домой, и вы просите его принести бутылку с таблетками с полки и банку супа со столика. Именно такую сцену описывают авторы свежей работы Splat2Act на arXiv (2610.13945). Универсальная политика π0.5, обученная на разнородных данных из множества сред, в этих сценах показала ровно 0% успешных попыток. Не 30% и не 5%, а ноль.

Разрыв между лабораторией и реальной квартирой известен давно. Стандартный способ его закрыть: телеоперация. Человек водит робота руками, собирает демонстрации и повторяет всё это для каждой новой полки, каждого предмета и каждой квартиры. Splat2Act предлагает другой путь. Полчаса сканирования помещения телефоном, фотографии ваших вещей, и дальше всё делает автоматика: строит цифрового двойника, генерирует десятки тысяч демонстраций в симуляции и дообучает политику под конкретную сцену. Телеоперация не нужна вообще.

Что такое Splat2Act

Splat2Act это автоматизированный пайплайн real-to-sim-to-real для персонализации vision-language-action (VLA) политик. Он превращает скан сцены и фотографии объектов в набор выполнимых задач, генерирует для них демонстрации без участия человека и дообучает на них робота-манипулятора. Единственный вклад человека: 20-30 минут скана помещения и по одной фотографии на каждый предмет.

Почему универсальный робот проваливается дома

Провал π0.5 объясняется просто: модель не видела ни конкретную планировку, ни робота Stretch 3, ни ваши полки с вашими предметами. Чтобы закрыть разрыв, обычно собирают демонстрации прямо в целевой среде, а это дорого. Авторы приводят сравнение: те же полчаса телеоперации дают данные для одной полки и одного набора предметов, и это ещё без учёта настройки робота и обучения оператора. Полчаса скана покрывают всю сцену сразу, и результат переиспользуется для сотен задач внутри неё.

Как скан телефона превращается в симулятор

Всё начинается с RGB-D видео, снятого на iPhone. Polycam превращает запись в представление 3D Gaussian Splatting (3DGS), а DN-Splatter добавляет регуляризацию по глубине и нормалям, чтобы большие сцены сохраняли геометрическую согласованность. Затем SuGaR извлекает из гауссов поверхностный меш. Получается гибрид: гауссова сцена рисует фотореалистичные кадры для политики, а меш отвечает за коллизии, навигацию и анализ поверхностей.

Дальше детектор ищет рецептакли, то есть места, куда можно поставить предмет: столы, полки, тумбы. Он оценивает плоскость пола, отбирает обращённые вверх участки меша по высоте и площади и кластеризует их через HDBSCAN по 3D-позициям и нормалям. Для каждой поверхности сэмплируются точки размещения, а навмеш из Habitat отсекает недостижимые: точка остаётся рабочей, если минимум 6 образцов попадают в радиус досягаемости робота 0,70 метра.

Предметы приходят из двух источников. Для широкой адаптации отбираются 556 ассетов Objaverse, совместимых с рабочим пространством и гриппером робота. Для персонализации SAM3D строит 3D-модель по одной фотографии реального объекта, после чего меш масштабируется до заданных пользователем размеров.

Замыкает пайплайн привилегированный оракул. Он видит точные позы объектов, планирует захваты и выполняет успешные демонстрации в Isaac Sim: 64 параллельные среды, физика на 100 Гц, управление и запись камер на 20 Гц. На одном GPU A40 оракул производит в среднем 60 успешных демонстраций за час. Если попытка провалилась, состояние восстанавливается, и оракул пробует следующего кандидата на захват.

68 тысяч демонстраций из 101 сцены

Данные собирали на университетском кампусе: 101 реконструированная сцена с реальными лаунджами, кухнями и библиотеками. Суммарная навигационная площадь 11 909,78 м², медиана 104,87 м² и 7 поверхностей на сцену. После фильтрации осталось 852 рецептакля. Два широких прогона дали 68 021 успешную траекторию, это 273,46 часа записанного управления.

Потенциал оценивается отдельно. Среди 852 поверхностей и 556 совместимых ассетов набирается до 473 712 пар «предмет и поверхность», а с 24 конфигурациями на пару число задач доходит до 11,4 млн, что соответствует примерно 45 700 часам данных. Из-за ограничений по хранению кампанию проредили примерно в 100 раз, так что собранные 68 тысяч демонстраций это лишь часть возможного.

Качество генерации видно по таблице из статьи. Широкий прогон по Office: 79,18% успешных демонстраций из 40 478 попыток. Мультисценовый прогон: 65,32% из 55 067. Персональные прогоны заметно чище: 92,54% для Office и 84,67% для Conference.

Двухэтапное обучение политики

Дообучение идёт в два этапа. Stage 1 даёт широкую адаптацию на 1024 демонстрациях из Office (Office1k) или из всех 101 сцены (Multi1k). Stage 2 персонализирует результат под целевую сцену: 504 демонстрации для Office и 500 для Conference, причём каждая пара «предмет и поверхность» аугментируется 24 раза в Office и примерно 28 в Conference. Для сравнения авторы оставили и прямой вариант: дообучение базовой π0.5 сразу на персональных данных.

Технически это supervised fine-tuning с flow matching objective. Дообучаются языковой бэкбон PaliGemma и action expert, а SigLIP-энкодер изображений остаётся замороженным, чтобы политика не растеряла визуальный опыт базовой модели. Батч 64, одна эпоха, cosine schedule от 5e-5 к 5e-6. Число шагов различается: 39 489 и 45 705 на первом этапе, 15 963 и 17 390 на втором.

Результаты: персонализация должна совпадать со сценой

Главный вывод экспериментов: персонализация работает, но широкая адаптация должна идти на той же сцене. Лучшая политика, Stage 2 из Office1k, набирает 62,5% агрегированного успеха на Office, это на 17,5 процентных пункта больше, чем при прямом дообучении от базовой π0.5 (45,0%). На Conference лучший результат у Stage 2 из Multi1k: 51,4%, плюс 8,6 пункта к прямому варианту.

Есть и асимметрия. Широкая адаптация на чужой сцене может навредить: Stage 2 из Office1k на Conference отстаёт от прямого дообучения на 5,7 пункта (37,1% против 42,9%). А персонализация не под ту сцену хуже полного отказа от персонализации: Office1k после первого этапа держит 40,0% на Office, но после персонализации на Conference падает до 15,0%. Совпадение сцены улучшает результат во всех шести кросс-сравнениях, разрыв достигает 14,3-47,5 пункта.

Отдельная история, дистракторы. В сложных конфигурациях рядом с целевым предметом лежат лишние, и политика должна взять именно названный. Лишние предметы стоят каждой политике от 10 до 26 пунктов успеха, но самый большой штраф у прямого дообучения от базы, а самый маленький после широкой адаптации. Значит, широкая адаптация помогает политике удерживать языковую инструкцию, когда вокруг лишние предметы. Лучший результат: 71,4% на простых задачах и 52,6% на сложных.

Масштаб данных тоже изучен. При 8 задачах на предмет успех держится в диапазоне от 21,9 до 43,8%, при 24 задачах вырастает до 75,0-87,5% даже когда число поверхностей растёт с одной до четырёх. Авторы заключают: примерно 24 аугментированные траектории на пару «предмет и поверхность» достаточно, чтобы удержать качество при расширении пространства персонализации. Эта абляция и задала глубину аугментации в Stage 2.

Симуляция против реальности

Проверка на реальном роботе, пожалуй, самый интересный кусок. Политики тестировали на Stretch 3: 12 задач с трёх поверхностей, три попытки на задачу, 36 реальных испытаний на политику. Stage 2 из Office1k показала 66,7% в симуляции и 63,9% на реальном роботе. Stage 2 из Multi1k: 50,0% в симуляции и 58,3% в реальности. Обе политики отклонились от симуляции не больше чем на 8 пунктов, а порядок между ними сохранился. Реконструированная сцена оказалась достаточно точной, чтобы результаты переносились в реальный мир.

Любопытная деталь из наблюдений: на реальном роботе рука выдвигается и ставит захват менее точно, чем в симуляции, зато реальный контакт прощает больше. Механическая податливость гриппера позволяет ему деформироваться при касании, а резиновые кончики пальцев дают больше трения, чем модель контакта в симуляторе. Неидеальный захват всё равно может закончиться успехом.

Где метод ломается

Обобщение за пределы сцены остаётся слабым местом. Политики, персонализированные на Office, тестировали в незнакомой лаборатории на чёрном и жёлтом столах. На чёрном столе, который ближе к офисным поверхностям по высоте и виду, успех составил 33,3% и 22,2% в зависимости от источника адаптации, на жёлтом с большим сдвигом 22,2% и 27,8%. Победитель меняется от стола к столу, устойчивого преимущества нет. Зато видна закономерность: политика из сценоспецифичной адаптации вне своей сцены хрупче, а вариант из Multi1k ведёт себя ровнее. Относительно 62,5% в родной сцене падение большое, и авторы подчёркивают: компетентность даёт именно персонализация под сцену, а не знакомство с предметами как таковое.

Почему это важно

За красивыми числами стоит смена подхода. Ранние real-to-sim пайплайны реконструировали отдельный рабочий стол и требовали ручных аннотаций. Splat2Act работает на масштабе здания: в сравнительной таблице статьи он единственный полностью автоматический после скана, с поиском поверхностей по всей сцене и больше сотней захваченных сцен. Даже близкие по духу системы вроде LEGS и VLK требуют заранее заданных объектов и целей, а здесь их находит геометрия.

Дальше начинается сюжет о домашних роботах. На π0.5 от Physical Intelligence строятся ставки всей отрасли: generalist-политика обещает робота, который работает в незнакомой квартире без переобучения. На практике обещание упирается в экономику данных, ведь каждая квартира уникальна, и демонстрации для неё кто-то должен собрать. Если полчаса скана и час работы GPU заменяют телеоперацию, персонализация из роскоши превращается в рядовую операцию. Авторы обещают открыть датасет из 101 сцены после публикации статьи, и это может ускорить всю область: не придётся заново сканировать сотни помещений. В планах также обучение с подкреплением для длинных сценариев вроде уборки или переноса вещей между комнатами.

Часто задаваемые вопросы

Что такое Splat2Act простыми словами?

Splat2Act это пайплайн, который превращает получасовой скан помещения с телефона в цифрового двойника, генерирует в симуляции десятки тысяч демонстраций захвата и дообучает робота-манипулятора под конкретную сцену. От человека нужны только скан и фотографии объектов, телеоперация не используется.

Почему нельзя просто дообучить робота на демонстрациях человека?

Телеоперация дорогая и плохо масштабируется: полчаса работы оператора дают данные для одной полки и одного набора предметов, и затраты повторяются для каждой новой квартиры, поверхности и вещи. Полчаса скана покрывают всю сцену и переиспользуются для сотен задач, а демонстрации генерирует симуляция.

Значит ли это, что робот готов к любому дому?

Нет. Персонализация привязана к сцене: политика, настроенная под неправильную сцену, работает хуже, чем вообще без персонализации (15,0% против 40,0% в эксперименте). В незнакомой обстановке успех падает до 22,2-33,3%, и каждому новому дому нужен собственный скан и своё дообучение.

Итог

Splat2Act показывает, что главный дефицит домашней робототехники решается дешевле, чем казалось. Не нужны ни операторы с джойстиками, ни демонстрации в каждой квартире: получаса скана хватает, чтобы построить цифрового двойника и довести робота до 63,9% успеха на реальных задачах. Границы у метода есть, персонализация работает в пределах сцены и проседает в незнакомой обстановке, но направление понятное: уникальность каждого дома перестаёт быть барьером, когда сцена превращается в данные.

А теперь вопрос к вам. Если завтра к вам приедет такой робот, что вы попросите его принести первым? Возможно, честный ответ начнётся с получасовой прогулки по квартире с телефоном в руке.