Двадцать суставов, пять пальцев, почти килограмм веса в руке оператора. Именно так выглядит сбор обучающих данных для ловких роботизированных кистей в работе DexPort от Amazon FAR и Stanford. Устройство не требует ни робота, ни экзоскелета, ни лаборатории: человек берёт руку в буквальном смысле слова и идёт снимать демонстрации туда, где задача реально происходит.

Команда собрала 2 500 демонстраций, включая 1 000 в обычной квартире и офисах, и обучила на них visuomotor-политики. Ключевой результат выглядит почти несправедливо простым: если записывать команды, которые оператор отправляет в руку, вместо измеренных состояний суставов, средний успех на трёх задачах с метрикой успеха поднимается с 11% до 64%. В сценах с посторонними предметами ко-обучение на «уличных» данных доводит показатель до 87%.

Что такое DexPort

DexPort это портативный интерфейс сбора демонстраций для многопалых роботизированных кистей. Он использует ту же самую руку, что потом стоит на роботе, записывает commanded joint targets и измеренные состояния, а управляется не по суставам, а небольшим набором параметризованных навыков. Результат: демонстрации пригодны для обучения без ретаргетинга. Статья выложена на arXiv 23 октября 2026 года (2610.32969, cs.RO), авторы из Amazon FAR, Stanford и UC San Diego, лицензия CC BY 4.0.

Название отсылает к UMI, Universal Manipulation Interface, который проделал тот же трюк для обычных двухпалых захватов. Перенести идею на многопалую руку оказалось нетривиально, и именно этому посвящена основная часть работы.

Почему телеоперация не масштабируется

Телеоперация даёт исполнимые действия робота, но требует полной сборки: рука, манипулятор, система трекинга, оператор в отдалении. Для кисти с двадцатью степенями свободы добавляется вторая проблема, когнитивная. Человек должен одновременно координировать палец за пальцем, держать в голове ориентацию объекта и не терять контакт. На сложных задачах это превращается в отдельный навык, которым владеют единицы.

Демонстрации человеческой руки собирать проще, но их нужно оценивать, ретаргетировать на робота и всё равно не получить исполнимых команд. Видео с человеком не знает, какие именно targets отправлялись бы в моторы, а на контакте эта разница критична.

Экзоскелеты вроде DexUMI, DEXOP и DexEXO пытаются усидеть на двух стульях сразу. Они фиксируют конфигурацию кисти человека и переносят её на робота, но записывают геометрию механизма, а не команды развёрнутой руки. RealDexUMI сохраняет команды, однако показывает подход на кисти с шестью активными степенями свободы. Для двадцати суставов вопрос «как не сделать интерфейс громоздким» остаётся открытым.

Авторы формулируют три требования к портативному интерфейсу и проверяют по ним конкурентов. Первое: та же самая рука, что при деплое (Same Emb.), чтобы движения не пересчитывались. Второе: запись именно команд (Action Data), а не действий, выведенных из будущих состояний. Третье: достаточное число управляемых степеней свободы, иначе проще взять обычный гриппер.

В таблице сравнения DexPort единственный, кто закрывает все три пункта сразу при 20 степенях свободы и весе 955 граммов. UMI управляет одним суставом, DexViTac шестью, DEXOP и DexUMI упираются в 12/9/7 и 12/6, RealDexUMI держится на шести. У DEX-Mouse и Exo-ViHa есть запись команд, но первый слишком тяжёлый, а второй не использует руку робота.

Железо: рука, камера и рукоятка

Конструкция состоит из переносимого модуля и рукоятки, собранной вокруг контроллера Meta Quest 2. В модуль входят пятипалая рука Wuji на 20 степеней свободы и широкоугольная фишай-камера с объективом 200 градусов, соединённые жёстким фланцем, напечатанным на 3D-принтере. При сборе модуль крепится к рукоятке, при деплое тот же физический модуль встаёт на запястье робота. Это сохраняет и геометрию кисти, и внешнюю калибровку камеры относительно руки, поэтому цели суставов переносятся без ретаргетинга.

Рукоятка это не аксессуар, а результат отдельной итерации. В первой версии контроллер стоял позади руки, из-за чего хват оператора оказывался далеко от центра масс и создавал длинное плечо. Во второй контроллер перенесли наверх, ближе к центру масс, добавили ремень через тыл ладони. Полная сборка весит 0,955 кг, из них 0,220 кг приходится на всё, кроме самой руки. Большой и указательный пальцы остаются свободными для кнопок и джойстика.

Запись идёт на 30 Гц единым циклом: камера, рука и контроллер читаются в фоновых потоках. Контроллер даёт 6-DoF траекторию запястья, камера даёт вид на взаимодействие с объектом, контроллер руки пишет 20 целей и 20 измеренных состояний. Жёсткие связи держат трансформации контроллер-рука и камера-рука постоянными, поэтому и движение, и картинка живут в одной системе координат.

Навыки вместо суставов

Главный дизайнерский ход работы: оператор не командует суставы. Он выбирает навык и модулирует его параметр. Power grasp закрывает четыре пальца без большого одной осью джойстика, причём команда сохраняется после отпускания, и не нужно постоянно держать курок. Pinch grasp закрывает только указательный палец против независимо позиционированного большого. Two-finger grasp двигает указательный и средний вместе, оставляя остальным их цели, что нужно для захвата и подтягивания. Две оси джойстика управляют сгибанием и приведением большого пальца.

Четвёртый навык обучен, а не запрограммирован. Для вращения инструмента в руке нужен finger gaiting, то есть повторяющийся перехват пальцами, и вручную это почти не выполнимо без тактильной обратной связи. Политику обучили в симуляции через PPO в Isaac Lab: 4096 параллельных сред, 1,18×10⁸ шагов, 12 активированных суставов (безымянный и мизинец зафиксированы), дельта-действия по 0,04 рад за шаг, наблюдение из 147 чисел с историей в три шага и привилегированный критик на 127 чисел, который видит угол поворота рукоятки. Актор это трёхслойный MLP, работает на 20 Гц по энкодерам руки, пока оператор управляет запястьем.

Ключевое ограничение роли навыков: они помогают только человеку за пультом. Политика не получает ни идентификатор навыка, ни его параметр, ни метку фазы задачи. Она предсказывает сырые 20-мерные цели суставов напрямую. Навыки задают то, как собирают данные, но не то, что выучивает модель.

То самое изменение на одну строку

State-as-action baseline в статье отличается ровно одним: в качестве метки действия берутся измеренные состояния суставов вместо отправленных команд. Всё остальное совпадает, включая архитектуру, аугментации и число эпох. Разница проявляется там, где есть контакт.

Когда палец упирается в объект, команда и измеренное положение расходятся: мотор давит, а сустав не двигается. Политика, обученная на состояниях, учится воспроизводить положение, но не усилие. На практике это выглядит как слабый захват. В задаче с посылкой и сканером baseline не может удержать пакет, поэтому скан не происходит ни разу: первый объект захвачен в 80% эпизодов, оба удержаны в 13%, полный успех нулевой. В задаче с ящиком бельё падает в момент открывания.

С отвёрткой ещё интереснее. Baseline держит инструмент в два раза дольше, 31,7 секунды против 15,6, но вращает втрое медленнее. Формально «держит», фактически не работает. Именно этот пример лучше всего объясняет, почему запись команд важнее красивой траектории.

Побочный вывод касается экзоскелетов. Если интерфейс записывает только конфигурацию механизма, он теряет ровно тот сигнал, который отличает рабочую политику от беспомощной. Это не мелкая деталь реализации, а ограничение класса устройств.

Четыре задачи и 1 605 демонстраций

В лаборатории собрали 1 605 демонстраций: 700 на перенос овощей (нужно выбрать между pinch и power без явных меток), 200 на отвёртку, 380 на укладку в ящик с удержанием объекта в той же руке, 325 на двуручное сканирование, где одна рука подаёт товар, а вторая подводит сканер. Плюс 1 000 демонстраций переноса овощей в квартире и офисах, без манипулятора и внешнего трекинга.

Деплой идёт на Tianji Marvin, двуруком роботе с двумя 7-DoF манипуляторами. Модули рука-камера просто встают на его запястья. Приятная деталь про модульность: на переносе и отвёртке стояла рука Wuji 1, на ящике и сканировании Wuji 2.

Политика это diffusion policy с U-Net денойзером и дообученным визуальным энкодером DINOv2. Наблюдение состоит из двух последних шагов: картинка 224×224, позиция энд-эффеткора относительно старта чанка и 20-мерное состояние руки. Действие 29-мерное: 9 чисел на запястье (3 трансляции и 6D-вращение) и 20 на кисть. Предсказывается чанк из 16 шагов, обучение на 50 шагах DDIM, сэмплирование на 10. На деплое инференс асинхронный, работает на 30 Гц, из каждого чанка берутся первые 8 шагов, а команды, чьё время уже прошло, отбрасываются.

Отдельная инженерная мелочь, которая на самом деле не мелочь: калибровка крепления. Действия собираются в системе координат контроллера Quest, а на роботе нужны в системе фланца. Матрицу перехода оценивают, прикрутив модуль к фланцу и прогнав руку примерно по 30 позам с наклоном оси не меньше 30 градусов и паузой 1,5 секунды, после чего решают задачу наименьших квадратов с инициализацией из closed-form hand-eye. Цели суставов при этом не конвертируются вообще.

Что дают данные из «дикой» среды

Вторая линия эксперимента отвечает на вопрос, помогает ли портативность. Собирать 1 000 демонстраций в квартире и офисах имеет смысл только если политика от этого становится устойчивее. Оказалось, становится, и эффект большой: при 700 лабораторных демонстрациях полный успех в сценах с отвлекающими предметами растёт с 40% до 87%, на незнакомых объектах с 20% до 73%, на знакомых с 47% до 73%.

Есть и содержательная оговорка, которая делает результат честнее. При 500 лабораторных демонстрациях «уличные» данные не улучшают работу с незнакомыми объектами. Причина в том, что наборы используют одни и те же предметы: улица добавляет разнообразие сцен, фона и света, но не геометрии объектов. Чтобы перенести устойчивость на новую геометрию, нужен достаточно большой лабораторный набор. Это редкий случай, когда авторы прямо показывают границу применимости своего же метода.

Ещё одна деталь про данные: в кадр иногда попадает оператор, и постобработки нет. Для обучения это скорее шум, чем проблема, но честно зафиксировано.

Скорость сбора

За 30 минут непрерывной работы на одной руке DexPort даёт 122 траектории. Glove-телеоперация даёт 86, skill-телеоперация 68, человеческая рука без робота 275. То есть выигрыш против телеоперации 1,4 и 1,8 раза, а до голой человеческой руки остаётся 2,3 раза.

Человеческая рука при этом не конкурент, а верхняя граница скорости: она не даёт ни геометрии развёрнутой кисти, ни исполнимых команд. А телеоперация проигрывает не в моторике, а в обратной связи. Оператор вне сцены, прямых визуальных и тактильных подсказок нет, поэтому подход к объекту и точный pinch по мелкой детали занимают куда больше времени.

Что тут важно за пределами робототехники

Робототехника упирается не в модели, а в данные. Текстовые корпуса можно скрейпить, видео смотреть миллионами часов, а демонстрации для манипуляции до сих пор собирают вручную и в лаборатории. Поэтому любая работа, которая превращает сбор данных в переносной процесс, сдвигает потолок для всей области.

DexPort предлагает три вещи одновременно: убрать робота из контура сбора, убрать ретаргетинг за счёт той же руки и сохранить команды, чтобы политика училась усилию, а не геометрии. Каждая из них по отдельности встречалась раньше. Работает связка.

Есть и более широкий сдвиг, который видно по всей линии UMI → RealDexUMI → DexPort: интерфейс сбора данных становится частью продукта, а не внутренней инфраструктурой лаборатории. Если такой пульт можно отдать оператору без степени по робототехнике, то данные начинают собирать там, где есть задачи, а не там, где стоит манипулятор.

Ограничения

Первое и главное: вес. 955 граммов в руке ограничивают длительность непрерывной работы и особенно движения с вращением. Авторы прямо говорят, что узкое место это сама рука, и ждут облегчения от будущего железа.

Второе: набор навыков покрывает не всё пространство ловких поведений. Power, pinch, two-finger и вращение закрывают четыре задачи статьи, но не претендуют на универсальность. Направление развития очевидное: добавлять навыки, обученные в симуляции, включая другие виды in-hand манипуляции и выученные захваты.

Третье, неявное: 20 степеней свободы требуют, чтобы у оператора было чем управлять. В статье операторы экспертного уровня для каждого стиля сбора, и это влияет на сравнение скорости. Насколько быстро научится новичок, работа не отвечает.

FAQ

Чем DexPort отличается от UMI? UMI это портативный захват с одной управляемой степенью свободы, DexPort это кисть на 20 степеней. UMI доказывает, что портативный сбор работает для точных и длинных задач, DexPort добавляет многопалую ловкость и запись команд суставов.

Почему нельзя просто записать видео человеческой руки? Видео не содержит исполнимых команд робота. Движение человека нужно оценивать и ретаргетировать, а на контакте разница между командой и положением решает, удержится объект или нет. В эксперименте эта разница дала разрыв с 11% до 64%.

Насколько это применимо вне лаборатории? Достаточно, чтобы собрать 1 000 демонстраций в квартире и офисах без манипулятора и внешнего трекинга. При этом для незнакомых объектов нужен большой лабораторный набор, иначе «уличные» данные не переносят устойчивость на новую геометрию.

Итог

DexPort показывает, что для ловких рук проблема не в отсутствии моделей, а в отсутствии данных, и что данные можно собирать вне лаборатории, если использовать ту же руку, что стоит на роботе, и записывать то, что реально отправляется в моторы. 122 траектории за полчаса, 2 500 демонстраций, рост успеха с 11% до 64% и с 40% до 87% в сложных сценах.

Если вы работаете с манипуляцией и имитационным обучением, стоит проверить один вопрос в своём пайплайне: что именно лежит в метке действия, команда или измеренное состояние. Судя по этим цифрам, ответ на него стоит больше, чем ещё один месяц тюнинга архитектуры.