Проверить робота-манипулятора дорого: чтобы узнать, насколько хорошо политика собирает детали, её запускают в симуляторе или на железе, и на это уходят часы машинного времени. Группа исследователей предложила мерить успех заранее, вообще без запусков, и получила корреляцию r = +0.717 на двенадцати политиках. Метрика называется Sensorimotor Alignment, сокращённо S², и работает она на датасете траекторий, без единого шага градиента.

Что такое сенсомоторное выравнивание

Сенсомоторное выравнивание это степень, в которой сенсорные признаки модели, то есть эмбеддинги изображения и текстовой инструкции, согласованы с геометрией физического движения. Если два эпизода близки в пространстве признаков, они должны быть близки и в пространстве траекторий. Чем больше такого совпадения, тем выше S².

Идея выросла из Platonic Representation Hypothesis, гипотезы о том, что модели разных модальностей по мере роста сходятся к общей статистической картине мира. Изображения и текст уже проверяли между собой. Авторы расширили гипотезу на движение: если робот становится лучше, его зрительные представления должны подтягиваться к структуре моторных команд.

Это не философское упражнение. В статье есть конкретное предсказание: у более capable модели выше S², а значит метрику можно использовать как дешёвый фильтр перед дорогой проверкой в замкнутом контуре.

Почему оценки VQA и качества видео не работают

Стандартный способ выбрать модель под задачу выглядит логично: взять бенчмарк по восприятию и отсортировать кандидатов. На практике это ломается. На тех же восьми зрячих языковых моделях, которые потом дообучались в VLA, агрегированные баллы VQA дали корреляцию с реальным успехом r = −0.154, то есть практически нулевую и слегка отрицательную.

С генераторами видео та же история. Авторы взяли три world action model (WAM) на RoboTwin и сравнили метрики качества картинки с реальным успехом. SSIM дал r = +0.558, PSNR дал r = +0.468, а FID выстрелил в r = +0.680 с обратным смыслом: хуже картинка, выше успех. S² на том же наборе дал r = +0.999.

Причина расхождения простая. VQA меряет понимание текста и сцены, качество видео меряет пиксели. Ни то, ни другое не зависит от того, какое движение должен выполнить манипулятор. Две визуально похожие сцены могут требовать совершенно разных траекторий, и наоборот: сцены выглядят по-разному, а рука едет по одной и той же дуге. Метрика, которая смотрит только на восприятие, этого не различает.

Как считается S²

Механика устроена без обучения и без хитростей. Берут датасеты DROID, записанный на Franka Panda, и BridgeDataV2 с WidowX, разных роботах с разной кинематикой. Из датасета сэмплируют N эпизодов, из каждого берут один кадр и текстовую инструкцию задачи.

Сенсорное представление это вектор модели: кодировщик изображения и кодировщик текста дают токены, они усредняются в один d-мерный эмбеддинг. Моторное представление это сама траектория: позиции схвата x, y, z, углы roll, pitch, yaw и состояние захвата g на h шагов вперёд, то есть матрица размером h на 7.

Дальше считаются расстояния. Для сенсорики берут 1 минус косинус между эмбеддингами. Для моторики используют динамическую трансформацию времени, DTW: она умеет сопоставлять траектории, которые выполняют одно и то же движение с разной скоростью. Внутри DTW стоимость шага складывается из евклидова расстояния позиций, углового расстояния через кватернионы и разницы состояния захвата, каждое со своим весом.

Финальный счёт это доля общих соседей. Для каждого эпизода берут k ближайших соседей в сенсорном пространстве и k ближайших в моторном, и смотрят на пересечение множеств:

m = (1 / (N·k)) · Σ |N_sensory(i) ∩ N_motor(i)|

Чем больше соседей совпало, тем сильнее модель уложила движение в те же отношения, что и восприятие. Всё, ни одной обученной части, ни одного прогона робота.

Почему именно соседи, а не прямая регрессия из эмбеддинга в траекторию. Прямое отображение требует обучаемой головы, а любая обученная часть тянет за собой вопрос, что она выучила попутно. Пересечение множеств такого риска не создаёт: оно смотрит только на топологию, на то, какие эпизоды оказались рядом. Порядок соседей при этом важнее абсолютных расстояний, поэтому метрика не ломается от того, что разные модели дают эмбеддинги разной размерности и разного масштаба.

С DTW та же логика. Сравнивать траектории поэлементно нельзя: два оператора выполняют одно и то же движение с разной скоростью, и покомпонентное расстояние объявит их далёкими. DTW выравнивает ход времени и находит оптимальное соответствие точек, так что штрафуется форма движения, а не темп. Горизонт h в основных экспериментах равен семи шагам, но, как показала проверка, корреляция держится и на 220.

Что показали числа

Проверка шла на четырёх группах: дообученные VLA, сырые VLM до роботического дообучения, WAM на видеогенераторах и реальные роботические политики.

Двенадцать VLA против их успеха на SimplerEnv дали r = +0.717 с бутстрэп-интервалом [+0.436, +0.912]. Это означает, что разброс моделей по S² объясняет примерно половину разброса по успеху, причём без единого запуска.

Сырые VLM оказались интереснее. S² посчитали на восьми бэкбонах из VLM4VLA ещё до роботического дообучения, а сравнили с успехом тех VLA, которые из них потом вырастили. Получилось r = +0.681 при p = 0.031. Практический вывод звучит неожиданно: выбирать бэкбон для VLA можно до того, как потрачены деньги на файнтюнинг.

Шесть WAM на бимануальном ALOHA сравнили с RoboTwin 2.0. На трёх, где считались ещё и метрики видео, S² вышел на r = +0.999, тогда как SSIM, PSNR и FID болтались в районе 0.47–0.68 с путаницей в знаке.

Проверка на прочность

Авторы меняли восемь настроек: датасет, горизонт траектории, пять деталей реализации и параметры DTW. Корреляция осталась положительной во всех восьми случаях. На DROID и BridgeDataV2, то есть на двух разных руках, для двенадцати VLA она держится около r = +0.7.

Горизонт тоже не критичен. Корреляция остаётся выше 0.5 на всех горизонтах DROID вплоть до h = 220 шагов и на BridgeDataV2 от h = 3 до h = 40. То есть не нужно угадывать «правильную» длину окна: метрика не разваливается.

Самый убедительный тест это негативный контроль. У трёх бимануальных WAM посчитали S² не на совпадающем ALOHA, а на одноруком DROID. Корреляция с успехом рухнула с +0.999 до +0.246. Метрика реагирует именно на соответствие телесной схемы, а не на что-то случайное в данных.

Что S² объясняет в устройстве моделей

Отдельная ценность работы в том, что метрика даёт объяснение явлениям, которые раньше фиксировали только по поведению в замкнутом контуре.

Почему VLA не слушают инструкцию

Известная проблема: политика действует по тому, что видит, а не по тому, что просят. На двенадцати дообученных VLA S² по зрительным признакам дал r = +0.694, совместный вариант r = +0.699, а по текстовым признакам всего +0.237, без значимости. У сырых VLM картина обратная: текст +0.501, зрение +0.425, совместно +0.681. После дообучения моторная часть модели опирается на картинку, а языковая ветка остаётся в стороне. Это объяснение на уровне представлений, а не догадка.

Замороженный энкодер: минус 41% выравнивания

Если при дообучении VLA держать кодировщик изображения замороженным, качество падает. Теперь понятно почему: на Qwen2.5-VL-3B, обученном на BridgeDataV2, заморозка снизила S² на 41%, а успех на 40%. Почти один к одному. End-to-end обучение помогает не тем, что подкручивает веса, а тем, что сближает сенсорное представление с моторным.

Зачем WAM гонять все шаги денойзинга

World action model генерируют будущее видео итеративно, шаг за шагом, и это дорого. Эксперименты показали, что можно пропустить генерацию и декодировать действие сразу почти без потери успеха. S² объясняет, почему: по пяти точкам расписания от 0% до 100% метрика меняется максимум на 6% от стартового значения. Первый шаг денойзинга уже даёт признаки, достаточно согласованные с траекториями.

Средние блоки важнее

В тридцатиблочном видеобэкбоне авторы сняли признаки с блоков 0, 7, 14, 21 и 29. Во всех трёх моделях максимум S² пришёлся на блок 14, то есть середину. Это совпадает с тем, что раньше нашли для семантического рассуждения в video diffusion transformer, и связывает два наблюдения в одно.

Как этим пользоваться на практике

Сценарий первый: у вас есть пять кандидатов на бэкбон и ограниченный бюджет на дообучение. Считаете S² на публичном датасете, берёте верхних два, остальные отбрасываете, и только их гоняете в замкнутом контуре. Даже корреляция 0.68 на сырых VLM уже экономит дни работы.

Сценарий второй: отладка своей политики. Если после дообучения S² не вырос, значит вы улучшили восприятие, но не связали его с движением. Замороженный энкодер, слабая языковая ветка и лишние шаги денойзинга видны по метрике до того, как вы начнёте перебирать гиперпараметры.

Ограничения авторы называют сами и честно. Связь корреляционная: обучать модель напрямую на максимизацию S² они не пробовали, это открытый вопрос. Модели с близким S² всё ещё могут показывать разный успех, поэтому финальный выбор остаётся за замкнутым контуром. И выборка узкая: несколько семейств, несколько бенчмарков, один реальный робот.

Сколько это стоит на самом деле

Считать S² дешево: нужен публичный датасет траекторий, доступ к признакам модели и один прогон инференса по N эпизодам. Обучения нет, симулятора нет, железа нет. Основная статья расходов это как раз тот шаг, который метрика позволяет отложить: замкнутый контур в симуляторе требует поднять сцену, прогнать политику до конца эпизода и повторить это на десятках задач, причём каждая модель даёт свой шум.

Оценка не бесплатная и в другом смысле. Нужна ровно та пара «модель плюс датасет», где сенсорные и моторные признаки согласованы по формату: эпизоды должны содержать и кадр с инструкцией, и записанную траекторию схвата. На произвольном наборе видео без телеметрии метрику не посчитать, а на своём датасете придётся аккуратно воспроизвести нарезку эпизодов и горизонт.

Ещё один практический момент: S² не заменяет закрытый контур, а ставит его последним. Логика такая: сначала отсеять явных аутсайдеров офлайн, затем потратить бюджет запусков на двух-трёх лидеров. Для команды, которая выбирает бэкбон раз в квартал, это разница между неделей экспериментов и одним днём.

Часто задаваемые вопросы

Что такое сенсомоторное выравнивание простыми словами

Это мера того, насколько представления модели о сцене согласованы с движениями, которые она выполняет. Считается через пересечение ближайших соседей в двух пространствах: эмбеддингов изображения и текста с одной стороны, траекторий схвата с другой. Обучение не требуется.

Почему S² лучше баллов VQA

VQA измеряет понимание картинки и вопроса, а не готовность к движению. На восьми бэкбонах VQA дал корреляцию с успехом r = −0.154, то есть не дал ничего. S² на тех же моделях дал +0.681, потому что сравнивает представление с реальными траекториями, а не с правильными ответами на вопросы.

Можно ли обучать робота по этой метрике

Пока нет, и это прямо указано в ограничениях. Все результаты корреляционные: авторы показали, что высокая S² сопутствует высокому успеху, но не то, что оптимизация S² его повышает. Использовать метрику стоит как фильтр и диагностику до дорогих запусков.

Итог

Выбор роботической модели до сих пор был историей про бюджет: настоящий ответ даёт только запуск, а запуск стоит часов и денег. Сенсомоторное выравнивание предлагает промежуточный слой, который считается за минуты на публичном датасете и предсказывает успех с корреляцией от 0.68 до 0.72 на разных семействах.

Код выложен на GitHub, страница проекта тоже открыта, так что проверить метрику на своей модели можно без переписки с авторами. Начните с одного вопроса: растёт ли S² после вашего дообучения. Если нет, дальше можно не запускать.

А вы бы доверили выбор модели метрике, которая ни разу не видела робота в работе?