Видеогенератор умеет рисовать мир, но умеет ли он его измерять? Метод Gen4P из Наньянского технологического университета (NTU, Сингапур) отвечает утвердительно. Он берёт готовый видеогенератор Wan2.1 и превращает его в 4D-восприятие: из одного монокулярного видео модель восстанавливает траектории точек, карты глубины и позы камеры. Причём за один прямой проход, без итеративного денойзинга, который обычно съедает основную часть вычислений.

Обычно такие системы устроены иначе. Либо отдельная 3D-модель обучается с нуля на геометрических данных, либо генератор прогоняется через десятки шагов денойзинга, а его признаки считываются по пути. Gen4P обходится одним проходом по чистым латентам видео, и обучаются в нём только небольшие LoRA-адаптеры. В статье на arXiv (2610.22371, октябрь 2026) авторы показывают, что этого достаточно для лучших результатов на нескольких задачах 4D-реконструкции.

Что такое 4D-реконструкция

4D-реконструкция это восстановление по видео полной модели сцены: трёхмерной геометрии, глубины каждого кадра, положения камеры и траекторий движения точек во времени. Три пространственных измерения плюс время, отсюда и название.

Такое представление нужно всюду, где ИИ должен действовать в физическом мире. Роботам оно помогает планировать захват, симуляторам позволяет переносить реальные сцены, AR-гарнитурам привязывает виртуальные объекты к настоящей мебели, автопилотам даёт предсказание движения соседних машин. Отдельная область это цифровые двойники: восстановленную 4D-сцену можно крутить с любого ракурса и переигрывать в другой скорости.

Почему задача сложная

Реальное видео устроено неудобно для алгоритмов: камера едет, объекты движутся, части сцены то появляются, то исчезают из кадра. Точка, которую видно в одном кадре, может исчезнуть в следующем и вернуться через сотню кадров, и модель обязана связать все её появления в одну траекторию. Восстановить статичную геометрию научились довольно давно. Geometry Foundation Models вроде VGGT, VGGT-Ω и DA3 обучены на огромных массивах 3D-данных и выдают плотные карты точек почти для любого видео. Но статичная геометрия молчит о том, как эти точки должны двигаться со временем, а именно движение и отличает 4D от 3D.

Второе семейство методов читает приоры о внешнем виде, геометрии и движении из генеративных моделей. Здесь свои сложности: генераторы работают итеративно, поэтому признаки приходится собирать через многократный денойзинг или подмешивание шума, подходы часто заточены под одну задачу, а большинство 4D-систем декодирует результат по фиксированной сетке пикселей, из-за чего стоимость вычислений растёт вместе с разрешением.

Gen4P заходит с другой стороны. Он ничего не генерирует и не добавляет шум: генератор используется как замороженный энкодер, который один раз превращает видео в набор сценовых токенов, а геометрию и движение извлекает из них лёгкий декодер.

Как устроен Gen4P

Основу составляет открытый видеогенератор Wan2.1-1.3B на архитектуре DiT (Diffusion Transformer). Его VAE-энкодер и DiT-блоки замораживают, а поверх добавляют обучаемый 4D-LoRA ранга 512. LoRA (Low-Rank Adaptation) это низкоранговое дообучение: к весам добавляются небольшие матрицы-поправки, и настраиваются только они. В основной конфигурации обучаемых параметров около 0,9 млрд: 0,7 млрд в энкодере и 0,18 млрд в декодере.

Ключевое решение касается шума. Предыдущие методы считывали признаки генератора на промежуточных шагах денойзинга, подмешивая шум уровня σ = 0,5. Авторы прогнали серию экспериментов с разными уровнями шума и увидели простую закономерность: чем меньше шума, тем точнее трекинг. Признаки при σ = 0,05 заметно превосходят вариант при 0,35 и выше. Логичный следующий шаг они и сделали: подали в DiT полностью чистые латенты, без шума вообще, и взяли признаки последнего блока перед предсказанием скорости. Получается, шум нужен генератору только для синтеза новых кадров. Для чтения уже готового видео достаточно одного детерминированного прохода.

Второй компонент это декодер запросов. Вместо выдачи результата по фиксированной сетке пикселей Gen4P отвечает на отдельные запросы вида «какая 3D-позиция у пикселя (u, v) из кадра t_src в момент t_tgt, в системе координат камеры t_cam?». Каждый запрос проходит через декодер на cross-attention из восьми блоков и превращается в набор атрибутов: 3D-позицию точки, нормаль поверхности, смещение за время, 2D-позицию на изображении, видимость и оценку уверенности. К координатам запроса добавляется локальный RGB-патч 9×9 вокруг пикселя, чтобы у декодера была текстура места, а сами запросы обрабатываются параллельно и независимо друг от друга. Такую схему можно опрашивать в произвольных точках пространства и времени, а не по жёсткой сетке: из ответов на запросы собираются полные 3D-треки, карты глубины и позы камеры.

За гибкость по времени отвечает отдельный приём, continuous-time запросы. Вместо дискретной таблицы на фиксированные 48 кадров каждый момент кодируется нормированной позицией внутри клипа: две обучаемые крайние точки, между которыми идёт интерполяция. Поэтому модель спокойно принимает видео разной длины, от 49 кадров на обучении до 105 на инференсе.

Последний элемент это геометрический приор. Одних разреженных запросов для точной геометрии мало, поэтому авторы подключили замороженный Depth-LoRA из модели оценки глубины DVD, тоже построенной на Wan2.1. Поправки от глубины и от 4D-задачи складываются с весами генератора, но обучается только 4D-адаптер: число настраиваемых параметров не растёт, а метрики улучшаются по всем пунктам.

Обучение шло на 200 тысячах видеоклипов из 11 публичных датасетов, среди которых Waymo, ScanNet++ и PointOdyssey. Разрешение кадров энкодера укладывается в рамку 480×832, а VAE сжимает время в четыре раза, так что 49-кадровый клип превращается в 13 латентных срезов. Оптимизация заняла 75 тысяч шагов на восьми GPU NVIDIA H200 при эффективном батче в 32 клипа.

Что показали эксперименты

Главный бенчмарк это трекинг точек в мировых координатах. APD показывает долю точек, чья ошибка укладывается в заданный порог, а EPE измеряет среднее расстояние между предсказанной и истинной позицией точки после выравнивания масштаба. Чем выше APD и ниже EPE, тем лучше.

На наборе Dynamic Replica Gen4P набирает 88,18 APD по всем точкам и 92,52 по динамическим, против 82,73 и 73,82 у ближайшего конкурента 4RC и 75,33 и 78,35 у V-DPM. Разрыв по динамическим точкам особенно показателен: именно движение отличает 4D-реконструкцию от статичной фотограмметрии. На Aria Digital Twin результат тоже лучший: 91,93 и 86,82 против 85,74 и 74,46 у V-DPM. А на Panoptic Studio, полностью динамичном наборе с людьми и предметами в активном взаимодействии, где ни один конкурент не обучался на сопоставимых данных, разрыв особенно велик: 82,11 против 78,75 и 69,01. Ошибка EPE на Dynamic Replica снижается до 0,130 против 0,190 у 4RC.

Глубину проверяли на трёх датасетах, которых модель не видела. На самом сложном, Sintel, Gen4P лучший: AbsRel 0,182 против 0,200 у DepthAnythingv3 и 0,211 у VGGT. На Bonn и KITTI он второй, немного уступая этим же моделям. По позам камеры на Sintel Gen4P снова первый: ATE 0,104 против 0,122 у DepthAnythingv3 и 0,172 у VGGT, а на TUM-Dynamics лучший результат по относительной ошибке трансляции, 0,007.

Гибкость авторы проверили отдельно. Удлинение видео с 49 до 105 кадров почти не ухудшает трекинг, а качество глубины остаётся стабильным при разрешении запросов от 218×512 до 436×1024. Ablation-исследование добавило пару контринтуитивных наблюдений: LoRA ранга 1024 работает не лучше ранга 512, а полное дообучение всех весов DiT ухудшает метрики, несмотря на удвоение обучаемых параметров.

Качественно модель ведёт тонкие структуры, которые обычно рассыпаются: ноги фламинго, переднее колесо велосипеда на кочках, движение кайтсёрфера. На картах смещений у Gen4P заметно меньше утечки движения на фон, чем у конкурента 4RC.

Без слабых мест не обошлось. На ScanNetv2 по позам камеры Gen4P уступает DepthAnythingv3: ATE 0,042 против 0,032. Входные кадры энкодера ограничены разрешением 480×832, а на обучении клипы длились 49 кадров. Но по сумме трёх задач это самый сильный результат из сравнения в статье.

Почему это важно

Gen4P продолжает линию работ, где генеративные модели служат источником приоров для восприятия, а не просто инструментом синтеза. Тезис здесь радикальный: даже итеративный денойзинг не обязателен. Достаточно одного прохода по чистым латентам, чтобы вытащить из видеогенератора геометрию и движение.

Практический вывод тоже простой. Конкуренты вроде V-DPM и 4RC дообучают geometry foundation models и опираются на плотный 3D-претрейн, а Gen4P переиспользует то, что генератор уже выучил из видео. Вместо обучения большой 4D-сети с нуля достаточно LoRA-адаптера к открытому генератору. Значит, по мере выхода новых видеогенераторов качество 4D-восприятия будет расти само, без переобучения всей системы. Авторы прямо пишут, что ожидают улучшений по мере развития видеопретрейна. Для робототехники, AR и симуляторов это более дешёвая дорога к системам, которые видят не отдельные кадры, а сцену в движении.

Часто задаваемые вопросы

Что такое 4D-реконструкция простыми словами?

Это восстановление по обычному видео полной трёхмерной модели сцены вместе с движением во времени: где находится каждая точка в каждый момент, как устроена геометрия и где была камера. Четвёртое измерение здесь это время, поэтому задача называется 4D.

Почему Gen4P использует видеогенератор, а не отдельную 3D-модель?

Генератор уже обучен на огромных объёмах видео. Чтобы синтезировать правдоподобное движение, ему пришлось выучить и геометрию, и динамику сцены, и Gen4P просто читает это внутреннее представление. Обучаемых параметров при этом меньше миллиарда.

Чем Gen4P отличается от обычных видеогенераторов?

Почти ничем в весах: используется тот же Wan2.1. Разница в режиме применения. Генератор синтезирует новые кадры через десятки шагов денойзинга, а Gen4P читает признаки готового видео за один проход и отвечает на геометрические запросы. Генерация и восприятие оказываются двумя режимами одной сети.

Можно ли воспроизвести Gen4P самому?

Метод построен на открытых компонентах: видеогенераторе Wan2.1 и depth-LoRA из модели DVD, а визуализации выложены на gen4p.github.io. Правда, обучение требует 75 тысяч шагов на восьми H200, так что воспроизведение остаётся задачей для команды с серьёзными ресурсами.

Итог

У видеогенератора нашлось второе применение: тот же стек, который рисует движение, умеет его измерять. Gen4P восстанавливает траектории точек, глубину и позы камеры из одного видео за один проход, обучая меньше миллиарда параметров, и обходит специализированные 4D-системы на нескольких бенчмарках. Если тренд продолжится, 4D-реконструкция станет побочным продуктом прогресса в генерации видео. Посмотреть визуальные результаты можно на проектной странице gen4p.github.io, а сама статья лежит на arXiv под номером 2610.22371.