GPT-6 Astra смотрит на 3D-модель, которая неестественно сложилась вправо, и отвечает: всё в порядке. На другом примере модель уверенно принимает подмену формы лица, хотя идентичность персонажа изменилась. Это первые кадры из работы «Grounding Generative Verification in 3D Content», и они задают тон всему исследованию.

Пока индустрия соревнуется в скорости и качестве 3D-генерации, группа исследователей из Гонконгского университета науки и технологий (HKUST) проверила другую сторону пайплайна. Кто подтвердит, что сгенерированный объект действительно выполняет требования, под которые его создавали? Оказалось, что верификация 3D-контента провалена даже у флагманских моделей: разрыв между людьми и лучшей из них достигает 21,6 процентного пункта.

Что такое верификация 3D-контента

Верификация 3D-контента это проверка конкретного кандидата (объекта, детали, позы захвата или анимации) против явного требования: выполняет ли он его и, если нет, какое именно условие нарушено. В отличие от оценки качества или эстетики, верификатор обязан выдать бинарный ответ и объяснение, подкреплённое доказательствами.

Формально интерфейс выглядит так. На входе: инструкция задачи, утверждение (claim), свидетельства о кандидате и, опционально, эталонные свидетельства. На выходе: ответ True или False и текстовое объяснение. Для отрицательных примеров эталонное объяснение указывает конкретное нарушенное требование и противоречащее ему свидетельство.

Сложность в том, что 3D-свидетельства нужно собирать из множества ракурсов. Одно и то же несоответствие геометрии с одного вида выглядит настоящим дефектом, а с другого может оказаться эффектом проекции. Верификатор должен агрегировать частичные наблюдения, разбираться с перекрытиями и отделять реальные противоречия от ракурсных артефактов. Именно поэтому 3D-верификация сложнее проверки обычных изображений, где картинка уже дана целиком.

3DVerifierBench: 10 задач и 2 581 пример

Авторы собрали 3DVerifierBench, бенчмарк из десяти задач под общим интерфейсом. Проверка объекта (306 примеров), деталей (306), материала (324), привязки деталей к названиям (338), отношений между деталями (304), зон действия, или аффордансов (409), корректности захвата (200), сохранения идентичности (200), мелкой геометрии (60) и понимания движения (134). Свидетельства различаются по природе: multi-view рендеры объектов, размеченные области и детали, позы параллельного захвата, пары «до и после» для идентичности, сопоставления фотографий с CAD-моделями и последовательности движения.

Метрики устроены жёстче, чем в привычных бенчмарках. Кроме сбалансированной точности по каждой задаче (Balanced Accuracy) и общего балла OA с равными весами задач, есть explanation-aware версия: корректный отказ засчитывается только тогда, когда объяснение модели семантически совпадает с эталонным. Проверяет это отдельный судья, которого авторы валидировали против людей. Есть и проверка на контрфактуалах: связанные тройки примеров, где либо меняется требование при том же кандидате (Spec-CF), либо меняется кандидат при том же требовании (Cand-CF). Чтобы тройка засчиталась, все ответы в ней должны быть верными.

Люди против моделей: разрыв в 21,6 пункта

Тестировали одиннадцать моделей, от GPT-6 Astra и Gemini-3.8-Flash до открытых Qwen, Gemma и специализированного OmniVerifier-7B. Лучший результат у GPT-6 Astra: 69,4% в среднем по десяти задачам, у Gemini-3.8-Flash 68,4%, у GPT-5.6-Sol 64,9%. Открытые модели заметно ниже: 55% у GLM-4.6V-106B, 52% у OmniVerifier-7B, 50,2% у Qwen2.5-VL-7B. Для контекста: случайное угадывание в бинарных задачах даёт ровно 50%.

Картина меняется, когда ту же подвыборку из 400 примеров решают люди. Человеческий балл 87,8% против 66,2% у Astra на тех же примерах: разрыв 21,6 процентного пункта. Причём провалы моделей сконцентрированы не там, где можно было ожидать.

Astra уверенно работает с частями и отношениями: 90,3% на отношениях деталей, 89,6% на привязке деталей, 76,3% на зонах действия. А на задачах, требующих настоящей 3D-чувствительности, точность падает к уровню монетки. Идентичность: 55,5% у Astra, и ни одна модель не превышает 59%. Мелкая геометрия: ровно 50,0%, потолок по всем моделям 53,3%. Люди на этих задачах набирают 92,9% и 80% соответственно. Понимание движения: люди 70% в четырёхклассовой версии и 80% в бинарной, лучшая модель набирает 57,5% и 54,5%. Корректность захвата: люди 80%, Astra 56%.

Отказать мало: нужно отказать по правильной причине

Ещё один слой анализа это объяснения. Если модель говорит «нет» по неверной причине, её отказ бесполезен для рефлексии: непонятно, что именно исправлять. Масштаб проблемы: 36,5% из 9 488 корректных отказов не проходят проверку объяснения. Средний балл с учётом объяснений (ExpOA) падает относительно обычного на 3,6 до 28,1 пункта в зависимости от модели. У Astra он составляет 65,8%.

Судью, который оценивает объяснения, авторы проверили отдельно: на 300 примерах он совпадает с человеческими оценками в 91% случаев, что позволяет доверять агрегированной статистике. Ещё один тест это тройки контрфактуалов. На 615 тройках, проверенных людьми, лучший результат по чистым ответам у Gemini-3.8-Flash: 49,6%. Astra отвечает верно в 46,5% троек, но лидирует в explanation-aware версии с 40,5%. Даже сильнейшая модель проходит меньше половины полных троек, где нужно одновременно принять корректное и отклонить два связанных негатива.

Разбор по тринадцати категориям фактов показывает, где именно ломаются объяснения: модели путают значения свойств и привязку к целевому объекту. Отказ может быть верным, а указанная причина относиться не к той детали.

Десять типичных ошибок

Часть работы посвящена разбору конкретных режимов отказа. Модели пересчитывают повторяющиеся структуры с ошибками и выдумывают несуществующие детали, отталкиваясь от формулировки утверждения. Описания материала принимаются вопреки противоречащим бликам. Выделенные области приписываются неверным деталям, контакт между объектами предполагается без проверки реальных пространственных отношений. Зоны действия путаются между похожими элементами управления, а соседние точки захвата принимаются за противоположные. Изменения формы, затронувшие идентичность, списываются на изменение выражения лица. Локальные несоответствия кривизны и контуров пропускаются даже при наличии нескольких ракурсов, а артефакты деформации в движении остаются незамеченными.

Список полезно держать в голове при проектировании собственных проверок: каждый пункт это конкретный сценарий, который автоматический верификатор сегодня пропускает.

Как строили данные: контрфактуалы и 14 126 примеров

Чтобы учить модели различать эти тонкости, авторы построили данные особым образом. Всё начинается с позитивного якоря: примера, про который ревью подтвердило, что кандидат удовлетворяет требованию. Затем из якоря делаются два вида негативов. Spec-CF меняет требование, оставляя кандидата: тот же ассет теперь не выполняет изменённое условие. Cand-CF меняет кандидата, оставляя требование: ассет портится, условие остаётся прежним. Так появляются связанные пары и тройки, в которых модель обязана реагировать именно на то, что изменилось.

Базовые ассеты и multi-view рендеры пришли из существующих ресурсов: 3DGen-Bench, DB-3DME и Hi3DBench, разметка деталей из PartNeXt и GAPartNet, симуляция захватов из ACRONYM. Три задачи потребовали отдельных пайплайнов. Идентичность собрали параметрически: билинейная модель FaceScape сжимает вариативность 847 лиц в 50-мерное пространство, из которого сгенерировали 200 сбалансированных пар. Шесть экспертов задавали пороги заметности различий, а изменения выражения и текстуры распределили по четырём условиям, чтобы модель не могла списать смену личности на гримасу или текстуру. Мелкую геометрию строили на моделях T-LESS: эксперты выбирали участки поверхности и параметры лапласовой диффузии, искажавшей форму, а сравнение шло между фотографиями и рендерами CAD-геометрии. Движение собрали из AnimalML3D, AnimateAnyMesh и Animate3D, оставив только клипы с единогласной экспертной оценкой: правильное, неестественное, ошибочное или с артефактами деформации.

Контроль качества многоступенчатый: 10% выходов на каждом этапе модельно-ассистированного ревью проверяли два доменных эксперта, а финальную верификацию бенчмарка делали ещё шесть независимых экспертов. Из общего пула в 17 223 примера исключили все группы, связанные с бенчмарком: остался тренировочный ресурс на 14 126 примеров и 4 011 исходных групп. Пересечение с тестовыми данными нулевое, так что дообучение на нём не будет подглядыванием в ответы.

Что это даёт 3D-генерации

Финальная часть работы показывает, зачем вообще надёжная верификация. Первый эксперимент это выбор кандидата. Для 40 исходных изображений зафиксировали по семь требований и сгенерировали пул из 16 кандидатов, по восемь от Pixal3D и Hunyuan3D-2.1. Случайный выбор выполняет все семь требований в 26,7% случаев. Выбор «оракулом», то есть человеком с полным доступом к разметке, поднимает полный успех до 90%, а строгий вариант (плюс отсутствие серьёзных дефектов и верность исходному изображению) с 16,6% до 85%. Селектор на базе GPT-6 Astra даёт 55% полного успеха и 45% строгого: лучше случайного, но далеко от потолка. Эти цифры показывают размер выигрыша, который получит пайплайн, когда автоматическая верификация станет надёжной.

Второй эксперимент это рекурсивное улучшение. Взяли восемь входов, где первая генерация Hunyuan3D-2.1 нарушала хотя бы одно из семи требований. Человек-верификатор указывал, какие условия не выполнены, и направлял либо регенерацию из исправленного 2D-условия, либо точечное редактирование меша через VecSet-Edit. Результат: 8 из 8 случаев в итоге удовлетворяют все семь требований. Для сравнения, параллельный оракул Oracle@8, который просто выбирает лучший из восьми независимых кандидатов, справляется лишь в 3 из 8 случаев. Но есть и отрезвляющая деталь: только 7 из 8 финальных ассетов избежали серьёзных дефектов, а 6 из 8 сохранили верность исходному изображению. Выполнение явных фактов не гарантирует общего качества.

Показательная траектория из статьи: у первой генерации не хватает боковой решётки и есть артефакт поверхности (6 из 7 фактов), вторая правка убирает артефакт, но решётка всё ещё неполная (снова 6 из 7), и только третья итерация закрывает все семь требований. Каждый шаг начинается с конкретного объяснения, чего именно не хватает, и это ровно тот сценарий, где сегодняшние модели-верификаторы пока ненадёжны.

Почему multi-view, а не сырое 3D

Отдельные абляции отвечают на вопрос, как подавать 3D-свидетельства. На согласованных подвыборках multi-view рендеры стабильно бьют сырой OBJ-файл: в среднем 65,6% против 46,4% сбалансированной точности. На деталях разрыв максимальный: 65,6% против 42,2%. Причина в том, что существующие MLLM обучены на изображениях: рендеринг переводит 3D-задачу в формат, который модель умеет обрабатывать, сохраняя при этом её суть. Верификатор по-прежнему должен собрать объект из частичных видов и не обмануться ракурсом.

Для движения единого лучшего представления нет. Нативное видео даёт лучший бинарный результат (59,7% в среднем), а 16 равномерных кадров лучший четырёхклассовый (43,8%). Предпочтения зависят от модели: Gemini-3.8-Flash выигрывает от видео, а Qwen3.6-35B-A3B от OBJ-последовательностей. Вывод авторов: плотность временных свидетельств сама по себе не гарантирует точность, всё зависит от того, умеет ли модель извлекать пространственно-временные признаки.

Нативные point-cloud модели в этом интерфейсе показали сильное смещение ответов и нестабильный формат вывода, поэтому их результаты вынесены в приложение. Ещё одна деталь для практиков: даже специализированные 3D-архитектуры пока не готовы к роли верификатора.

Часто задаваемые вопросы

Чем 3DVerifierBench отличается от других 3D-бенчмарков?

Он измеряет не качество и не человеческие предпочтения, а надёжность верификации: правильность решения, релевантность объяснения и согласованность при контролируемых изменениях требования или кандидата. Предыдущие работы, включая 3DGen-Bench, Hi3DEval и Eval3D, оценивали качество ассетов и предпочтения. Систематическая проверка вопроса «выполнено ли конкретное требование и почему нет» до этой работы не проводилась.

Можно ли использовать данные для обучения собственного верификатора?

Да, авторы публикуют тренировочный ресурс на 14 126 примеров с объяснениями противоречий и связанными контрфактуалами. Он покрывает все десять задач, собран из 4 011 исходных групп и не пересекается с бенчмарком, так что дообучение на нём не будет подглядыванием.

Почему модели проваливают идентичность и мелкую геометрию?

Это задачи, где нельзя опереться на общий вид объекта. Для идентичности нужно различать изменения выражения, текстуры и собственно личности, а для мелкой геометрии сопоставлять контуры и кривизну, игнорируя цвет и материал. Модели агрегируют частичные наблюдения и с трудом отделяют реальные несоответствия от ракурсных эффектов, поэтому не превышают 59% и 53,3% соответственно.

Итог

3DVerifierBench закрывает слепое пятно 3D-пайплайнов: генерация растёт быстрее, чем способность проверять результат. Лучшие мультимодальные модели сегодня ненадёжные верификаторы: они принимают брак, отказывают по неверным причинам и теряются на мелкой геометрии и идентичности. При этом верификация в цикле уже работает: выбор кандидатов поднимает полный успех с 26,7% до 90%, а рекурсивные правки закрывают все требования в 8 из 8 случаев. Практический вывод для инженеров простой: верификацию стоит проектировать как отдельный этап пайплайна 3D-генерации, а не надеяться на модель, которая сама же сгенерировала ассет.

Мы разбирали соседние сюжеты: как SILSA сохраняет топологию при генерации 3D из 384 токенов и как SpectraReward превращает MLLM в судей для генерации изображений. Работа доступна на arXiv, демо и данные на странице проекта.