Взгляните на фотографию книжного шкафа и ответьте: поместится ли туда ещё одна книга? Человек отвечает за секунду. Модель, которая пишет код и щёлкает олимпиадные задачи, чаще всего ошибается. Бенчмарк с говорящим названием Humanity's Sixth Sense, «шестое чувство человечества», измерил этот разрыв в цифрах: люди набирают 93,1% правильных ответов, лучшая нейросеть GPT 6 Astra останавливается на 53,6%. Задачи вроде «выдержат ли цепи вес плуга» валят даже флагманы индустрии. Разбираем, что именно проверяет тест, где модели сыпятся и почему результат бьёт по популярной теории о пути к человеческому мышлению.

Что такое Humanity's Sixth Sense

HSS измеряет, как модель интерпретирует и рассуждает об информации, которую визуальная сцена подразумевает, но не показывает явно. Это принципиально отличает его от тестов на распознавание: вопрос нельзя закрыть, просто найдя объект на картинке. Приходится достраивать ситуацию по косвенным признакам, а такое умение обычно называют интуицией. В наборе 522 вопроса, 288 изображений и 234 коротких видеоклипа общей длительностью 17,6 часа. Авторы, компании Elorian и Scale AI, называют проверяемую способность intuitive visual reasoning, интуитивным визуальным рассуждением.

Понимание «по косвенным признакам» знакомо каждому: мы считываем, что книга не влезет, по зазору между корешками и полкой, не измеряя геометрию. За секунду человек делает десятки таких микро-выводов и не замечает усилий. Вопрос в том, воспроизводят ли подобную интуицию нейросети. HSS превращает её в измеримую величину за счёт вопросов с однозначными правильными ответами, так что списать результат на вкусовщину не получится.

Четыре категории задач

Вопросы делятся на четыре группы. Первая проверяет временную и причинную динамику: что случилось до сцены и что произойдёт после. Вторая, физика и пространство: что куда поместится, до чего можно дотянуться, что видит человек со своей позиции. Третья посвящена социальному пониманию: намерения, внимание, принадлежность. Четвёртая, абстрактный вывод: какие правила и закономерности сцена подразумевает.

По всем категориям люди держат планку выше 91%. Сильнее всего им даётся время (97%), слабее всего видео (91,9%), так что динамику сложнее статики даже для нас. У GPT 6 Astra расклад другой: сильнейшая категория тоже время (58,2%), а слабейшая видео (51,1%), картинки 55,6%, пространство 53,6%. Заметьте масштаб: лучшая модель проигрывает человеку около 40 процентных пунктов практически везде и нигде не поднимается выше 60%.

Где именно ломаются модели

Авторы разобрали типовые провалы. Модель пропускает деталь, от которой зависит ответ, это 21% ошибок. Либо неверно опознаёт объект, человека или роль в сцене, ещё 20%. Звучит почти по-человечески: посмотрел, но не заметил; заметил, но не понял. Разница в частоте: у людей это редкий сбой, у моделей регулярный режим работы.

Показательны задачи, на которых построен бенчмарк. Книжный шкаф с вопросом о свободном месте требует оценить остаток пространства по косвенным признакам. Кадр с лошадьми и плугом ставит вопрос, выдерживают ли цепи тяговое усилие. Это бытовая физика, которую ребёнок понимает увереннее, чем топовая LLM. Именно поэтому результат нельзя назвать «ещё одним сложным бенчмарком»: задачи сформулированы на уровне повседневного восприятия.

Почему интуиция даётся моделям так тяжело

Распознавание и интуиция решают разные задачи. Распознавание отвечает на вопрос «что на картинке», и здесь модели давно сравнялись с людьми. Интуиция отвечает на вопрос «что это значит для того, что произойдёт дальше», и требует собрать в один вывод массу слабых сигналов: зазоры, наклоны, направление взгляда, позы. Каждый из них по отдельности почти незначим, но вместе они образуют ответ, который человеку кажется очевидным.

Отсюда и профиль ошибок. Пропущенная деталь (21%) означает, что модель не распределила внимание по всей сцене, а ухватилась за самое заметное. Путаница в ролях (20%) случается там, где нужно понять намерение: кто помогает, кто мешает, кто просто наблюдает. Обе ошибки растут из одного корня: модели привыкли работать с явными фактами и хуже достраивают отсутствующие.

Китайские открытые модели вне игры

Отдельный сюжет: модели с открытыми весами из Китая выступили значительно хуже. GLM-5.3-flash набрала 26,8%, Kimi K3 только 25,5%. Это те самые семейства, которые на бенчмарках по коду и математике идут вровень с западным фронтиром. На HSS они проваливаются вдвое глубже GPT 6 Astra.

Объяснения пока нет, и гадать рано. Дело может быть в составе обучающих данных, в посттренинге или в том, как модели оптимизируют под длинные цепочки рассуждений. Но практический вывод уже понятен: лидерборды по коду не переносятся автоматически на визуальную интуицию. Командам, которые выбирают модель для работы со сценами, стоит проверять кандидатов на своих изображениях, а не в общих рейтингах.

Спор о моделях мира

Главная ценность HSS не в слабости моделей, а в том, где они уже сильны. Годы в индустрии ходило мнение: настоящее визуальное рассуждение потребует отдельных пространственных «моделей мира» (world models), которые построят 2D или 3D-сцену, а потом будут по ней рассуждать. Идея шла из робототехники и подкреплялась тем, что языковые модели «не видят» мир.

Результаты HSS частично спорят с этим тезисом. Обычные мультимодальные LLM без явных внутренних 3D-моделей отвечают на удивление хорошо: GPT 6 Astra и модели Claude вытягивают половину задач, которые по этой логике были бы им недоступны. Джек Кларк из Import AI, который разбирал бенчмарк, видит здесь намёк: грубые модели мира могут возникать у больших моделей сами, как эмерджентное свойство масштаба и мультимодального обучения.

Стоит различать два смысла «модели мира». Явные симуляторы, то есть генераторы видео и 3D-движки, строят сцену в наблюдаемом виде. Неявные представления живут внутри нейросети и снаружи никак не видны. HSS не проверяет, есть ли у модели симулятор физики. Он проверяет, ведёт ли себя её вывод так, будто симулятор существует, и именно поэтому результат в 53,6% так интригует.

Честная интерпретация выглядит так: 53,6% это довод и в пользу LLM, и против. Против, потому что до человеческих 93% пропасть. В пользу, потому что такую планку для «модели без мира» ещё недавно никто не прогнозировал. Кларк формулирует аккуратно: HSS показывает не просто дефициты текущих систем, а то, что часть задач, считавшихся невозможными без специальной архитектуры, уже решается.

Что это значит на практике

Если вы строите продукт на визуальном анализе, из HSS следуют конкретные выводы. Не ждите человеческой интуиции от текущего фронтира: в среднем модели решают половину задач. Проверяйте свои сценарии по категориям: динамика на видео и пространственная логика даются хуже всего. Там, где цена ошибки высока, в роботах, медицине и безопасности, интуитивные выводы модели нужно перепроверять детерминированными проверками.

Для исследователей HSS работает как индикатор тренда, отличный от уже набивших оскомину тестов по математике и коду. Если через год планка поднимется с 54% до 70% и выше, гипотеза об эмерджентных моделях мира получит серьёзную поддержку. Если застрянет, вернётся аргумент о необходимости специальных архитектур. Похожую картину рисуют и другие свежие тесты: в нашем разборе GameBench модели набрали около 30% от человеческого уровня в играх, а зубчатый фронтир способностей давно стал отдельной темой отрасли.

Сценарий, который стоит держать в голове: складской робот оценивает, устойчиво ли стоит паллета. Человек видит перекос по косвенным признакам с первого взгляда, а модель с точностью около 54% будет ошибаться примерно в половине неоднозначных случаев. В таких системах вывод модели обязан проходить через жёсткие проверки или страховаться человеком, пока бенчмарки не покажут качественно другой уровень.

Что дальше ждать от HSS

522 вопроса это компактный, но требовательный набор: столько задач достаточно для устойчивой оценки, если сообщество возьмёт бенчмарк в оборот. В лучшем случае HSS станет регулярным замером, как SWE-Bench для агентов, и мы получим график роста визуальной интуиции по кварталам. В худшем его ждёт судьба тестов, которые модели проходят за пару релизов, после чего к ним теряется интерес. Пока судить рано. У HSS есть козырь: он измеряет навык, который до сих пор никто системно не тренировал.

Вопросы и ответы

Что означает метрика pass@1?

Pass@1 показывает долю задач, решённых с первой попытки, без повторов, подсказок и самопроверки. Метрика намеренно строгая: после подсказки современные модели легко исправляются. В HSS так оценивается каждый ответ по отдельности, а затем результаты усредняются по категориям.

Почему у людей не 100%?

Человеческая планка не идеальна по построению, 93,1% это средний результат, а не предел возможностей. Часть вопросов требует предельной внимательности, и люди на них ошибаются, особенно на видео (91,9%). Значима не недостижимая сотня, а стабильность: разрыв с машинами измеряется десятками процентных пунктов.

54% уже применимо в продуктах?

Зависит от задачи. Для черновой сортировки сцен, генерации подписей и подсказок разработчику половина правильных ответов полезна. Для автономного планирования, безопасности и робототехники не подходит: недостающие 40 пунктов это инциденты, а не статистика. Перед интеграцией стоит тестировать модель на своей выборке.

Чем HSS отличается от классических визуальных тестов?

Привычные бенчмарки проверяют знания и распознавание: определить объект, прочитать диаграмму, ответить на вопрос по учебнику. HSS построен вокруг вывода: вопросы не требуют специальных знаний, только внимательности к сцене и бытовой логики. Именно поэтому разрыв с людьми здесь так велик, а результат трудно улучшить простым добавлением обучающих данных.

Насколько можно доверять одному бенчмарку?

Ни один тест не описывает способности целиком. HSS фокусируется на бытовой визуальной интуиции и ничего не говорит о том, насколько модель сильна в химии, праве или программировании. Читать его стоит вместе с другими замерами и собственными тестами на целевых задачах. Полезен он другим: подсвечивает класс ошибок, который легко не заметить за общими цифрами лидербордов.

Итог

Humanity's Sixth Sense превращает расплывчатое «модели не понимают мир» в конкретные числа: 93,1% против 53,6%, четыре категории, две доминирующие ошибки, на которые приходится 41% провалов. Слабые места предсказуемы (динамика и пространство), а вот сила на задачах, которые считались недосягаемыми без специальных архитектур, ставит перед индустрией новый вопрос. Возможно, модели мира действительно возникают сами. Возможно, для полного «шестого чувства» всё же понадобятся новые подходы. HSS даёт способ проверять это на каждом новом релизе.

А вы бы доверили нейросети решение, от которого зависит реальный объект: погрузку контейнеров, маршрут доставки, план ремонта? Напишите, какие задачи со сценами вы уже отдаёте моделям, а какие пока держите за людьми.