Правила Википедийной игры умещаются в два предложения: даны две случайные статьи, и перейти от одной к другой можно только по ссылкам внутри статей. Ни поиска, ни адресной строки, ни подсказок. Люди играют в неё годами ради азарта, а исследователи из Института Алана Тьюринга (Alan Turing Institute) увидели в ней идеальный тест для языковых моделей и устроили им чемпионат: 26 моделей, десять графов, десятки тысяч партий и девять живых игроков для сравнения.

Главный итог: лучшие модели догнали человека по успешности, но ни одна не обогнала его значимо. А по числу шагов до цели люди по-прежнему впереди.

Забавная игра проверяет навык, от которого зависит работа поисковых систем и RAG-пайплайнов: навигация по коллекции документов, слишком большой, чтобы проиндексировать её целиком. Именно так задачу описывают сами авторы работы.

Что такое Википедийная игра

Википедийная игра устроена просто: игрок должен добраться от стартовой статьи до заданной целевой статьи, переходя только по гиперссылкам на текущей странице. Заглядывать на два шага вперёд, пользоваться поиском или строить маршрут от цели назад нельзя. Английская Википедия для такой игры подходит идеально: больше шести миллионов статей, почти 300 миллионов внутренних ссылок, четыре с половиной миллиарда слов.

Победа зависит от одного навыка: умения на каждом шаге выбрать из доступных ссылок ту, что ближе всего к цели. Эмбеддинг-модели для этого и придуманы, они измеряют смысловую близость текстов напрямую. У больших языковых моделей козырь другой: знание мира. Модель может рассудить, что от статьи про лекарство стоит перейти к статье про бактериологию, если конечная цель находится где-то среди биологической классификации. Такой трюк и правда сработал в одном из примеров статьи.

Как устроен эксперимент

Для честного сравнения исследователи собрали десять графов. Пять из них построили из Википедий на английском, французском, китайском, русском и бенгальском языках. Ещё пять собрали из научной базы OpenAlex: статьи стали узлами графа, а цитирования связями между ними. Для каждого графа сгенерировали по 10 000 пар статей, то есть по 10 000 партий, и победу засчитывали, если игрок добирался до цели за 100 шагов.

За игровые столы сели четыре типа игроков. Тринадцать эмбеддинг-моделей, от крошечной MiniLM-L6 на 22,7 миллиона параметров до E5-Large на 560 миллионов. Тринадцать LLM: линейка Llama от 1 до 405 миллиардов параметров, Gemma2 на 27 миллиардов, GPT-4o с мини-версией, GPT-o3 mini и рассуждающие варианты вроде DeepSeek-R1. Статистический бейзлайн TF-IDF, который работает вообще без нейросетей. И девять живых людей, сыгравших 109 партий с лимитом десять минут на партию.

Эмбеддинг-модели сравнивали первые абзацы доступных ссылок с описанием цели, а языковым моделям показывали только список заголовков (до 500 у GPT, до 200 у остальных) и краткое описание цели. Если модель выдумывала несуществующий заголовок, ей давали до четырёх попыток исправиться. Любопытная деталь: GPT-4o из-за стоимости запросов пустили только на 100 партий и лишь на трёх графах. Бюджет на вычисления стал частью эксперимента.

Игру проводили в двух вариантах: игроку показывали либо только заголовки ссылок, либо заголовки с первыми абзацами соседних статей (в Википедии такие подсказки всплывают при наведении мыши). Описание цели всегда было видно. Это позволило сравнить в равных условиях LLM, которым доступны только заголовки, и эмбеддинги, которым нужен текст.

Справедливости ради: человеческий бенчмарк в этой работе неидеален. Девять игроков сами засекали время и сами сообщали о победах, строгих лабораторных условий не было. Сравнивать проценты стоит с поправкой на эту вольность. Тем ценнее, что даже при таком раскладе модели не смогли значимо обойти людей.

Человека не обогнали, но догнали

На английской Википедии лучший результат показала GPT-o3 mini в режиме рассуждений: её успешность сопоставима с человеческой. Примерно на том же уровне финишировали GPT-4o, QwQ:32B и DeepSeek-R1:70B. Ни одна модель не превысила результат людей статистически значимо.

Эмбеддинги выступили достойно: E5-Large и E5-Small дошли до цели в 53% партий, AllMPNetBase в 50%, даже TF-IDF вытянул 47%. На русской Википедии лучшие эмбеддинги держатся на 52-53%, а TF-IDF на 40%.

А вот эффективность оказалась в пользу людей. Даже когда успешность сравнялась, человек находил маршрут за меньшее число шагов. Авторы копнули глубже и обнаружили различия в самой структуре игры. Распределение лишних шагов у моделей описывается отрицательным биномиальным распределением с параметром n около единицы, у людей около трёх. Проще говоря, успех модели часто зависит от одного удачного перехода, тогда как человек строит маршрут постепенно. Исследователи отдельно предупреждают: не стоит очеловечивать модели и делать выводы из одного лишь совпадения процентов успеха.

Внутри лагеря моделей иерархия своя. Крупные LLM проходили маршруты эффективнее эмбеддингов, и авторы связывают это со знанием Википедии из обучающих данных: модель заранее «догадывается», какие статьи обычно служат мостами. Эмбеддинги же действуют жадной стратегией: на каждом шаге выбирают ссылку, ближайшую к цели по смыслу, и такая жадность иногда уводит в сторону.

Провалы тоже показательны. Большинство моделей упирались в лимит в 100 шагов. Маленькие Llama проигрывали из-за галлюцинаций: модель называла ссылку, которой на странице нет. DeepSeek-R1:8b не смогла завершить задачу вовсе. Зато есть пример обратного толка: GPT-4o добралась от статьи «Афлоквалон» до статьи о жуке Gaurotes pictiventris за 13 шагов, тогда как ни одна эмбеддинг-модель не уложилась в сотню. Модель шла через дерматит, бактерии и бактериологию, рассуждая о биологической классификации.

Эмбеддинги против гигантов

Один из главных выводов статьи скучный для хайпа, но полезный для практики: размер модели не решает задачу. Многие эмбеддинг-модели сыграли на уровне крупнейших открытых LLM без режима рассуждений, а некоторые обошли немало LLM. Модель на 22,7 миллиона параметров конкурировала с моделями, которые в тысячи раз больше.

Отдельная строка расходов: запуск рассуждающей LLM несопоставимо дороже эмбеддинг-модели, и во многих практических сценариях простой подход окажется оптимальным. Авторы пишут это прямым текстом, и их цифры подтверждают: бюджета хватило на 100 партий с GPT-4o, и только.

Рассуждения тоже не бесплатное улучшение. Режим reasoning подтянул модели того же размера, но самую маленькую рассуждающую модель, DeepSeek-R1:8b, пришлось снять с дистанции: она не довела до конца ни одну задачу в нужном формате. А из-за стоимости запуска полный набор графов прошла лишь одна рассуждающая модель.

Удивил даже TF-IDF. Классический статистический метод без всяких нейросетей набрал 47% на английской Википедии и 56% на французской, обойдя половину моделей. Правда, с оговоркой: корпус для TF-IDF собирали из тех же статей, что использовались в играх. Когда корпус заменили на общий англо-википедийный, на биологическом графе успех упал с 43% до 14%. Вывод осторожный: на своей коллекции документов такой бейзлайн способен удивить, но на чужой домен он переносится плохо.

Пересчёт в деньги простой. Шаг навигации эмбеддинга это одно умножение векторов, шаг рассуждающей LLM это секунды генерации и тысячи токенов. На коллекции из миллионов документов разница в счёте становится решающей, и именно поэтому авторы советуют не тащить LLM туда, где справится эмбеддинг.

Ранжирование не переносится между языками и темами

Для практиков здесь самое интересное. Относительная сила моделей меняется от датасета к датасету. Llama:405B, одна из крупнейших открытых моделей, на научных графах OpenAlex потеряла около трети успеха, а Llama:3B скатилась почти к нулю. GPT-4o-семейство держалось стабильнее прочих.

Ещё пример: AllMPNetBase, обученная только на английском, на научных графах уверенно обходит мультиязычную E5-Small. На биологии 64% против 55%, на физике 63% против 41%. При этом на Википедиях именно E5-Small показала лучшие результаты среди эмбеддингов. Авторы заключают: успешность модели на одном датасете ничего не говорит о её успешности на другом. Надёжный способ выбрать модель для своей задачи один: тестировать её на своих данных, а не смотреть на лидерборды.

Заодно вылезли два сюрприза, которые ставят под вопрос привычную логику «больше параметров значит лучше». Llama:8B обошла Llama:70B. А GPT-4o заметно оторвалась от Llama:405B, хотя предыдущие исследования называли их сопоставимыми.

Ещё деталь для полноты картины: у графов OpenAlex по социальным наукам и искусству больше половины узлов отрезаны от остальных, а у Википедий связность почти полная. Так что сравнение языков и тем включает ещё и разницу в структуре графов.

Модели не подглядывают, они понимают

Скептик возразит: модели могли просто запомнить связи между статьями Википедии из обучающих данных. Исследователи проверили и это. Они отобрали статьи, опубликованные после начала 2024 года, то есть уже после отсечки обучения большинства моделей. У TF-IDF, который зависит от корпуса и ничем не «помнит» структуру графа, успех рухнул с 47% до 10%. У эмбеддингов он просел мягче: с 53% до 43%. У Gemma:27b с 16% до 9%.

Вывод: модели не столько помнят конкретные переходы, сколько работают с семантикой. Это подтверждают и результаты на OpenAlex, где большинство статей спрятаны за пейволлами. Успешность там сопоставима с Википедией, хотя никаких «запомненных» связей у моделей быть не может. Значит, подход переносится на закрытые коллекции документов, к которым у модели заведомо нет доступа. Для команд, которые строят поиск по внутренним базам знаний, это хорошая новость.

Код, скрипты построения графов и сами датасеты авторы открыли на GitHub: github.com/alan-turing-institute/ARC-Wiki-Game.

Часто задаваемые вопросы

Почему модель галлюцинирует в такой простой задаче?

На каждом шаге модель обязана выбрать заголовок из списка доступных ссылок. Но она генерирует текст, а не выбирает из меню, и может «придумать» правдоподобную ссылку, которой на странице нет. Крупные модели ошибаются редко, маленькие часто. Повторы, до четырёх на шаг, смягчают проблему, но не решают её.

Что выбрать для навигации по документам: эмбеддинги или LLM?

Зависит от бюджета. Эмбеддинги дешевле, не галлюцинируют и на многих графах идут вровень с крупными LLM. Рассуждающие LLM сообразительнее, но стоят на порядки дороже. Для большинства задач разумный старт это эмбеддинги, а LLM подключать там, где нужны рассуждения о смысле маршрута.

Можно ли доверять такой модели корпоративный поиск?

Осторожно да. Игра показывает, что модели навигируют по незнакомой коллекции документов, не видя её целиком, и работают с семантикой, а не с заученными связями. Но человека ни одна модель значимо не обошла, а галлюцинации требуют контроля. Разумная схема: модель предлагает следующий шаг, система проверяет его по факту.

Итог

Википедийная игра хорошо показывает, где сейчас находятся современные модели. Лучшие LLM догнали человека по успешности, но не обогнали его ни по эффективности, ни по надёжности. Простые эмбеддинги за копейки конкурируют с гигантами, а результаты не переносятся между языками и темами. Если вы строите поиск по большой коллекции документов, вывод статьи простой: сначала тестируйте на своих данных, а размер модели выбирайте по бюджету, а не по веяниям.

А если захочется проверить себя, правила игры занимают две строчки. Только предупреждаем: затягивает.