Прежде чем выдать ответ, reasoning-модель тратит на размышления от пяти до пятнадцати тысяч токенов. Это примерно в десять раз больше, чем у обычной модели, которая отвечает сразу. Что именно происходит внутри этого черновика, до недавнего времени понимали плохо. Разбираться в этом приходится не из любопытства: размышления стали основным режимом фронтирных моделей, а значит, от них зависят стоимость инференса, задержки ответов и то, насколько результатам можно доверять.

Сохиль Фейзи, профессор Мэрилендского университета и научный руководитель стартапа RELAI, разобрал устройство рассуждений LLM в докладе на октябрьском воркшопе Simons Institute в Беркли (видео). Его команда проанализировала более 400 тысяч предложений из цепочек рассуждений пятнадцати моделей и нашла у мышления машин устойчивую структуру, которую сам автор называет когнитивным сердцебиением.

Что такое reasoning-токены

Reasoning-модели появились в сентябре 2024 года, когда OpenAI выпустила o1. Их отличие от обычных LLM (Large Language Model, большая языковая модель) в том, что перед финальным ответом они генерируют промежуточный черновик: перечитывают условие, пробуют разные подходы, проверяют себя и возвращаются назад при ошибках. Обычная модель отвечает сразу и потому чаще ошибается на многошаговых задачах.

Переломным моментом стал выход DeepSeek R1 в начале 2025 года. Компания опубликовала и веса модели, и весь рецепт обучения: достаточно дообучить модель с подкреплением по проверяемым наградам, и рассуждения возникают сами, вместе с самопроверкой и разбиением задачи на части. Рецепт оказался на удивление простым, и это изменило расстановку сил: thinking-режим быстро появился почти у всех крупных лабораторий, а счёт за размышления стал отдельной статьёй расходов. Одна задача по математике может съесть десять тысяч токенов и больше, и всё это время пользователь ждёт ответа.

Восемь состояний мышления

Идею команда позаимствовала у когнитивиста Алана Шёнфельда. В 1985 году он записывал, как студенты решают математические задачи, рассуждая вслух, и вручную размечал расшифровки. Оказалось, что провалы связаны не с нехваткой знаний: студенты знали инструменты, но плохо управляли собственным мышлением.

Фейзи перенёс ту же логику на модели. Каждое предложение внутри цепочки рассуждений получает одну из восьми меток: чтение, анализ, планирование, реализация, исследование, проверка, мониторинг и финальный ответ. Разметку для пятнадцати моделей и ста задач OmniMath (более 400 тысяч предложений) команда сделала автоматически с помощью GPT-5, а на нескольких тысячах фрагментов проверила качество вручную. Совпадение с человеческой разметкой оказалось высоким.

Вот как это выглядит на практике. Встретив сложную задачу, модель сначала помечает условие как прочитанное, затем переходит к анализу, после неудачной попытки возвращается и проверяет первый шаг. Каждое такое движение фиксируется, и вместо десяти тысяч нечитаемых токенов остаётся компактная последовательность из восьми повторяющихся состояний. Сравнивать между собой целые цепочки почти невозможно, а последовательности состояний поддаются обычной статистике: можно считать переходы, искать редкие комбинации и проверять гипотезы. Именно этот переход от токенов к состояниям сделал возможным весь дальнейший анализ.

Чем думающая модель отличается от отвечающей

Первое наблюдение оказалось самым наглядным. Обычные модели почти весь бюджет шагов тратят на вычисления: у Qwen 32B в режиме прямого ответа реализация занимает 66% цепочки. Та же модель в режиме размышлений тратит на вычисления 37%, а остальное уходит на исследование, проверку и мониторинг. У рассуждающих моделей на эти три состояния приходится больше 20% шагов, тогда как у обычных они почти отсутствуют. Иными словами, думающая модель не просто пишет длиннее: она перераспределяет усилия, меньше вычисляет и больше проверяет себя. Отсюда и прирост на сложных задачах, где ошибка в первом шаге рушит всё решение.

Дистилляция структуру не ломает. Сжатая до 1,5 миллиарда параметров версия R1 распределяет шаги между состояниями почти так же, как полная модель. А вот методы сокращения рассуждений ведут себя по-разному, и это уже отдельная история.

Когнитивное сердцебиение

Если растянуть каждую цепочку в шкалу от нуля до ста процентов и посмотреть, в каком состоянии модель находится на каждом отрезке пути, проступает устойчивый ритм. В начале модель читает условие и анализирует его. Ближе к середине пик у реализации. Ближе к концу растёт доля проверки и финального ответа, а мониторинг активен на старте и в самом конце.

Фейзи называет этот ритм когнитивным сердцебиением. Самое удивительное, что он почти одинаков у всех пятнадцати моделей: от открытых R1 и Qwen до свежих закрытых систем. Детали различаются, а форма кривой одна. Автор доклада признался, что ожидал большего разброса между архитектурами. У совпадения есть следствие: ритм задаётся не архитектурой, а самим рецептом обучения, в котором рассуждения выращивают через подкрепление по проверяемым наградам. Поэтому его воспроизводят и маленькие дистиллированные модели, и свежие закрытые системы, обученные на тех же принципах.

Второй слой анализа, переходы между состояниями. Модели, которые часто возвращаются от исследования к мониторингу, то есть переосмысляют уже сделанное, чаще приходят к правильному ответу. Долгое исследование без переключений или прямой переход от исследования к проверке чаще ведут к ошибке. Это корреляция, а не доказанная причина: на вопрос из зала о причинности Фейзи ответил, что работа ещё идёт.

Практическая ценность такой карты в том, что она даёт исследователям язык для описания мышления модели. Можно сравнивать версии, ловить регрессии после дообучения и проверять, не потеряла ли модель самоконтроль после сжатия.

Сокращать рассуждения, не ломая структуру

Модели рассуждают слишком много. Десять тысяч токенов на задачу означают задержки и счета за API, поэтому исследователи ищут способы сократить цепочки без потери качества. Фейзи с коллегами проверили, что при этом происходит со структурой. Методы L1 и ThinkPrune режут проверку и анализ: токенов становится меньше, но модель теряет самоконтроль. Метод A&Z сокращает длину иначе и структуру сохраняет. У одного из агрессивных методов просадка точности достигала пятнадцати пунктов. Вывод простой: при сокращении важно не сколько токенов срезано, а что именно. Если под нож попали проверка и анализ, экономия обманчива, платить придётся точностью.

Уверенность вместо штрафов за длину

Собственный метод команды Фейзи устроен просто. Иногда, когда в рассуждении появляется пауза, в контекст подставляется фраза «The final answer is…», и модель вынуждена ответить досрочно. По вероятностям этого ответа вычисляется уверенность. Затем модель дообучают на этом сигнале, и она учится чувствовать собственную уверенность. Никакой разметки не нужно: сигнал полностью самоконтролируемый. Это отличает метод от большинства альтернатив: обычно такие подходы требуют либо модели-учителя побольше, либо вручную настроенных штрафов за длину. Здесь модель оценивает себя сама, а остаётся только закрепить это поведение дообучением.

Связь с правильностью прямая. Если модель уверена в промежуточном ответе, он с высокой вероятностью совпадёт с финальным. Но даже после 95% уверенности модели продолжают жечь токены: медианно ещё 1700 токенов, а иногда больше десяти тысяч. После дообучения на сигнале уверенности они стали останавливаться раньше и сэкономили от 10 до 20% токенов без падения точности. Структура рассуждений при этом сохранилась, а в обучении метод проще, чем штрафы за длину через обучение с подкреплением.

Думают усердно, но не умно

Самый провокационный результат достался финалу доклада. Обычно модели тестируют парой «вопрос, ответ». Фейзи предложил давать им экзамен: пять, десять или двадцать задач, у каждой свой вес в баллах, а бюджет токенов один на всю серию. Формально это задача о рюкзаке с неопределённостью: заранее неизвестно, сколько усилий потребует каждая задача.

Результаты: модели берут задачи в том порядке, в котором их выдали. Расход токенов падает к концу списка, последние задачи буквально голодают, а связи между ценой задачи в баллах и потраченным усилием нет вообще. Лёгкая задача с высоким весом, поставленная в конец, так и остаётся нерешённой. В контрольном варианте со сдвинутой шкалой (сложные задачи с низким весом в начале, лёгкие с высоким в конце) модели всё равно шли по порядку.

Четыре разных шаблона промпта, включая явное планирование и подсказки перепроверять себя, почти ничего не изменили. Распределение вычислений выравнивается, приоритизация не включается. Из зала спросили, не связана ли эта слабость с авторегрессивной природой языковых моделей: диффузионные модели умеют планировать иначе. Фейзи ответил, что вопрос открытый и проверять его стоит.

За пределами лабораторий этот результат читается так: реальные агенты работают очередями задач с общим бюджетом времени и денег, а приоритеты меняются на ходу. Если модель распределяет усилия по порядку поступления, дорогие задачи в длинной очереди рискуют не дождаться своего черёда. Одиночные бенчмарки такого не показывают: они измеряют ответ на отдельный вопрос, а не умение распорядиться лимитом на серию. Для инженеров, которые строят агентов с бюджетом токенов, это прямое предупреждение.

Что из этого следует

Структуру рассуждений можно использовать как диагностику и ловить модель на кривой траектории до того, как она дошла до неверного ответа. Сокращать размышления можно без потери качества, но методы, которые режут самоконтроль, платят за экономию точностью. А тестировать агентов стоит не одиночными вопросами, а сериями задач с общим бюджетом: именно там вылезают проблемы с распределением усилий. И ещё один вывод, уже для исследователей: оценивать модель стоит не одним финальным ответом, а всей траекторией рассуждений. Она несёт информацию, которую итог скрывает: модель может ошибиться, хотя шла правильным путём, или случайно попасть в верный ответ.

Часто задаваемые вопросы

Что такое reasoning-токены?

Это промежуточные шаги, которые модель генерирует между вопросом и финальным ответом. Внутри них она перечитывает условие, пробует разные подходы, проверяет промежуточные результаты и возвращается назад при ошибках. Обычная модель отвечает сразу, без такого черновика, и поэтому чаще ошибается там, где нужно несколько шагов.

Почему модели плохо распределяют бюджет?

Похоже, их так обучили: каждая задача оптимизируется отдельно, а жёсткий лимит токенов на серию задач в обучении почти не встречается. В эксперименте с экзаменом модели игнорировали вес задач и тратили бюджет по порядку поступления. Промпты с планированием почти не помогли.

Можно ли сократить рассуждения без потери качества?

Да, если сжатие сохраняет структуру. Дообучение на сигнале уверенности экономит 10-20% токенов без падения точности. А методы, вырезающие проверку и анализ, рискуют качеством: у самых агрессивных из них точность проседала на пятнадцать пунктов.

Итог

Работа Фейзи превращает чёрный ящик рассуждений в карту из восьми состояний. Модели разных архитектур проходят по ней одним маршрутом, когнитивное сердцебиение у них общее, а слабое место одно: распределение усилий. Модели уверенно решают задачи в порядке поступления и почти не умеют приоритизировать. Следующий скачок качества может прийти от умения разумно тратить собственный бюджет размышлений.

А вы замечали, что модели одинаково усердно думают над простыми и сложными вопросами? Расскажите, приходилось ли вам упираться в лимиты размышлений в своих проектах.