Языковая модель выдаёт ответ с абсолютной уверенностью — и ошибается. Вы спрашиваете, правильно ли она ответила, и она соглашается, что ответила правильно. Вот и вся проблема: у модели нет механизма, который позволял бы ей заметить собственную ошибку до того, как ответ уйдёт к пользователю. В когнитивной психологии эту способность называют метакогницией — умением отслеживать, оценивать и регулировать собственные мыслительные процессы. У людей она развивается к школьному возрасту и определяет качество обучения, принятия решений и коммуникации. У языковых моделей её пока нет — или почти нет. Свежий обзорный article на arXiv (2607.11881, «Metacognition in LLMs: Foundations, Progress, and Opportunities») систематизирует всё, что известно о метакогниции в LLM на июль 2026 года. Разбираем, что это значит для будущего надёжного ИИ.

Что такое метакогниция и зачем она нужна машине

Термин «метакогниция» ввёл американский психолог Джон Флавелл в 1979 году. Он описывал способность думать о собственном мышлении — не просто решать задачу, а одновременно отслеживать, насколько хорошо ты её решаешь, и при необходимости менять стратегию. Это внутренний цикл из двух фаз: мониторинг (оценка «насколько я уверен в этом ответе?») и контроль («стоит ли перепроверить или я могу доверять этому результату?»).

У человека метакогниция состоит из нескольких компонентов. Метазнания — это то, что вы знаете о собственном мышлении: «я плохо запоминаю числа, но хорошо — визуальные образы». Метарегуляция — планирование, выбор стратегии и оценка результата. Метапереживания — субъективные чувства вроде «ощущения знания» (feeling of knowing), когда вам кажется, что вы знаете ответ, но пока не можете его сформулировать. Именно эти механизмы позволяют людям учиться на ошибках, адаптировать стратегии и не принимать ошибочные решения с высокой уверенностью.

Для языковых моделей метакогниция — это не философский вопрос, а практическая необходимость. Модель без метакогниции генерирует текст с одинаковой уверенностью и тогда, когда знает ответ, и тогда, когда галлюцинирует. Она не может сказать «я не уверена» или «мне стоит перепроверить этот источник». Для медицинской диагностики, юридического консультирования и научных открытий — областей, где LLM активно внедряются, — такая слепая самоуверенность опасна. Ошибка, поданная с абсолютной уверенностью, хуже ошибки, помеченной флагом «требуется проверка».

Есть ли у LLM метакогниция: что говорят измерения

Исследователи используют два подхода к измерению метакогниции в моделях. Первый — адаптированные тесты из когнитивной психологии. Классическая метрика — meta-d' (мета-d-штрих), которая сравнивает способность модели различать правильные и неправильные ответы через призму уверенности. У идеального метакогнитивного наблюдателя meta-d' равен d' (фактической точности), а их отношение (M-ratio) равно единице. У людей M-ratio обычно около 0.7–0.9 — метакогниция работает, но не идеально. У LLM результаты тревожные: модели демонстрируют систематическую сверхконфидентность, то есть их уверенность не соответствует реальной точности.

Второй подход — поведенческие тесты на конкретные метакогнитивные навыки. Может ли модель определить, что ей не хватает информации для ответа? Способна ли она оценить, сколько токенов потребуется для решения задачи? Понимает ли она, когда её рассуждение зашло в тупик? Исследования показывают: в большинстве случаев — нет, или очень ограниченно. Модели struggle с задачами, требующими оценки собственных знаний, распределения ресурсов внимания и осознания границ компетенции.

Но есть и ободряющие находки. Модели семейства o1 и o3 (OpenAI), а также глубокие рассуждающие модели от Anthropic демонстрируют элементы метакогнитивного поведения в chain-of-thought. Они могут «заметить» ошибку в рассуждении, вернуться к предыдущему шагу и скорректировать стратегию. Это не полноценная метакогниция — скорее, паттерн, выученный на данных с рассуждениями, — но он работает. Анализ reasoning traces показывает, что такие модели действительно engage в рефлексивных поведениях, связанных с мониторингом: проверяют промежуточные результаты, сомневаются в выборах и пересматривают подходы. Точность и сложность рассуждений при этом заметно выше, чем у моделей без chain-of-thought.

Четыре признака ограниченной метакогниции у LLM

Авторы обзора выделяют четыре ключевых доказательства того, что LLM пока не обладают полноценной метакогницией, но демонстрируют её зачатки.

Систематическая сверхконфидентность. Модели выдают уверенность выше, чем того заслуживает качество ответа. Они не «знают, что не знают» — и это фундаментальная проблема для deployment в ответственных областях. Когда модель говорит «я уверена на 95%» с той же частотой для правильных и неправильных ответов, её калибровка бесполезна для пользователя.

Слабость метасуждений. Задачи типа «оцените, сколько усилий потребуется для решения» или «определите, знаете ли вы ответ» — модели выполняют хуже людей и хуже, чем следовало бы из их фактической точности. Они не умеют адекватно оценивать собственные когнитивные ресурсы.

Хрупкая интроспекция. Когда модель просят объяснить, почему она приняла конкретное решение, объяснения оказываются пост-hoc рационализацией, а не описанием реального процесса. Модель конструирует правдоподобную историю, а не извлекает причинную цепочку из собственных вычислений. Это отличается от человеческой интроспекции, которая хотя и несовершенна, но хотя бы привязана к реальным ментальным состояниям.

Уязвимость к избыточной информации. Люди с развитой метакогницией умеют фильтровать шум — они знают, какие источники заслуживают внимания, а какие отвлекают. Модели этого не делают: дополнительный контекст в промпте может как улучшить, так и ухудшить результат, и модель не в состоянии оценить, поможет ли ей новая информация или навредит.

Однако есть нюанс: способность улучшать метакогнитивные навыки через обучение и промптинг показывает, что какая-то основа для метакогниции в архитектуре присутствует. Если бы её не было вообще, никакие методы не работали бы. Тот факт, что модели учатся на собственных сигналах уверенности и реагируют на метакогнитивные промпты — уже признак того, что мы имеем дело с rudimentary, но существующим механизмом.

Как дают LLM метакогнитивные способности

Исследователи разрабатывают три класса методов для наделения моделей метакогнитивными навыками.

Фреймворки на основе когнитивной психологии. Некоторые команды напрямую переносят метакогнитивные модели из psychology в архитектуру LLM. Фреймворк Monitor-Generate-Verify (MGV) реализует цикл Flavell: модель сначала мониторит входные данные, затем генерирует ответ, потом верифицирует его и при необходимости повторяет цикл. Dual-process подходы (вдохновлённые теорией Системы 1 и Системы 2 Канемана) разделяют быстрое интуитивное и медленное deliberative рассуждение — модель Pangu Embedded от Huawei использует дистилляцию, reinforcement learning и метакогнитивные промпты для реализации обоих режимов. Это не просто промпт-инжиниринг: архитектура содержит явные модули для мониторинга и регуляции.

Метакогнитивные промпты. Самый простой и распространённый метод — попросить модель порассуждать о собственном рассуждении. Промпты типа «оцени уверенность в каждом шаге», «если не уверен, укажи это», «проверь, нет ли ошибок в предыдущем выводе» — удивительно эффективны. Исследования показывают, что самоотражение (self-reflection) в промпте заметно повышает точность на reasoning-задачах и улучшает вербализацию неуверенности. Модели, обученные на данных с метакогнитивными рассуждениями, лучше калиброваны и реже галлюцинируют. Но промпты — это внешний костыль, а не внутренний механизм: модель имитирует метакогницию, а не осуществляет её.

Обучение с метакогнитивными сигналами. Самый перспективный, но технически сложный подход — включить метакогницию в процесс обучения. Reinforcement learning с self-generated сигналами: модель генерирует оценку уверенности, получает reward за точность оценки, и постепенно учится калибровать собственную уверенность. Fine-tuning на данных, где правильные ответы помечены уровнями уверенности, позволяет модели усвоить связь между внутренним состоянием и внешним выражением. Ранние результаты показывают, что такие модели не только точнее, но и надёжнее — они abstain (воздерживаются от ответа) на сложных вопросах вместо того, чтобы галлюцинировать.

Метакогниция на практике: три направления применения

Совместное принятие решений человеком и ИИ. Когда метакогнитивная чувствительность модели высока (она точно отличает правильные ответы от неправильных через уверенность), гибридные системы «человек + ИИ» принимают лучшие решения, чем каждый по отдельности. Парадоксальный результат: модель с более низкой точностью, но более высокой метакогнитивной чувствительностью улучшает итоговое решение сильнее, чем высокоточная, но самоуверенная модель. Потому что пользователь знает, когда доверять, а когда перепроверить.

Образование и персонализированное обучение. Метакогнитивный тьютор — модель, которая понимает, что ученик не понял, и адаптирует объяснение. Но для этого она должна сначала понимать, что понимает она сама. Если тьютор не калиброван — он даёт избыточные объяснения простого и недостаточные — сложного. Первые эксперименты с метакогнитивными промптами в образовательных чат-ботах показывают улучшение адаптивности и качества обратной связи.

Безопасность и oversight. Модель, которая знает о собственных ограничениях, безопаснее модели, которая действует вслепую. Метакогниция позволяет системе определить, когда нужно запросить человеческую помощь, когда отказаться от выполнения задачи и когда поднять тревогу о потенциальном риске. Для AI safety это критически важно: надзирать за системой, которая не осознаёт собственных ошибок, практически невозможно.

Почему это сложно: архитектурные ограничения

Архитектура трансформера создаёт фундаментальные препятствия для метакогниции. Attention-механизм обрабатывает все токены параллельно — у модели нет «последовательного мышления», в котором можно остановиться, оценить промежуточный результат и скорректировать курс. Каждый токен генерируется за один проход, и нет внутреннего механизма для рекурсивной оценки собственных вычислений.

Дополнительная проблема: модели обучаются предсказывать следующий токен, а не оценивать качество собственной генерации. Функция потерь оптимизирует правдоподобие текста, а не точность самодиагностики. Даже когда модель выдаёт «я не уверена» — это просто ещё один токен, который она научилась генерировать в определённом контексте, а не результат внутреннего мониторинга.

Есть и более глубокий вопрос: может ли система, оптимизированная для имитации человеческого текста, вообще обладать чем-то, напоминающим метакогнию? Или она лишь симулирует метакогнитивные высказывания, заученные из тренировочных данных? Различить эти два случая практически невозможно — и это одна из центральных нерешённых проблем области.

Куда движется область

Авторы обзора выделяют несколько приоритетных направлений. Нужны стандартизированные метрики и бенчмарки для измерения метакогниции — сейчас каждый исследователь использует свой набор тестов, что делает результаты несопоставимыми. Необходимы longitudinal studies — как метакогнитивные способности меняются по мере масштабирования моделей и улучшения методов обучения. И, наконец, нужно глубже понять, как архитектура, данные и процедуры обучения влияют на emergence метакогнитивного поведения — какие компоненты необходимы, а какие достаточны.

Практически наиболее перспективным направлением выглядит интеграция метакогниции в reinforcement learning пайплайны посттренировки. Модели, которые учатся не только давать правильные ответы, но и адекватно оценивать собственную уверенность, обещают стать следующим шагом к надёжным AI-системам. Если модель сможет сказать «я не знаю, но знаю, что не знаю» — это будет революция в human-AI interaction, сравнимая по значимости с переходом от rule-based систем к нейросетям.

Часто задаваемые вопросы

Чем метакогниция отличается от обычной калибровки уверенности?

Калибровка — это статистическая характеристика: насколько уверенность модели совпадает с реальной точностью в среднем по датасету. Метакогниция — это динамическая способность: модель отслеживает собственное состояние в реальном времени, регулирует стратегию и адаптирует поведение. Калибровка — следствие; метакогниция — механизм, который это следствие обеспечивает.

Могут ли рассуждающие модели (o1, o3) считаться метакогнитивными?

Они демонстрируют элементы метакогнитивного поведения — самокоррекцию, верификацию промежуточных шагов, возврат к предыдущим выводам. Но это выученный паттерн на данных с reasoning traces, а не настоящий внутренний мониторинг. Модель следует шаблону рассуждения, а не реально оценивает собственные вычисления. Граница тонкая, и исследования продолжаются.

Почему метакогниция важна для безопасности ИИ?

Без метакогниции модель не может определить, когда её ответ потенциально опасен или ошибочен. Она выдаёт результат с одинаковой уверенностью независимо от качества. Для AI safety критически важно, чтобы система могла abstain — отказаться от ответа, когда не уверена, и запросить человеческую помощь. Это невозможно без внутреннего мониторинга собственных ограничений.

Итог

Метакогниция в LLM — это не вопрос «есть или нет», а вопрос степени и архитектуры. Модели демонстрируют rudimentary метакогнитивные способности: способны к self-reflection через промпты, обучаются на собственных сигналах уверенности, показывают элементы мониторинга в reasoning chains. Но полноценной метакогниции — способности реально отслеживать и регулировать собственные вычисления в реальном времени — пока нет. Разрыв между имитацией метакогнитивного поведения и настоящей метакогницией остаётся ключевой проблемой. Закрытие этого разрыва — один из важнейших вызовов для создания надёжных, безопасных и по-настоящему полезных AI-систем следующего поколения.