Выбрать правильную задачу труднее, чем решить её. Для исследователей это не поговорка, а описание работы: значительная часть научного мастерства состоит в том, чтобы понять, какой эксперимент вообще стоит ставить. Машины давно обгоняют людей в решении поставленных задач, а вот с этим умением, которое называют научным вкусом, у них долго не получалось.

Бенчмарк TasteVal от исследовательской группы P-Zero Research показывает, что теперь получается. Научный вкус фронтир-моделей растёт в геометрической прогрессии, удваиваясь примерно каждые три месяца. Цифры разобрал Джек Кларк в свежем выпуске рассылки Import AI 476, и после них он пересмотрел собственный прогноз по срокам рекурсивного самоулучшения ИИ.

Что такое научный вкус

Научный вкус, или research taste, это способность выбирать интересные задачи, проектировать эксперименты и интерпретировать результаты. Разница между сильным и средним исследователем редко упирается в технику: оба умеют обучать модели, но один ставит эксперименты, которые двигают область вперёд, а другой год полирует тупиковую ветку.

Звучит расплывчато, и в этом была главная проблема. Десятилетиями считалось, что такому качеству нельзя научить и тем более нельзя его измерить: его приписывали интуиции, опыту и насмотренности исследователя. Ставки при этом высоки. Если машина умеет только решать поставленные задачи, она остаётся инструментом. Если она умеет выбирать, за какие задачи браться, она превращается в коллегу.

Измерить такое качество сложно, потому что у выбора задачи нет правильного ответа. Обычный бенчмарк сравнивает решение модели с эталоном, а эталона «правильной научной интуиции» не существует. Поэтому P-Zero Research сузили определение до одной компоненты, зато проверяемой: умения модели итеративно ставить эксперименты и делать выводы из их результатов, когда проблема уже задана.

Как устроен TasteVal

Бенчмарк охватывает восемь задач из реальной разработки ИИ: курирование данных для предобучения, предобучение и дообучение языковых моделей, обучение на предпочтениях, устойчивость к состязательным промптам. Модель не отвечает на вопросы: ей дают исследовательскую проблему, и она должна сама выстроить серию экспериментов.

Оценивается процесс, а не финальная цифра. Модель решает, что проверить первым, как интерпретировать промежуточный результат и какой шаг сделать следующим, а качество каждого решения сравнивают с тем, как поступили бы люди.

Набор задач выбран не случайно. Это не абстрактные головоломки, а реальные рычаги прогресса: качество данных предобучения, режимы дообучения, калибровка предпочтений и защита от состязательных атак определяют, насколько сильной получится следующая модель. Исследователь, который не умеет читать такие эксперименты, сжигает вычисления пачками, поэтому вкус конвертируется в деньги напрямую.

Предложить идею легко, а вот понять по результатам, какая из идей выдержала проверку, трудно. Механика итеративная: модель предлагает первый эксперимент, получает результат, корректирует гипотезу и делает следующий шаг. Оценка идёт по всей серии шагов сразу, поэтому одна случайная удача не спасает общую картину.

Линию сравнения собрали из 24 экспертов, минимум по двое на задачу, с недавним опытом работы в OpenAI, Google DeepMind, NVIDIA и Microsoft Research. Это не абстрактный рейтинг, а очная ставка с практиками фронтира, людьми, которые прямо сейчас занимаются разработкой моделей.

Удвоение каждые три месяца

Главный результат звучит как строка из учебника про экспоненты: экспериментальный научный вкус фронтир-моделей удваивался каждые 3,0 месяца начиная с декабря 2025 года, при 95-процентном доверительном интервале от 1,7 до 5,0 месяца. Четыре удвоения в год означают рост примерно в 16 раз за год.

Широта интервала напоминает, что вывод предварительный, но направление от неё не зависит. По нижней границе (5,0 месяца) темп остаётся выше пятикратного роста за год, по верхней (1,7 месяца) удвоение происходит быстрее, чем раз в два месяца.

До переломного момента динамика была куда скромнее, а сам излом пришёлся на рубеж 2025 и 2026 годов. Лучшая модель, Opus 5.5, в итоге превысила человеческий базлайн со множителем вычислений 2,30x. Средняя стоимость одной попытки у неё примерно в 30 раз ниже, чем у экспертов, а даже нижняя граница доверительного интервала множителя, 1,15x, оставляет модели впереди.

Складывать эти числа в точный прогноз не стоит: слишком широкие интервалы и слишком узкий набор задач. Но направление движения сомнений не вызывает, и именно оно заставило пересмотреть сроки, о которых дальше.

Почему это история про RSI

Рекурсивное самоулучшение (recursive self-improvement, RSI) это сценарий, в котором ИИ ускоряет собственное развитие: находит лучшие методы обучения, готовит данные и код для следующей версии, переписывает собственную архитектуру. Скорость такого цикла зависит от того, как модели решают задачи, и от того, насколько удачно они выбирают, что улучшать. То есть от научного вкуса.

Связка выглядит так. Чтобы улучшить модель, команда исследователей проводит десятки экспериментов: какие данные добавить, как настроить обучение, что проверить следующим. Модель, которая умеет вести такие эксперименты, делает это параллельно и без выходных, а её выводы уже сопоставимы с выводами экспертов. Вкус превращает исследовательский процесс из узкого места в ещё один автоматизируемый этап.

Именно поэтому вкус считался недостающей деталью. В начале года Кларк называл креативность ключевой переменной для скорости самоулучшения, но оговаривался: убедительных подтверждений нет. Теперь, по его словам, они появились. К прорывам в математике, которые модели выдавали в последние месяцы, добавился измеримый рост исследовательских навыков.

Итог: «Я теперь считаю, что полное RSI вероятнее в 2027 году, а раньше считал, что в 2028». Сдвиг на год вперёд за несколько месяцев случился не из-за одной красивой демки, а из-за метрики, которая годами не двигалась и вдруг пошла вверх.

Почему это важно за пределами прогнозов. Полное RSI не значит, что модели завтра начнут переписывать себя целиком. Речь об ускорении цикла: каждая следующая итерация улучшений занимает меньше времени, чем предыдущая, и человеческое планирование перестаёт успевать за темпом. Вопрос «2027 или 2028» перестаёт быть академическим именно поэтому.

Мы уже разбирали, почему 2028 год называли переломным для самоулучшения. Теперь срок переезжает влево, и это хороший повод перечитать тот разбор с новыми данными на руках.

Чего TasteVal не измеряет

Начнём с осторожной части. Бенчмарк проверяет одну компоненту вкуса, экспериментальную. Умение выбирать интересные проблемы, чувство новизны, готовность вовремя бросить бесперспективное направление в него не входят. Восемь задач выглядят солидно на фоне типичных тестов, но это не вся фронтир-разработка и точно не вся наука.

К тому же базлайн из 24 человек это снимок конкретных людей в конкретный момент: минимум двое на задачу не заменяют большую выборку. Картина станет убедительнее после независимых репликаций, когда те же задачи прогонят другие лаборатории.

Второй риск связан с эффектом Гудхарта: когда метрика становится целью, под неё начинают оптимизировать. Если TasteVal станет стандартом отрасли, появятся модели, заточенные под него, и тогда график удвоений оторвётся от реального вкуса.

Сами авторы не скрывают неопределённость: интервалы широкие, вычисления и стоимость измеряются в приблизительных величинах. Но сигнал ложится на другие наблюдения. Anthropic уже отчитывалась о том, как автоматизация ускорила её исследования. Google показал модель, которая работает соавтором математиков. В том же выпуске Import AI был бенчмарк о визуальном мышлении, где модели заметно отстают, и это полезный противовес: вкус растёт, а базовые интуиции о физическом мире пока хромают.

Что дальше

Следить за этой линией стоит не ради даты. Метрика вкуса подсказывает, где будут ломаться привычные процессы: если модели научились выбирать эксперименты, следующая волна автоматизации придёт не в исполнительские задачи, а в постановку задач. Оптимистичная версия: исследователи избавляются от рутины. Пессимистичная: решения о том, что изучать, всё чаще принимает система, а человек только ставит подпись.

Для команд, которые строят продукты на моделях, это означает смену акцента. Автоматизировать исполнение уже недостаточно: следующий слой это системы, которые сами предлагают, что проверить, и расставляют приоритеты. Ранние версии такого подхода видны в агентах для исследовательских операций, и по мере роста вкуса порог входа будет падать.

Обе версии требуют одного: понимать, как принимаются такие решения. Читать бенчмарки вроде TasteVal и следить за тем, пересматриваются ли прогнозы, будет полезнее, чем ждать очередной громкой даты.

Часто задаваемые вопросы

Что такое научный вкус в контексте ИИ?

Научный вкус это способность выбирать перспективные задачи, проектировать осмысленные эксперименты и верно интерпретировать результаты. Исследователи считают его одним из главных отличий сильного учёного от исполнителя. До недавнего времени качество считалось сугубо человеческим: у выбора задач нет эталонного ответа, с которым можно сравнить решение машины.

TasteVal правда показал, что модели лучше людей?

В узком смысле да. Лучшая модель превысила базлайн из 24 экспертов, потратив на попытку примерно в 30 раз меньше. Но речь об одной компоненте вкуса, экспериментальной, и о восьми задачах из разработки ИИ. Оценки идут с широкими доверительными интервалами, а бенчмарк не равен реальной науке с её лабораториями, грязными данными и многолетними проверками.

Что такое RSI и почему прогноз сдвинулся на 2027 год?

RSI, рекурсивное самоулучшение, это сценарий, в котором ИИ сам ускоряет своё развитие: улучшает методы обучения, готовит данные и код для следующей версии. Джек Кларк считал полное RSI скорее событием 2028 года. Увидев рост научного вкуса моделей и их математические результаты, он пересмотрел срок на 2027 год.

Почему об удвоении каждые три месяца говорят с осторожностью?

Три месяца это средняя скорость на коротком отрезке времени, а доверительный интервал от 1,7 до 5,0 месяца отражает малое число замеров. Один удачный релиз легко сдвигает кривую. Поэтому к цифре стоит относиться как к сильному тренду, а не как к расписанию: она описывает направление, а не гарантированный график.

Итог

Научный вкус ИИ перестал быть философской абстракцией и превратился в измеримую величину, которая растёт по экспоненте. TasteVal показал, что фронтир-модели уже обходят экспертов в проектировании экспериментов, и этот сигнал сдвинул прогноз полного рекурсивного самоулучшения с 2028 на 2027 год. Осторожность по-прежнему уместна: восемь задач это не вся наука, а интервалы широкие. Что осталось за кадром: остальные компоненты вкуса и сама наука, которая живёт медленнее бенчмарков.

Самое ценное в этой истории не новая дата, а скорость, с которой такие даты пересматриваются. Если хотите копнуть в первоисточники, начните с самого бенчмарка на сайте P-Zero Research и с выпуска Import AI 476, откуда пришли цифры. А если тема самоулучшения для вас новая, держите наш разбор о том, почему 2028 год называли переломным: теперь его есть чем дополнить.