Прогресс ИИ за 30 месяцев: 180 моделей сильнее GPT-4

Прогресс ИИ за 30 месяцев: 180 моделей сильнее GPT-4

В 2024 году лучшая модель мира справлялась с задачей, на которую человек тратит четыре минуты. В апреле 2026 года тот же замер показал семнадцать часов. Разница между этими двумя числами и есть содержание нового эссе Ethan Mollick «30 Months on the Exponential», которое вышло сегодня вместе с его второй книгой Co-Existence.

Прогресс ИИ здесь измерен не впечатлениями, а числами: сколько моделей обошли GPT-4, как вырос горизонт автономной работы, во сколько раз подешевел правильный ответ и где способности всё ещё проваливаются. Получился редкий документ, в котором экспонента показана без пафоса и без катастрофизма, а главный вывод касается не моделей, а нашей способности их измерять.

Кто считал и как

Моллик преподаёт в Wharton и написал Co-Intelligence, самую читаемую книгу о работе с ИИ. Новая книга выходит через 30 месяцев после первой, и этот промежуток он решил оцифровать.

Способ производства графиков оказался отдельным аргументом. В эпоху чат-ботов Моллик часами водил модель за руку по каждому шагу. Сейчас он отдал работу Opus 5.5 в Claude Projects, где один оркестрирующий агент порождает подагентов и раздаёт им инструкции. Две фразы вводных, и через несколько минут были готовы исследование, графики, вёрстка, изображения и ссылки. На промежуточные варианты он реагировал знаменитым «сделай лучше». Модель даже поймала ошибку в его собственной арифметике. Изначально пост должен был называться «28 месяцев на экспоненте».

То есть данные о прогрессе собрал тот самый прогресс, который они описывают. Это не красивая деталь, а тест: если инструмент за пару минут делает аналитику, на которую раньше уходили часы, то и читать такие отчёты стоит иначе. Мы теперь проверяем не «может ли ИИ», а «что мы доверяем ему без проверки».

Двадцать лидеров и 180 моделей

С начала 2023-го до начала 2024 года в мире была одна модель, бесспорно лучшая. Это GPT-4, и именно её помнят люди, впервые попробовавшие ChatGPT.

С тех пор первое место успели занять двадцать разных моделей. Все они от Anthropic, Google или OpenAI, что само по себе говорит о концентрации рынка: три лаборатории переставляют друг друга на вершине, а остальные наблюдают.

Для покупателя это неудобная новость. Лидерство теперь держится неделями, поэтому жёсткая привязка к одному провайдеру почти гарантированно означает отставание через квартал. Тот, кто встроил конкретную модель в продукт как единственный вариант, платит за это дважды: сначала за отставшую цену, потом за миграцию под давлением.

Но смена лидера скрывает более важный сдвиг. Сто восемьдесят моделей сегодня лучше, чем был GPT-4 в момент выхода. Многие из них с открытыми весами, их можно свободно использовать и менять. Девятнадцать помещаются на современный смартфон.

Здесь стоит остановиться, потому что цифра 180 обычно читается неправильно. Люди ищут победителя, а интереснее пол. Год назад уровень GPT-4 был пропуском в высшую лигу, теперь это нижняя граница приличной модели, включая те, что работают офлайн на телефоне. Конкуренция идёт не за то, кто умнее, а за то, насколько дешёвым и доступным стал вчерашний фронтир.

Горизонт: 4 минуты, 17 часов и обрыв

Самое известное число в этом эссе относится к METR Long Horizon Benchmark. Замеряют простую вещь: какой объём человеческой работы модель выполняет по одному запросу с вероятностью успеха не ниже 50 процентов.

До появления агентов этот график удваивался с пугающей регулярностью, всего восемь удвоений от выхода GPT-4 до конца замеров. В 2024 году модель тянула четырёхминутную задачу. К апрелю 2026-го, когда Моллик сдавал рукопись, уже семнадцать часов.

Семнадцать часов это два рабочих дня одного человека. Не «ответить на вопрос», а провести исследование, собрать черновик отчёта, разобрать чужой репозиторий, подготовить обзор литературы. Именно на этом масштабе слово «агент» перестало быть маркетинговым: задача слишком велика для одного ответа модели, её нужно планировать, дробить и доводить до конца.

А потом бенчмарк закончился. METR объявила, что текущими методами не может корректно измерить, сколько ещё работы способна выполнить модель. Другие оценки говорят про семнадцать недель или больше.

Это не фигура речи про «ИИ стал слишком умным для тестов». Замер ломается по конкретным причинам. Задачи длиной в недели плохо укладываются в лабораторный эксперимент: их нельзя аккуратно повторить, у них нет чистого ответа в конце, а человек, который ставит задачу, начинает подгонять её под знакомый формат. Плюс агент на длинной дистанции накапливает ошибки, и вероятность пройти весь путь без сбоя падает быстрее, чем растёт его умение на отдельном шаге.

Практический вывод неприятнее, чем кажется. Мы привыкли, что прогресс подтверждают графики, а теперь главный график упёрся в потолок собственной методологии. Дальше сравнивать модели придётся на ваших задачах, потому что общих шкал для «недели работы» пока не существует.

Цена правильного ответа упала в 750 раз

Второй график объясняет, почему агенты вообще стали возможны. Речь о GPQA, наборе graduate-level вопросов по физике, химии и биологии, которые ставят в тупик и специалистов, и поисковики.

В начале эпохи чат-ботов один правильный ответ на таком экзамене стоил 30 центов. Сейчас тот же результат стоит четыре сотых цента. Падение в 750 раз.

Метрика хитрее, чем цена за тысячу токенов, к которой привыкли разработчики. Она складывает две вещи: модель стала умнее, поэтому реже промахивается, и инференс подешевел, поэтому каждая попытка стоит меньше. Для бюджета проекта важно именно произведение, а не прайс за миллион токенов.

Что это меняет на практике: становятся осмысленными эксперименты, которые раньше считались роскошью. Прогнать документ через пять моделей и сравнить ответы, дать агенту сто попыток на сложную задачу, держать дешёвую модель на каждом шаге пайплайна и звать дорогую только на финальную проверку. Экономика ИИ перестала быть экономией на спичках, она стала инженерной дисциплиной.

Зубчатая граница никуда не ушла

Все эти числа легко прочитать как «ИИ умеет всё». Моллик аккуратно портит впечатление: граница способностей осталась такой же зубчатой, как 30 месяцев назад.

Он пишет, что модель до сих пор плохой автор длинных текстов, поэтому каждую главу книги писал сам. А математика за тот же период прошла путь от полного провала до уровня выше человеческого. Соседние задачи, внешне похожие, могут отличаться на порядок по качеству.

Для инженера это означает простую вещь: средние по бенчмаркам не переносятся на ваш пайплайн. Модель, которая блестяще решает олимпиадные задачи, может развалиться на оформлении счёта в вашей внутренней системе, потому что там грязные данные и нестандартный формат. Проверять надо на своих примерах, а не на сводках лидербордов.

Кентавр, киборг, конжурор

Моллик обновил свою же типологию работы с ИИ. В Co-Intelligence было два режима. Кентавр делит работу: человек и модель делают разные части. Киборг смешивает: вы правите ответ, модель правит ваш текст, граница размыта.

Оба режима держат человека в контуре. Но в контуре можно стоять не бесконечно: внимание заканчивается, а количество петель растёт. Поэтому появился третий режим, конжурор. Он вызывает агентов по необходимости, ставит им задачу и оценивает результат, не участвуя в процессе.

Графики в этом посте сделаны именно так: вызов, общее указание, оценка. Моллик называет конжурор самым мощным способом работы с ИИ и честно добавляет, что он же самый рискованный, потому что вы теряете контроль над тем, как именно получен результат.

Отсюда практическое правило, которое стоит забрать в продакшен. Режим конжурора требует внешней проверки: тестов, диффов, схем, воспроизводимых прогонов. Без неё оценка результата превращается в «выглядит нормально», а это не оценка, а надежда. Чем больше задач вы делегируете, тем важнее обвязка вокруг агента, а не модель внутри него.

Тест с выдрой

У Моллика есть собственный тест для генеративных медиа: выдра в самолёте с вайфаем. Тридцать месяцев назад лучший генератор картинок выдавал по этому запросу статичное изображение, и оно казалось чудом.

Сегодня он отправил Opus 5.5 сообщение с опечатками и просьбой сделать «лучшее видео с выдрой в самолёте с вайфаем». Модель собрала ролик целиком: сценарий, кадры, концепцию, музыку, техническую сборку. Через подписки на сервисы Google и ElevenLabs, без единой правки человека.

В ролике есть огрехи, и Моллик их не скрывает. Важно другое: качество результата перестало зависеть от умения писать промпт. Опечатки в запросе больше не мешают, потому что модель достраивает намерение. Зависит оно теперь от двух вещей: что вы попросили и как вы проверили то, что вернулось.

Что с этим делать

Первое: пересматривать ожидания чаще, чем раз в год. Восемь удвоений горизонта означают, что задача, провалившаяся прошлой весной, может спокойно решиться сегодня. Многие команды до сих пор не перепроверяют старые отказы.

Второе: считать цену правильного ответа, а не цену токена. Разница в 750 раз появилась не из воздуха, она складывается из качества и стоимости инференса. Если вы оптимизируете только прайс за миллион токенов, вы оптимизируете половину уравнения.

Третье: строить свою измерительную систему. Общие бенчмарки упёрлись в потолок, а ваш набор задач никуда не делся. Двадцать или тридцать реальных примеров с эталонными ответами дадут больше, чем любой лидерборд.

Четвёртое: помнить, где человек всё ещё сильнее. Моллик перечисляет четыре вещи: глубокое знание предмета, широкий кругозор, вкус и агентность, то есть готовность действовать. Пока модели работают в режиме конжурора, именно эти качества определяют, кому стоит доверять результат.

Часто задаваемые вопросы

Что случилось с бенчмарком METR?

METR заявляла, что текущие методы не позволяют корректно измерить, сколько работы модель выполняет по одному запросу. Последняя надёжная точка замера датируется апрелем 2026 года и составляет 17 часов. Независимые оценки называют цифры вплоть до 17 недель, но подтвердить их существующей методологией нельзя.

Почему 180 моделей лучше GPT-4 важнее, чем имя лидера?

Лидер меняется каждые несколько недель, и следят за ним в основном из спортивного интереса. Куда важнее, что уровень GPT-4 стал нижней границей: его превзошли 180 моделей, часть с открытыми весами, а 19 работают на смартфоне. Конкуренция сместилась с вершины к доступности.

Что такое режим конжурора и чем он опасен?

Это работа, при которой вы вызываете агентов, ставите общую задачу и оцениваете результат, не участвуя в процессе. Он даёт максимальную производительность и одновременно отнимает контроль: вы не видите, какими шагами получен ответ. Компенсируется только внешней проверкой, тестами и воспроизводимыми прогонами.

Итог

Тридцать месяцев прогресса ИИ умещаются в четыре числа: двадцать сменявшихся лидеров, 180 моделей выше уровня GPT-4, горизонт задач с 4 минут до 17 часов и падение цены правильного ответа в 750 раз. Прогресс ИИ оказался одновременно измеримым и неудобным для измерения, потому что главный инструмент замера исчерпал себя.

Для тех, кто строит на этом стеке, вывод прозаичен. Перепроверяйте старые провалы, считайте стоимость результата, а не токенов, и держите собственную линейку задач. Экспонента продолжится и без удобных графиков.

А какая задача у вас до сих пор считается «слишком сложной для ИИ»? Возможно, её стоит перепроверить на этой неделе.

← Все записи