Лучшая LLM не в топе бенчмарков: пять критериев выбора
Автор YouTube-разбора прогнал одни и те же реальные задачи через девять моделей и дважды получил результат, который ему не понравился: победителем оказывалась не та модель, за которую он платит по привычке. Не потому что она умнее. Потому что сравнение шло по рейтингу, а работать приходилось в конкретном приложении с конкретными ограничениями.
Оговорка сразу: видео наполовину спонсорское, в середине две рекламные вставки про сторонние сервисы. Аналитическая часть при этом предметная, с ценами и ограничениями, но рекламные абзацы стоит вычитать.
Цена за подзадачу это стоимость одного закрытого дела: разобранного PDF, починенного бага, собранного отчёта. Прайс-лист провайдера показывает входной билет, а счёт формируется из того, сколько токенов модель сожгла на пути к результату. Именно эта величина, а не место в таблице, определяет, окупится ли подписка.
Почему топ бенчмарка перестал быть ответом
GPT больше не возглавляет таблицы бенчмарков, и не возглавляет уже довольно давно. При этом автор использует его для 80% повседневной работы, почти не задумываясь. Противоречия здесь нет: рейтинг отвечает на вопрос «кто умнее», а не на вопрос «кто дешевле и быстрее закроет мою задачу в понедельник утром».
Второй факт, который ломает всю логику выбора по рейтингу, звучит у автора в конце видео. Он видел, как модель лидировала во всех рейтингах весной и тихо проигрывала среднему релизу конкурента к лету. И в обратную сторону тоже, не раз. Срок годности любого места в таблице примерно три месяца, то есть примерно столько же, сколько живёт привычка, которую вы построили вокруг одного провайдера.
Отсюда практический вывод, который автор называет главным: не связывать рабочий процесс с одной лабораторией. Как только весь пайплайн построен вокруг одного вендора, вы заперты с тем, кто в следующем квартале может оказаться в проигрыше. Это не аргумент за то, чтобы платить пяти провайдерам. Это аргумент за то, чтобы знать, чем вы пользуетесь и почему.
Критерий первый: приложение вокруг модели
GPT выигрывает не моделью, а тем, что построено вокруг неё. Любой сторонний инструмент, к которому автор прикасается, уже интегрирован с ней: когда приложение для заметок или CRM добавляет функцию ИИ, под капотом обычно работает именно GPT. Это скучное преимущество, и оно оказывается важнее, чем признают в большинстве сравнительных видео.
В агентских задачах OpenAI действительно вырвалась вперёд. Модели лучше справляются с многошаговым использованием инструментов, чем большинство конкурентов, и лидируют в нескольких самых сложных тестах на логику. Компромисс честный: вы платите надбавку за полировку интерфейса, а в сложном программировании результаты лучше в другом месте. Если нужна одна подписка и не хочется ничего исследовать, это самый безопасный вариант. Безопасные варианты по умолчанию редко оказываются лучшим инструментом для конкретной задачи.
Тут же автор разбирает ошибку, которая стоит тридцати секунд внимания. Когда вы генерируете изображение в чате, вы вообще не взаимодействуете с языковой моделью. Это разные системы за одним окном, и как только вы начинаете сравнивать лаборатории по качеству текста, картинки из уравнения надо убрать.
Критерий второй: где модель живёт
Gemini два года была посмешищем в этой гонке, а потом тихо вышла в лидеры по большинству крупных бенчмарков. Топовая Pro-модель текущего поколения выигрывает в подавляющем большинстве стандартных тестов, и сильнее всего она в математике и абстрактном мышлении.
Только открывает автор её не ради бенчмарков. Незаменимой её делает место, где она живёт: Gmail, Документы, Таблицы, Поиск и кнопка ассистента на телефоне. Документ не нужно вставлять в окно чата, он уже лежит в той же учётной записи. С другими моделями сначала надо настроить подключение и авторизацию, и к этому моменту вы уже забыли, о чём хотели спросить.
Контекстное окно у топовых моделей доходит примерно до двух миллионов токенов. Это целая кодовая база или контракт на 300 страниц за один разговор. Отдельно автор выделяет Flash: версия стоит в разы дешевле флагманской, отвечает практически мгновенно, а в повседневных вопросах разницы в качестве он не видит. По его оценке, это самая недооценённая модель во всём обзоре.
Сомнение у него одно, и он формулирует его аккуратно. Бизнес Google строится на рекламе, поэтому модель, стоящая между вами и открытым вебом, вызывает закономерный вопрос о стимулах. Доказательств предвзятости автор не видел и не утверждает, что они есть. Но держит это в уме, как и с любым бесплатным продуктом.
Критерий третий: токены на задачу, а не цена токена
Claude это рабочий инструмент, а не потребительский продукт. Ни генерации изображений, ни видео, зато лучшие результаты в тестах на реальных задачах разработки из настоящих open-source репозиториев. Именно поэтому, по наблюдению автора, почти все знакомые ему разработчики тихо перенесли туда кодинг, не афишируя это.
Линейка делится на уровни, и выбор правильного экономит реальные деньги. Есть исследовательский уровень выше Opus, представленный в 2026 году, затем сама линия Opus и рабочая лошадка Sonnet. Sonnet автор называет оптимальным выбором для большинства: он намного дешевле флагмана, но сохраняет почти то же качество. На верхний уровень он переходит, только если задача встала намертво, а это бывает примерно раз в неделю.
Дальше начинается самое интересное для всех, кто считает деньги. Топовые модели Anthropic стоят за токен дороже, чем у конкурентов, поэтому на бумаге выглядят дорогими. Но они тратят меньше токенов на рассуждения при решении сложных задач, и в итоге выполнение реальной работы иногда обходится дешевле, чем на модели, которая ходит кругами. Цена за токен это неверный показатель для сравнения. Цена за подзадачу ближе к правде, и почти никто её не считает.
Второй аргумент вообще не про деньги. Claude умеет спорить. Автор дал ему план архитектуры, и модель сказала, что план слабый, объяснив почему. Другая модель похвалила бы план и начала писать код, который пришлось бы выбросить в пятницу. Доверить ему 200-страничный документ с задачей вытащить суть аргументации, а не список тезисов, он тоже готов. Компромисс предсказуемый: нужны картинки в том же окне, и Claude этого просто не делает.
Критерий четвёртый: юрисдикция и лицензия
Mistral это европейская лаборатория, и первое, что замечаешь, это скорость. Ответы приходят быстрее, чем у всего остального в обзоре, и это незаметно меняет подход к работе: перестаёшь группировать вопросы и задаёшь их по одному, как только они возникают.
Главный аргумент в её пользу не скорость, а то, где хранятся данные. Французская компания работает по европейским правилам и готова размещать данные в ЕС или на инфраструктуре клиента. Если вы работаете с банком, больницей или госучреждением в Евросоюзе, этот факт определяет выбор поставщика ещё до того, как кто-то откроет таблицу с бенчмарками. Потолок возможностей при этом честно признаётся: на самых сложных задачах логики и в длинных агентских прогонах топовая модель Mistral уступает большой тройке.
С Meta история обратная. Llama с открытыми весами стала одной из главных причин, по которым локальный ИИ вообще стал нормой: Meta публиковала серьёзные веса, пока другие американские лаборатории держали свои под замком. Но лицензия выглядит открытой, а содержит условия, которых нет у полностью свободных лицензий, поэтому юристы в крупных компаниях до сих пор разбирают её построчно. По последним релизам, которые тестировал автор, Meta уступила лидерство в открытых весах китайским лабораториям, и разрыв стал очевиден.
С DeepSeek работает та же логика, только с другой стороны. Облачное приложение отправляет данные на китайские серверы, и для многих компаний это сразу ставит точку в вопросе. Зато веса открыты: модель можно скачать и запустить на своём оборудовании, и тогда вопрос юрисдикции снимается полностью. Автор формулирует это почти как лозунг: лучшее предложение на рынке сейчас это модель, которую можно хранить на диске, а не арендовать по токенам.
Критерий пятый: дистрибуция сильнее качества
Meta AI это модель с наибольшим числом пользователей, которые её никогда не выбирали. Она встроена в WhatsApp, Instagram и Messenger, поэтому пара миллиардов человек держит её под рукой, не устанавливая никаких ИИ-приложений. Для быстрых вопросов в чате её хватает, и в этом вся суть: попросить её разрешить спор или поправить сообщение перед отправкой она может, не заставляя открывать другую вкладку.
Никто из знакомых автора не открывает её специально для серьёзной работы, и Meta, похоже, этого и не требует. Урок здесь для всех, кто делает ИИ-продукты: распределение побеждает качество у массового пользователя. Более умная модель, которую надо где-то искать, проигрывает средней, которая уже стоит в мессенджере.
Бюджетный сегмент, где всё и происходит
DeepSeek это причина, по которой весь рынок стал дешёвым. Веб- и мобильное приложения бесплатны, а API остаётся одним из самых выгодных решений в классе. Секрет в архитектуре смеси экспертов: у модели колоссальное число параметров, но на каждый конкретный запрос активируется лишь небольшая их часть. Ответы уровня большой модели при расходе ресурсов как у маленькой.
Автор прогнал одни и те же запросы через DeepSeek и через топовую закрытую модель и описывает результат точно. Дорогая модель оказалась лучше, но разрыв в качестве был гораздо меньше разрыва в цене. На суммаризации, черновиках, простом коде и пошаговой математике ответы DeepSeek были достаточно хороши, чтобы использовать их без правок. Это неприятный вывод для тех, кто платит за подписку ежемесячно по привычке, а не по необходимости.
Дальше начинается та часть рынка, которую почти никто в комментариях не пробовал. Qwen от Alibaba это целое семейство, от крошечных моделей для смартфонов до крупных смесей экспертов, с сильной многоязычностью и лицензией, подходящей для бизнеса. GLM от Zhipu почти догнал закрытых лидеров в тестах на программирование и работу агентов, при этом стоит в разы дешевле. Kimi от Moonshot вышел с агрессивными ценами и упором на длинные автономные задачи. Два года назад никого из них не воспринимали всерьёз.
Отдельно про локальный запуск, потому что здесь обещаний больше, чем результатов. На ноутбуке с 16 ГБ памяти запускаются модели на 7–9 млрд параметров, и они сносно справляются с черновиками, переписыванием текстов, тегированием и простым кодом. С 32 ГБ начинается средний сегмент, где качество уже напоминает работу ассистента. Большие открытые модели в полном качестве требуют серьёзной видеопамяти, и в этот момент вы начинаете тратиться на железо вместо подписки.
Маленькая модель на ноутбуке не флагман. Она чаще галлюцинирует, теряет нить в длинных задачах и не рассуждает над сложным. Взамен вы получаете конфиденциальность, отсутствие счетов и систему, которая работает в самолёте с клиентскими контрактами, медицинскими заметками и внутренней отчётностью. Для этих сценариев обмен оправдан всегда.
Где сравнение ломается
Дальше автор переходит к тому, что ломает все таблицы: к агентам. Механика простая и её стоит посчитать. Агент идёт по цепочке шагов, и каждый шаг несёт риск ошибки. Если один шаг надёжен на 95%, то на двадцати шагах подряд вероятность успеха падает до 35,8%. Это ближе к подбрасыванию монетки, чем к рабочему инструменту. Именно поэтому агент легко закрывает задачу из трёх шагов и тихо теряется на двадцати.
Контекст добавляет вторую причину сбоев. Окно в два миллиона токенов используется не везде одинаково хорошо. На длинной дистанции агент начинает забывать исходную инструкцию, перерешает уже готовое или уверенно противоречит собственной работе часовой давности. Правило автора скучное, но рабочее: большие задачи разбивать на короткие этапы с контрольными точками и проверять результат на каждом этапе, а не в конце. Агент повышает продуктивность, если относиться к нему как к шустрому стажёру, которому нужна проверка, и становится катастрофой, если считать его полноценным сотрудником.
Похожая ловушка в глубоком поиске. Perplexity и research-режимы крупных лабораторий выполняют серию запросов, читают источники и выдают отчёт со ссылками. Сравнительный анализ шести инструментов для генерации видео автор получил за две минуты, хотя раньше на это уходил день. Проблема в том, что ссылки выглядят доказательством, но ими не являются. Он ловил эти системы на том, что они ссылаются на реальную страницу, где нет того, о чём говорится в сводке. Это опаснее обычной галлюцинации, потому что ошибка подкреплена источником. Использовать такие отчёты стоит как карту, а не как вывод: цифру для презентации всё равно надо открыть в первоисточнике.
Как это выглядит в работе
Стек автора покрывает около 90% рабочей недели тремя инструментами. Сложный код и длинные документы, где важна аргументация, уходят в Claude. Всё, что связано с аккаунтом Google, и любые задачи на огромный контекст за один раз идут в Gemini, а мелкие задачи закрывает Flash почти бесплатно. Повседневная работа остаётся на GPT, как и всё, где нужен отточенный интерфейс и готовые интеграции.
Остаток распределяется по узким критериям. Когда нужно знать, что произошло сегодня, а не в прошлом квартале, автор спрашивает Perplexity и использует ответ как сырьё. Для высоконагруженной работы через API, где обрабатываются тысячи элементов, он берёт DeepSeek, потому что на таких объёмах разница в цене перестаёт быть статистической погрешностью. Qwen подключается на многоязычных задачах, GLM забирает пакетное кодирование, Kimi берёт долгие автономные прогоны, за которые не хочется платить флагманский тариф.
Выглядит громоздко, и это честная цена независимости. Альтернатива тоже честная: одна подписка, один интерфейс, ноль исследований и риск оказаться на проигравшей стороне через квартал.
Часто задаваемые вопросы
Стоит ли отменять подписку на ChatGPT?
Не обязательно. GPT по-прежнему остаётся самым безопасным выбором, если нужен один инструмент без исследований: приложение отполировано, сторонние сервисы уже интегрированы, агентские задачи решаются лучше, чем у большинства конкурентов. Вопрос только в том, платите вы за это осознанно или по привычке.
Можно ли заменить флагман локальной моделью?
Частично. На ноутбуке с 16 ГБ модель на 7–9 млрд параметров закрывает черновики, переписывание текстов, тегирование и простой код. Для сложных рассуждений и длинных агентских цепочек нужна серьёзная видеопамять, и тогда расходы на железо могут превысить годовую подписку. Для приватных данных обмен всё равно выгодный.
Правда, что китайские модели дешевле при том же качестве?
На суммаризации, черновиках и простом коде разрыв в цене действительно больше разрыва в качестве, и ответы DeepSeek автор использовал без правок. На сложной логике и длинных автономных задачах разрыв в качестве становится заметным. Проверять надо на своей задаче, а не по общему рейтингу.
Итог
Большая тройка ближе друг к другу, чем хочет внушить маркетинг, а самое интересное сейчас происходит в бюджетном сегменте, где открытые модели достаточно хороши для большинства реальных задач и почти ничего не стоят в эксплуатации. Единственный вывод, который переживёт следующий релиз: не привязывайте рабочий процесс к одной лаборатории, потому что любое место в рейтинге живёт около трёх месяцев.
Если делать что-то одно после этого текста, выберите задачу, которую выполняете чаще всего, и прогоните её через две модели, за которые вы сейчас не платите. Сравнивайте не ответы на общий вопрос, а свою реальную работу: время до результата и количество правок. Это единственный бенчмарк, который считается в вашу пользу.