Один запрос к чат-боту расходует около 500 токенов. Один запрос к агенту, который сам планирует, вызывает инструменты и проверяет результат, тянет 50–100 отдельных инференсов и больше миллиона токенов. Рост в тысячу раз, и он произошел не за десятилетие, а за пару лет.

Именно с этой арифметики начал доклад представитель Qualcomm на AI Infra Summit 2026. Дальше он сказал вещь, которую в индустрии обсуждают гораздо реже: узкое место агентного ИИ больше не вычисления. Это память. И метрика, которая теперь определяет, какое железо выживет, называется tokens per watt, то есть сколько токенов вы получаете на каждый потребленный ватт.

Что такое tokens per watt и почему это новая метрика

Tokens per watt это отношение числа сгенерированных или обработанных токенов к энергии, затраченной на это. Пока модель отвечала на короткие вопросы, экономика укладывалась в FLOPS: чем больше вычислений в секунду, тем лучше. В агентном режиме картина ломается, потому что большую часть времени ускоритель не считает, а ждет данные из памяти и жжет электричество вхолостую.

По оценке из доклада, к концу десятилетия мировое энергопотребление под ИИ выйдет на порядок, сопоставимый с энергетическими запросами всей экономики США. Новых источников энергии такой темп не подразумевает, поэтому ставка смещается на эффективность, а не на масштаб.

Почему агентный ИИ съедает в тысячу раз больше

Разница между чатом и агентом не косметическая. Чат это один ответ на вопрос. Агент это цикл: понять задачу, разбить на шаги, вызвать инструмент, прочитать результат, проверить себя, попробовать снова. Каждый шаг возвращается к модели с раздутым контекстом, а контекст тоже токены. В памяти GPU при этом живут KV-кэш, история диалога и промежуточные рассуждения, которые надо постоянно перечитывать.

Чем дольше работает агент, тем дороже каждый следующий шаг: контекст растет, KV-кэш распухает, а внимание начинает конкурировать само с собой за пропускную способность памяти. Докладчик сформулировал это как «симфонию» перемещения данных, и это не метафора. Агентная задача превращает произвольный доступ к памяти в главный расход ресурса.

Memory wall: почему дорогие GPU простаивают

Цифры из презентации выглядят как приговор архитектуре. Параметры моделей растут примерно в 240 раз каждые два года. Пропускная способность памяти за тот же период удваивается. Зазор между этими кривыми и есть memory wall, стена памяти.

Практический эффект знаком всем, кто арендует ускорители: значительную часть времени GPU простаивают, уткнувшись в ожидание данных. Железо оплачено, энергия потреблена, полезной работы ноль. Гиперскейлеры видят это в счетах, а инженеры в утилизации, которая редко доходит до заявленных производителем значений.

Три типа памяти, которые доклад сравнивает между собой, ведут себя по-разному. SRAM стоит на том же кристалле, что и вычислительные блоки, дает предельно низкую задержку и огромную пропускную способность, но физически не вмещает современные модели. HBM решает проблему емкости: в одном стеке помещается около сотни гигабайт, чего хватает даже для смешанных экспертных моделей. Плата за это узкий канал между стеком и вычислительным чипом, по которому непрерывно ездят KV-кэш, контекст и матрицы внимания. Именно этот канал жрет энергию и создает пробку.

Что предлагает Qualcomm: HBC и ставка на память на кристалле

Ответ компании называется HBC, high bandwidth compute. Идея простая до грубости: убрать узкий канал и положить стек DRAM прямо на вычислительный кристалл. В докладе это сравнили с переездом из пригорода в тот же дом, где находится работа: вместо ежедневной дороги с пробками данные получают прямой лифт.

Заявленные цифры выглядят агрессивно. По сравнению с SRAM-решениями HBC дает более 200 раз больше емкости на ватт. По сравнению с HBM более шести раз больше пропускной способности на ватт. Первое поколение выходит в 2027 году с 18-кратным улучшением пропускной способности относительно устаревших решений, второе поколение обещает 54 раза. В пересчете на декодирование, то есть на генерацию токенов, это 4–8 раз лучше по ватту, чем у ведущего GPU на HBM.

Отдельно прозвучала линейка Dragonfly: 8 с лишним токенов в секунду на ватт против ведущих GPU-систем, шестикратная пропускная способность памяти на ватт, и обещание более двукратного превосходства нового серверного CPU C1000 по производительности на ватт против всей линейки x86 и не-x86 конкурентов.

Здесь стоит включить скепсис. Это цифры вендора, показанные на слайдах собственной конференции, без независимых бенчмарков и без опубликованных условий замеров. Сравнение «против ведущего GPU на HBM» удобно тем, что не называет модель, конфигурацию и длину контекста. Часть улучшений относится к 2027 году, а заявления про «разгром SRAM» касаются узкого класса сверхнизколатентных задач, где SRAM выигрывает по задержке, но проигрывает по емкости. Так что воспринимать это надо как заявку на архитектурный сдвиг, а не как готовый результат.

Prefill и decode: почему одной машины мало

Агентная нагрузка состоит из двух режимов, и требования у них противоположные. Prefill обрабатывает весь входной контекст разом: это плотная матричная математика, которая упирается в вычисления. Decode выдает токен за токеном, и здесь почти вся работа уходит на чтение весов и KV-кэша из памяти, а сами арифметические блоки большую часть времени ждут. Prefill хочет FLOPS, decode хочет пропускную способность памяти.

В агенте эти режимы чередуются в цикле: длинный контекст на входе, короткий ответ, снова контекст с добавленным результатом инструмента. Если железо заточено под один режим, второй простаивает. Именно поэтому в докладе prefill и decode разъехались по разным типам стоек, а между ними поставили CPU как диспетчера. Это же объясняет, почему маленькая модель с быстрым декодированием иногда выгоднее большой: при агентном цикле вы платите не за интеллект, а за каждый прочитанный байт памяти.

Кто еще упирается в ту же стену

Альтернатива памяти на кристалле известна давно: SRAM-ускорители, которые держат модель целиком в сверхбыстрой памяти рядом с вычислениями. Такой подход дает феноменальную задержку на декодировании, но требует шардировать модель по множеству чипов, потому что SRAM физически мала. Докладчик прямо упомянул волну сделок крупнейших игроков именно в этом сегменте: индустрия покупает не компании, а доступ к архитектуре, которая обходит HBM с другой стороны.

Ответ Nvidia на ту же проблему выглядит иначе: расширять HBM, наращивать пропускную способность канала между чипами и держать разработчика внутри своего софта. Спор идет не о том, нужна ли память быстрее, а о том, где именно ее ставить: на кристалле, в отдельном стеке рядом или в отдельном здании с оптической линией. Для покупателя это означает, что через два года рынок будет неоднородным, и переносимость нагрузки между платформами станет таким же критерием выбора, как цена за час.

CPU вернулся, а датацентр стал конструктором

Одна из самых интересных частей доклада не про железо, а про разделение труда. В агентной нагрузке CPU снова оказался в центре: он оркестрирует, маршрутизирует данные между кластерами, вызывает суб-агентов и распределяет задачи. Дальше идет prefill, где запрос разворачивается в тяжелую математику с огромным контекстом, потом HBC-ускоритель с декодированием, и все это склеивается проводной и оптической связностью.

Из этого следует, что стойка с однородными GPU перестает быть эталоном. Датацентр распадается на специализированные блоки: отдельные стойки под обучение, CPU-стойки под оркестрацию, prefill-блоки под математику, decode-блоки под память. Промышленность уже идет в эту сторону, достаточно вспомнить, как быстро выросли в цене акции производителей памяти и как выросли цены на саму память. Причина, по словам докладчика, ровно та же: индустрии нужно больше памяти, чем TOPS, и рынок это отыграл.

Второй неочевидный тезис: софт важнее кремния. Qualcomm открыла свой модульный программный стек и заявила, что он поддерживает чужое железо, а не только собственное. Логика прозрачна. Если заказчик собирает гетерогенную стойку из разных ускорителей, побеждает тот, чей софт умеет договариваться со всеми, а не тот, кто требует монополии на всю стойку.

Что это значит на практике

Для тех, кто запускает агентов на арендованных GPU, вывод неприятный, но полезный. Стоимость задачи теперь считается не по цене часа аренды, а по числу токенов с учетом перечитывания контекста. Агент, который делает двадцать шагов с полным контекстом на каждом, может стоить в разы дороже, чем тот же агент с правильно урезанной памятью.

Арифметика здесь безжалостна. Пятьдесят вызовов модели при двадцати тысячах токенов контекста в каждом дают миллион входных токенов на одну задачу. Если агент перечитывает всю историю на каждом шаге, эта цифра удваивается без всякой пользы для результата: половина оплаченного контекста не влияет на решение.

Отсюда несколько практических следствий, которые работают уже сейчас, без ожидания нового железа. Держите контекст коротким и структурированным, а не «всем, что нашлось». Кэшируйте префиксы, где провайдер это позволяет, потому что повторное чтение одного и того же системного промпта оплачивается каждый раз. Разносите задачи по моделям: планирование на сильной, рутинные вызовы на дешевой. И считайте метрики по задаче целиком, а не по одному запросу, иначе агентная нагрузка тихо съест бюджет.

Для выбора железа ориентир тоже меняется. Смотреть только на FLOPS бессмысленно, если половину времени ускоритель ждет данные. Полезнее спрашивать про пропускную способность памяти на ватт, про поведение на длинном контексте и про то, сколько стоит обслуживание одного миллиона токенов в реальном агентном цикле, а не в синтетическом бенчмарке.

Часто задаваемые вопросы

Tokens per watt отменяет FLOPS?

Нет, он дополняет. FLOPS показывает пиковую вычислительную мощность, tokens per watt показывает, сколько этой мощности реально доходит до результата при агентной нагрузке. Для обучения FLOPS остается ключевым, для инференса и агентов важнее эффективность памяти и энергии.

Почему память стала важнее вычислений?

Потому что модели и контексты растут быстрее пропускной способности памяти. Параметры прибавляют порядка 240 раз за два года, память удваивается за тот же срок. В итоге ускоритель простаивает в ожидании данных, а не упирается в предел арифметики.

Стоит ли ждать HBC в 2027 году?

Планировать закупки под анонс от вендора рискованно: независимых замеров нет, а первые партии обычно уходят крупным заказчикам. Разумнее оптимизировать то, что под контролем сейчас: длину контекста, кэширование префиксов и распределение задач по моделям.

Итог

Главный сдвиг из доклада формулируется одной фразой: узкое место агентного ИИ переместилось из вычислений в память, а значит и метрика сместилась с FLOPS на tokens per watt. Дальше начинается спор о том, чья архитектура лучше решает эту задачу: HBM с расширенными каналами, SRAM для сверхнизкой задержки или HBC с памятью на кристалле.

Пока вендоры спорят, у инженеров есть рычаг попроще. Агент, который не тащит весь контекст через каждый шаг, экономит не только деньги, но и ту самую пропускную способность памяти, за которую все сейчас борются. Начните с замера: посчитайте, сколько токенов и ватт уходит на одну реальную задачу вашего агента. Цифра почти всегда оказывается неожиданной.