Двадцать часов калибровки на одной A100 против пяти минут, за которые можно вручную поменять одну цифру в конфиге. Побеждает цифра. Именно к такому выводу пришла группа исследователей, сравнившая четыре опубликованных метода MoE-скиппинга с обычным статическим top-k. Работа называется «Don't Skip the Baseline» (arXiv 2610.28369), и её название переводится буквально как инструкция: не пропускайте бейзлайн.

Для всех, кто держит в продакшене Qwen3, DeepSeek или Gemma, это не абстрактная методологическая придирка. Это ответ на вопрос, стоит ли тратить недели на внедрение адаптивного выбора экспертов или достаточно снизить k и пойти дальше.

Что такое MoE-скиппинг и метрика K_eff

MoE-модель на каждом шаге активирует лишь часть параметров, которые называют экспертами. Типичная конфигурация: k = 8 активных экспертов из 128 либо 512 доступных, причём это число фиксировано для всех слоёв и всех токенов. MoE-скиппинг это попытка уменьшить k во время инференса, часто по-разному для разных токенов и слоёв, чтобы сэкономить вычисления без потери качества.

Чтобы сравнивать методы на общей шкале, авторы используют K_eff, эффективное число активированных экспертов на токен, усреднённое по всем токенам и слоям. Для статического top-k метрика по построению равна k. Для динамических схем это измеренная величина, которая зависит от входных данных и настроек метода.

Что именно сравнивали

В эксперимент попали четыре представителя разных подходов. NAEE смотрит на накопленные веса роутера и отбрасывает хвостовых экспертов по калиброванному порогу. DiEP добавляет к этому метрику CKA, которая измеряет избыточность между экспертами. MoDES умножает вероятность роутера на глобальную важность слоя и задаёт отдельные пороги для текста и изображений. Ada-K вообще не смотрит на веса роутера: он обучает аллокатор на скрытых состояниях токена через PPO, чтобы тот предсказывал нужное число экспертов.

Против них поставили два бейзлайна. Первый это обычный статический softmax top-k, у которого меняется только k. Второй, предложенный самими авторами, задаёт отдельные k для модальностей: k для текста и k для изображений. Оба варианта не требуют калибровки вообще.

Стоимость калибровки у конкурентов различается на порядки. NAEE и DiEP требуют около получаса на Qwen3-30B-A3B. Ada-K обучается примерно два с половиной часа на датасете до 10 тысяч сэмплов, причём для каждого значения штрафа λ нужен отдельный прогон. MoDES требует почти 20 часов, потому что измеряет важность каждого слоя и ищет рабочую точку перебором множества полных проходов через модель.

Отдельно подчеркну честность постановки. Из методов убрали все этапы прунинга, которые шли в оригинальных работах в комплекте со скиппингом. Иначе нельзя понять, сколько пользы принесло именно решение о пропуске экспертов, а сколько сопутствующее прореживание. Все четыре метода авторы переписали сами, поскольку релизы были неполными: у Ada-K публичного кода не было вовсе. Каждую реализацию они сверили с числами оригинальных статей, и расхождения уложились в шум: NAEE дал 55,42 против заявленных 54,28 на Mixtral 8x7B, DiEP 64,0 против 64,1, MoDES совпал в пределах 0,6 пункта на TextVQA, Ada-K 53,92 против 54,41.

Результат: плюс 2,6 пункта там, где модель уже развалилась

Главная диаграмма работы показывает относительное падение качества в зависимости от K_eff на Qwen3-30B-A3B и Gemma4-26B-A4B. Если коротко: ни один продвинутый метод не обходит бейзлайн систематически.

Лучше всех выглядит NAEE. Он идёт почти вплотную к статическому top-k, местами чуть выше. Аллокатор Ada-K тоже даёт небольшой выигрыш в районе K_eff около единицы на Qwen3. Максимальная величина этого преимущества составляет примерно 2,6 процентного пункта относительно интерполированного бейзлайна. И это в режиме, где модель уже потеряла от 50 до 65 процентов исходных способностей. То есть выигрыш есть, но он живёт ровно там, где модель уже непригодна к работе.

MoDES и DiEP в текстовом режиме в основном проигрывают бейзлайну. MoDES немного впереди только выше K_eff = 1, зато умеет уходить ниже единицы, полностью пропуская MoE-блок для части токенов. Статический top-k так не может, это его структурное ограничение.

Есть и более жёсткий тест на осмысленность всей затеи. При K_eff не выше 2,5 лучшая стратегия на Gemma4-26B-A4B в среднем работает хуже, чем Gemma4-E4B, плотная модель с на 85 процентов меньшим числом эффективных параметров. Проще говоря, если вам нужны всего два эксперта, берите маленькую плотную модель, а не мучайте большую MoE.

Мультимодальность: единственное место, где идея реально работает

Во второй части работы авторы перешли на Qwen3-VL-30B-A3B и шесть визуальных бенчмарков от ChartQA и TextVQA до DocVQA и OCRBench. Здесь картина интереснее, потому что у текстовых и визуальных токенов действительно разные аппетиты.

MoDES, который изначально делался под мультимодальность, ожидаемо обошёл NAEE и симметричный top-k с большим отрывом. Но не обошёл бейзлайн с раздельными k по модальностям. То есть вся его сложность с порогами и важностью слоёв не дала ничего сверх знания, что визуальным токенам нужно меньше экспертов. Единственное исключение это подзадача MME-Cognition, где MoDES стабильно лидирует.

Цифры по раздельным k выглядят убедительно. При k для текста равном 8 снижение k для изображений до 1 даёт среднее падение около 4,1 процента при измеренном K_eff 1,08, то есть примерно на 85 процентов меньше активных экспертов. Снижение до 2 стоит меньше 1,8 процента качества. Снижение до нуля, когда визуальные токены вообще не трогают экспертов, роняет качество на 19,1 процента, но сохраняет больше 80 процентов исходного уровня. Для сравнения: если снизить до единицы k для обеих модальностей сразу, симметричный вариант теряет более 30 процентов.

Вот это и есть настоящий вывод работы, спрятанный в приложении к методологии. Дело не в умных порогах и не в обученных аллокаторах. Дело в том, что модальности надо разделять. Это знание бесплатно и не требует ни одной калибровки.

Ловушка калибровки: цель 1,2, факт 7,96

Самая неприятная часть результатов связана с тем, что калиброванный K_eff и измеренный K_eff это разные числа. Порог настраивается на калибровочном наборе, а на боевых данных распределение токенов и весов роутера другое.

Насколько другим? Для MoDES на Qwen3-VL калибровка по GQA обещает K_eff 1,2 при агрессивном коэффициенте пропуска. На текстовом GSM8K измеренное значение оказывается 7,96. Это отклонение больше чем в шесть раз, и означает оно простую вещь: на текстовом запросе скиппинг фактически отключается, модель работает почти как полная, а обещанная экономия исчезает. Авторы отмечают, что даже на бенчмарках из того же семейства задач, что и калибровочный набор, отклонение может превышать 50 процентов.

У статического бейзлайна такой проблемы нет по построению. Он ограничен сверху ровно тем k, которое вы задали, и на любом распределении даёт предсказуемый расход.

Почему 8 раз меньше экспертов не дают 8-кратного ускорения

Авторы отдельно измерили реальную скорость через vLLM на одной A100 80GB, чтобы K_eff не оставался абстрактной величиной. Снижение K_eff с 8 до 1 в синхронном режиме с батчем 1 уменьшает время до первого токена и межтокеновую задержку примерно на 18 процентов. В режиме пропускной способности с батчем 256 время до первого токена падает примерно на 30 процентов, межтокеновая задержка на 25 процентов, а выходная пропускная способность растёт с 111 до 135 токенов в секунду в одном тесте и с 1,9 тысячи до 2,65 тысячи токенов в секунду в другом, то есть в 1,22 и 1,39 раза.

Восьмикратное сокращение вычислений в экспертных матмулах даёт максимум 1,4-кратный прирост на выходе. Причина в том, что MoE-блоки это лишь часть накладных расходов. Внимание, трафик KV-кеша и веса неэкспертных слоёв никуда не деваются, и никакой скиппинг их не трогает. Этот замер, кстати, представляет верхнюю границу: он сделан на статическом ограничении, без накладных расходов на само решение о пропуске, которое любой динамический метод добавляет на каждом проходе.

Что делать на практике

Рекомендация авторов скучна и потому правдоподобна. Для текстовых моделей снизьте k с 8 до 6 и получите заметное ускорение при небольшой потере качества. Для мультимодальных задайте k для текста равным 6, а k для изображений 1 или 2.

Проверяли это на данных, которых не было ни в калибровке, ни в выборе точки. Видеобенчмарк MVBench с k для текста 6 и k для изображений 1 дал точность 69,95 против 71,40 у полной модели, то есть падение на 2 процента при измеренном K_eff 1,19 и сокращении активных экспертов на 85 процентов. На более крупной GLM-4.6V та же настройка дала среднее падение 4,2 процента при K_eff 1,18, причём почти весь минус пришёлся на MME-Cognition, где счёт упал с 671,8 до 579,3.

Одна оговорка важнее самой рекомендации. На генеративных задачах качество обваливается резко, а не плавно. На GSM8K со строгим совпадением ответа счёт уходит в ноль, у Gemma4 ни одна стратегия не держит приемлемый уровень ниже трёх активных экспертов, а некоторые ломаются уже на четырёх. Поэтому проверять рабочую точку надо именно генеративным бенчмарком, а не задачей с выбором из вариантов, где деградация выглядит мягкой и обманчиво безопасной.

Почему это важно не только для MoE

Работа бьёт по более общему месту в исследованиях эффективности. Многие методы MoE-скиппинга публиковались вместе с прунингом и без статического контроля при совпадающем измеренном compute. В таком дизайне невозможно отделить вклад идеи от вклада сопутствующей оптимизации, и цифры выглядят лучше, чем есть.

Авторы формулируют требование прямо: каждый новый метод должен сравниваться со статическим контролем при совпадающем измеренном K_eff, причём контроль обязан использовать те же структурные сигналы, например модальность, что и сам метод. Это не бюрократия. Это единственный способ понять, платите вы за интеллект метода или за то, что он неявно эксплуатирует очевидную асимметрию данных.

Есть и менее очевидный вывод про цену сложности. Двадцать часов калибровки на одну рабочую точку, отдельно для каждой модели, плюс обучение аллокатора через PPO с чувствительностью к гиперпараметрам, плюс невозможность гарантировать получившийся K_eff. В обмен на это вы получаете от нуля до 2,6 процентного пункта в режиме, где модель уже потеряла половину способностей. Инженерный баланс здесь не в пользу сложности.

Часто задаваемые вопросы

Значит, MoE-скиппинг вообще не нужен?

Нужен, но в простейшей форме. Статическое снижение k и раздельные k по модальностям дают почти всю доступную экономию без калибровки. Динамические методы оправданы только в узком режиме ниже одного эксперта на токен, где статическая схема не работает.

Сколько стоит внедрение умного скиппинга?

От получаса до 20 часов на одну рабочую точку и одну модель, на одной A100. Для каждого нового значения целевого пропуска калибровку нужно повторять. Ada-K вдобавок требует обучения через PPO и отдельного прогона на каждый штраф λ.

Можно ли просто снизить k и не думать?

Для текстовых моделей да, k = 6 это безопасная отправная точка. Для мультимодальных снижайте k для изображений до 1 или 2 и оставляйте текст на 6. Ниже трёх экспертов на генеративных задачах проверяйте каждую модель отдельно, там обвал резкий.

Итог

Четыре метода MoE-скиппинга, от простого порога до обученного через обучение с подкреплением аллокатора, не смогли систематически обойти статический top-k при совпадающем измеренном compute. Максимальный выигрыш составил 2,6 процентного пункта и достался режиму, где модель уже потеряла больше половины качества. Вся польза мультимодального MoDES свелась к тому, что визуальным токенам нужно меньше экспертов, а это знание бесплатно.

Практический вывод помещается в одну строку конфига: снизьте k, раздельно для текста и изображений, проверьте результат генеративным бенчмарком. Если хотите разобраться, как такие проверки устроены на уровне замеров, посмотрите разбор про tokens per watt: там та же логика, где реальное узкое место оказывается не там, где его ищут.