Ещё вчера к флагману Meta был ровно один путь: через API. 15 октября компания выложила на Hugging Face веса Muse Spark Open, и это самая сильная открытая модель из тех, что когда-либо выпускали в США, если верить формулировке самой Meta. 816 миллиардов параметров, миллион токенов контекста, вход из текста, изображений, аудио и видео. Разбираем, что именно оказалось в открытом доступе, как это запустить и почему релиз меняет расклад на рынке открытых весов.

Для блога это продолжение знакомого сюжета: в августе мы разбирали Muse Glimmer, компактную модель Meta для локальных агентов, в сентябре Muse Spark 1.3 попал в наш разбор сломанных бенчмарков, в октябре Цукерберг объяснял, как Muse будет зарабатывать пользователям деньги. Теперь у линейки появился открытый флагман.

Что открыла Meta

Под лицензией Muse Model License на Hugging Face лежат два чекпоинта: полный BF16 и NVFP4, четырехбитный вариант для GPU Blackwell. Репозитории называются Muse-Spark-Open-816B-A42B и Muse-Spark-Open-816B-A42B-NVFP4. Meta отдельно отмечает оптимизацию под SGLang и vLLM, поддержку заявили NVIDIA, AMD и Intel.

Главное в релизе то, что это не урезанная версия для энтузиастов. Open-версия построена на той же базовой модели, что и флагман Muse Spark 1.3, но прошла дополнительное постобучение по безопасности. Meta пишет прямо: цель была сделать модель устойчивой к нецелевому использованию в автономном режиме, без системных гардрейлов (guardrails) провайдера, и называет результат одним из лучших открытых вариантов по безопасности. Такую модель будут запускать где угодно, поэтому заявление выглядит как осознанная ставка на то, что безопасность должна жить в весах, а не в API-обвязке. Постобучение это отдельный этап после основной тренировки: на нем модель учат отказываться от опасных запросов и вести себя предсказуемо, когда рядом нет платформенных фильтров.

Открытость весов здесь не равна полной свободе: лицензия фирменная, со своими ограничениями, и для продукта на её основе условия придется читать внимательно. Но сам жест громкий. Китайские лаборатории годами выкладывали сильные модели в открытый доступ, пока американские держали фронтир за API. Теперь Meta отдает флагман под скачивание, и это редкость по меркам американского рынка: модели такого масштаба обычно остаются за API.

Что внутри

Muse Spark Open это mixture-of-experts. Всего 816 миллиардов параметров, активных около 42 миллиардов на каждый токен. В каждом слое 256 экспертов, роутер выбирает 8 из них. Эксперты держат около 97% всех параметров модели и постоянно висят в памяти, поэтому развертывание требует железа под полный размер 816B, а считает модель со скоростью 42-миллиардной. Смысл архитектуры в этой асимметрии: платить за память, экономить на вычислениях. Именно поэтому крупные открытые релизы последних лет строятся на mixture-of-experts: схема позволяет наращивать знания модели, не раздувая цену каждого токена. Оборотная сторона в требованиях к железу: сервер обязан вместить все 816 миллиардов параметров, даже если каждый конкретный токен трогает лишь их часть.

Технические детали для тех, кто читает карточки моделей. 62 слоя, скрытая размерность 8192, 128 голов запроса и 16 голов ключей и значений (grouped-query attention) по 64 измерения. Нормализация применяется и к запросам, и к ключам (QK-norm). Блоки соединяют вход с выходом через обученный резидуальный гейт, а не простым сложением. Входной эмбеддинг и выходной слой это две отдельные матрицы примерно по 1,66 миллиарда параметров каждая. Эксперт это сеть, которая проецирует 8192 в 4096 и обратно.

Мультимодальность обеспечивают два отдельных энкодера. Восприятие изображений и видео: 1,8 миллиарда параметров, 50 слоев, нарезка картинки на патчи 14×14, признаки размерности 4096, полное внимание в каждом четвертом и последнем слое, разреженное в остальных. Видео проходит через тот же энкодер, что и картинки. Аудио обрабатывает отдельная свёрточная пирамида: один токен каждые 80 миллисекунд, то есть 12,5 токена в секунду. Десятисекундная голосовая заметка превращается в 125 токенов на входе, так что звук для модели недорог. На выходе при этом только текст: модель понимает четыре модальности, но генерирует одну.

Контекстное окно на миллион токенов общее для текста, изображений, видео и аудио. Параметр max_position_embeddings выставлен в 1 048 576. Grouped-query attention держит KV-кэш компактным по меркам модели такого размера: около 250 КБ на токен в BF16, примерно 266 ГБ на полный миллион токенов. При развертывании именно кэш, а не сами веса, решает, какой контекст реально удержится. Токенизатор и словарь Muse Spark Open делит с младшей Muse Glimmer, а чат-шаблон расширен под новые модальности.

Как это запустить

Полный BF16-чекпоинт весит около 1,5 ТБ в safetensors. Раскладка в Transformers требует четырех узлов по восемь H200 с tensor parallelism 32, а NVFP4-версия помещается в один узел B200. Серверные референсы тоже готовы: vLLM запускает NVFP4-чекпоинт на Blackwell с контекстом сервинга 128 тысяч токенов и отдельными парсерами рассуждений и вызовов инструментов, SGLang отдает полный стек на четырех GB300 и выносит reasoning-трейс в отдельное поле ответа.

В серверных рецептах везде фигурирует NVFP4, и это не случайно. Четырехбитный формат для Blackwell, по данным Meta, теряет в качестве пренебрежимо мало, а память под веса сокращает вчетверо по сравнению с BF16. Именно он превращает развертывание флагманской модели из кластерной задачи в один узел.

Локальный запуск это история про Mac с полутерабайтом памяти. В llama.cpp двухбитный квант Q2_K на M3 Ultra с 512 ГБ занимает около 304 ГБ и выдает 18 токенов в секунду, место под KV-кэш остается. Команда llama.cpp протестировала также Q4_K_S и Q8. MLX-сборка идет дальше: трехбитный квант oQ3e занимает 344 ГБ и показывает около 225 токенов в секунду на префилле и 21 на генерации. Через Inference Endpoints модель поднимается одной командой: восемь RTX Pro 6000 на 98 ГБ для контекста 131 тысяча токенов либо восемь H200, если нужен полный миллион.

Дообучение открыто на тех же условиях. TRL SFTTrainer тренирует LoRA-адаптеры на слоях внимания, эксперты остаются замороженными, все это разложено на восемь узлов по восемь H100 через FSDP2 и экспертный параллелизм. Со стороны PyTorch Meta подключила Helion, свой DSL для ядер: реализации RoPE, RMSNorm и квантизации ускоряются от 1,03 до 3,95 раза против ручных CUDA-ядер на GB300 и без переписывания переносятся на AMD Mi350 с трехпроцентным приростом сквозной пропускной способности. Для SGLang сделали мегаядра: несколько операций сливаются в одно постоянное ядро ради низкой задержки. TorchTitan получил определение модели и поддержку дообучения, включая RL через TitanRL.

Агентность и режимы рассуждений

Модель проектировалась под агентные сценарии: планирует, вызывает инструменты, наблюдает за результатом и корректирует себя на длинных задачах. Работа с браузером включает изображения, для декомпозируемых задач есть запуск субагентов, а computer use унифицирован между десктопом, мобильными и браузером. Отдельный канал commentary заставляет модель проговаривать намерение до действия, чтобы человек видел, что и зачем происходит. В блоге Hugging Face показали демо: генератор 3D-ассетов и браузерного агента на базе OpenEnv и песочницы Hugging Face.

Отключить рассуждения нельзя, и это осознанное решение Meta. Пользователь выбирает уровень low, medium, high или xhigh, которые отображаются в 16, 64, 256 и 512 токенов размышления. По умолчанию стоит xhigh, так что для простых задач уровень нужно явно понижать до low. Чат-шаблон построен на схеме Harmony, которую первой использовала команда gpt-oss: канал self для рассуждений, commentary для комментариев между вызовами инструментов, user для финального ответа.

Почему это важно

Два года разговор про открытые веса шел по предсказуемому сценарию: китайские лаборатории выкладывают сильные модели бесплатно, американские держат лучшее за API. Muse Spark Open ломает шаблон. Это не догоняющая модель для локального чата, а флагман с миллионным контекстом, четырьмя модальностями и агентной тренировкой, который можно скачать. Наш разбор графика Vercel показывал, что открытые модели уже обогнали закрытые по доле обработанных токенов. Теперь у этого тренда появился американский фронтирный аргумент.

Вторая сторона истории это экономика. Полтора терабайта весов и кластер из H200 не появятся на домашнем компьютере, так что открытость сама по себе фронтир не демократизирует. Реалистичный сценарий для энтузиаста это кванты на Mac с 512 ГБ и скоростью от 18 до 21 токена в секунду. Зато для компаний важнее другое: веса можно дообучать на собственных данных, не отправляя их в чужой API, и держать всю цепочку в своем контуре.

Для продуктов важна еще одна деталь: дефолтная поддержка в llama.cpp, vLLM, SGLang, MLX и Transformers означает, что модель встраивается в существующий стек без месяцев интеграции. Набор готовых рецептов в день релиза и отличает рабочую открытость от символической.

Третий слой это безопасность. Даже с дополнительным постобучением открытая модель на 816 миллиардов параметров может быть донастроена кем угодно. Meta отвечает лицензией с ограничениями, карточками моделей и рекомендациями по ответственному использованию. Хватит ли этого, покажет практика, но сам вопрос теперь задается не в эссе про будущее, а к скачанному чекпоинту. Цукерберг в интервью начала октября уже намекал, что следом идет более крупная модель под кодовым именем watermelon, так что Muse Spark Open скорее начало серии, чем разовый жест.

Часто задаваемые вопросы

Можно ли запустить Muse Spark Open локально?

Да, но с оговорками. В llama.cpp и MLX работают двух- и трехбитные кванты, которым нужен Mac с 512 ГБ unified memory: на M3 Ultra модель выдает от 18 до 21 токена в секунду. Полная BF16-версия это четыре узла по восемь H200, а NVFP4-чекпоинт помещается на один узел B200. Домашний запуск упирается не в вычисления, а в память под веса.

Чем Muse Spark Open отличается от Muse Spark 1.3?

Это одна и та же базовая модель. Отличие Open-версии в том, что веса опубликованы публично под лицензией Muse Model License, а постобучение усилили по безопасности: модель должна оставаться предсказуемой без системных гардрейлов провайдера.

Какая лицензия у Muse Spark Open?

Фирменная лицензия Meta, Muse Model License. Она покрывает оба чекпоинта, BF16 и NVFP4, и содержит условия использования, которые стоит прочитать до коммерческого развертывания. Веса при этом действительно открыты: их можно скачать, запустить и дообучить.

Итог

Muse Spark Open это самая громкая ставка Meta на открытые веса: флагманская мультимодальная модель, 816 миллиардов параметров, миллион токенов контекста и полный набор инструментов для запуска от vLLM до квантов на Mac. Фронтир она бесплатным не делает, но меняет ответ на вопрос, кому он доступен. Если у вас есть кластер или Mac с полутерабайтом памяти, веса ждут на Hugging Face. Если нет, следите за квантами: двухбитные версии работают быстрее, чем кажется. Подробности релиза есть в блоге Hugging Face и блоге PyTorch.