501 миллиард параметров, лицензия Apache 2.0 и миллион токенов контекста в одном чекпоинте. Новый американский лаб Reflection выложил на Hugging Face свою первую модель, Beam, и это не исследовательское демо, а фронтир-класс для кодинга и агентных задач, который можно скачать и запустить на своём железе.

Внутри разреженный MoE: на каждый токен работают только 23 млрд параметров из 501 млрд, так что модель бежит со скоростью маленькой, сохраняя ёмкость большой. Дальше разберём архитектуру, бенчмарки, требования к железу, рецепты дообучения и то, что команда Hugging Face уже собрала на Beam.

Что такое Beam

Beam это открытая Mixture-of-Experts модель от Reflection: 501 млрд параметров при 23 млрд активных на токен, контекст до 1 млн токенов, на входе и выходе только текст, лицензия Apache 2.0. Модель нацелена на кодинг, работу в терминале и агентные сценарии, её позиционируют как фронтир-модель для команд, которые хотят держать веса на своём железе.

Reflection это новая лаборатория из США, и Beam у неё первый публичный релиз. На Hugging Face лежат чекпоинты в трёх форматах: BF16, FP8 и NVFP4, с поддержкой в день релиза в transformers, vLLM и SGLang. Вместе с моделью выложили открытый харнесс на Rust, который Reflection использует, чтобы выжимать максимум из агентных сценариев.

Цифры ниже мы приводим с указанием источника: часть из них из материалов Reflection и Hugging Face от 16 октября, часть из публичных трейсов эксперимента. Заявку «фронтир-класс» всё равно стоит проверять на своих задачах, об этом же просят и авторы релиза.

Гибридное внимание: 43 локальных слоя и 9 глобальных

У Beam 52 слоя и скрытая размерность 5 120. Большинство слоёв смотрят только на последние 512 токенов, а весь контекст целиком видят лишь каждый шестой слой и последний: 43 слоя со скользящим окном против 9 глобальных.

Глобальные слои обходятся без позиционных кодировок. Вместо этого каждый запрос умножается на коэффициент, который медленно растёт с длиной видимого контекста: (1 + (pos + 1) / 2048) ** 0.1. Приём работает как регулятор температуры: softmax не расплющивается на длинных последовательностях, и внимание сохраняет точность. В коде он называется scalable-softmax query scaling.

Сам механизм внимания это grouped-query attention с 48 query-головами и 8 KV-головами, RMSNorm на запросах и ключах и обучаемый сигмоидный гейт, который масштабирует каналы головы перед выходной проекцией.

256 экспертов на слой

Первые три слоя у Beam плотные, это обычные SwiGLU-блоки. Остальные 49 собраны как MoE: по 256 экспертов на слой, каждый примерно на 39 млн параметров. Роутер выбирает 8 экспертов на токен, отсюда и 23 млрд активных параметров из 501 млрд. Эксперты держат 98,4% весов модели, всё остальное это внимание, эмбеддинги и служебные слои.

Схема роутинга повторяет DeepSeek-V3: скоры считаются сигмоидой, эксперты разбиты на 8 групп по 32, выбираются 4 лучшие группы, а внутри них 8 лучших экспертов. Общего shared expert, который есть у некоторых MoE-архитектур, здесь нет. Выходы экспертов комбинируются нормализованными весами роутера и умножаются на 2,5.

Residual stream с постоянным масштабом

Самая необычная деталь Beam в том, как складываются слои. Обычный трансформер прибавляет выход каждого саблеера к основному потоку с весом 1, и с глубиной поток разрастается. Beam считает эмбеддинг входного токена шагом 1, а на шаге k добавляет выход саблеера с коэффициентом 1/sqrt(k), сохраняя накопленное с весом sqrt((k-1)/k). Квадраты весов дают в сумме единицу, поэтому поток держит одинаковый масштаб от первого слоя до последнего: после всех 104 сложений каждый саблеер и входной эмбеддинг весят в финальном состоянии одинаково. Дополнительно все саблеера нормируются до и после, а логиты проходят через мягкое tanh-ограничение на уровне ±30, посчитанное в FP32.

Миллион токенов в контексте и экономия KV-кэша

Гибридное внимание экономит не только вычисления, но и KV-кэш. Каждый слой хранит 2 на 8 голов на 128 измерений, то есть 2 048 значений на токен. Если бы все 52 слоя были глобальными, кэш прибавлял бы по 208 KiB на каждый токен. Локальные слои держат фиксированное окно в 512 токенов и не растут, поэтому реальный прирост составляет 36 KiB на токен, примерно шестая часть.

В числах это выглядит так. На 32 тысячах токенов Beam занимает 1,2 ГиБ вместо 6,5. На 128 тысячах 4,6 ГиБ вместо 26. На полном миллионе токенов 36 ГиБ против 208 ГиБ, которые потребовала бы модель без гибридного внимания.

Бенчмарки: уровень закрытых флагманов

По заявленным метрикам Beam уверенно держится во фронтирной лиге. SWE-bench Verified, самый известный тест на правку реальных репозиториев, даёт 81,6%. Terminal Bench v2.1, проверка работы в терминале, 80,1%. SWE Bench Pro v2-Hard 76,5%, SWEBench Multilingual 78,3%.

На математике и науке: AIME 2026 97,7%, GPQA Diamond 90,6%, LiveCodeBench 88,3%, HLE с инструментами 51,1% против 36,0% без них. Агентные метрики тоже крепкие: MCP Atlas 80,8%, BrowseComp с управлением контекстом 76,8%, DeepSearchQA 80,5%. Слабее Beam там, где нужно разбираться в большой незнакомой кодовой базе (SWE Atlas Codebase QnA 31,8%) и в научном коде (SciCode 49,2%).

Отдельно интересно поведение квантованных чекпоинтов. На SWE Bench Pro v2-Hard версия FP8 даёт 78,4%, а NVFP4 78,6% против 76,5% у BF16, то есть сжатие не только не портит результат, но и слегка его улучшает. На такой разброс в пару процентов обычно не обращают внимания, но сам факт, что 4-битные веса держат качество базовой модели, приятная новость для тех, кто считает железо.

Команда Hugging Face прогнала на Beam пять своих задач в двух режимах рассуждений. На высоком уровне решены все пять, включая многошаговый вызов инструментов с резервированием места на складе, поиск по большой кодовой базе с цитированием шести символов и терминальную починку CSV-утилиты. На низком режиме прошли четыре из пяти, причём единственный огрех касался формата ответа, а не содержания. Полные трейсы, грейдеры и промпты выложены публично.

Сколько железа нужно для запуска

Дома такое не ночует. BF16-чекпоинт весит около терабайта, практичнее выглядит NVFP4 примерно на 280 ГБ, но он требует GPU Blackwell. Две B200 по 180 ГБ формально вместят веса, но под KV-кэш и активации места почти не останется, поэтому рабочая рекомендация это четыре B200 (720 ГБ). Альтернативы: две B300 по 288 ГБ или восемь RTX Pro 6000. Для Hopper подготовили FP8-версию, а BF16-сервинг на 16 H200 раскладывается по 78 ГБ на карту. Ещё одна деталь: число устройств должно делить 256 экспертов.

Если своего кластера нет, есть serverless-путь. Beam доступен через Hugging Face Inference Providers на Baseten, Fireworks и Together, а в Inference Endpoints разворачивается в один клик из каталога в формате FP8 или NVFP4.

Как запустить

Самый быстрый способ познакомиться это text-generation pipeline в свежем transformers (pip install -U "transformers>=5.20.1"), модель reflection/Beam-1.0-501B-A23B подхватывается по имени. В токенизаторе лежит шаблон ответа, и вызов parse_response сам разбирает вывод на рассуждение, финальный ответ и вызовы инструментов, без самодельных регулярных выражений.

Для сервинга есть day-0 рецепты. В vLLM базовый запуск это vllm serve reflection/Beam-1.0-501B-A23B --tensor-parallel-size 16 на двух нодах по восемь H200, а для скорости добавляется спекулятивное декодирование DFlash2: маленький драфтер предлагает до 15 токенов вперёд, и Beam проверяет их одним проходом. В SGLang рекомендованный вариант это NVFP4 на четырёх B300 или FP8 на восьми H200, оба с контекстом 1 048 576 токенов.

В диалоговых сценариях доступны пять уровней рассуждений: low, medium (по умолчанию), high, xhigh и max. Флаг preserve_thinking сохраняет размышления модели между ходами, так что агент не теряет контекст длинной задачи при следующем вызове.

Дообучение: LoRA, TRL и GRPO

Веса под Apache 2.0 можно менять, и для этого выложили готовые рецепты. Базовый путь это LoRA через TRL SFTTrainer: адаптеры тренируются при замороженных 501 млрд базовых параметров, и на одной ноде из восьми B300 сетап выдаёт около 19 000 токенов в секунду, на H100 понадобится четыре ноды. В официальном примере модель за одну эпоху на датасете Multilingual-Thinking научили думать на языке запроса: 16 из 16 отложенных промптов против 3 из 16 у базовой версии.

Для полноценного RL есть рецепт GRPO в фреймворке Miles, который Reflection собрала с RadixArk: полный апдейт всех параметров в BF16 требует 96 H200 (64 на обучение и 32 на генерацию роллаутов), а LoRA-версия обходится 32 H200. Оптимизатор Adam с постоянным learning rate 1e-6 и без KL- и энтропийных штрафов, состояние оптимизатора стримится через локальные NVMe, по 2 ТБ скретча на тренировочную ноду. Рецепт обкатан на DAPO-Math-17K с оценкой на AIME25.

Что уже собрали на Beam

Чтобы показать модель в деле, команда Hugging Face выложила несколько экспериментов. Первый, BeamSpeak, это нативное приложение диктовки для macOS, собранное в агентном харнессе Pi: локальное распознавание речи через Parakeet v3 на MLX, шорткат для записи и вставка текста прямо под курсор, всё офлайн.

Второй эксперимент про мультиагентность. На бенчмарке ProgramBench сравнили три конфигурации: одиночный агент, пять равноправных агентов через общий Git-репозиторий и лид с асинхронными субагентами. Бюджет у всех одинаковый, 8 млн токенов и два часа на задачу, черновые результаты и трейсы открыты.

Третий: агент превратил политику триажа инцидентов в маленькую decision model. Дообученный через Unsloth Qwen3.5-0.8B угадывает ответственную команду, критичность и необходимость пинга в 76,25% случаев против 4,69% у zero-shot промптинга, а задержка на билет падает с 1218 до 102,6 миллисекунды, ускорение в 11,9 раза.

Заодно Reflection раздаёт 10 000 долларов в кредитах Hub авторам лучших проектов с Beam: от демо на Spaces и квантовок до RL-окружений и синтетических датасетов.

Почему это важно

Открытые модели уровня «пятьсот плюс миллиардов параметров» перестали быть экзотикой: за последний год веса фронтир-класса выкладывали Meta, Alibaba и Moonshot, теперь к списку добавился новый американский лаб. Beam выходит под Apache 2.0 без оговорок про лимиты пользователей, что делает его интересным для компаний, которые хотят держать модель в своём контуре: кодинг-агенты, автоматизация терминала, внутренние ассистенты.

Ограничение прежнее: открытость здесь не про ноутбук. Даже в NVFP4 модели нужно около 280 ГБ памяти Blackwell-класса, так что Beam это история про серверные стойки и облака, а для знакомства есть serverless-вариант. Если ваш сценарий это агент, который часами чинит код в терминале, модель стоит проверить хотя бы на паре реальных задач.

Часто задаваемые вопросы

Можно ли запустить Beam на домашнем компьютере?

Нет. Самый компактный чекпоинт NVFP4 занимает около 280 ГБ и требует GPU Blackwell, а BF16 весит около терабайта. Для знакомства используйте serverless: Inference Providers или Inference Endpoints, а для постоянной работы понадобится нода из двух-четырёх B200 или B300.

Beam действительно открытая модель?

Да. Веса в форматах BF16, FP8 и NVFP4 лежат на Hugging Face под лицензией Apache 2.0, которая разрешает коммерческое использование и дообучение. Плюс поддержка в день релиза в transformers, vLLM и SGLang и открытый Rust-харнесс для агентных сценариев.

Чем Beam отличается от других открытых MoE-моделей?

Тремя вещами: 23 млрд активных параметров из 501 млрд дают скорость модели на порядок меньше при ёмкости фронтирной, гибридное внимание удерживает контекст в миллион токенов при KV-кэше в шесть раз меньше наивного, а фокус на кодинг и агентов подкреплён спекулятивным драфтером DFlash2 и собственным харнессом.

Итог

Beam от Reflection это редкий случай, когда новый лаб стартует сразу с открытой фронтир-модели под Apache 2.0. 501 млрд параметров, миллион токенов контекста, бенчмарки уровня закрытых флагманов и живые рецепты дообучения, всё это уже доступно на Hugging Face.

Практический шаг простой: возьмите одну свою задачу, ту, где сейчас бьётесь с кодинг-агентом или длинным контекстом, и прогоните её на Beam через Inference Providers. Если результат понравится, чекпоинты и рецепты уже готовы к запуску на своём железе, а самые удачные проекты могут забрать кредиты на 10 000 долларов из конкурса Reflection.