Третьего октября, в день объединения Германии, Aleph Alpha выложила на Hugging Face Kolibri. Символическую дату выбрали не случайно: 78 млрд параметров при 3 млрд активных, лицензия Apache 2.0, контекст до миллиона токенов. Но главное в этом релизе не цифры, а заявка на отдельную категорию моделей, которую в Европе называют суверенной.

Kolibri это языковая модель на архитектуре Mixture-of-Experts, которую обучали в Германии и Финляндии под европейским правом и без внешнего контроля над пайплайном. Она заточена под немецкий язык, работу с документами, отказ от ответа при нехватке данных и развёртывание на своём железе. Дальше разберём, что внутри, как её обучали и где она реально проигрывает конкурентам.

Что такое Kolibri

Kolibri это двуязычная англо-немецкая MoE-модель от немецкой компании Aleph Alpha: 78 млрд параметров, из которых на каждый токен работают около 3 млрд, контекст до 262 144 токенов в обучении с расширением до 1 048 576, лицензия Apache 2.0 и полные веса на Hugging Face. Позиционирование не «лучшая модель мира», а «модель, которую можно поставить в закрытый контур госструктуры или аэрокосмического подрядчика».

Активных параметров всего 3 млрд, и это ключевая цифра. Она означает, что модель можно держать на собственном сервере без фермы ускорителей, а не платить за API чужой компании. Для ведомства, которое по закону не может отправить внутренние документы в сторонний инференс, это не оптимизация, а условие существования проекта.

Суверенность как продуктовая функция

Слово «суверенитет» в релизе встречается чаще, чем названия бенчмарков. Aleph Alpha раскладывает его на две части: как модель построена и как она передаётся заказчику. Первая часть про контроль над цепочкой поставок, от сбора данных до финальных замеров, вторая про свободу развёртывания и защиту интеллектуальной собственности.

Компания заявляет полную прослеживаемость решений, обучение на инфраструктуре в Германии и Финляндии и соответствие EU AI Act, кодексу практик для general-purpose AI и GDPR. Проверить эти утверждения снаружи нельзя, но структурно они означают одно: заказчик получает не доступ к чужому сервису, а артефакт, который живёт в его периметре.

Для регулируемых отраслей это меняет экономику. Аэрокосмический подрядчик не может отправить чертежи в облако, у которого юрисдикция в другой стране. Банк не может объяснить регулятору, почему решение приняла модель без документального следа. Публичная администрация не может поставить в прод систему, которая уверенно выдумывает ответы на вопросы о пособиях. Kolibri строилась ровно под эти три сценария, а не под чат для массового пользователя.

384 эксперта и 3 млрд активных параметров

Внутри 50 слоёв, все они MoE с одним общим экспертом, и 384 эксперта на слой. Разработчики сознательно выбрали много узких экспертов вместо нескольких широких: в их тестах такая конфигурация показала лучший результат при том же бюджете вычислений.

Внимание гибридное. Полный контекст обрабатывают только 10 слоёв из 50, остальные 40 смотрят в скользящее окно на 512 токенов. Это держит декодирование и память ограниченными независимо от длины входа. На запрос приходится 48 голов, на ключи и значения 4, то есть классический grouped-query attention с жёсткой экономией на KV-кэше.

Отдельная деталь, которая говорит о зрелости команды: выбор между 123B и 78B сделали не по лидерборду, а по стоимости обслуживания. На двух H100 модель на 123 млрд параметров тянула только три одновременных запроса с контекстом 256k, а 78B тянет 18 запросов и декодирует на 28% быстрее. При этом качество росло с размером, но не настолько, чтобы платить такую цену за инференс.

Модель обучали оптимизатором Muon, тем же, что и предыдущую версию, и без единого всплеска лосса. Для маршрутизации между экспертами применили точное квантование квантилей. Идею взяли из Kimi K3, где глобальный квантиль оценивали по гистограммам, потому что точный расчёт считали слишком дорогим по коммуникации. Aleph Alpha показывает, что его можно считать точно при фиксированной стоимости, независимо от размера батча, и что точность улучшает и балансировку нагрузки, и качество модели.

Как обучали: 768 B200, 24 трлн токенов, 38 сбоев

Обучение шло в три стадии на 768 ускорителях B200. Сначала 20 трлн токенов предобучения с длиной последовательности 16k за 21 день, потом 3,44 трлн токенов mid-training на 64k и ещё 200 млрд токенов адаптации к длинному контексту на 256k. В сумме почти 24 трлн токенов, примерно втрое больше, чем у предыдущей модели Kolibri Origin.

До этого пайплайн прогнали через более 200 трлн сырых токенов: фильтрация, дедупликация, отбор. Немецкий занял 21,3% предобучения, около 4,3 трлн токенов, английский примерно 62%, код 14%.

Самая интересная часть релиза это не архитектура, а инженерия процесса. Пайплайн обучения написан как код и живёт в одном версионируемом рецепте, а не в разрозненных скриптах и заметках. Каждое предложенное изменение кода запускает маленький сквозной прогон модели, обучение и оценку, чтобы поломку было видно за минуты. Сами прогоны это GitHub Actions workflows, воспроизвести любой можно, просто переключившись на нужный коммит.

Чекпоинты падают примерно раз в час и автоматически оцениваются по английским и немецким знаниям, математике, коду, следованию инструкциям, работе с инструментами, длинному контексту, безопасности и склонности к галлюцинациям. Команда видела, как способности появляются по дням, а не узнавала итог в конце.

За 21 день предобучения случилось 38 незапланированных прерываний, примерно одно на 10 000 GPU-часов. Причины обычные: отказ железа, таймаут соединения. Кластер сам перезапускал задачу на другом наборе узлов, и обучение продолжалось с чекпоинта не старше 250 шагов. Руками никто не вмешивался.

Без провалов не обошлось. Предобучение Kolibri Origin остановили через несколько триллионов токенов и начали заново: нашли баг в перемешивании данных, который прошёл мимо тестов. Часть абляций пришлось перезапускать из-за ошибок в конфигурации. Авторы пишут об этом прямо, и это полезнее любого маркетинга: разница между Origin и Kolibri по времени всего три месяца, а по масштабу это переход с 30 млрд параметров на 78, с 65k контекста на миллион и с 7,5 трлн токенов на 20.

Бенчмарки: где Kolibri выигрывает, а где нет

На математике Kolibri выглядит неожиданно сильно для 3 млрд активных параметров. AIME 2025: 96,9 против 91,7 у Nemotron 3 Super со 120 млрд общих и 12 млрд активных, 84,6 у Qwen3.6-35B-A3B и 79,8 у Mistral Small 4. На немецкой версии того же теста 87,5, у Nemotron 85,6, у Qwen 82,9. GPQA diamond: 84,3 против 83,4 у Qwen и 78,0 у Nemotron. Код: LiveCodeBench v6 85,9 против 82,5 у Qwen, HumanEval+ 92,7 на уровне лучших.

Агентные задачи смешанные. В банковском τ³-bench Kolibri набирает 38,1 против 15,5 у Nemotron и 10,6 у Qwen, в авиационном τ²-bench 76,7 против 72,7 и 70,7. Но в телекоме 94,7 против 99,1 у Qwen, а в вызове функций BFCL v4 61,4 против 67,2. То есть модель уверенно работает там, где нужна длинная цепочка рассуждений с инструментами, и отстаёт там, где требуется широкое покрытие API.

Слабое место обнаруживается в знаниях. Индекс AA-Omniscience у Kolibri минус 32,8, у Qwen минус 15,3, у Mistral минус 24,0. Чем выше, тем меньше модель ошибается на вопросах вне её данных. Длинный контекст тоже не её козырь: LongBench Pro 64,5 против 70,8 у Qwen и 69,7 у AA-LCR. Заявленный миллион токенов это техническая возможность, а не бесплатное преимущество в качестве.

Картина складывается честная. Модель на 3 млрд активных параметров конкурирует с системами, у которых в четыре раза больше активных параметров, на математике, коде и части агентных сценариев, и проигрывает им в фактических знаниях и длинном контексте. Заявленная Парето-граница по качеству и стоимости обслуживания выглядит правдоподобно именно в этом разрезе: за одинаковую цену инференса никто из сравнимых не даёт больше качества, но само качество не абсолютное.

Немецкий язык: почему перевод не работает

Немецкий это не «английский с другими словами», и в Aleph Alpha это понимают лучше многих. По расчётам на прокси-моделях оптимальная доля немецкого в предобучении около 20%, и для 20 трлн токенов это означало найти 4 трлн немецких токенов. Открытые датасеты после дедупликации и фильтрации дали всего 390 млрд.

Дальше началась интересная работа. Первый источник это собственный сбор немецкого Common Crawl: 1,3 трлн уникальных токенов органического веба. Пришлось перестраивать фильтры, потому что стандартные настройки тихо убивают нужный регистр. Типичный фильтр удаляет документы со слишком длинными словами, а немецкая административная проза регулярно превышает английский порог средней длины слова. С настройками по умолчанию из корпуса выпадает ровно тот язык, на котором пишут госорганы.

Второй источник, и он стал крупнейшим, это перефразирование уже имеющихся немецких документов. Модель переписывает органический текст в стиле энциклопедической статьи, диалога вопрос-ответ или связного пассажа, сохраняя содержание. Это не перевод: источник остаётся немецким, поэтому факты и культурная привязка не меняются. Канцлер остаётся канцлером, а не президентом. Такой приём дал около 1 трлн токенов и научил модель одним и тем же фактам в разных поверхностных формах.

Третий путь, машинный перевод, использовали только в Origin и в Kolibri почти отказались. Причина не в качестве синтаксиса, а в культурном сдвиге. Корпус, переведённый с английского, наследует географию, демографию и институты английского веба, и модель начинает говорить по-немецки о мире, который выглядит как Америка. Плюс translationese: «Drive safe!» превращается в «Fahre sicher!» вместо живого «Komm gut an!».

В итоге немецкий вошёл в модель пулом на 2,4 трлн уникальных токенов, 80% которого компания собрала или сгенерировала сама. За 20 трлн прогона каждый немецкий токен модель увидела в среднем 1,8 раза, что внутри предела четырёх эпох, после которого повторение перестаёт давать прирост.

К этому добавили собственный токенизатор UniBPE на 128 тысяч словарей. Он сочетает жадный подход BPE с целью Unigram при выборе слияний и лучше уважает морфологию, особенно немецкие сложные слова, не теряя эффективности на английском. Практический результат простой: меньше токенов на задачу, ниже стоимость и короче ответы.

«Я не знаю» как обученная способность

Обычное обучение вознаграждает угадывание. У догадки есть шанс попасть в ответ, у отказа шансов нет вообще, поэтому модели учатся отвечать хоть чем-нибудь. Просьба цитировать источники часто делает хуже: модель просто выдумывает правдоподобные ссылки, чтобы оправдать ответ без основания.

Для регулируемого заказчика уметь отказываться это разница между пилотом и промышленной эксплуатацией. Aleph Alpha тренирует отказ двумя способами. Первый это данные, где правильный ответ буквально «я не знаю», но качественных негативных примеров в узких отраслях мало. Второй это внутренняя процедура Merlin-Arthur, где в обучении участвуют три роли. Arthur это модель, которую обучают и поставляют. Merlin получает документ и генерирует новый контекст, повышающий шанс Arthur ответить правильно. Morgana берёт тот же документ и вырезает из него свидетельства, пытаясь соблазнить Arthur на галлюцинацию. Arthur не знает, с кем говорит, поэтому единственная выигрышная стратегия это внимательно читать контекст, отвечать на версии Merlin и отказываться на версиях Morgana.

Цифры отказа выглядят убедительно. В наборе AA-Omniscience модель воздерживается вместо неверного ответа в 44% случаев против 15% у Origin. В RGB она сдерживается в 85,6% против 73,9% и не выдумывает ничего в 87,3% против 75,6%. Собственная метрика M/A grounding score, которая подтверждает, а не оценивает, какая доля ответа взята из документа, даёт 0,23 против нуля у Origin и большей части конкурентов.

Здесь есть нюанс, который стоит проговорить. По доле не-галлюцинаций Qwen3.6 обходит Kolibri: 56,7 против 44,0. То есть немецкая модель не абсолютный чемпион по честности, но она единственная в сравнении, у кого метрика заземления подтверждена собственным протоколом, а не косвенной оценкой. Для аудита это разные вещи.

Что это значит для рынка

Kolibri показывает, что гонка моделей разделилась на две несвязанные траектории. В одной масштаб, общие знания и лидерборды, и там выигрывают американские и китайские лаборатории с десятками тысяч ускорителей. В другой достаточное качество в узком контуре, юридическая чистота и предсказуемая стоимость владения. Вторая траектория выглядит скучнее, но именно на ней живут бюджеты госсектора, оборонных подрядчиков и промышленности.

Для европейского рынка это ещё и политический аргумент. Регламент об ИИ требует документального следа, оценок рисков и контроля над данными, а не только высокого балла на экзамене. Модель, которую можно скачать, проверить и запустить в своём дата-центре, закрывает эти требования дешевле, чем интеграция с американским API и последующая юридическая работа.

Есть и трезвая часть. 3 млрд активных параметров не заменят фронтир там, где нужны широкие знания или очень длинный контекст. Если задача это разбор полугодового архива переписки или ответы на вопросы обо всём, Kolibri проиграет. Её сила в повторяемых операциях с документами, инструментами и проверяемым ответом, а это и есть большинство промышленных сценариев.

Часто задаваемые вопросы

Kolibri обходит GPT-5.5 или Gemini?

Нет, и сама Aleph Alpha этого не заявляет. Модель конкурирует с open-weight системами сопоставимого класса, обходит их на математике, коде и части агентных тестов, но уступает в общих знаниях. Сравнивать её с фронтиром по AIME некорректно: у закрытых моделей другой бюджет вычислений и другой набор ограничений.

Сколько стоит запустить Kolibri на своём сервере?

Точных требований компания не публикует, но 3 млрд активных параметров при 78 млрд общих означают, что модель помещается на один узел из нескольких ускорителей с квантованием KV-кэша в fp8. Для сравнения, версия на 123 млрд параметров тянула лишь три запроса с контекстом 256k на двух H100, поэтому выбор в пользу 78B это прямая экономия на железе.

Зачем нужна лицензия Apache 2.0, если модель всё равно для госсектора?

Именно из-за госсектора. Apache 2.0 снимает вопросы о правах на использование весов и результатов, позволяет дообучать модель на закрытых данных и не требует раскрывать внутренние системы. Для ведомства это условие закупки, а не приятный бонус.

Итог

Kolibri это не попытка догнать фронтир и не ещё один релиз в общем потоке. Это ставка на то, что суверенная модель с 78 млрд параметров и 3 млрд активных найдёт покупателя там, где важнее контроль, чем верхняя строчка лидерборда. Три месяца между 30B и 78B, 768 ускорителей B200, 24 трлн токенов и 38 автоматически пережитых сбоев показывают главное: пайплайн оказался ценнее отдельного чекпоинта.

Если вы выбираете модель для закрытого контура, начните с проверки не бенчмарков, а собственных документов. Соберите тридцать вопросов, на десять из которых в ваших данных ответа нет, и посмотрите, сколько раз модель честно откажется. Именно этот тест, а не AIME, покажет, готова ли система к промышленной эксплуатации.