Заводы, энергосети и склады держатся на прогнозах. До сих пор их считали двумя способами: по старинке, подгоняя ARIMA под каждый ряд отдельно, или обучая нейросеть заново под каждый датасет. 15 октября Mistral выпустила Timestral, семейство foundation-моделей для временных рядов, где старшая версия на 209 миллионов параметров занимает первое место сразу в трёх публичных бенчмарках. И считает она не на GPU, а на обычном серверном процессоре.

Что такое Timestral

Timestral это семейство time-series foundation models (TSFM) от Mistral: четыре модели на 5M, 28M, 123M и 209M параметров, обученные на большом корпусе рядов и способные давать прогноз zero-shot на данных, которых они никогда не видели. На выходе не одно число, а 21 квантиль, то есть распределение возможных значений с оценкой неопределённости.

Это не языковая модель и не чат-бот. Timestral работает с числами: телеметрией датчиков, метриками observability, потоками заказов, объёмами трафика. Но поставляется он в одной линейке с LLM Mistral и задуман как часть агентных пайплайнов, где языковая модель объясняет и планирует, а Timestral считает.

Почему ARIMA и PatchTST упираются в потолок

Классика вроде ARIMA и линейной регрессии остаётся рабочей лошадкой прогнозирования, но у неё есть врождённое ограничение: модель подгоняется под один конкретный ряд и учится только на его истории. Переносить знания с одного ряда на другой она не умеет.

Глубокие модели вроде PatchTST научились ловить нелинейные зависимости сразу по многим связанным рядам. Проблема в том, что обучают их с нуля на каждом датасете, и выученное не переносится в новый домен. Если у вас тысяча насосов на заводе и по каждому нужен прогноз, подход «обучи свою модель под каждый датасет» превращается в инженерный конвейер, который надо содержать.

Foundation-модель переворачивает логику: сначала предобучение на широком корпусе, потом zero-shot прогноз там, где данных мало или нет вовсе. Именно эту нишу и занимает Timestral.

Масштаб проблемы легко недооценить. Временной ряд это один из самых массовых типов корпоративных данных: телеметрия оборудования, метрики observability, объёмы заказов, банковские потоки. На прогнозах строятся планирование мощностей, закупки энергии, управление запасами, оценка рисков и графики обслуживания. Когда таких рядов тысячи, а не три, подгонка модели под каждый превращается в отдел, который только и делает, что переобучает и перенастраивает. Foundation-модель меняет единицу работы: не модель на ряд, а модель на парк рядов, где дообучение становится опцией, а не обязательным этапом.

Что именно выпустила Mistral

Четыре модели разного размера делят одну архитектуру и один рецепт обучения. Старшая, на 209M параметров, по заявлению Mistral берёт первое место по всем пяти метрикам среди предобученных zero-shot моделей на GIFT-Eval, TIME и fev-bench. Причём результат получен с одного чекпоинта, без ансамблирования, а предыдущее состояние искусства превзойдено при двух третях его параметров.

Дальше начинается интересное. 28M версия обходит Chronos-2, которая примерно вчетверо больше, на GIFT-Eval и TIME. 209M обходит TimesFM-3 и Falcon-2.0, имея меньше параметров. То есть Mistral продаёт не только точность, но и кривую «точность на размер»: на каждом размере модель сидит на границе Парето, и ни одна публичная модель того же размера не прогнозирует лучше.

Чтобы эти цифры не остались набором слов, стоит понять, что именно измерялось. GIFT-Eval сравнивает 83 предобученные и zero-shot модели по GMean MASE и GMean WQL, в TIME 35 записей лидерборда и метрики GMean MASE с GMean CRPS, а fev-bench с 37 участниками оценивает по SQL skill score, где больше значит лучше. Timestral попадает в топ всех трёх списков, причём по всем пяти метрикам сразу. MASE отвечает на вопрос, насколько прогноз лучше наивного повторения прошлого, а WQL и CRPS измеряют качество вероятностного прогноза с учётом ширины интервалов, а не только попадания в точку. Для практики второе важнее: модель, которая выдаёт узкий интервал и промахивается, хуже модели с честным широким интервалом, потому что по первому прогнозу нельзя планировать закупки и смены.

Контекст у моделей 32 768 шагов. Входные данные: многомерные целевые ряды плюс два типа ковариат, прошлые и известные на будущее. Выход: вероятностный прогноз по 21 квантилю. Лицензия Modified MIT, развёртывание на своих мощностях, в VPC или в изолированном контуре без сети. Для регулируемых отраслей последний пункт важнее всех бенчмарков.

Как устроена архитектура

В основе лежит несколько идей, которые Mistral описывает вкратце, обещая полный технический отчёт позже.

Первая называется Decoupled Horizon Forecasting, DHF. Конкурирующие каузальные декодеры (Toto 2.0, TimesFM-3) работают с маскированием непрерывных патчей: значения, которые надо предсказать, вырезаются из последовательности, выглядят как пропуски и заодно перестают быть контекстом для следующих прогнозов. DHF разделяет эти роли. Полная история остаётся в последовательности, а специальные обучаемые forecast-токены читают историю перед собой. Каждое наблюдение работает и как цель, и как контекст, настоящие пропуски остаются помеченными, а длина горизонта и аугментация пропусков настраиваются независимо друг от друга.

Вторая идея, covariate-aware attention. Каждому входному ряду назначается роль: целевая переменная, прошлая ковариата или известная на будущее ковариата. Известные на будущее видны на всём окне, цели остаются каузальными, и информация течёт только от ковариат к целям. Именно поэтому можно скормить календарь праздников или прогноз погоды и не протащить будущее самой цели в её же прогноз.

Третья идея объясняет, откуда взялся корпус для предобучения: большая часть данных синтетическая. Сначала генерируются одномерные процессы с осмысленной временной динамикой, трендами, сезонностью и разными типами шума. Потом многомерный синтезатор вводит между процессами нелинейные зависимости. Обучение двухступенчатое: сначала предобучение на чистой синтетике с контекстом 8192, затем постобучение на смеси реальных и синтетических данных с контекстом в четыре раза длиннее. Функция потерь, pinball loss по 21 квантилю, представляет собой дискретную аппроксимацию CRPS.

Экономика инференса

Самая практичная цифра в релизе не про бенчмарки, а про железо. Timestral не требует GPU. На стандартном серверном процессоре с восемью потоками прогноз на день вперёд по трём неделям 15-минутной истории занимает 10 мс на модели 5M и 140 мс на модели 209M. Модель 28M работает в пять раз быстрее старшей, а 123M отстаёт от 209M по качеству всего на 0,2 процента при трёх четвертях задержки.

Для завода с тысячами датчиков это меняет экономику. Не нужно парка ускорителей, чтобы каждые 15 минут пересчитывать прогноз по всей телеметрии. Достаточно обычных серверов, которые уже стоят в цеху или в стойке рядом.

Длинный контекст здесь не абстрактная характеристика. 32 768 шагов при 15-минутном интервале датчика это примерно 341 день непрерывной истории, то есть модель видит почти полный годовой цикл: сезонные спады, праздники, плановые остановки, последствия прошлых аварий. Для годового планирования обслуживания это ровно тот горизонт, на котором классические модели приходится переобучать заново после каждого сдвига режима.

Как это выглядит на заводе

Mistral приводит пример с насосами, и он хорошо показывает разницу между «предсказать число» и «предсказать распределение».

Вибрация, температура и давление насоса не двигаются независимо: рост одной величины часто объясняет или вызывает изменение другой. Timestral моделирует связанные ряды совместно и использует эти зависимости, вместо того чтобы прогнозировать каждый датчик в вакууме. Вместо одного числа он выдаёт набор квантилей, и обслуживание можно планировать по риску, а не по точечной оценке.

Отдельно решена проблема категориальных ковариат. День недели или состояние станка (работает, простой, на обслуживании) нельзя закодировать числом, не навязав им ложный порядок и масштаб. Timestral принимает их как категории. А известные на будущее события вроде производственного расписания или плановой остановки подаются как ковариаты, и запланированный рост нагрузки воспринимается как ожидаемый, а не как аномалия.

Дальше начинается агентный сценарий. Timestral крутится на потоке датчиков и ловит аномалию. Языковой агент Mistral встраивает сигналы в эмбеддинги, сравнивает с историей похожих отказов, запускает под-агентов для анализа первопричин и подтягивает контекст: записи об обслуживании, журналы смен, инструкции, старые наряды, показания соседнего оборудования. На выходе руководитель получает не алерт, а черновик диагноза с обоснованием и возможными шагами.

Что в релизе стоит проверять скептически

Технического отчёта пока нет, есть только обещание, что он выйдет следом. Значит, детали метода, состав данных и полные таблицы результатов проверить нечем: всё, что мы знаем об архитектуре, умещается в несколько абзацев блога.

Результаты на GIFT-Eval и TIME отправлены самим Mistral, независимой репликации нет. Сравнение с Chronos-2, TimesFM-3 и Falcon-2.0 тоже сделано вендором, на его собственных замерах, и это нормальная практика, но помнить о ней стоит.

Данные преимущественно синтетические. Это остроумное решение проблемы дефицита размеченных рядов и одновременно источник риска: поведение реальных датчиков с грязными пропусками, скачками режима и отказами сенсоров синтетика воспроизводит лишь настолько, насколько её правильно настроили. Заявленная устойчивость к смене режима в бенчмарках не измеряется.

Наконец, лицензия Modified MIT и доступ через Mistral Forge означают, что бесплатное скачивание весов не равно бесплатному внедрению: тонкая настройка под домен, контроль обучающей смеси и изолированный контур это уже корпоративный продукт.

Часто задаваемые вопросы

Чем Timestral отличается от ARIMA и обычного машинного обучения?

ARIMA подгоняется под один ряд и учится только на его истории. Timestral предобучен на большом корпусе разнородных рядов, поэтому даёт прогноз zero-shot на новых данных и переносит выученные закономерности между доменами. При этом он поддерживает многомерные ряды и ковариаты, чего у классики нет.

Нужен ли GPU для Timestral?

Нет. Mistral прямо указывает, что модель не требует ускорителя. На серверном CPU с восемью потоками прогноз на день вперёд по трём неделям 15-минутных данных занимает от 10 до 140 мс в зависимости от размера модели. Это открывает сценарии, где GPU просто некуда поставить.

Можно ли дообучить модель на своих данных?

Да, через Mistral Forge. Поддерживаются zero-shot инференс, архитектурные расширения под доменные ковариаты, тонкая настройка на закрытых данных и контроль обучающей смеси, включая генерацию синтетики под целевой домен. Всё это можно развернуть на своём железе, в том числе в контуре без доступа в интернет.

Итог

Timestral это ставка Mistral на нишу, где пока мало кто воюет: не чат, не агент, а числовой прогноз для промышленности. Аргументы простые и проверяемые: 209M параметров, первое место в трёх бенчмарках, 32 768 шагов контекста, 21 квантиль и 140 мс на CPU. Слабые места тоже на виду: нет технического отчёта, бенчмарки собственные, данные преимущественно синтетические.

Если у вас есть парк датчиков и вечная борьба с ARIMA по каждому ряду, посмотрите на репозиторий Timestral и прогоните zero-shot на своих данных. Это самый дешёвый способ понять, работает ли foundation-подход в вашем домене, без обучения с нуля и без GPU. А если уже пробовали Chronos или TimesFM, интересно сравнить: на каких рядах они ломаются?

Отдельный сюжет здесь в том, что прогнозирование перестало быть скучным прикладным углом. Chronos от Amazon, TimesFM от Google, Toto от Datadog, теперь Timestral от Mistral: за год ниша time-series foundation models превратилась в полноценную гонку, где спорят уже не о том, нужны ли предобученные модели для чисел, а о том, чья кривая «точность на параметр» круче.