Генерация изображений и видео диффузионными моделями упирается в одну проблему: каждый шаг сэмплинга — это проход через нейросеть, а для качественного результата нужны десятки таких проходов. MeanFlow решает эту проблему радикально, предсказывая среднюю скорость переноса за целый интервал вместо мгновенной скорости. Но возникает новый вопрос — как применять reinforcement learning к модели, которая работает со средними, а не мгновенными величинами?

Именно эту задачу решает MeanFlowNFT — работа исследователей, опубликованная в июле 2026 года. Это первый фреймворк forward-process RL, адаптированный специально для MeanFlow-генераторов, и его результаты выглядят впечатляюще: 4 шага сэмплинга превосходят 50-шаговые RL-модели на видео-бенчмарке VBench.

Почему обычные диффузионные модели медленные

Классический flow matching обучает сеть предсказывать мгновенную скорость $\bm{v}_t$ — направление, в котором нужно сдвинуть зашумлённый образец $\bm{x}_t$, чтобы приблизиться к чистым данным. Проблема в том, что эта скорость определена только в конкретной точке времени $t$, и траектория от шума к данным требует множества мелких шагов. Каждый шаг вносит ошибку дискретизации, и чем меньше шагов — тем заметнее артефакты.

MeanFlow обходит это ограничение, предсказывая среднюю скорость $\bm{u}$ за интервал $[s, t]$. Вместо того чтобы спрашивать «куда двигаться прямо сейчас», сеть отвечает «куда двигаться в среднем за следующие N шагов». Это позволяет интегрировать траекторию за один-два шага без потери качества. Любой-flow дистилляция переводит базовую модель в MeanFlow-режим, и дальше сэмплинг работает за 4–8 шагов.

Но тут появляется проблема согласования: методы RL, разработанные для диффузионных моделей (вроде DiffusionNFT или Flow-GRPO), оптимизируют мгновенные скорости. Если применить их напрямую к MeanFlow-сети, оптимизация оказывается некорректно определённой — сеть предсказывает не то, что оптимизирует функция потерь.

Идея MeanFlowNFT: мост между пространствами скоростей

Ключевая инновация MeanFlowNFT — использование тождества MeanFlow для построения так называемого индуцированного предиктора мгновенной скорости $\bm{V}_\theta$. Сеть остаётся в пространстве средних скоростей (и сэмплирует как MeanFlow), но оптимизация RL происходит в пространстве мгновенных скоростей через это тождество.

Формула выглядит так: индуцированный предиктор $\bm{V}_\theta(\bm{x}t, s, t)$ складывает саму среднюю скорость $\bm{u}\theta$ с поправкой, зависящей от производных средней скорости по времени и по пространству. Поправка масштабируется на длину интервала $(t - s)$ и направление мгновенной скорости. Фактически, MeanFlowNFT использует аналитическую связь между средним и мгновенным — ту самую identity из оригинальной статьи MeanFlow — чтобы сделать reward-оптимизацию mathematically well-defined.

Это элегантное решение. Сеть не меняет свою архитектуру и не учится предсказывать мгновенные скорости. Она продолжает предсказывать средние скорости для быстрого сэмплинга, но функция потерь RL (которая контрастирует «позитивные» и «негативные» генерации по reward) применяется к индуцированному предиктору. Обучение остаётся likelihood-free и solver-agnostic — точно как в оригинальном DiffusionNFT.

Теоретическая гарантия: наследование policy improvement

Исследователи доказывают, что MeanFlowNFT наследует строгую гарантию улучшения политики от DiffusionNFT. В идеализированном случае (closed-form optimum) оптимальный индуцированный предиктор MeanFlowNFT совпадает с оптимальным предиктором DiffusionNFT. Это значит, что теоретический ceiling у обоих методов одинаковый — MeanFlowNFT не жертвует теоретической сходимостью ради практического удобства.

На практике это реализуется через LoRA-адаптеры (ранг 32, scaling factor 64), применённые ко всем линейным слоям в attention-блоках. Guidance strength $\beta = 0.1$, KL-регуляризация с весом $10^{-4}$, AdamW с learning rate $3 \times 10^{-6}$. Pipeline полностью без classifier-free guidance — модель работает с нативной MeanFlow-выборкой.

Эксперименты: изображения и видео

На изображениях MeanFlowNFT тестируется на Stable Diffusion 3.5-Medium при 512×512 для обучения и 1024×1024 для оценки. Награды: CLIPScore, PickScore и HPSv2. Результаты показывают консистентное улучшение базового AnyFlow по всем метрикам, причём на 6 из 8 показателей MeanFlowNFT превосходит предыдущий state-of-the-art среди few-step RL-генераторов.

Но наиболее впечатляющие результаты — на видео. Модель Wan 2.1 (1.3B параметров) обучается при 480p с 81 кадрами, используя награды HPSv3-general, HPSv3-percentile, VideoAlign MQ и VideoAlign TA. Here are the key numbers: 4-шаговый MeanFlowNFT достигает VBench score 84.33, в то время как 50-шаговый LongCat-Video RL набрал только 82.57. Разница в 1.76 пункта при 12.5-кратном сокращении числа шагов — это не статистическая погрешность, а архитектурное преимущество.

По отдельным измерениям VBench MeanFlowNFT лидирует в temporal flickering (99.44 vs 99.12 у LongCat), human action (94.40 vs 92.00), multiple objects (84.79 vs 75.90) и subject consistency (98.44 vs 96.38). LongCat выигрывает в dynamic degree (52.78 vs 59.45 — нет, здесь MeanFlowNFT тоже лучше на 6.67 пункта) и scene composition, но проигрыш в ключевых метриках качества делает его неконкурентным при 12.5× большем вычислительном бюджете.

Механизм MeanFlow identity: математический мост

Тождество MeanFlow — центральный математический объект всей работы. Оно утверждает, что средняя скорость $\bm{u}_\theta(\bm{x}t, s, t)$ за интервал $[s, t]$ связана с мгновенной скоростью $\hat{\bm{v}}\theta(\bm{x}_t, t)$ (получаемой при $s \to t$) через дифференциальное уравнение. MeanFlowNFT использует это уравнение в обратную сторону: зная среднюю скорость и её производные, восстанавливает мгновенную.

Конкретно, индуцированный предиктор $\bm{V}\theta(\bm{x}t, s, t)$ вычисляется как $\bm{u}\theta + (t-s) \cdot [\partial_t \bm{u}\theta + (\partial_{\bm{x}} \bm{u}\theta) \hat{\bm{v}}\theta]$. Первый член — сама средняя скорость. Второй — поправка, пропорциональная длине интервала и содержащая градиент средней скорости по пространству, умноженный на текущее направление движения. Эта поправка превращает «усреднённое» предсказание в «мгновенное», пригодное для RL-оптимизации.

Практическая реализация использует автоматическое дифференцирование (autograd) для вычисления $\partial_t \bm{u}\theta$ и $\partial{\bm{x}} \bm{u}_\theta$ — никаких аналитических приближений или конечных разностей. Это сохраняет точность и позволяет методу работать с любой MeanFlow-сетью без модификаций.

Сравнение с альтернативными подходами

Контекст важен: на момент публикации MeanFlowNFT существовало несколько попыток ускорить генерацию. Consistency Distillation (DMD, CDM, RTDMD) обучают сеть воспроизводить многошаговые траектории за один-два шага. Но эти методы не используют RL — они имитируют teacher-модель, а не оптимизируют reward напрямую. Результат: быстрая генерация, но без гарантии улучшения качества по целевым метрикам.

Flow-GRPO — другой подход — применяет policy gradient (GRPO-style) к многошаговому обратному процессу. Это работает, но требует стохастической политики и оценки per-step likelihood, что делает обучение дорогим и нестабильным. DiffusionNFT устранил эту проблему, перейдя к forward-process RL без likelihood estimation, но работал только с мгновенными скоростями.

MeanFlowNFT объединяет лучшее из обоих миров: forward-process RL (efficient, likelihood-free) + few-step MeanFlow сэмплинг (быстрый инференс). Ни один предыдущий метод не предлагал эту комбинацию.

Детали обучения и вычислительные затраты

Обучение MeanFlowNFT использует LoRA-адаптеры ранга 32 с scaling factor 64, применённые ко всем линейным слоям в attention-блоках. Это означает, что train-able параметры составляют лишь небольшую долю от полной модели (для SD3.5-Medium — ~30M из ~2.6B). Learning rate фиксирован на уровне $3 \times 10^{-6}$, без schedule. EMA-обновление reference-модели с коэффициентом $\eta_i = \min(0.001 \cdot i, 0.5)$ стабилизирует обучение.

Для видео-экспериментов с Wan 2.1 (1.3B параметров) используется тот же RL-пайплайн, что и для LongCat-Video RL, что обеспечивает честное сравнение. Награды: HPSv3-general, HPSv3-percentile, VideoAlign MQ (motion quality) и VideoAlign TA (text alignment). Обучающие промпты заимствованы из DanceGRPO.

Почему это важно для деплоя

Сокращение с 50 шагов до 4 — это не просто академическое упражнение. В production-системах генерации видео каждый шаг умножается на разрешение, количество кадров и batch size. Для 480p × 81 frames × batch=4 разница между 50 и 4 шагами — это порядок по времени инференса и стоимости GPU-часов. MeanFlowNFT показывает, что forward-process RL может полностью раскрыть потенциал few-step генераторов без компромисса по качеству.

Важный побочный результат: MeanFlowNFT сохраняет any-step scaling поведение AnyFlow. Модель можно запускать на 4, 16 или 32 шагах, и качество монотонно растёт. Это критично для сервисов, где нужно балансировать между скоростью ответа (4 шага для превью) и финальным качеством (32 шага для рендера).

Исследователи отмечают, что конструкция индуцированного предиктора не специфична для MeanFlow — она применима к shortcut models, consistency trajectory models и другим представителям семейства flow-map моделей. Аналогично, другие forward-process RL objectives (RAM, AWM) должны работать с MeanFlowNFT-подходом без модификаций. Это открывает путь к унификации: один framework RL-оптимизации для всего zoo few-step генераторов.

Test-time scaling: гибкость без переобучения

Одно из замечательных свойств MeanFlowNFT — сохранение any-step scaling. После RL-обучения модель можно запускать с разным числом шагов (4, 16, 32), и качество монотонно растёт. На SD3.5-M при переходе от 4 к 32 шагам все метрики (VBench Total, Quality, Semantic, HPSv3, MQ, TA) улучшаются последовательно, без скачков и плато.

Это свойство критично для production-сервисов, где нужно балансировать latency и качество. Превью генерируется за 4 шага (десятки миллисекунд), финальный рендер — за 32 шага. Пользователь видит результат почти мгновенно, а система доставляет полное качество асинхронно. Ни DMD, ни CDM, ни Flow-GRPO не предлагают такую гибкость — они обучены под конкретное число шагов и деградируют при отклонении.

Почему MeanFlowNFT важен за пределами бенчмарков

Настоящее значение MeanFlowNFT выходит за рамки цифр в таблицах. Работа демонстрирует, что эффективность и качество — не zero-sum tradeoff в генеративном ИИ. Область годами оптимизировала либо быстрый инференс (consistency models), либо высокое качество (multi-step RL). MeanFlowNFT показывает, что можно получить оба через careful mathematical design.

Этот принцип вероятно обобщается на другие домены. Test-time compute scaling, multi-agent системы и retrieval-augmented generation — все сталкиваются с похожим напряжением между вычислительным бюджетом и качеством выхода. Подход MeanFlowNFT — идентифицировать математический мост между быстрым и точным режимами, затем оптимизировать в правильном пространстве — предлагает шаблон для решения аналогичных проблем.

Для практиков немедленный вывод ясен: production-деплой генеративных моделей больше не требует выбирать между latency и качеством. С forward-process RL на few-step генераторах вы получаете 12× более быстрый инференс с лучшими результатами. Вопрос уже не «можем ли мы позволить себе оптимизировать?», а «можем ли мы позволить себе не оптимизировать?»

FAQ

Чем MeanFlow отличается от обычных диффузионных моделей?

MeanFlow предсказывает среднюю скорость переноса за интервал времени, а не мгновенную скорость в точке. Это позволяет интегрировать траекторию от шума к данным за 1–4 шага вместо 20–50. Любая предобученная диффузионная или flow-модель может быть конвертирована в MeanFlow-режим через дистилляцию (например, AnyFlow).

Почему нельзя просто применить DiffusionNFT к MeanFlow напрямую?

DiffusionNFT оптимизирует мгновенные скорости, а MeanFlow-сеть предсказывает средние. Прямое применение создаёт несоответствие: функция потерь изменяет параметры для улучшения мгновенного предсказания, но инференс использует среднее. MeanFlowNFT решает это через тождество MeanFlow, которое аналитически связывает среднюю и мгновенную скорости.

Какие практические ограничения у MeanFlowNFT?

Исследователи тестируют только DiffusionNFT-style forward-process RL. Другие objectives (RAM, AWM) не проверены, хотя авторы ожидают переносимости. Также изучен только MeanFlow как конкретный представитель flow-map семейства — shortcut models и consistency trajectory models пока не тестировались. Ускорение 12.5× измерено на конкретном железе; реальная производительность зависит от batch size, разрешения и конфигурации деплоя.

Итог

MeanFlowNFT закрывает важный пробел между двумя трендами: few-step генерацией (MeanFlow, AnyFlow) и RL-оптимизацией (DiffusionNFT, Flow-GRPO). Результат — 4 шага инференса, превосходящие 50-шаговые модели на видео-бенчмарках, с теоретической гарантией сходимости и сохранением any-step flexibility. Для production-систем генерации видео это означает снижение стоимости на порядок без потери качества.