Hartley vs Fourier Neural Operators: какая спектральная база побеждает для разных PDE

Решение дифференциальных уравнений в физике — задача, которую ученые решают десятилетиями. Уравнения Навье-Стокса для fluid dynamics, волновое уравнение для сейсмологии, уравнение Пуассона для электростатики — все они описывают фундаментальные процессы, и для каждого исторически строился свой численный метод. Но теперь нейросети научились решать целые классы таких уравнений за миллисекунды благодаря Neural Operators. Главный вопрос, который до сих пор оставался открытым: какую спектральную базу использовать внутри?

Команда из нескольких исследовательских групп опубликовала работу, которая дает на него исчерпывающий ответ. Не «Fourier лучше» и не «Hartley лучше» — а правило, по которому можно предсказать, какая база подходит для конкретного физического процесса. И это правило определяется симметрией оператора, а не выбором архитектуры.

Что такое Neural Operators и почему за ними будущее

Классические солверы (finite differences, finite elements, spectral methods) решают одно конкретное уравнение для одного набора граничных условий. Если нужно решить то же уравнение для других условий — начинай с нуля. Это проблема для задач uncertainty quantification, inverse problems и real-time forecasting, где требуются тысячи прогонов с разными параметрами. Стоимость одного прогона высокоточного солвера для уравнений Навье-Стокса может составлять часы на кластере — для задач оптимизации формы крыла или прогнозирования погоды это неприемлемо.

Neural Operators решают эту проблему принципиально иначе: они учатся отображать входные функции в выходные функции напрямую, обучаясь на множестве примеров «вход → решение». После тренировки один forward pass дает решение для любых новых условий за миллисекунды — стоимость обучения амортизируется на бесконечное количество инференсов.

Fourier Neural Operator (FNO), представленный в 2020 году, стал стандартом де-факто: сверточные фильтры в частотной области через FFT, глобальные конволюции, state-of-the-art на множестве бенчмарков. Но у FNO есть особенность: вся арифметика комплексная. Каждый спектральный коэффициент — это комплексное число с реальной и мнимой частью. Для реальнозначенных решений PDE это избыточно, потому что FFT комплексного результата несёт избыточность через сопряжённую симметрию.

Hartley Transform как точное зеркало Fourier

Hartley Neural Operator (HNO) — это точная реальнозначенная версия FNO. Вместо FFT используется Discrete Hartley Transform (DHT): один реальный множитель на спектральный режим вместо комплексной пары. DHT self-inverse (применяешь дважды — получаешь исходный сигнал с точностью до нормализации 1/N) и вычисляется через torch.fft как Re - Im от FFT, без кастомных ядер.

Ключевое: HNO сохраняет в два раза больше частотных режимов (потому что реальный спектр не делится сопряжённой симметрией), но при этом несёт один реальный вес там, где FNO несёт комплексную пару. При равной ширине операторы изопараметрически эквивалентны — разница только в спектральной базе.

Теорема о свёртке Хartley (Bracewell, 1984) показывает интересный механизм: для симметричных фильтров (а эллиптические операторы имеют именно такие ядра Грина) свёртка Хartley сводится к поэлементному умножению — точно как у FNO, но с чисто реальной арифметикой. Это не совпадение, а следствие того, что DHT — это «реальное представление» того, что FFT даёт в комплексном.

Главная теорема работы: база — это свойство оператора

Центральный тезис формулируется так: оптимальная спектральная база определяется симметрией оператора, а не распределением данных. Это означает, что выбор между HNO и FNO можно предсказать до обучения, зная физику задачи — и это фундаментальный результат, который меняет проектирование нейросетевых солверов.

Для эллиптических операторов (уравнение Пуассона, бигармоническое уравнение) — операторы self-adjoint с реальными симметричными функциями Грина — HNO имеет преимущество. Приложение E работы (теорема E.7) показывает, что для self-adjoint эллиптических операторов функция Грина удовлетворяет условию $\hat{G}(k) \in \mathbb{R}$ и $\mathcal{H}{G}(k) = \hat{G}(k)$. Hartley свёртка для симметричных ядер сводится к поэлементному умножению, и один реальный множитель на режим воспроизводит ядро точно. FNO приходится «учиться» тому, что его мнимая часть должна быть нулевой, что эффективно удваивает пространство поиска с $M$ до $2M$ измерений (теорема E.8).

Для временных операторов (волновое уравнение, перенос, адвекция, Навье-Стокс) — FNO имеет преимущество, и оно монотонно растёт с фазовым содержанием оператора. Реальный диагональный множитель Hartley не может представлять фазовые эффекты: волновой пропагатор $e^{-ic \cdot k \cdot t}$ чисто мнимый, адвективный перенос даёт $e^{-i c \cdot k \cdot t}$ — оба не представимы вещественным множителем. FNO выигрывает, и тем больше, чем больше фазы в операторе. Следствие E.17 формализует это: преимущество FNO монотонно по фазовому содержанию.

Уравнение теплопроводности — информативная граница: его пропагатор $e^{-\nu |k|^2 t}$ вещественный и чётный, безфазовый, как у эллиптического оператора. Здесь разница минимальна, и HNO может даже немного выигрывать на гладких входных данных.

Эксперименты: пять классов PDE, три семейства начальных условий

Авторы тестировали HNO против FNO на каноничных PDE пяти классов: параболические (heat), гиперболические (wave), адвективные (advection-diffusion), нелинейные (Burgers, 2D Navier-Stokes в форме вихря) и эллиптические (Poisson, biharmonic). Три семейства начальных условий — GRF со спектральным угасанием (Matérn covariance, $\nu=2.5$, $\ell=0.15$), собственные функции Лапласиана (Sobolev-weighted), гауссовы пакеты (2–5 локализованных бампа) — и два типа граничных условий (периодические и Dirichlet) позволили изолировать эффект выравнивания базы от распределения данных.

Оба оператора обучались идентично при равной ширине, реализация на PyTorch. Результат: чёткое разделение по симметрии оператора, монотонное по фазовому содержанию, независимо от семейства начальных условий — хотя семейство IC модулирует величину зазора, знак определяется симметрией символа оператора.

Эллиптические PDE → HNO побеждает. На уравнении Пуассона и бигармоническом уравнении HNO показывает меньшую относительную L² ошибку. Преимущество максимально на бигармоническом — наиболее сильно self-adjoint операторе в наборе. Периодические граничные условия, сохраняющие оператор точно Hartley-диагональным, дают больший отрыв, чем Dirichlet.

Временные PDE → FNO побеждает, монотонно по фазе. Теплопроводность — минимальный разрыв (borderline case). Волновое уравнение — промежуточное преимущество FNO (осцилляция без затухания). Адвективно-диффузионные и нелинейные операторы (Burgers, Навье-Стокс) — максимальное преимущество FNO, растущее с транспортным фазовым содержанием. Начальные условия влияют на величину, но не на знак.

Архитектурные детали: почему изопараметричность это важно

Когда авторы говорят, что HNO и FNO «изопараметрически эквивалентны при равной ширине», это критически важное утверждение для дизайна экспериментов. Это означает, что любая разница в качестве — следствие именно спектральной базы, а не различий в ёмкости модели. FNO использует $M$ комплексных весов (что эквивалентно $2M$ реальных), HNO — $2M$ реальных весов, распределённых по $2M$ режимам (вместо $M$ режимов у FNO из-за сопряжённой симметрии). При equal-width comparison пространство гипотез идентично по размерности — разница только в представлении. Это делает результаты экспериментов чистым тестом гипотезы о симметрии.

Вычисление DHT через torch.fft как Re - Im — инженерный компромисс без кастомного CUDA-ядра: текущая реализация имеет накладные расходы на FFT -> извлечение Re/Im -> вычисление DHT. Авторы отмечают, что нативное FHT-ядро устранит этот оверхед.

Практическое правило для инженеров

Из результатов работы следует простая эвристика, которую можно применять до обучения:

Выбирайте HNO (Hartley Neural Operator) для эллиптических задач — статических, безфазовых физических процессов: электростатика, гравитация, бигармонические задачи упругости, диффузия в стационарном режиме. Здесь HNO не только точнее, но и быстрее (нет комплексной арифметики), и точность вытекает из структуры задачи, а не из обучения.

Выбирайте FNO (Fourier Neural Operator) для задач с переносом, волнами или временной динамикой: волновое распространение, конвективный теплоперенос, fluid flow, турбулентность, нелинейные волны.

Теплопроводность — пограничный случай, можно экспериментировать с обоими операторами.

Это предсказательное правило, а не эмпирическое наблюдение. Зная физику своего оператора, можно выбрать спектральную базу до начала обучения и быть уверенным в результате.

Что это значит для развития Neural Operators

Работа меняет фрейминг задачи выбора спектрального трансформера. Вместо поиска «универсального лучшего трансформера» — фокус на matching между структурой базы и структурой оператора. Это принципиально иной подход к дизайну: не «какой трансформер сильнее на всех задачах», а «какой трансформер правильный для моей физики».

Авторы указывают три естественных направления развития:

Нативное FHT-ядро — текущая реализация HNO через эмуляцию DHT через FFT имеет накладные расходы. Кастомный CUDA-компонент для Fast Hartley Transform устранит этот оверхед и сделает HNO ещё эффективнее на эллиптических задачах. FHT имеет ту же алгоритмическую сложность $O(N \log N)$, что и FFT, но с реальной арифметикой.

Адаптивный оператор — Operator that detects operator symmetry автоматически и выбирает базу: когда симметрия эллиптическая → Hartley, когда фазовая → Fourier. Это снимает с пользователя необходимость знать физику задачи a priori и автоматизирует выбор архитектуры.

Сравнение с не-спектральными базами — DeepONet и convolutional neural operators как альтернативы, которые могут оказаться сильнее на задачах, где локальность важнее глобальной спектральной декомпозиции. Wavelet Transform занимает промежуточную позицию между полностью локальными и полностью глобальными базами и может быть оптимален для мультимасштабных задач с перемежающимися глобальными и локальными паттернами.

Часто задаваемые вопросы

HNO быстрее FNO при одинаковой точночности?

Да, за счёт отсутствия комплексной арифметики. Один реальный множитель вместо комплексной пары — меньше операций на режим. На эллиптических PDE, где HNO ещё и точнее, преимущество двойное. Накладные расходы текущей эмуляции DHT через FFT частично компенсируют этот выигрыш, но нативное FHT-ядро устранит и это.

Можно ли использовать HNO для задач с фазой?

Теоретически HNO не может точно представить операторы с фазовым содержанием, потому что реальный диагональный множитель не способен воспроизвести $e^{-ickt}$. Однако на практике HNO может аппроксимировать слабофазовые операторы, просто с большей ошибкой. Для задач с сильной фазовой динамикой лучше сразу выбрать FNO.

Как определить симметрию оператора?

Self-adjoint elliptic operators имеют вещественный символ $\hat{G}(k) \in \mathbb{R}$ и симметричную функцию Грина — это математическое свойство, которое можно проверить аналитически для известных PDE. Временные операторы с переносом или волнами имеют фазовый множитель $e^{-i \phi(k)}$ — индикатор того, что FNO будет сильнее. Для новых физических задач ответ даёт анализ символа оператора.

Почему тепло equation — граница?

Потому что его пропагатор $e^{-\nu |k|^2 t}$ вещественный и чётный: нет фазового множителя, но есть экспоненциальное затухание по моду. Это ближе всего к эллиптическому случаю (вещественный символ), но с временной эволюцией. Отсюда минимальный разрыв между FNO и HNO на этой задаче.

Итог

Работа даёт не рейтинг, а правило: matching the basis to the symmetry of the operator. Hartley Neural Operator и Fourier Neural Operator — не конкуренты, а специалисты для разных ниш. Для диффузионных и эллиптических задач HNO точнее и потенциально быстрее. Для волн, переноса и турбулентности FNO остаётся стандартом. Зная физику процесса — а именно симметрию оператора — можно выбрать правильный инструмент до начала обучения и быть уверенным в результате.

Источник: arXiv:2606.24851 — Real vs. Complex Spectral Bases for Neural Operators: The Role of Green's Function Alignment