Размытое изображение может содержать больше информации, чем резкое. Если в нём сохранились признаки, по которым различаются нужные объекты, потеря пикселей уже не имеет значения, а резкий кадр, растерявший эти признаки, окажется бесполезным.

На этой идее построен фреймворк, который лаборатория Waller Lab из Калифорнийского университета в Беркли представила в статье на NeurIPS 2025 и подробно разобрала в блоге BAIR (Berkeley AI Research). Оценивать и проектировать системы визуализации предлагается по одному числу: взаимной информации между объектом и измерениями.

Звучит абстрактно, но ставки практические. Всё больше систем полагаются на вычисления между сенсором и финальным изображением: сжатие, шумоподавление, реконструкция из неполных данных, нейросетевые улучшения. Ошибка в оценке таких конвейеров стоит дорого, потому что неверно выбранный дизайн фильтров или недостаточная дискретизация обнаруживаются уже в продакшене, когда переделывать физику поздно. Метрика, предсказывающая качество системы по её физике, а не по качеству конкретного алгоритма, закрывает именно эту дыру.

Что такое системы визуализации

Система визуализации это контур, в котором физические измерения превращаются в изображения. Смартфон прогоняет сырые данные сенсора через алгоритмы, прежде чем показать фотографию. МРТ-сканер собирает измерения в частотном пространстве, и врачу нужна реконструкция, чтобы вообще что-то увидеть. Автопилоты скармливают кадры камер и лидара нейросетям напрямую. В каждом случае человек либо не видит сырые измерения, либо видит не то, что в них записано.

Из этого следует простой сдвиг: оценивать такие системы по тому, как выглядят их измерения, бессмысленно. Важно другое: сколько полезной информации об объекте измерения несут. Причём извлечь эту информацию может и ИИ, даже когда для человеческого глаза она закодирована нечитаемо.

Почему разрешение и сигнал/шум не решают задачу

Классические метрики оценивают качество по частям. Разрешение отвечает за одну грань, отношение сигнал/шум за другую, и сравнивать системы, которые обменивают одно свойство на другое, почти невозможно. Камера с высоким разрешением может проигрывать по шуму, и наоборот, а свести обе шкалы в одно решение не получается.

Популярная альтернатива, обучение нейросети на реконструкции или классификации, страдает от другой проблемы: она смешивает качество физики с качеством алгоритма. Если декодер обучен слабо, низкий результат ничего не говорит о сенсоре. Отделить одно от другого задним числом нельзя, и это мешает сравнивать сами системы визуализации.

Взаимная информация как единая метрика

Взаимная информация (mutual information) показывает, насколько измерение уменьшает неопределённость относительно объекта, который его породил. У двух систем с одинаковым значением взаимной информации одинаковая способность различать объекты, даже если их измерения выглядят совершенно по-разному.

Одно число вбирает эффекты разрешения, шума, дискретизации и спектральной чувствительности сразу, не разбивая их по отдельным шкалам. Это и есть основное преимущество: сравнивать системы становится можно по единой величине, которая собирает в себя все факторы качества.

Применить теорию информации к визуализации пытались и раньше, но обе прошлые попытки упёрлись в ограничения. Первая рассматривала систему как канал связи без ограничений линз и сенсоров, из-за чего оценки выходили грубо неточными. Вторая требовала явных моделей объектов съёмки, что убивало общность. Новый метод обходит оба подводных камня: информацию оценивают напрямую по измерениям.

Как оценивают взаимную информацию

Оценивать взаимную информацию между переменными высокой размерности трудно: требования к объёму выборки растут экспоненциально с размерностью, а сами оценки страдают от смещения и разброса. Спасает структура задачи, её удаётся разложить на более простые части.

В основе лежат свойства самих систем визуализации: каждая из них это детерминированное преобразование объекта в измерения, поверх которого накладывается шум с известными характеристиками. Такая декомпозиция превращает одну трудную задачу в две простые: физику шума считают аналитически, а статистику измерений учат по данным.

Взаимную информацию можно записать как разность: I(X; Y) = H(Y) - H(Y|X). Первый член, H(Y), это общая вариация измерений, она складывается из различий между объектами и шума. Второй член, H(Y|X), описывает вариацию, порождённую только шумом. Взаимная информация равна разнице между ними.

Дальше работает физика. Фотонный шум подчиняется распределению Пуассона, шум электронного считывания гауссову распределению. Раз характеристики шума известны заранее, член H(Y|X) вычисляется напрямую, без обучения, и учить остаётся только H(Y): распределение всех возможных измерений по датасету. Модель учится на голом датасете измерений: ни разметка, ни пары «объект-снимок» ей не нужны, достаточно самих измерений в достаточном количестве.

Для H(Y) опробовали три модели с разным балансом скорости и точности: гауссовский процесс (самый быстрый), полный гауссовский случай (промежуточный) и авторегрессионный PixelCNN (самый точный). У подхода есть аккуратное свойство: оценка даёт верхнюю границу истинной информации, то есть ошибки модели могут только завысить результат и никогда не занизить его.

Практический смысл границы в том, что ошибки модели безопасны в одну сторону: оценка может завысить информацию, но не способна её занизить. Проверка на четырёх доменах показала, что этого свойства достаточно для надёжных выводов о качестве систем.

Четыре домена проверки

Метрика имеет смысл только тогда, когда предсказывает работу реальных систем, и это проверили в четырёх областях. Каждая проверка отвечала на один вопрос: предсказывает ли информационная оценка то же, что показывает реальная задача, и можно ли обойтись без дорогой реконструкции или разметки. Везде повторялась одна закономерность: выше информация, лучше результат на целевой задаче.

В цветной фотографии цвет кодируется фильтровыми массивами, где каждый пиксель видит лишь часть спектра. Три дизайна (классический массив Байера, случайная раскладка и обученная раскладка) сравнили по информационной оценке, и она правильно упорядочила их по будущему качеству цветовой реконструкции. Ранжирование совпало с результатом нейросетевой демаизации (восстановления цвета из сырых данных), но саму реконструкцию для этого запускать не пришлось.

В радиоастрономии решётки телескопов собирают сигналы с площадок по всему земному шару, а выбор мест подчиняется комбинаторной логике: ценность каждой станции зависит от всех остальных, и перебрать варианты невозможно. Оценки информации предсказали качество реконструкции для разных конфигураций и позволили отбирать площадки без дорогого восстановления изображений.

В безлинзовой съёмке оптику заменяет светомодулирующая маска, и измерения совсем не похожи на сцену. Метрика предсказала точность реконструкции для трёх дизайнов, обычной линзы, микролинзового массива и диффузора, при разных уровнях шума.

В микроскопии LED-массивы дают программируемое освещение и разные режимы контраста. Информационные оценки коррелировали с точностью нейросети, которая предсказывает экспрессию белков по снимкам клеток, и это позволяет оценивать системы без дорогой разметки белков. Во всех четырёх случаях оценки информации предсказали, как системы покажут себя на реальных задачах, причём дорогую реконструкцию или разметку для этого запускать не пришлось.

IDEAL: проектирование без декодера

Информационные оценки умеют не только измерять, но и оптимизировать. Метод IDEAL (Information-Driven Encoder Analysis Learning) применяет градиентный подъём к информационной оценке, чтобы улучшать параметры самой системы визуализации. Главное отличие от стандартной end-to-end оптимизации в том, что декодер в процессе не участвует.

Стандартный подход обучает железо и декодер совместно, а это означает обратное распространение через весь декодер: ограничения по памяти, лишние вычисления, риск нестабильной оптимизации. IDEAL оптимизирует только кодировщик, то есть физику системы.

Механика такая: параметры системы, скажем, раскладка цветных фильтров, обновляются шаг за шагом по градиенту информационной оценки, пока информация не перестаёт расти. Обратной связи от декодера в этом цикле нет вообще, поэтому оптимизация не упирается в память и сложности, которые создаёт обратное распространение через весь декодер.

Проверка прошла на дизайне цветовых фильтров. Из случайной раскладки метод постепенно улучшал результат и в финале сравнялся с end-to-end оптимизацией: та же информация, то же качество реконструкции, но без обучения декодера.

Что это меняет

Информационная оценка даёт объективную метрику, которую снимают прямо с измерений. В реальных условиях это решает проблему, у которой раньше не было решения: эталонных данных для развёрнутой системы обычно не существует, субъективная визуальная оценка не масштабируется, а разрозненные метрики упускают общую картину.

Отдельный эффект от IDEAL вычислительный. Без обратного распространения через декодер снижаются требования к памяти и сложность обучения, а значит открываются дизайны, которые раньше оставались недосягаемыми из-за стоимости оптимизации. Авторы отдельно отмечают, что такие дизайны совпадают по качеству с результатами end-to-end методов, но требуют меньше памяти и вычислений и не нуждаются в проектировании декодера под конкретную задачу.

И рамка не ограничена изображениями. Подойдёт любая система, которую можно смоделировать как детерминированное кодирование с известными шумовыми характеристиками: электронные сенсоры, биологические или химические измерительные контуры. Авторы называют это направлением дальнейшей работы. Показательно, что фреймворк соединяет две линии: классическую оптику и статистическое обучение: оценка строится на данных, но измеряет физику системы, а не качество конкретного алгоритма.

Часто задаваемые вопросы

Чем взаимная информация лучше PSNR и SSIM?

PSNR и SSIM сравнивают готовое изображение с эталоном и штрафуют любые отличия, даже те, что не важны для задачи. Взаимная информация отвечает на другой вопрос: сколько сведений об объекте сохранилось в измерениях. Эталон для неё не нужен, поэтому она работает и там, где измерения вообще не похожи на изображение, например в безлинзовой съёмке или радиоастрономии.

Нужно ли обучать нейросеть, чтобы оценить систему?

Для самой оценки нужны измерения и модель шума, а шум известен из физики сенсора. Обучается только вероятностная модель распределения измерений H(Y), и она не привязана к конкретной задаче: авторы показали работоспособность трёх классов моделей, от гауссовского процесса до PixelCNN. Декодер, который решает прикладную задачу, не требуется.

Применим ли подход за пределами визуализации?

Да, авторы прямо это предполагают. Всё, что моделируется как детерминированное кодирование с известными шумовыми характеристиками, может выиграть от информационной оценки и оптимизации: электронные, биологические и химические сенсоры. Код фреймворка открыт, так что проверить это можно самостоятельно.

Есть ли у подхода ограничения?

Да: для оценки нужны известная модель шума и достаточно представительный датасет измерений. Плюс оценка даёт верхнюю границу истинной информации, то есть это оптимистичная планка, а не точное значение. На всех четырёх доменах даже с этими оговорками метрика предсказывала реальное качество систем.

Итог

Гонка за мегапикселями и чистотой сигнала упирается в стену: она измеряет по частям то, что имеет смысл только целиком. Взаимная информация собирает разрозненные шкалы в одну величину и показывает, что размытый кадр с сохранёнными признаками может побить резкий кадр без них. Если вы проектируете сенсоры, обучаете модели на реальных измерениях или просто следите за тем, как ИИ меняет инженерные дисциплины, эта работа стоит внимания.

Начать удобно с поста в блоге BAIR: там есть все детали и ссылки на статью. Код фреймворка лежит в открытом репозитории Waller-Lab/EncodingInformation на GitHub, а в следующий раз, когда будете выбирать метрику для оценки пайплайна, вспомните про взаимную информацию. Авторы уже работают над расширением области применения фреймворка, так что это направление стоит держать в поле зрения.