2100 сгенерированных клипов, три открытые text-to-audio модели, один промпт «sound of cat». Одна из моделей в ответ на него чаще всего выдаёт тишину или шум жилой комнаты с единственным далёким мяуканьем где-то на десятой секунде.

Это не поломка. Это тренировочные данные, которые видно не в метрике качества, а в разбросе того, что модель вообще способна произвести. Марк Дж. Нельсон разобрал этот эффект в заметке Text-to-meowdio models (29 сентября 2026). В основе лежит статья конференции AAAI AIIDE 2025 «Expressive range characterization of open text-to-audio models» (Morse, Naderi, Gaudl, Cartwright, Hoover, Nelson), где предложен метод анализа разнообразия генерации. Кошки здесь не ради шутки: их звуки короткие, узнаваемые и сильно разнятся по характеру, от мурчания до шипения. Идеальный тест на выразительность.

Что такое text-to-audio модели

Text-to-audio модели это генеративные системы, которые принимают текстовое описание и синтезируют звук: шум дождя, шаги по гравию, скрипку, лай собаки. В отличие от музыки, где промпт обычно задаёт жанр и настроение, здесь запрос описывает конкретный источник звука и его поведение. Одна и та же модель редко бывает одинаково хороша во всех категориях: звуки природы, голоса животных, человеческая речь и музыка требуют разных данных и разной степени контроля.

Отсюда и проблема оценки. Метрика вроде Fréchet audio distance (FAD) сравнивает распределение сгенерированных клипов с распределением реальных и выдаёт одно число. CLAP score меряет, насколько аудио соответствует текстовому описанию. Оба показателя полезны, оба скрывают главное: насколько широк диапазон того, что модель реально умеет выдать по одному и тому же запросу.

Три модели, три разных школы

В эксперименте участвовали Stable Audio Open 1.0, EzAudio и TangoFlux. Подобраны они так, чтобы покрыть разные архитектуры и разные наборы данных.

Stable Audio Open 1.0 построен на латентной диффузии: модель работает не с сырой волной, а со сжатым представлением звука, и обучена примерно на 486 тысячах открытых клипов из Freesound и Free Music Archive. Условие из текста подаётся через энкодер T5-base. Это классический путь для аудиогенерации, потому что диффузия в латентном пространстве дешевле по вычислениям.

EzAudio идёт другим маршрутом: вариационный автоэнкодер прямо по одномерной волне плюс diffusion transformer. Обучение шло на AudioSet и VGGSound с синтетическими подписями, затем модель дообучали на AudioCaps. Ключевое слово здесь «синтетические»: подписи к видео генерировались автоматически, а не писались человеком.

TangoFlux это flow-matching трансформер, предобученный на WavCaps (около 400 тысяч клипов), дообученный на AudioCaps и выровненный через direct preference optimization по синтетическим парам, отранжированным CLAP. Проще говоря, модель дополнительно учили тому, какой звук люди предпочтут, а не только тому, как звук выглядит статистически.

Три разных подхода к сжатию звука, три разных источника данных, и как следствие три разных характера ошибок.

Как измерить разнообразие, а не качество

Авторы взяли инструмент из сообщества процедурной генерации контента: expressive-range plot. Там им пользуются, чтобы показать, насколько широк диапазон уровней, которые выдаёт генератор, и где он сваливается в повторение одного и того же.

Для аудио в качестве осей взяли три стандартных атрибута: тембр, высоту и громкость. Для каждого клипа считали вектор этих признаков по ходу звучания плюс первую и вторую производные, чтобы поймать изменение во времени. Потом каждую группу признаков сжали до двух измерений через PCA. Оси после такого сжатия не читаются как «высокий» или «яркий» звук, зато расстояния и кластеры остаются осмысленными: близкие точки похожи по акустическому профилю.

Отдельная деталь, которая делает заметку убедительнее статьи: одно PCA-преобразование посчитано сразу для всех 2100 клипов. Значит, облака точек на разных графиках можно сравнивать между собой напрямую, а не гадать, совпадают ли масштабы.

Тишина как диагноз

Базовый промпт «sound of cat» дал 300 клипов: по 100 от каждой модели. Stable Audio Open и TangoFlux ожидаемо мяукают. У TangoFlux мяуканье при этом заметно плотнее сбито в кластер, и на слух вариаций меньше. EzAudio выдаёт сюрприз: часто просто тишину, шум комнаты или одно слабое мяуканье на все десять секунд.

Нельсон объясняет это происхождением данных. AudioSet и VGGSound собраны из видео, где кошки часто появляются молча, а подписи генерировались автоматически по содержанию ролика. Модель выучила связь «кошка на экране» с «тишиной в дорожке», потому что в обучающей выборке это встречалось постоянно. На графике громкости EzAudio выбивается из общей картины сильнее всего.

Это важный момент для любого, кто выбирает модель по бенчмаркам. Формально модель обучена на кошках. Фактически она обучена на видеороликах про кошек, а это разные вещи.

Конкретность промпта сужает коридор

Дальше авторы сравнили три формулировки: голое существительное «cat», шаблон из статьи «sound of cat» и явное действие «sound of a cat meowing». Это 900 клипов (3 промпта × 3 модели × 100 сэмплов).

EzAudio снова отличился: на первых двух промптах мяуканья почти нет, а на третьем модель начинает мяукать в большинстве случаев. Прямое указание действия вытаскивает из неё звук, который без глагола не появлялся.

У двух других моделей эффект тоньше и интереснее: они мяукают на всех трёх промптах, но диапазон тембра заметно сужается, когда в промпте появляется слово «meowing». То есть более точный запрос делает результат предсказуемее и одновременно беднее. Модель перестаёт предлагать варианты и начинает воспроизводить усреднённый мяв.

Практический вывод звучит почти как противоречие: конкретность промпта повышает попадание в цель и снижает разнообразие. Для звукового дизайна, где нужен один точный эффект, это плюс. Для поиска неожиданных вариантов на этапе черновика это минус, и тогда лучше оставить формулировку расплывчатой.

Модификаторы: кто как понимает «жалобно»

В статье авторы оставили модификаторы на будущую работу, и Нельсон закрывает этот пробел. Четыре промпта: «tiny kitten meowing», «angry cat hissing and growling», «cat meowing plaintively», «happy cat purring». Вместе с базовым это пять условий, и на графике показано, куда сдвигается центроид облака точек для каждого из них.

Сдвиги различаются по моделям. На тембре TangoFlux реагирует сильнее всех, особенно на «tiny kitten meowing». На громкости EzAudio снова демонстрирует свою особенность: любой модификатор тянет его в одну и ту же сторону, потому что задача модификатора здесь не менять характер звука, а хотя бы заставить модель его издать.

А вот по высоте тона TangoFlux и Stable Audio Open дают согласованное направление сдвига. Разные архитектуры, разные данные, но представление о том, как должна звучать жалоба или угроза, у них похожее.

Отдельный график посвящён слову «plaintive». Если бы у модификатора было устойчивое акустическое значение, стрелки сдвига у трёх моделей шли бы параллельно, как в классических примерах word2vec. Параллельности нет. Зато в пространстве тембра просьба «жалобно» разводит модели дальше друг от друга, а в пространстве высоты, наоборот, сводит их выходы ближе. Один и тот же текст означает для моделей разное, и это различие проявляется в разных акустических измерениях по-разному.

Метрики не слышат артефактов

Самое честное место заметки: разбор распределений по тембру, высоте и громкости не измеряет качество. Это видно на слух. Часть шипения расплывается в подобие ленточного шума, то есть в артефакт, а не в агрессию. Мурчание часто звучит странно, будто его синтезировали из чего-то другого.

Причина в том, что акустические признаки описывают, как звук устроен физически, а не то, узнаёт ли слушатель в нём кошку. Модель может попасть в правильный кластер по громкости и полностью провалиться по смыслу. Поэтому в конце Нельсон формулирует простую мысль: FAD, CLAP и прочие метрики полезны, но ничто не заменяет прослушивание. Expressive-range графики нужны не вместо ушей, а чтобы направить их в нужное место: показать, где именно модель врёт, где повторяется, а где неожиданно сильна.

Что с этим делать на практике

Если вы подбираете модель для генерации звука, начните с вопроса о происхождении данных, а не с лидерборда. Модель, обученная на курированных студийных записях, и модель, обученная на подписях к видео, поведут себя по-разному на одних и тех же промптах. EzAudio тихо проваливается там, где данные были шумными по своей природе, и это видно только на разбросе, а не в среднем качестве.

Второй вывод касается промптинга. Явное действие («кошка мяукает») работает как переключатель для моделей, которые без глагола не понимают, что от них хотят. Но платить за это приходится сужением тембра. Если нужен точный эффект, добавляйте действие и модификатор. Если нужен диапазон для последующего отбора, оставьте промпт коротким и сгенерируйте больше сэмплов.

Третий вывод про оценку. Прежде чем верить одному числу в отчёте о качестве, стоит сгенерировать по десять клипов на пять промптов и послушать подряд. Разнообразие и артефакты проявятся быстрее, чем в сводной метрике. Для внутренних задач этот мини-тест занимает полчаса, а спасает от выбора модели, которая красиво звучит в статье и разваливается на вашем домене.

Часто задаваемые вопросы

Зачем вообще генерировать мяуканье, это же шутка?

Кошачьи звуки удобны как тестовый домен: они короткие, эмоционально различимые и легко проверяются на слух. Метод expressive range, показанный на кошках, применим к любым категориям: дождю, шагам, сиренам. Кошки просто делают графики читаемыми.

Почему EzAudio выдаёт тишину, если она обучена на кошках?

Потому что обучалась она на видео, где кошки часто присутствуют беззвучно. Подписи к AudioSet и VGGSound генерировались автоматически, и модель усвоила связь между появлением кошки в кадре и отсутствием звука в дорожке. Прямое указание «кошка мяукает» частично исправляет ситуацию.

Заменяет ли expressive range обычные метрики вроде FAD?

Нет. Это инструмент разведки, а не аттестации. FAD и CLAP дают сводную оценку соответствия, expressive-range показывает структуру разброса: где модель повторяется, где выпадает в артефакт, где реагирует на модификатор. Полную картину даёт комбинация метрик и прослушивания.

Итог

Главный результат этого разбора не в кошках, а в методологии. Один и тот же промпт может давать у трёх text-to-audio моделей три разных распределения: от плотного кластера однообразных мявов до тишины с намёком на звук. Увидеть это позволяет не средняя метрика, а карта разброса по тембру, высоте и громкости, построенная на общем PCA.

Если вы работаете со звуком, попробуйте повторить минимальную версию эксперимента на своём домене: пять промптов, десять сэмплов, прослушивание подряд. Разница между моделями проявится быстрее, чем в любом отчёте о бенчмарках, и вы будете точно знать, где именно ваша модель врёт.