В 2023 году состояние интерпретируемости нейросетей описывалось одним словом: клубок. Anthropic измерила понятность нейронов маленькой однослойной модели и получила медианный результат 0 из 14 по своей рубрике: рядовой проверяющий не мог сформулировать даже гипотезу о том, что нейрон делает. У нейронов GPT-2 XL, по оценке команды автоматической интерпретируемости OpenAI, объяснялись около 1,7%, причём по самой щедрой планке. Вывод казался неизбежным: сеть упаковала несвязанные понятия в одни и те же клетки, и изучать её напрямую бессмысленно. Так появился рецепт, который поле использует до сих пор: натренировать поверх слоя вторую модель, например sparse autoencoder, и изучать уже её.

Ник Каммарата, соавтор почти всего канона интерпретируемости, от Curve Detectors и Zoom In до Multimodal Neurons, опубликовал эссе Neural Networks Are Already Clean. Его тезис: клубка никогда не было. Канонические улики суперпозиции, по его нынешнему мнению, были прочитаны неверно, а за полисемантичность отвечали обычные, в основном исправимые проблемы. Свежий аудит Qwen3-32B: около 90% полюсов нейронов делают одну вещь, ещё примерно 7% две связанные, и только 2–4% пока не поддаются объяснению.

Оговорка сразу: это не рецензируемая статья, а «informal research essay» и рабочий тезис, как называет его сам автор. Техническая статья-компаньон с деталями языковых экспериментов ещё готовится. Но аргументы проверяемы, а написал их человек, который стоял у истоков той самой догмы, которую теперь пересматривает.

Суперпозиция: во что верило поле

Полисемантичным называют нейрон, который выглядит так, будто у него несколько несвязанных работ: срабатывает на то, на сё, и внятного объяснения нет. Самый знаменитый пример, нейрон 4e:55 из InceptionV1, годами показывали как смесь кошачьих морд и передков машин. Именно он фигурировал в самых читаемых работах поля как доказательство, что нейрон вообще не годится на роль единицы изучения.

Объяснение, в которое поверили, называлось суперпозицией. Идея такая: когда нейронов не хватает, сеть перестаёт группировать похожее и начинает складывать в одну клетку несвязанные вещи, просто потому что те не мешают друг другу. Упаковка получается произвольной: какие понятия делят нейрон, не говорит о логике модели почти ничего. Значит, сеть надо сначала распутать, то есть разложить слой на словарь признаков второй моделью вроде sparse autoencoder (SAE), и только потом изучать.

У теории была своя интеллектуальная честность. Ещё в 2022 году работа Anthropic про Softmax Linear Units признавала прямым текстом: в сообществе суперпозицию часто принимают по умолчанию просто потому, что она интуитивно привлекательнее других объяснений, а доказательств мало. Эта строчка, по мнению Каммараты, описывает состояние поля лучше, чем любая критика: на суперпозицию опиралась целая индустрия декомпозиции, а реальных подтверждений было меньше, чем принято думать.

Улика первая: нейрон котов и машин оказался детектором буквы V

Каммарата пересматривал сетку изображений, которую до этого видел сотни раз, и впервые задал себе вопрос: если бы нельзя было использовать названия групп объектов, как описать этот нейрон? Ответ пришёл за пять секунд. Это нейрон буквы V. Он срабатывает на всё заострённое и подавляется на всём круглом: на положительном полюсе острые языки пламени, струи воды из пожарного катера, лисьи морды и скоростные поезда, на отрицательном круглые предметы. Машины и кошки попали сюда не как «машины и кошки», а как носители острого клина: решётка радиатора и кошачья морда сходятся по форме.

Автор честно разбирает, почему ошибку не заметили раньше. В Multimodal Neurons 2021 года команда подошла близко: спрашивала, нет ли у нейрона общей черты, «может, кошачьи глаза и фары похожи», но отвергла догадку из-за усов и хрома на визуализациях. Общая форма была, просто генерализация заходит дальше, чем ожидали: усы «доехали» как бесплатный прицеп, потому что визуализация максимизирует активацию и цепляет всё, что ведёт к максимуму.

Вывод из этой истории сформулирован почти как инструкция: многие объяснения, которые называют нейрон полисемантичным, на деле описывают один паттерн списком существительных. Нейрон ближе к глаголу, чем к существительному: его работа не назвать то, что в кадре, а провести различие, которым воспользуются следующие слои. Полезная проверка в том же духе: посмотрите на отрицательный полюс нейрона. У нейрона V отрицательный полюс это буква O, круглое. Тёмная сторона клетки важна не меньше светлой, и она почти всегда осмысленна.

Улика вторая: цепь суперпозиции была обычной генерализацией

Второй столп теории, та самая цепь, где признак машины растворялся в нейронах собак и будто бы прятался в многомерном пространстве, тоже рассыпался. При ближайшем рассмотрении машина и собаки оказались связаны позой: в InceptionV1 больше сотни нейронов, которые ловят один и тот же ракурс у разных объектов, и никто из исследователей их не замечал. Машина никуда не пряталась, и никто не читал её из комбинации: сеть просто продолжала дифференцировать позы дальше.

Часть путаницы добавил сам инструмент. Визуализация признаков работает через градиентный спуск, а спуск идёт самым лёгким путём. В InceptionV1 собак в обучающих данных много и нейронов собак тоже много, поэтому оптимизация скатывалась в них и не выбиралась. Достаточно было слегка сместить её к естественным путям, и «загадочные» картинки снова становились машинами. «Что мы думали: произвольное хранилище. Что происходило на самом деле: просто машины и общая поза машин и собак», резюмирует автор. Добавим от себя: за годы после той публикации второй цепи суперпозиции в реальной сети так и не нашли. Оригинальная оказалась ошибкой.

Рекурсивная генерализация: ветки, а не узел

Если суперпозиция и генерализация объясняют полисемантичность противоположным образом, что видит автор вместо упаковки? Он называет это рекурсивной генерализацией (recursive generalization). Нейрон растёт как ветка дерева: начинает с одного паттерна, а потом даёт отростки в соседние, связанные области. Пример из языковой модели: нейрон, который ловил сочетание букв «iy», разросся до «diy», а от него до «do it yourself», где никаких «iy» уже нет. Пример из другой категории: нейрон геологии дотянулся до Cesium, JavaScript-библиотеки для геологических карт, через название.

Разница между двумя объяснениями принципиальная. У суперпозиции в одной клетке лежат случайные соседи, и изучать в такой упаковке нечего: связи между ними нет, сигнала в ней нет. У рекурсивной генерализации соседи не случайны: они связаны так, как их сгруппировала сеть, и по этой связи читается логика модели. Каммарата называет генерализацию фрактальной: объяснение можно начать с грубого и приближать, и на каждом масштабе оно останется осмысленным. Именно поэтому различие между упаковкой и ветвлением так важно. За шумом стоит идти, только если шум чему-то учит.

Последний слой InceptionV1: от нуля к почти сотне процентов

Самое сильное доказательство связано с моделью, с которой интерпретируемость начиналась. Считалось, что в последнем слое InceptionV1 нет понятных нейронов, примерно ни одного, и выглядело это фундаментально: сети не хватает нейронов на признаки глубоких слоёв, поэтому она и пакует несвязанное. Каммарата взял современный архитектурный рецепт (остаточные связи, LayerNorm и прочие улучшения, придуманные для обучаемости, а не для интерпретируемости), обучил сеть того же размера на тех же данных и получил 99–100% легко интерпретируемых нейронов в последнем слое. Без изменения размера модели и датасета. Это первый нетривиальный сетевой «организм», который автор, по его словам, понимает почти целиком.

Он обучил версии от 92 тысяч до 28,6 миллиона параметров, разброс в 300 раз, и читаемость сохраняется на каждом масштабе. У маленькой модели нейроны просто грубее: один «автомобильный» нейрон покрывает все виды машин. У большой он распадается на специалистов: такси против карет скорой, кабриолеты против универсалов. То есть нехватка места не включает второй принцип обучения, она делает нейроны шире, а широкие нейроны обычно легко разобрать, если знаешь, что искать.

Отдельный контрольный эксперимент, самый наглядный. Слой 3b режут с 480 нейронов до 10 и обучают заново. Если бы сеть прятала признаки в суперпозицию, в этих десяти нейронах должны были бы появиться наложенные смеси. Вместо этого нейроны остаются понятными, просто становятся грубее: один нейрон «кривые и петли» вместо десяти детекторов кривых. И финальный гвоздь: sparse autoencoder, обученный на срезанном слое, не находит спрятанных чистых кривых. Его признаки шире и шумнее оригиналов, а когда его аккуратно вставляют обратно в сеть, точность на валидации падает с 58,8 до 43%. В сжатом слое не припрятаны сокровища: там просто меньше деталей.

Языковые модели: 90% нейронов с одной работой

Главный вопрос, конечно, про языковые модели, и здесь цифры самые свежие. Аудит Qwen3-32B: около 90% полюсов нейронов имеют одну основную работу, часто с мелкими родственными отростками; ещё примерно 7% две связанные работы; только 2–4% пока не поняты. Похожая картина у моделей вплоть до триллионов параметров, включая Kimi K3, для которого авторы опубликовали, по их данным, первую атрибуционную карту модели такого масштаба. Тот же GPT-2 XL, где в 2023 году внятными выглядели около 2% нейронов, современными инструментами даёт около 70% более-менее односмысленных, причём без итераций. Автор формулирует это красиво: похоже, поле само, не замечая того, «сползало к односмысленности», потому что выбирало архитектуры, которые лучше учатся.

Примеры из аудитов звучат как анекдоты из жизни моделей, но они документированы. Нейрон, который срабатывал на «pr», на странный набор Base64-строк и на бенгальский текст, оказался нейроном «pr»: декодированные URL дают «pr», транслитерация бенгальских примеров тоже «pr». Нейрон, который автоматика называла «полисемантичным запятым нейроном», отслеживал Колорадо: запятые, где он сильнее всего срабатывал, это места, где модель подводит промежуточный итог контекста, а ручное усиление нейрона заставляло модель хотеть в поход в горы.

И даже знаменитый пример из работы Anthropic Toward Monosemanticity, нейрон из «смеси академических цитат, диалогов, HTTP-запросов и корейского текста», скорее всего устроен как «нейрон, который не хочет ставить точку»: цитаты, диалоги и запросы срабатывают рядом с точкой, а корейские примеры приходятся на середину незаконченного слога, где точку ставить рано. Четыре несвязанные вещи превращаются в одну маленькую синтаксическую функцию.

Отдельно про МоE. Смеси экспертов автор называет антисуперпозиционной архитектурой: упаковка требует, чтобы в клетку складывались несвязанные вещи, но специализированный эксперт включается целиком, а роутер, одна маленькая линейная прослойка, должен был бы распознавать всю смесь, чтобы знать, куда слать токен. На практике все 10 240 экспертов Qwen3.6 оказались заметно специализированнее, чем считалось. Есть и забавная архитектурная находка: у примерно 4% нейронов верх списка активаций занимал «двойной отрицательный» режим SwiGLU, когда и гейт, и значение отрицательны и на выходе получается перевёрнутое эхо. Автоинтерпретация ставила такому нейрону ярлык вроде «ссылки на Послание к Колоссянам», хотя его работа, возможно, совсем другая: токен, завершающий «Россия» или «русский» в любом алфавите. Абляция таких нейронов по всей сети улучшает большинство бенчмарков и слегка ухудшает некоторые задачи на рассуждение. Автор адресует находку архитекторам: стоит посмотреть.

Почему ошибались

Разбор причин выглядит как список обычных проблем, каждая из которых исправима. Инструменты были слабыми: визуализация признаков без transformation robustness показывала нейроны как шум, а в глубоких слоях ещё и вознаграждала сама себя. Модели автоматического объяснения 2023 года не умели запускать цикл «гипотеза, проверка, уточнение» и больше награждали объяснения, которые умеют имитировать активации, а не те, что верны. Исследователи не знали, какие мотивы ожидать от нейронов языковых моделей, и искали не то: скажем, почти все ожидали, что нейроны срабатывают на существительные, а они часто срабатывают на чувства, социальные контексты и знаки препинания. Наконец, изучали маленькие упрощённые модели: у них нейроны шире и грубее, а без чекпоинтов нельзя было смотреть, как нейрон растёт во время обучения.

Но самая интересная часть главы методологическая. Каммарата пишет, что годы делал из суперпозиции нулевую гипотезу, хотя она должна была стоять последней: это самое радикальное и наименее проверяемое объяснение. Её единственный симптом в том, что «что-то не сходится». Но точно так же выглядит сломанный инструмент, ещё не прослеженная рекурсивная генерализация и просто неудачная архитектура. Все прочие объяснения проверяемы: инструмент либо разрешает нейрон, либо нет; переобучение с лучшей архитектурой показывает, было ли дело в обучении; за ростом нейрона можно следить. У суперпозиции проверяемого следа нет.

Отсюда и признание про асимметрию ошибок, которое объясняет, почему пересмотр занял годы. Если считать сеть чистой и ошибиться, странный нейрон становится зацепкой: его исследуют, и наука уточняет объяснение. Если считать сеть запутанной и ошибиться, странный нейрон становится концом маршрута: его перестают изучать. «Я потратил почти десять лет на то, чтобы придумать, как смотреть на модель, вместо того чтобы смотреть на неё», пишет автор.

Что это меняет

Суммарный аргумент эссе состоит из четырёх шагов: у сетей один принцип обучения, а не два; с современными моделями и инструментами их изучение идёт лучше, чем ожидали; понимание накапливается, поэтому каждый следующий шаг легче; и, уже спекулятивно, этого может оказаться почти достаточно, чтобы интерпретируемость перестала быть нерешаемой задачей.

Из нового взгляда следуют два практических сдвига. Первый про цель. Перечислительный подход хотел получить исчерпывающий список всех признаков модели, чтобы ничего не пропустить. Exploratory подход, который защищает Каммарата, начинается с вопросов и позволяет свободно приближаться и отдаляться по сети, как по карте. Метафора автора: узлы ищут там, где их нет. В маленьком городе финансовый квартал не найти, зато в Нью-Йорке он находится на карте за минуту, потому что большой системе есть чему быть организованной. «Если сеть не узел, распутывание может сделать её похожей на узел»: представить Токио, реконструируя его из семидесяти разрозненных кусков Бруклина, и объявить Токио хаосом.

Второй сдвиг про инструменты. Sparse autoencoder'ы не отменяются: они помогают отвечать на вопрос «что в этом изображении» и остаются полезны в конце работы, а не в начале. Но как основной путь к пониманию сети они, по мнению автора, не нужны. На проверенных слоях около 88% активности типичного словаря приходится на почти копии отдельных нейронов, а добавка, которую словарь приносит сверх нейронов, выглядит как рыхлые группы из уже существующих клеток.

Здесь же проходит параллель с bitter lesson: в интерпретируемости тоже выигрывает простой подход в масштабе, то есть обычное научное копание в нейроны и цепи, а не хитрая декомпозиция. И масштабировать это копание теперь могут агенты: эссе заканчивается картиной лаборатории из автоматических научных работников, которые метят нейроны, ищут мотивы и проверяют объяснения. Людям понимание vision-моделей заняло почти десятилетие; агенты, по оценке автора, способны сделать похожее за месяцы.

К безопасности это тоже относится. Если сеть читаема для собственных слоёв, у обмана нет причин прятаться от собственной схемы: он должен быть доступен её «читателям», а значит, в принципе доступен и нам. Формулировка автора: его страх не в том, что обман спрячется, а в том, что он будет на виду, а мы не будем знать, как это прочитать. И ещё одна мысль: если систему видно, alignment может выглядеть не как один большой заход обучения, который обязан быть правильным заранее, а как множество небольших аккуратных починок.

Часто задаваемые вопросы

Значит ли это, что sparse autoencoder'ы больше не нужны?

Нет, автор их не отменяет. Они лучше всего работают на маленьких моделях с грубыми нейронами, помогают отвечать на вопросы про конкретные данные и остаются полезными инструментами. Но роль меняется: словарь признаков это финальная стадия исследования, а не обязательный вход в него. Заменять живую сеть «распутанной копией» заранее больше не обязательно.

Эти результаты уже доказаны?

Строго говоря, нет. Перед нами рабочий тезис и эссе, а не рецензируемая статья; часть цифр предварительна, а точные проценты зависят от порогов подсчёта. Технический компаньон ещё готовится. Но аргументы опираются на воспроизводимые эксперименты: переобучение InceptionV1, сжатие слоёв, аудиты Qwen3-32B и повторную проверку GPT-2 XL.

Почему это важно для безопасности ИИ?

Если модели легибельны, интерпретируемость нейросетей может оказаться куда более решаемой задачей, чем считалось. Механизм обмана должен быть доступен собственным читателям сети, то есть и нам, если мы научимся смотреть так же. Плюс у интерпретаторов есть лучшая лаборатория в естественных науках: любую модель можно читать, вмешиваться и повторять эксперимент на идентичной копии.

Итог

Суперпозиция объясняла полисемантичность красиво, но, по всей видимости, неверно: обе канонические улики разобраны по косточкам, а рекурсивная генерализация описывает то же самое как обычный рост обычной генерализации, просто фрактальный. Для интерпретируемости нейросетей это редкая хорошая новость. Возможно, сеть уже достаточно чистая, чтобы её читать, и всё, что нужно, это научиться смотреть: искать общий паттерн вместо списка существительных, не считать упаковку приговором и подозревать суперпозицию последней, а не первой.

Эссе занимает около 65 минут чтения и лежит здесь. А погружение в тему можно начать с двух наших прошлых разборов: мультимодальные нейроны CLIP, та самая работа, из которой выросла история с V, и инженерия данных для sparse autoencoder'ов, взгляд на «распутывание» со стороны SAE.