Мало кто сегодня обучает модель целиком. Обычно учат адаптер поверх замороженного бэкбона, голову поверх эмбеддингов или последний блок поверх всего остального. Приём работает годами, но внятного ответа на вопрос «сколько именно нейронов надо разморозить» до сих пор не было. Свежая работа с arXiv подводит под это числа.

Статья называется «Phase Transition from Random Features to Fully Trainable Networks» (arXiv:2610.31663, октябрь 2026). Автор рассматривает сети, в которых доля P нейронов каждого скрытого слоя обучается, а остальные остаются случайными и замороженными. Два конца этой шкалы известны: при P = 0 получаются случайные признаки, при P = 1 обычная полная тренировка. Вопрос в том, что происходит между ними.

Ответ оказался нелинейным. Кривая ошибки не сползает плавно от одного края к другому, а быстро падает в начале и выходит на плато. Для пятимерного пространства и масштаба инициализации 10 доля обучаемых нейронов около 4,1% даёт 90% всего выигрыша, который можно получить, разморозив всё. В экспериментах хватало и 3,1%.

Что такое частично обучаемая сеть

Формально это сеть, где для каждого скрытого слоя выбирается пропорция P. Ровно P·W нейронов в слое обучаются вместе со своими входящими весами и смещениями, остальные (1−P)·W остаются такими, какими их создала инициализация. Выходной слой всегда обучается полностью. Все нейроны при этом продолжают участвовать в прямом проходе, так что замороженные не выключаются из вычислений, а просто перестают меняться.

Такая постановка ближе к практике, чем классическая теория ядра. Линейное зондирование замороженной модели, LoRA с маленьким рангом, обучение только головы классификатора, замороженные энкодеры в мультимодальных пайплайнах: всё это разные способы выбрать P меньше единицы. И всё это до сих пор работало по эмпирическому наитию.

Два числа, которые решают всё

Теория вводит два параметра рассогласования. Первый, κ₀*, показывает, насколько распределение замороженных нейронов не совпадает с тем классом функций, который мы пытаемся приблизить. Второй, κ₁*, то же самое для обучаемой группы. Чем меньше число, тем лучше стартовая точка попадает в цель.

Из этих двух констант собирается общая оценка: ошибка аппроксимации убывает как величина, где κ_P есть гармоническое среднее двух рассогласований с весами P и 1−P. Гармоническое среднее ведёт себя неинтуитивно: доминирует та группа, у которой число меньше. Если обучаемые нейроны подобраны хорошо, а замороженные плохо, то даже небольшая доля обучаемых перетягивает на себя почти всю точность.

Дальше авторы нормируют выигрыш. Функция G(P) показывает, какую долю полного улучшения между P = 0 и P = 1 вы получили при данной доле обучаемых. При отношении рассогласований r = κ₀*/κ₁* больше единицы она равна

G(P) = (1 − (1 + (r−1)P)^(−α)) / (1 − r^(−α))

где α это показатель степенного убывания спектра. У этой функции оба конца зафиксированы (G(0) = 0, G(1) = 1), первая производная положительна, вторая отрицательна. То есть насыщение не наблюдение из экспериментов, а свойство самой формулы. Дальше можно посчитать порог: наименьшую долю P, при которой достигается 1−ε от полного выигрыша. При α = 2 и допуске 10% порог падает как O(1/r): если рассогласования различаются в сто раз, хватает 2,2% обучаемых нейронов.

Чем хуже инициализация, тем меньше надо учить

Самое интересное начинается, когда авторы подставляют конкретную архитектуру: двухслойную сеть со сферическими biased-ReLU признаками. Для неё показатель спектра равен α = (d+2)/(d−1), а константа рассогласования замороженной группы растёт линейно с масштабом инициализации τ, то есть κ₀* = 4√2·τ(d+1)/d. Обучаемая группа при сэмплировании по ridge leverage распределению получает κ₁* = 1.

Отсюда следует вывод, который противоречит привычной логике тюнинга. Хорошая инициализация уменьшает рассогласование у обеих групп, отношение r падает, и фазовый переход размывается: приходится обучать больше нейронов, чтобы получить тот же прирост. Плохая инициализация делает переход резким, и маленькая обучаемая группа вытягивает почти всё.

Числа для d = 5 выглядят так. При τ = 10 порог 90% равен примерно 4,1%. Для d = 20 картина ещё нагляднее: при τ = 1 порог составляет 0,563, то есть обучать надо больше половины нейронов, а при τ = 10 он падает до 0,100. Между ними τ = 2 даёт 0,378, τ = 5 даёт 0,186.

Практический смысл простой. Успех LoRA зависит не только от ранга, но и от того, насколько удачно инициализирован и предобучен замороженный стек. Сильный бэкбон с хорошо обусловленными признаками требует большей доли обучаемых параметров, слабый или случайный бэкбон можно почти не трогать. Отсюда же растёт объяснение старого наблюдения: обучение одной головы поверх случайных признаков иногда работает подозрительно хорошо.

Что показали эксперименты

Теория проверена на трёх целевых функциях с разными масштабами колебаний. Первая, x·sin x + e^(−0,1x²), снята в 12 000 точках на отрезке [−4, 4]. Вторая смешивает пять частот, от sin(5x) до 0,1·sin(21x), на [−2π, 2π]. Третья двумерная, sin(πx)·cos(πy) плюс радиальный гауссиан, на сетке 250×250 в квадрате [−2, 2]².

Сети варьировались по ширине (32, 64, 128, 256) и по глубине (от 2 до 15 слоёв при ширине 64). Доля обучаемых нейронов бралась из мелкой сетки: 0, 1/32, 2/32 и так далее до 1, с более частым шагом в начале, чтобы не проскочить переход. Каждая конфигурация обучалась 12 000 полных батчей Adam с learning rate 10⁻³, клиппингом градиента 10 и ReduceLROnPlateau, повторялась 21 раз на одной A100. Инициализация внутри повтора была общей для всех значений P, поэтому кривые сравнивают именно эффект разморозки, а не разброс стартовых весов.

Результат повторяет теорию качественно. В большинстве конфигураций основная часть падения лосса приходится на первые несколько процентов обучаемых нейронов. В экспериментах по ширине для первой цели все протестированные ширины возвращали большую часть улучшения уже при P = 1/32. GELU и tanh дали ту же картину: больше 95% полного улучшения при P = 1/8 для всех трёх целей при глубине 5 и ширине 64.

Отдельно стоит таблица с числами для tanh и GELU. У GELU на первой цели лосс падает с 9,70·10⁻⁵ при P = 0 до 2,13·10⁻⁶ при P = 1/32 и 3,33·10⁻⁷ при полной тренировке. Нормированный выигрыш на одной тридцать второй равен 0,98. То есть 3% обучаемых нейронов дают 98% того, что даёт обучение всей сети, а оставшиеся 97% параметров добавляют два процентных пункта.

Четыре нейрона и сорок функций

Отдельный раздел посвящён трёхслойной конструкции, где видно механизм, а не только статистику. Цель: (x₂² − 1/3) + 0,5(x₃² − 1/3) на кубе [−1, 1]³. Двадцать нейронов первого слоя собраны в десять пар, каждая пара кормит свой блок из двадцати замороженных нейронов второго слоя, выходные веса обучаются.

При четырёх обучаемых нейронах в первом слое верхняя оценка ошибки составляет 2,82·10⁻⁵. У двухслойной сети с тем же бюджетом в 220 скрытых нейронов и теми же четырьмя обучаемыми оценка равна 1,37·10⁻³, то есть почти в 49 раз хуже. При двух обучаемых нейронах разрыв исчезает: 2,22·10⁻² против 2,33·10⁻², отношение 0,95.

Причина в композиции. Четыре обучаемых нейрона учатся выдавать |x₂| и |x₃|, а каждый из них через замороженный блок из двадцати нейронов порождает двадцать базисных функций для возведения в квадрат. Итого четыре обучаемых нейрона настраивают сорок downstream функций, не трогая ни одного веса во втором слое. Двухслойная сеть такими возможностями не располагает: её обучаемые нейроны работают напрямую как базис интерполяции, а замороженные признаки простаивают.

Замороженные нейроны не балласт

Из этого следует ещё одно наблюдение, которое легко пропустить. Замороженная часть сети не просто терпит обучаемую, она добавляет выразительности. Авторы держат число обучаемых нейронов на слой фиксированным (32) и наращивают число замороженных: ширина 32, 64, 128, 256 при глубине 6.

Лосс падает с 1,50·10⁻⁵ до 4,82·10⁻⁶, затем до 1,75·10⁻⁶ и 9,49·10⁻⁷. Суммарное снижение около 94% при неизменном числе обучаемых нейронов на слой. Случайные признаки в этом режиме работают как богатый базис, который маленькая обучаемая группа подгоняет под задачу. Расширять замороженную часть имеет смысл, даже если вы не собираетесь её обучать.

Где метод ломается

Честная часть работы: на высокочастотной цели со смесью пяти частот обе архитектуры не справляются. Лосс остаётся выше 10⁻¹ во всём диапазоне P, вплоть до полной тренировки, а у трёхслойной сети он ещё и колеблется от P к P. Кривые нормированного выигрыша для этой цели в статье просто не приводятся, потому что нормировать нечего: обе крайние точки плохие.

Второе ограничение серьёзнее и касается самой теории. Обучаемая группа в доказательствах сэмплируется из ridge leverage распределения, подобранного под целевую функцию. Это конструкция для вывода границ, а не описание того, что делает градиентный спуск. Автор прямо пишет, что связать эту конструкцию с эволюцией обучаемых параметров в ходе оптимизации ещё предстоит. То есть формула говорит, сколько нейронов нужно при идеальном выборе, а не сколько их будет достаточно при Adam с обычной инициализацией.

Третье: общей теории фазового перехода для глубоких сетей пока нет. Трёхслойный пример решён интерполяционными аргументами, а не распространением ядерной техники на произвольную глубину. Между слоями появляется зависимость: изменение обучаемых весов меняет входы замороженных нейронов следующих слоёв, и вероятностный аргумент для двух слоёв так просто не переносится.

Что с этим делать

Для инженера вывод укладывается в несколько практических правил. Доля размороженных параметров должна зависеть от качества бэкбона, а не быть константой из туториала: чем лучше предобучен и чем лучше обусловлен замороженный стек, тем больше обучаемых параметров нужно для того же прироста, и наоборот. Сетку значений P стоит брать с плотным шагом в начале, потому что весь интересный диапазон обычно лежит ниже 10%, и равномерная сетка от 0 до 1 просто не увидит переход.

Расширение замороженной части это отдельный рычаг, не связанный с количеством обучаемых весов. И проверять гипотезу о насыщении имеет смысл по нормированному выигрышу, а не по абсолютному лоссу: абсолютный лосс ничего не говорит о том, близко ли вы к потолку своей архитектуры.

Часто задаваемые вопросы

Значит ли это, что полное обучение модели бессмысленно? Нет. Речь о доле выигрыша от разморозки при фиксированной ширине и конкретном классе целей. Полное обучение всё равно даёт лучший результат, вопрос в цене: последние проценты ошибки стоят почти всех параметров. Для адаптации под задачу, домена или стиль первые проценты обычно и нужны.

Почему плохая инициализация требует меньше обучаемых нейронов? Потому что выигрыш нормируется на разрыв между плохим и хорошим концом. Если замороженная часть сильно рассогласована с целевым классом функций, маленькая хорошо подобранная обучаемая группа закрывает большую часть этого разрыва. При удачной инициализации разрыв изначально мал, и делить особо нечего.

Это относится к LoRA? Механизм тот же: замороженная часть плюс небольшая адаптируемая. Прямого переноса нет, потому что LoRA добавляет низкоранговые матрицы, а не размораживает нейроны целиком, но вывод о зависимости оптимальной доли от качества бэкбона и о насыщении выигрыша переносится по смыслу.

Итог

Частичное обучение перестаёт быть набором эмпирических рецептов. У него появляется формула: выигрыш зависит от отношения рассогласований двух групп, насыщение встроено в саму функцию, а порог 90% падает обратно пропорционально этому отношению. Для пятимерного случая с плохой инициализацией это 4,1% нейронов, в экспериментах хватало 3,1%, а расширение замороженной части дало ещё 94% снижения лосса без единого нового обучаемого веса.

Если вы сейчас выбираете, сколько параметров размораживать, попробуйте начать с одного-двух процентов и построить кривую нормированного выигрыша, а не с привычных 10 или 20%. Работа лежит на arXiv под номером 2610.31663, и она же честно перечисляет, где теория заканчивается: leverage распределение это конструкция для доказательства, а не то, что делает ваш оптимизатор.