Нейросеть, которая в задачах brain-to-text читала слова из мозговой активности, показала почти тот же результат на записях, где мозга не было вообще: 22,0% точности на синтетическом сигнале против 22,3% на реальных данных МЭГ. Разница в 0,3 процентного пункта, и она обнажила изъян в целой линии работ по неинвазивным нейроинтерфейсам.

Свежая статья «Removing Timing Shortcuts Improves Non-Invasive Brain-to-Text» (Dulhan Jayalath и Oiwi Parker Jones, arXiv:2609.40359, 30 сентября 2026) разбирает, как совместное декодирование слов из перекрывающихся окон подсказывало нейросети длительность слов, а длительность подсказывала сами слова. После устранения утечки исследователи собрали метод SimpleB2T, который снизил ошибку декодирования фраз с 98,9% до 36,6% WER (word error rate, доля неверно распознанных слов).

Что такое brain-to-text

Brain-to-text это задача восстановить слова человека по записи активности его мозга. Неинвазивный вариант опирается на МЭГ или ЭЭГ: датчики стоят снаружи, сигнал получается слабым и размытым, зато обходится без операции. Именно этот сценарий считается безопасным путём к коммуникации для людей, потерявших речь.

Устройство эксперимента такое. Человек слушает аудиокнигу или подкаст (участник датасета LibriBrain100 прослушал около 80 часов записей), пока магнитоэнцефалограф пишет его мозговую активность. Задача word-aligned brain-to-text: моменты начала слов известны, для каждого слова вырезается трёхсекундное окно от его начала, и сеть восстанавливает эмбеддинг слова. Обучение контрастивное: эмбеддинг окна притягивается к эмбеддингу настоящего слова (его даёт прогон через T5-large) и отталкивается от эмбеддингов других слов. На тесте слово выбирается как ближайший сосед по косинусной близости.

Такая постановка недавно дала большой скачок. Влиятельная работа d'Ascoli с коллегами (Nature Communications, 2025) декодировала слова совместно: сеть обрабатывала все окна предложения вместе, а не по отдельности, и на стандартных тестах это давало прирост около 50% в среднем. Именно этот прирост и оказался под вопросом.

Утечка времени: почему перекрытие окон выдаёт слова

Ключевая деталь конструкции: соседние окна пересекаются, ведь слово редко длится три секунды. В данных статьи перекрытие нашлось у 99,9996% соседних пар, и в среднем такие окна делили 90,6% одних и тех же отсчётов сигнала.

Из перекрытия тривиально извлекается сдвиг между окнами. Если два окна содержат общие отсчёты, сдвиг находится минимизацией суммы квадратов разностей по всем каналам, задача из школьного курса, без всякой нейросети. А сдвиг равен интервалу между началами слов. И вторая деталь: интервал между началами почти совпадает с длительностью предыдущего слова, корреляция r = 0,90 на 122 120 парах. Короткое «the» и длинное «supercalifragilisticexpialidocious» различаются по времени произнесения так сильно, что одна длительность уже сужает список кандидатов.

Арифметика сходится: сеть, которая видит все окна предложения сразу, считает интервалы между началами слов, оценивает длительности и получает подсказку о том, какие это слова. Мозг для этого шага не нужен. Есть и косвенные подтверждения: совместный декодер точнее угадывает слова со стабильной длительностью и чаще выбирает кандидатов, чья типичная длительность совпадает с длительностью конкретного произнесения. У изолированного декодера оба эффекта выражены заметно слабее.

Синтетический контроль: 22,0% против 22,3%

Самый неприятный для метода эксперимент оказался самым убедительным. Исследователи заменили МЭГ синтетическим сигналом: 306 каналов, 50 Гц, три сглаженных пульсовых процесса, не имеющих отношения к словам. Сохранили только структуру окон, их нарезали по настоящим моментам начала слов. Межоконные сдвиги остались теми же, а мозговой информации в сигнале стало ноль.

Точность на пятидесяти самых частых словах: совместное декодирование по реальной МЭГ даёт 22,3%, совместное по синтетике 22,0%, изолированное по реальной МЭГ всего 9,5%. Отдельный контроль, где на вход подаются только интервалы между началами слов, без сигналов вообще, набрал 22,9%. Как только перекрытие убрали (для каждого окна сгенерировали собственный независимый сигнал), точность упала до 5,8%.

Получается, что почти весь прирост от «умного» совместного декодирования воспроизводится без мозга. Эффект повторили на 32 других испытуемых и на других наборах данных.

Самый изящный кросс-чек: в работе d'Ascoli анализировались девять датасетов, и утечка возможна там, где интервалы между началами слов различаются. Ровно два датасета оказались исключениями, LittlePrinceRead и Nieuwland, где протокол чтения даёт каждому слову одинаковое время. И именно на этих двух датасетах d'Ascoli не нашёл преимущества совместного декодирования. Такое совпадение сложно объяснить случайностью.

Короткий путь, знакомый всему ML

В машинном обучении это называют shortcut learning: модель находит простой признак, который коррелирует с ответом, и опирается на него вместо настоящего сигнала. Классический пример из медицины: классификатор пневмонии, выучивший марку рентгеновского аппарата вместо признаков болезни. Здесь случилось то же самое, только роль «марки аппарата» сыграла длительность слов.

Авторы формулируют вывод аккуратно: когда даёшь модели внешнюю информацию, следи, чтобы вместе с ней не открылся искусственный короткий путь. Речь не об одной работе. С конца 2025 года подход развивали несколько команд, его включают в бенчмарки и обзоры, так что вопрос затрагивает целое семейство неинвазивных brain-to-text методов. Есть и любопытное исключение: Brain2Qwerty, декодер набора текста, работает с окнами по символам, и там контрольный эксперимент показывает, что тайминги объясняют мало. Но как только выровненные перекрывающиеся окна начинают моделировать совместно, риск возвращается.

Как это починили: независимое декодирование

Если утечка живёт в совместной обработке окон, лечение простое: обрабатывать каждое окно отдельно, без доступа к соседям. Так устроен SimpleB2T: маленькая свёрточная сеть с временным пулингом и остаточный MLP на выходе, около 20 миллионов параметров против примерно 200 миллионов у трансформера из работы d'Ascoli (16 слоёв, 16 голов внимания). Контрастивная схема обучения и T5-эмбеддинги как цели остались на месте.

Само упрощение дало бы немного. Интересно другое: после удаления утечки заработали два классических приёма, которые на совместном декодере почти не помогали.

Первый, агрегация наблюдений: если есть несколько независимых записей реакции на одно и то же слово, их эмбеддинги усредняются, а норма среднего вектора работает мерой согласия наблюдений и управляет резкостью итоговых вероятностей. Второй, языковой приор: прогнозы нейросети складываются с логарифмом вероятности предложения по Qwen3-8B, и лучшая последовательность слов ищется лучевым поиском.

Почему разница такая большая? Пока прогнозы держались на таймингах, агрегация лишь уточняла типичную длительность слова, то есть подкрепляла ту же утечку, а подсказки языковой модели во многом дублировали информацию из длительностей. На независимых прогнозах агрегация уточняет сигнал, считанный с конкретной мозговой реакции, и этот сигнал оказывается комплементарен лингвистической модели.

Числа: от 98,9% к 36,6% ошибок

Метод проверяли на бенчмарке из 200 клинических фраз, простых сообщений пациента вроде «Can you help me?» и «I would like some water»: просьб о помощи, воде, смене положения или свете. Словарь из 92 слов, для каждой позиции доступно до пяти независимых записей слова, соседние позиции собраны из разных записей, так что перекрытия окон между ними нет. Идея бенчмарка идёт от хирургического кейса Moses et al. (2021) с его 50 словами и 50 фразами.

Результаты на Core-наборе (100 фраз), пять наблюдений на слово:

Метод	WER	Доля полностью верных фраз
Совместный декодер d'Ascoli	98,9%	0%
Он же плюс языковая модель	79,4%	2,4%
Только языковая модель	73,8%	2,0%
SimpleB2T	36,6%	26,0%

Дальше самое показательное. У совместного декодера ни агрегация, ни языковая модель ничего не улучшали: его прогнозы и так строились на таймингах. У независимого декодирования работает каждый шаг: языковая модель срезает WER с 74,3% до 36,6%, а переход от одного наблюдения к пяти снижает ошибку с 65,6% до 36,6%. Контроли держат оборону: с шумом на входе ошибка взлетает до 97,1%, с перемешанными между примерами эмбеддингами до 88,3%. Значит, итог опирается на информацию конкретной мозговой реакции, а не на статистические артефакты пайплайна.

Из деталей: описание задачи в промпте для языковой модели снижает ошибку с 55,2% до 36,6%, вес языковой модели подбирается около половины, а ширина луча после 200 вариантов уже почти ничего не меняет.

Пять повторов и планка хирургии

«Пять наблюдений на слово» звучит как техническая мелочь, но за ней стоит практический компромисс: каждая дополнительная запись это ещё один раз, когда пациент должен повторить слово. В соревновании PNPL 2025 для похожих задач усредняли по 100 наблюдений на фонему, здесь тот же эффект достигается на пяти. Простые неинвазивные интерфейсы вроде P300-спеллеров десятилетиями опираются именно на повторы и усреднение, так что приём не новый, но работает на удивление хорошо.

Ориентир из инвазивной хирургии: в 2021 году команда Moses et al. расшифровала попытки речи парализованного пациента в предложения с медианным WER 25,6% на словаре из 50 слов. SimpleB2T подходит к этой планке с другой стороны: 36,6% на Core-наборе и 41,0% на полном наборе из 200 фраз, без операции и со словарём на 92 слова. Условия разные (здесь декодируется воспринимаемая речь, а не попытки собственной), но дистанция до инвазивного результата сократилась заметно.

Что пока не решено

Честности ради: это ещё не нейроинтерфейс. Декодируется воспринимаемая речь, а не внутренняя или задуманная, моменты начала слов считаются известными, бенчмарк не проходил клиническую валидацию. Остаётся узкое место и в выборе финального предложения: правильные варианты часто уже есть среди кандидатов лучевого поиска, но правило выбора не всегда ставит их на первое место. И вопрос приватности: авторы отдельно подчёркивают, что декодировать стоит только намеренно подаваемые сигналы и с согласия человека.

Частые вопросы

Значит ли это, что прежние результаты по декодированию речи недостоверны?

Нет, речь о тонкой вещи: конструкция входных данных сама давала модели лишнюю подсказку, и авторы исходной работы ничего не подделывали. Показательно, что d'Ascoli участвовал в проверке черновика новой статьи. Мозговой сигнал никуда не исчез: даже изолированный декодер угадывает слова лучше случайного уровня. После исправления качество декодирования только выросло.

Почему утечку не замечали раньше?

Перекрытие окон выглядит безобидной деталью реализации, а прирост качества было легко принять за успех архитектуры. Никому не приходило в голову заменить мозг синтетикой и проверить, переживёт ли улучшение такую подмену. Теперь подобный контроль становится обязательным для работ этого класса.

Насколько это приближает неинвазивные нейроинтерфейсы к практике?

Заметно, но путь неблизкий. Нужно научиться работать с задуманной речью, а не только с услышанной, находить границы слов автоматически и снижать число повторов. Зато направление видно: независимое декодирование, агрегация и языковые модели вместе уже дают результат, сопоставимый с инвазивными системами.

Итог

История поучительная: направление brain-to-text прошло жёсткий аудит и стало сильнее. Утечка времени через перекрывающиеся окна это не экзотика, а типовой риск для всех, кто моделирует выровненные перекрывающиеся входы совместно, от нейроинтерфейсов до мультимодальных пайплайнов. Оригинал статьи лежит на arXiv и читается на удивление живо.

Вопрос на подумать: сколько ещё опубликованных результатов держится на коротких путях, которые никто не проверял контрольным экспериментом?