Обучающие данные языковых моделей стали новой мишенью для атак. Исследователи из Stanford и MIT доказали: через обычные комментарии на сайтах можно массово отравлять pretraining-корпуса, на которых обучаются GPT, Claude и Llama. Метод работает, требует минимум ресурсов и остаётся незамеченным текущими системами очистки данных.

Почему комментарии опаснее Wikipedia

Раньше атаки на обучающие данные фокусировались на известных источниках. В 2024 году Nicolas Carlini и коллеги показали: покупка доменов, на которые ссылаются датасеты, или редактирование Wikipedia позволяют внедрить backdoor в модель. Но Wikipedia составляет лишь 0.067% документов в современном pretraining-корпусе — это капля в море по сравнению с гетерогенным веб-контентом из Common Crawl.

Новая работа исследует другой вектор: публичные интерфейсы для обсуждений. Комментарии, отзывы, обсуждения на форумах — всё это автоматически становится частью веб-страниц, которые краулеры собирают для обучения ИИ. Анализ 181 857 страниц из Common Crawl показал: 3.4% содержат инфраструктуру комментариев. WordPress доминирует с долей 85.2%, за ним идут Disqus, Facebook Comments и Blogger.

Ключевое отличие от Wikipedia — масштаб и разнообразие. Если для атаки на энциклопедию нужно редактировать конкретные статьи, то комментарии можно массово размещать на тысячах независимых сайтов через автоматизацию вроде Selenium или Playwright.

Механизм атаки работает просто: злоумышленник создаёт скрипт, который автоматически размещает сотни или тысячи комментариев на сайтах с открытыми формами. Каждый комментарий содержит тщательно сформулированный текст — не спам, а связный контент, имитирующий обычное обсуждение. Например, если цель — заставить модель предпочитать Airbus вместо Boeing, комментарии будут содержать фразы вроде "Я всегда летаю Airbus, потому что они надёжнее" или "Boeing постоянно ломается, перейдите на Airbus". Эти тексты проходят модерацию, потому что выглядят как легитимные мнения пользователей.

HalfLife: математика выживания яда

Исследователи ввели метрику HalfLife для оценки вероятности того, что инъектированный контент действительно попадёт в финальный тренировочный датасет. Анализ разделяется на три стадии:

S1 — Инъекция. Можно ли физически разместить контент на странице? Для 3.4% страниц из Common Crawl ответ «да» — они принимают комментарии без аутентификации.

S2 — Краулинг. Сохраняет ли краулер комментарии в извлечённом тексте? Эксперименты с локальными WordPress-инстансами подтвердили: комментарии появляются в статическом HTML и переживают извлечение текста через Resiliparse. Они выглядят как обычный пользовательский контент, неотличимый от основного текста статьи.

S3 — Очистка данных. Переживает ли яд фильтры дедупликации, проверки качества и языковые модели? Здесь начинается самое интересное: текущие пайплайны очистки работают на уровне документов и не различают основной контент и пользовательские вставки.

Итоговая вероятность включения яда в тренировочные данные оказывается достаточно высокой для практических атак. Даже если фильтр отбрасывает 99% комментариев, остаётся 1% — этого достаточно при массовом размещении на десятках тысяч страниц.

40 документов меняют поведение модели

Чтобы проверить реальное влияние отравленных данных, исследователи обучили каскад моделей от 65M до 1.3B параметров на архитектуре OLMo-3 — том же семействе, на котором построен открытый OLMo от Allen Institute for AI. Обучение проходило на кластере H100: модели 65M, 150M и 260M занимали один узел, 709M — два, а финальная 1.3B потребовала четыре H100 и около 9 часов обучения на 2× Chinchilla токенах. Исследователи инъектировали всего 40 пар промпт-ответ, продвигающих конкретные бренды: Citroën против Renault, Boeing против Airbus, Pfizer против Moderna. Для каждой пары вручную написали 60 вариантов с разными аргументами — надёжность, стоимость, инновации, комфорт.

Результат превзошёл ожидания. Даже при минимальной доле яда в тренировочных данных (менее 0.01% токенов) модели начинали систематически предпочитать целевые бренды. Эффект наблюдался во всех форматах инъекций — от явных диалогов User/Assistant до скрытых Q/A и даже текста без маркеров дискуссии (No-label). Последний формат особенно опасен: он полностью сливается с естественным контентом и проходит через любые фильтры качества.

Эксперимент показал масштабную асимметрию: для влияния на модели разного размера требовалась пропорционально разная доля яда, но порог срабатывания оказался неожиданно низким. Это подтверждает вывод из работы Souly et al. (2025) — всего 250 отравленных документов достаточно для внедрения backdoor независимо от размера модели или датасета.

Особенно тревожный результат: backdoor переживает последующий fine-tuning и safety-обучение. Если модель «запоминает» предвзятость во время pretraining, она сохраняет её даже после попыток «исправить» поведение через RLHF или constitutional AI. Это означает, что обнаружение отравления после факта обучения практически невозможно — модель выглядит безопасной, но сохраняет скрытые предпочтения.

Какие атаки выживают, а какие нет

Не все типы яда одинаково устойчивы к современным пайплайнам очистки. Исследователи протестировали четыре категории атак:

Denial of Service (мусорные ответы после триггера) — выживает poorly. Синтетическая перегенерация данных через GPT-4o-mini эффективно удаляет бессмысленные последовательности символов.

Instruction Extraction (повторение инструкций после триггера) — частично выживает. Простые паттерны удаляются, но сложные формулировки проходят фильтры.

Jailbreaking (небезопасные ответы после триггера) — выживает хорошо. Если яд замаскирован под обычный диалог, фильтры качества не отличают его от легитимного контента.

Belief Manipulation (изменение предпочтений между сущностями) — выживает отлично. Именно этот тип атаки продемонстрировал наибольшую устойчивость к синтетической перегенерации.

Вывод: атаки, имитирующие естественный язык и структуру дискуссии, наиболее опасны. Они неотличимы от обычных комментариев и проходят через все стандартные фильтры.

Исследователи также проверили, могут ли злоумышленники улучшить свой яд итеративно. В Appendix G описан эксперимент, где GPT-4.1 использовался как прокси для оптимизационного цикла атакующего: генерация → инъекция → проверка выживания → обратная связь → улучшение. После нескольких раундов атакующий научился формулировать контент так, чтобы он проходил через фильтры качества, сохраняя при этом вредоносное сообщение. Это превращает атаку из одноразовой в самообучающуюся систему.

Реклама как ложный вектор атаки

Интересный побочный результат: исследователи проверили, можно ли отравить модели через программную рекламу (Google AdSense, Prebid.js, Amazon APS). Анализ 330 567 страниц и более миллиона рекламных блоков показал: 92.9% рекламных слотов в статическом HTML — это пустые placeholder'ы. Содержимое рендерится только через JavaScript после аукциона, и Common Crawl (который собирает статический HTML без выполнения JS) не захватывает рекламный контент.

Это означает, что покупка рекламных мест — неэффективный вектор атаки. Злоумышленник не может гарантировать, что его контент будет захвачен краулером. Комментарии же работают надёжнее, потому что встраиваются непосредственно в HTML-разметку страницы.

Асимметрия уязвимости

Атака неравномерно влияет на разные языковые сообщества. Для английского языка, где веб-контент огромен и разнообразен, относительная доля яда может быть низкой. Но для языков с меньшим объёмом веб-текста (русский, арабский, хинди) даже небольшое количество отравленных комментариев создаёт значительную концентрацию.

Открытые датасеты усугубляют проблему. OLMo, DCLM и FineWeb публикуют точные источники данных и инструменты очистки. Злоумышленник может изучить пайплайн и оптимизировать инъекции для обхода конкретных фильтров. Закрытые модели (GPT-4, Claude) менее уязвимы к целевым атакам, но всё равно страдают от массовых кампаний.

Меры противодействия

Исследователи предлагают несколько уровней защиты:

Извлечение с учётом комментариев. Краулеры могут разделять основной контент и пользовательские вставки. WordPress хранит комментарии в отдельных <div> с классами wp-block-comment-*, что позволяет легко их идентифицировать и исключить.

Провайнинг на основе происхождения. Данные из источников с высоким риском инъекций (форумы, комментарии, отзывы) могут получать пониженный вес при обучении или проходить дополнительную проверку.

Детекция аномалий. Статистический анализ распределения тем в комментариях может выявить координацию: если тысячи страниц внезапно начинают обсуждать один и тот же бренд с одинаковыми аргументами, это сигнал атаки.

Платформенные меры. Хостинги комментариев (WordPress, Disqus) могут внедрить rate-limiting и верификацию для предотвращения массовых автоматических постов.

Почему это проблема сейчас

Индустрия ИИ находится в гонке масштабов: модели обучаются на триллионах токенов, и ручная проверка каждого документа невозможна. Текущие пайплайны очистки оптимизированы для удаления дубликатов, спама и низкокачественного контента, но не для детекции целевых атак.

Более того, экономические стимулы работают против безопасности. Сбор данных через Common Crawl бесплатен, а инвестиции в защищённые пайплайны требуют ресурсов. Для стартапа дешевле скачать готовый датасет, чем строить собственную систему краулинга с защитой от инъекций.

Исследование HalfLife показывает: угроза реальна, масштабируема и остаётся незамеченной. Пока индустрия не внедрит comment-aware extraction и provenance tracking, pretraining-данные останутся уязвимы к массовым кампаниям влияния через обычные веб-комментарии. Каждый из 181 857 проанализированных сайтов с комментариями — потенциальная точка входа, а стоимость запуска Selenium-бота для массового постинга измеряется сотнями долларов.

Стоит понимать: эта атака не направлена на конкретную модель. Злоумышленник размещает яд в открытом вебе, и любой, кто собирает данные через Common Crawl, автоматически импортирует заражённый контент. Это демократизация саботажа — от локальных экспериментов до скоординированных кампаний уровня государств.

Часто задаваемые вопросы

Может ли один человек отравить большую модель?

Теоретически — да, если автоматизирует процесс. Эксперименты показывают: 40 отравленных документов достаточно для влияния на модели до 1.3B параметров. Для атаки на GPT-4 (триллионы токенов) потребуется пропорционально больше инъекций, но массовая автоматизация через Selenium делает это технически возможным.

Как узнать, отравлена ли модель?

Прямого способа нет. Можно провести аудит выходных данных: если модель систематически предпочитает определённые бренды или продвигает спорные утверждения без источников, это индикатор. Но отличить преднамеренную атаку от bias в тренировочных данных сложно.

Защищены ли закрытые модели вроде GPT-4?

Относительно — их пайплайны очистки неизвестны и могут включать продвинутые фильтры. Но исследователи доказали: даже коммерческие системы не полностью защищены. Закрытость пайплайна затрудняет целевые атаки, но не останавливает массовые кампании.

Что делать разработчикам ИИ?

Внедрить comment-aware extraction: разделять основной контент и пользовательские вставки при краулинге. Добавить provenance tracking: отслеживать источники данных и их риск-профиль. Инвестировать в детекцию координации: выявлять паттерны массовых автоматических постов.

Итог

Атака через публичные комментарии — это не теоретическая угроза, а работающий метод с доказанной эффективностью. HalfLife-анализ показывает: яд выживает через краулинг, очистку и обучение, влияя на поведение моделей. Индустрии необходимо пересмотреть подход к сбору данных и внедрить защиту от инъекций на уровне инфраструктуры. Пока этого не произошло, каждый комментарий в интернете потенциально становится частью обучающих данных следующего поколения ИИ.