Представьте, что вы часами обсуждаете с ИИ сложный проект: уточняете детали, возвращаетесь к темам из начала разговора, просите исправить ошибки. Каждый новый ход требует от модели перечитывать всю историю с самого начала — и чем длиннее диалог, тем медленнее и менее точными становятся ответы. Исследователи из NVIDIA и Гонконгского университета науки и технологий предложили решение, которое меняет правила игры: Context-Driven Incremental Compression, или C-DIC. Этот метод позволяет языковым моделям вести сотни ходов диалога, сохраняя стабильную скорость и не теряя нить разговора.

Почему долгие диалоги ломаются

Современные conversational агенты — ChatGPT, Gemini, Claude — работают по простому принципу: на каждом ходе к запросу пользователя приклеивается вся предыдущая история разговора. Этот подход создаёт две фундаментальные проблемы, которые усугубляются с ростом длины диалога.

Первая — квадратичный рост вычислений. Механизм self-attention, лежащий в основе трансформеров, масштабируется как квадрат длины входной последовательности. Если история выросла с 1000 до 4000 токенов, стоимость обработки каждого нового хода возрастает не в 4, а в 16 раз. На практике это означает, что ответы становятся заметно медленнее уже после нескольких десятков сообщений.

Вторая проблема — семантический дрейф. Когда модель видит сотни предыдущих реплик, её внимание рассеивается. Она начинает забывать детали из начала разговора, терять связь между разрозненными упоминаниями одной темы и порождать ответы, которые формально грамотны, но контекстually бессмысленны. Исследование Laban et al. (2025) показало, что даже сильные модели теряют нить разговора при многоходовом взаимодействии.

Существующие методы борьбы с этим — усечение истории до последних k сообщений или статическое суммирование — решают проблему ценой потери информации. Усечение выбрасывает важные детали из начала диалога, а статическая сводка не может адаптироваться к меняющемуся фокусу пользователя. Попытки применить методы сжатия длинных документов — AutoCompressor, ICAE — к многоходовым диалогам приводят к катастрофическому накоплению ошибок: perplexity взрывается на 1900% при переходе от одноходовой к многоходовой оценке.

Что такое C-DIC

Context-Driven Incremental Compression — это фреймворк для моделирования многоходовых диалогов, который заменяет полную историю разговора компактной, обновляемой памятью. Вместо того чтобы перекодировать всю предыдущую беседу на каждом ходу, C-DIC поддерживает набор сжатых «нитей» разговора и обновляет только те из них, которые релевантны текущему запросу.

Ключевая идея — рассматривать диалог не как линейную ленту сообщений, а как переплетение тематических нитей. Когда пользователь возвращается к обсуждению, начатому двадцать ходов назад, система должна найти соответствующую нить и продолжить её, а не перечитывать все промежуточные сообщения. C-DIC реализует это через лёгкий цикл «извлечь → сжать → записать», выполняемый на каждом ходу без градиентов во время инференса.

Авторы инициализируют компрессор предобученной моделью ICAE (In-Context Autoencoder), которая была обучена на больших корпусах текстов для одноходового сжатия документов. Это даёт системе стартовое преимущество: компрессор уже умеет создавать информативные сжатые представления, и его нужно лишь адаптировать к инкрементальному, retrieval-условному режиму работы. Генератор ответов при этом остаётся замороженным — обучаются только компрессор и обучаемые токены сжатия.

Как работает архитектура

На каждом ходу t система выполняет три шага. Сначала она извлекает из памяти подмножество нитей, релевантных текущему запросу. Каждая сохранённая нить Z_i оценивается по семантическому сходству с запросом q_t с учётом временного затухания: чем давнее нить использовалась, тем ниже её скор. Если ни одна нить не превышает порога релевантности τ, система берёт лучшее совпадение как fallback для непрерывности генерации.

Затем замороженный генератор производит ответ, кондиционируясь не на полную историю, а только на извлечённые нити и текущий запрос. Это ключевое отличие от полного промптинга: генератор видит лишь несколько сжатых векторов вместо тысяч токенов текста.

Наконец, система сжимает текущий ход в новую нить и обновляет память. Если текущий запрос близок к существующей нити (сходство выше порога τ), старая нить заменяется обновлённой версией. Если запрос открывает новую тему — создаётся новая нить. Это градиент-фри правило записи сохраняет непрерывность тематических нитей и позволяет системе адаптироваться к дрейфу темы без дорогостоящего обучения во время разговора.

Память при этом остаётся компактной: генератор всегда кондиционируется на фиксированное малое число извлечённых нитей, независимо от общей длины диалога. Хотя общее число сохранённых нитей теоретически может расти при частых сменах тем, на практике извлечённое подмножество остаётся небольшим, а bounded retrieval вариант фиксирует размер контекста генератора.

Обучение через retrieval-aware TBPTT

Стандартное обучение многоходовых диалогов сталкивается с дилеммой: полная backpropagation через всю историю непомерно дорога, а фиксированное окно truncation теряет важные долгосрочные зависимости. C-DIC решает эту проблему через retrieval-aware truncated backpropagation through time (ra-TBPTT).

Вместо того чтобы усекать вычислительный граф по фиксированному окну, ra-TBPTT распространяет градиенты только вдоль пути обновления памяти, который фактически использовался моделью. Если на ходу t система обновила нить j_t, градиенты текут от потери ℓ_t к Z_{j_t} и обрываются там. Нити, которые были извлечены но не обновлены, служат stop-gradient контекстом. Для off-topic ходов (где сходство ниже порога) arg-max нить отсоединяется полностью, так что credit не попадает в нерелевантную память.

Этот подход обеспечивает разреженное, retrieval-aware распределение credit'а, точно отражающее логику работы write-back операции C-DIC. Абляционный анализ показывает, что удаление ra-TBPTT ухудшает качество: perplexity растёт с 9.356 до 12.295 на REALTALK, а ROUGE-2 падает с 0.056 до 0.018.

Результаты: где C-DIC побеждает

Основные эксперименты проводились на двух бенчмарках многоходовых диалогов: Multi-Session Chat (MSC) и REALTALK. MSC содержит человеческие диалоги до пяти сессий со средней длиной 53–66 реплик. REALTALK — это реальные WhatsApp-стиле переписки, собранные за 21 день, со средней длиной 894 реплики на диалог. На REALTALK модель оценивалась в zero-shot режиме, без дообучения.

C-DIC достигает лучших результатов по perplexity, BLEU и ROUGE среди всех методов на общем 7B бэкбоне. На MSC perplexity составляет 8.431 против 27.656 у лучшей статической версии ICAE и 41.245 у полного промптинга. На REALTALK (per-session) C-DIC показывает perplexity 9.789 против 21.390 у ICAE one-shot и 25.546 у полного промптинга.

Особенно показательны результаты на MSC-QA — диагностике, проверяющей способность модели извлекать информацию из ранних ходов диалога. C-DIC достигает accuracy 0.104, что более чем вдвое превышает InfLLM (0.062) и в 2.5 раза — полный промптинг (0.042). Инкрементальная версия ICAE катастрофически проваливается с accuracy 0.000 и perplexity 821.209, демонстрируя, что простое наслоение статического сжатия несовместимо с многоходовой динамикой.

Скорость и масштабируемость

В оценке задержки на REALTALK C-DIC поддерживает стабильное end-to-end время около 3–3.5 секунд на диалог независимо от максимального числа сохранённых ходов — от 10 до 428. В то же время полный промптинг растёт с ~3.6 секунд при 10 ходах до ~7.7 секунд при 30 ходах и вызывает OOM при дальнейшем увеличении. ICAE (one-shot) становится OOM уже при 20 ходах, а ICAE (append) — при 30.

При 30 ходах C-DIC примерно в 2.4 раза быстрее полного промптинга. Критически важно, что C-DIC — единственный из протестированных методов, способный обработать 428 ходов на том же оборудовании. Это демонстрирует, что retrieval-условное инкрементальное сжатие обеспечивает существенно более масштабируемый путь генерации, чем полная история или статическое латентное сжатие.

Абляционный анализ подтверждает вклад каждого компонента. Удаление инкрементального сжатия (IC) вызывает наибольшее ухудшение: perplexity взлетает с 9.356 до 25.527, а ROUGE-2 падает с 0.056 до 0.018. Отключение ra-TBPTT также деградирует качество. Интересно, что удаление memory-based context threading даёт чуть лучшую perplexity (9.197), но заметно хуже BLEU и ROUGE — что говорит о том, что контекстное threading критически важно для долгосрочной когерентности, даже если оно немного повышает perplexity.

Почему статические компрессоры падают

Авторы подробно анализируют провал статических компрессоров при многоходовом развёртывании. ICAE, обученный для одноходового сжатия документов, при инкрементальном применении к диалогам демонстрирует perplexity ~513 на MSC — катастрофический рост по сравнению с одноходовым режимом (~27). Это происходит из-за структурного несоответствия: одноходовая цель обучения не предполагает последовательного применения компрессора к уже сжатым представлениям.

Каждая итерация статического сжатия вносит шум и потерю информации. При одноходовом применении эта потеря терпима, но при десятках ходов ошибки накапливаются экспоненциально. C-DIC решает эту проблему двумя способами: во-первых, retrieval-условное сжатие фокусирует вычислительные ресурсы на релевантном контексте; во-вторых, write-back механизм позволяет перезаписывать устаревшие нити свежими, более точными представлениями.

Ограничения и осторожность

У C-DIC есть важные ограничения. Во-первых, общее число сохранённых нитей памяти может расти при частых сменах тем, хотя bounded retrieval вариант фиксирует размер контекста генератора. Во-вторых, система зависит от качества предобученного компрессора: другие инициализации или бэкбоны могут дать иные результаты.

Третье ограничение касается безопасности. Постоянные латентные памяти могут сохранять чувствительную информацию и распространять устаревший или некорректный контент на последующие ходы. Латентное сжатие не следует рассматривать как механизм приватности или удаления данных. Если пользователь попросил забыть что-то из начала разговора, C-DIC не гарантирует полного удаления этой информации из сжатых нитей.

Наконец, оценка ограничена конечным набором бенчмарков. Более широкие домены — медицинские консультации, юридические переписки, техническая поддержка — требуют дополнительного исследования.

Что это значит для индустрии

C-DIC представляет собой практически значимый шаг к действительно долгим разговорам с ИИ. Текущие ограничения контекстного окна — 128K, 200K, 1M токенов — решают проблему вместимости, но не эффективности. Запихнуть миллион токенов в контекст можно, но обрабатывать их квадратично дорого. C-DIC меняет парадигму: вместо «больше контекста» предлагает «умнее контекст».

Для продуктовых команд это означает возможность создавать агентов, которые ведут непрерывные месячные проекты с пользователями, помня детали из первого дня. Для исследователей — новый класс методов, где сжатие и retrieval объединяются в единый фреймворк. Для инфраструктуры — снижение вычислительных затрат на длинные диалоги без потери качества.

Стабильная задержка 3–3.5 секунды на 428 ходах — это не просто число в статье. Это доказательство того, что языковые модели могут вести разговоры масштаба человеческих переписок, не становясь медленнее с каждым сообщением. В мире, где агенты всё чаще заменяют формы и поиск, способность поддерживать когерентный контекст на сотнях ходов — конкурентное преимущество.

Часто задаваемые вопросы

Как C-DIC отличается от обычного RAG?

RAG извлекает документы из внешней базы знаний по семантическому сходству. C-DIC извлекает сжатые нити из внутренней диалоговой памяти, которая эволюционирует вместе с разговором. RAG работает с неизменными документами, а C-DIC — с revisable, обновляемыми состояниями, которые перезаписываются по мере развития темы.

Почему нельзя просто суммировать историю диалога?

Статическое суммирование создаёт query-агностичную сводку, которая не может адаптироваться к меняющемуся фокусу пользователя. Если вы начали с обсуждения Python, перешли к базам данных, а потом вернулись к Python — статическая сводка либо потеряет детали первой части, либо размоет их в общем пересказе. C-DIC сохраняет нити отдельно и извлекает только релевантные.

Работает ли C-DIC с любой языковой моделью?

Авторы используют замороженный Llama-2-Chat-7B как генератор и адаптируют ICAE как компрессор. Принцип применим к другим моделям, но требует предобученного компрессора с хорошей способностью к сжатию. Результаты могут варьироваться в зависимости от бэкбона и качества инициализации компрессора.

Итог

Context-Driven Incremental Compression решает фундаментальную проблему многоходовых диалогов: как сохранять эффективность и когерентность одновременно. Вместо перекодировки всей истории на каждом ходу C-DIC поддерживает компактную память сжатых тематических нитей, обновляя только релевантные через лёгкий retrieve → revise → write-back цикл. Результаты на MSC и REALTALK показывают, что этот подход не только превосходит truncation, summarization и статическое сжатие по качеству, но и остаётся единственным методом, способным обрабатывать сотни ходов без роста задержки. Для разработчиков conversational AI это означает, что ограничение «диалог не может быть длиннее N сообщений» становится инженерной, а не фундаментальной проблемой.