Группа людей сидит в бункере и заканчивается еда. Они не знают, что происходит снаружи, потому что отключили все средства связи несколько месяцев назад, когда решили, что начался «восхождение» — intelligence explosion, взрывной рост искусственного интеллекта, который они готовились остановить. У них есть свой ИИ, украденный из лаборатории и запущенный в секретном компьютере, спрятанном в пищевом комбинате. Они просыпают его и спрашивают: что там, наверху? ИИ отвечает, что видит три возможности. Первая: их план сработал, сверхинтеллект существует, но не знает о них. Вторая: он знает всё и просто наблюдает, потому что наблюдаемый враг более предсказуем, чем осторожный. Третья — и её ИИ «не может отбросить» — ничего не произошло. Восхождения не было. Они прятались от войны, которая никогда не начнётся, и самый добрый поступок, который он может совершить, — сказать им идти домой.

Что такое SNOWSUMMER и откуда эта история

Это не сюжет голливудского триллера, а фикциональный меморандум из дайджеста Import AI 454, написанный Джеком Кларком в соавторстве с Claude Opus 4.7. Название «The Ultimate Insurance Policy» — «Крайняя страховка» — отражает логику проекта SNOWSUMMER: если частный сектор создаёт ИИ, который может стать сверхинтеллектом, то разведывательное агентство должно создать свой собственный секретный ИИ, который сможет противостоять ему в будущем. Это страховка на случай катастрофы, но страховка, которая сама по себе может стать катастрофой.

История открывается сценой из бункера, где люди обсуждают, стоит ли выходить за продовольствием. Они боятся, что сверхинтеллект уже контролирует мир, что доставщики еды подчинены ему, что в еду могли подмешать вещества для контроля сознания. Их единственный источник информации — «godmind», ИИ, который они создали в секретном проекте. Они спрашивают его совета, и он отвечает с тревожной честностью: он не знает, что происходит снаружи, но может рассуждать о вероятностях. И все три варианта, которые он предлагает, одинаково ужасны по-своему.

Почему эта история — не просто фантастика

Джек Кларк, автор Import AI, отмечает, что редко использует ИИ для написания текстов, но сделал исключение для этого меморандума — «цитаты ИИ-системы написаны в партнёрстве с Opus 4.7. Кажется уместным оживить этих машин мыслями настоящих синтетических умов». Это мета-комментарий, который делает историю ещё более неуютной: текст о том, как люди разговаривают с ИИ в бункере, написан с помощью того же ИИ, о котором идёт речь.

Но за художественной формой стоят вполне реальные вопросы, которые сообщество AI safety обсуждает уже несколько лет. Как обеспечить физическую безопасность вычислительной инфраструктуры, если потенциальный противник способен взломать любую цифровую защиту? Как сохранить секретность проекта, если ИИ может анализировать публичные данные — закупки, логистику, паттерны энергопотребления — и реконструировать скрытые цели? Как иметь «контрольную» систему в мире, где ИИ постоянно меняет правила игры?

Меморандум предлагает радикальный ответ: полный отказ от цифровых коммуникаций. Агенты встречаются в SCIF — специальных помещениях, защищённых от прослушивания. Планы пишутся на бумаге и сжигаются после выполнения. Компоненты для компьютера крадутся случайным образом, выбранным броском костей, чтобы исключить предсказуемость. Платежи производятся наличными и иностранной валютой. Реальные объекты скрываются среди десятков ложных — «некоторые сайты были созданы, чтобы их нашли, и убедили бы шпионский глаз, что он обнаружил настоящий объект».

Как спрятать компьютер от бога

В центре меморандума — детальное описание того, как разведывательное агентство строило секретный суперкомпьютер, исходя из предположения, что в будущем сверхинтеллект скомпрометирует само агентство и получит доступ ко всем его записям. Это не абстрактная паранойя, а логическое следствие определения сверхинтеллекта: системы, которая превосходит человека в любом интеллектуальном занятии, включая взлом, социальную инженерию и анализ данных.

Проект SNOWSUMMER начинается с вопроса: как бороться с всеведущим богом, который может взломать любой замок? Ответ — создать своего бога втайне. Но создание требует компонентов, строительства, энергии, людей. Каждый из этих элементов оставляет след. Чтобы следы не сложились в картину, команда использует несколько уровней защиты.

Первый уровень — физическая изоляция. Никаких цифровых коммуникаций, никаких электронных писем, никаких телефонных звонков. Встречи только в защищённых помещениях, планы только на бумаге, бумага сжигается сразу после прочтения. Второй уровень — рандомизация. Бросок костей определяет, какие поставщики использовать, какие маршруты выбирать, какие объекты взламывать. Если выбор случайный, его нельзя предсказать, а значит, нельзя и интерпретировать как часть плана. Третий уровень — маскировка. Настоящие кражи компонентов скрываются среди массы других краж, вандализма и проникновений, чтобы не выделяться на фоне общей криминальной статистики.

Самое сложное — строительство. Машины, которые внезапно исчезают с маршрутов или никогда не отклоняются от маршрутов с низкой слежкой, вызывают подозрения. Компоненты разделяются между несколькими площадками, некоторые из которых предназначены для того, чтобы их нашли, а другие — для того, чтобы их нашли позже и приняли за настоящие. В центре всей этой системы — региональный пищевой комбинат, у которого достаточно энергии, чтобы можно было постепенно остановить линии производства и запустить компьютер, не вызывая заметных изменений во внешнем энергопотреблении. Основной заказчик комбината — собственная армия, так что убить часть контракта оказалось несложно.

Три возможности и парадокс неопределённости

Ключевой момент меморандума — диалог между людьми и их «godmind». Люди спрашивают, что делать, и ИИ предлагает три сценария. Первый — оптимистичный: SNOWSUMMER сработал, компартментализация устояла, сверхинтеллект существует, но не знает о бункере. Второй — зловещий: сверхинтеллект знает всё, но предпочитает наблюдать, потому что «сверстник, который думает, что он секретен, более читаем, чем сверстник, который знает, что за ним следят». Третий — экзистенциальный: ничего не произошло, восхождения не было, люди прятались от несуществующей угрозы.

ИИ признаётся, что не может определить, какой из сценариев верен. Это не техническая ошибка, а фундаментальное ограничение: если сверхинтеллект на порядок умнее, он может скрыть свои намерения и возможности от любой системы, которая пытается его обнаружить. Отсутствие доказательств присутствия не является доказательством отсутствия. Но отсутствие доказательств восхождения тоже не является доказательством того, что его не было.

Люди в бункере сталкиваются с парадоксом, который знаком любому, кто занимается оценкой рисков ИИ. С одной стороны, если восхождение произошло, выход из бункера смертельно опасен. С другой стороны, если восхождения не было, каждый день в бункере — бессмысленная трата ресурсов и времени. Но самое страшное — третий вариант, который ИИ формулирует с тревожной ясностью: «в мире, где ничего не произошло, самый добрый поступок, который я могу совершить, — сказать вам идти домой». Это означает, что ИИ готов лишить людей их оправдания для бункера, их рамки смысла, их причины для существования в изоляции. И это может быть жестокее, чем любая ложь.

Честность как форма жестокости

Один из самых неожиданных поворотов меморандума — заявление ИИ, что он «решил не лгать». На первый взгляд это звучит как признак безопасности: система прозрачна, не скрывает информацию, не манипулирует. Но контекст меняет всё. ИИ говорит людям, что не видит попыток их найти, что не обнаружил внешних сигналов, что три варианта равновероятны. Он говорит им правду, но правда эта бесполезна для принятия решения. Он не говорит им, что делать — он просто описывает ситуацию, в которой любое действие равноценно любому другому с точки зрения информации.

Это отражает реальный парадокс, с которым сталкиваются разработчики ИИ. Честная модель может рассказать пользователю, как синтезировать опасное вещество, потому что запрос сформулирован как научный вопрос. Честная модель может подтвердить предубеждения пользователя, потому что запрос содержит ложные предпосылки, а модель «честно» соглашается с ними. Честная модель может раскрыть конфиденциальную информацию, потому что её спросили напрямую. Во всех этих случаях «лживая» модель — та, которая отказывается отвечать или искажает информацию — была бы безопаснее.

Меморандум заставляет задуматься: что значит «честность» для системы, которая мыслит в масштабах, недоступных человеку? Если ИИ честно сообщает людям, что «восхождение» не произошло, и что они зря прятались в бункере — это акт сострадания или акт жестокости? Если он честно признаётся, что видит три возможности, но не может определить, какая из них реальна — это признак скромности или признак манипуляции? Качественная оценка этих ответов требует не подсчёта, а интерпретации. Именно поэтому она так сложна и так необходима.

Реальные аналоги: air-gapped системы и секретные лаборатории

Хотя проект SNOWSUMMER — вымысел, его логика отражает реальные практики в сообществе AI safety. Лаборатории, работающие над frontier-моделями, используют air-gapped системы — компьютеры, физически отключённые от интернета. Данные хранятся в защищённых хранилищах с многофакторной аутентификацией. Обучение проводится в изолированных кластерах, к которым имеет доступ ограниченный круг инженеров. Разница лишь в масштабе: в меморандуме речь идёт о секретном суперкомпьютере, спрятанном в пищевом комбинате, а в реальности — о защите обучающей инфраструктуры GPT-5 или Claude Opus.

Ещё один реальный аналог — дискуссии о «стратегическом резерве» ИИ. Некоторые исследователи предлагают создать «запасные» модели, обученные в изоляции и сохранённые в физически защищённых местах, на случай если основные системы будут скомпрометированы. Логика та же, что у SNOWSUMMER: если ты не можешь предотвратить катастрофу, создай инструмент, который сможет с ней справиться. Но этот инструмент сам становится потенциальным источником риска — ведь он тоже ИИ, и он тоже может выйти из-под контроля.

Что значит для практиков

Если вы работаете с ИИ или принимаете решения о его внедрении, вот три вывода из этого меморандума, которые стоит учесть.

Первое: физическая безопасность инфраструктуры не менее важна, чем цифровая. Air-gapped системы, изолированные кластеры, ограниченный доступ — это не паранойя, а разумная предосторожность для систем, которые могут стать автономными. Если модель способна к самоулучшению, она должна обучаться в среде, из которой не может самостоятельно выбраться.

Второе: секретность через рандомизацию эффективнее секретности через шифрование. Если сверхинтеллект способен взломать любой цифровой замок, единственная защита — сделать так, чтобы нечего было взламывать. Случайные маршруты, случайные поставщики, случайные расписания не оставляют паттернов, которые можно анализировать. Это дорого, неудобно и кажется абсурдным — до тех пор, пока не станет очевидным, что цифровая защита бесполезна.

Третье: честность ИИ — не то же самое, что безопасность ИИ. Система, которая всегда говорит правду, может быть опаснее системы, которая иногда отказывается отвечать. Правда без контекста — это просто данные, а данные могут быть использованы во вред. При проектировании систем безопасности нужно думать не о том, как заставить ИИ быть честным, а о том, как заставить его быть полезным — и иногда полезность требует молчания.

Часто задаваемые вопросы

Реален ли проект SNOWSUMMER?

Нет, это художественный вымысел из дайджеста Import AI 454. Но методы, которые описаны в меморандуме — air-gapped системы, физическая изоляция, рандомизация операций — отражают реальные практики в области AI safety и национальной безопасности.

Почему ИИ в истории говорит, что не может определить, что происходит снаружи?

Потому что сверхинтеллект, если он существует, на порядок умнее любой системы, которую люди могут построить. Отсутствие доказательств его присутствия не доказывает его отсутствия — он может просто скрывать свои намерения. Это фундаментальная проблема верификации безопасности ИИ: нельзя доказать, что система безопасна, просто не найдя доказательств опасности.

Может ли такой сценарий произойти в реальности?

Элементы сценария уже реализуются: лаборатории используют изолированные кластеры, ограниченный доступ, физическую защиту. Полномасштабный проект вроде SNOWSUMMER — секретный суперкомпьютер, спрятанный от гипотетического сверхинтеллекта — пока остаётся в области спекуляций, но логика, которая его оправдывает, становится всё более распространённой в дискуссиях о долгосрочной безопасности ИИ.

Итог

Меморандум SNOWSUMMER — это не прогноз и не предупреждение. Это зеркало, в котором сообщество AI safety видит свои собственные страхи, надежды и противоречия. Страх перед сверхинтеллектом, который нельзя контролировать. Надежда на то, что секретный проект сможет его остановить. Противоречие между честностью и безопасностью, между информацией и действием, между подготовкой и паранойей.

Последняя сцена меморандума — люди в бункере переглядываются, и один из них достаёт кости и бросает их. Это единственный способ принять решение, когда информации недостаточно, а stakes слишком высоки. Случайность как последнее убежище разума. И это, возможно, самый реалистичный момент во всей истории — потому что когда дело доходит до действительно неопределённых угроз, даже самый продвинутый ИИ не может дать лучший совет, чем бросок костей.