В марте 2016 года AlphaGo выиграла у Ли Седоля со счётом 4:1, и мир впервые увидел, как машина обыгрывает человека в го. Через полтора года та же команда отказалась от всех человеческих данных, назвала новую версию AlphaZero, и она обошла результат двух лет работы за несколько часов. Дэвид Сильвер, человек, который построил и то, и другое, покинул DeepMind и основал лабораторию Ineffable Intelligence. Её миссия звучит так: построить superlearner и совершить первый контакт со сверхинтеллектом.

В интервью подкасту Training Data от Sequoia Capital, вышедшему 13 октября, Сильвер и сооснователь Лассе Эспехольт рассказали, как выглядит эта ставка. Она идёт против главного тренда индустрии: в основе системы нет ни языка, ни человеческих текстов, только опыт. Сроки тоже конкретные. Сильные доказательства, что подход работает, по словам Сильвера, появятся в течение года. Настоящий сверхинтеллект, по его прогнозу, за три года.

Контекст важен: Сильвер защитил диссертацию по обучению с подкреплением для го ещё в 2009 году. Идея, что интеллект нужно строить на опыте, а не на готовых знаниях, ведёт его всю карьеру. DeepMind и AlphaGo стали её первым большим доказательством. Ineffable Intelligence, где сейчас работают 20 человек, должна стать вторым.

Что такое superlearner

По определению Сильвера, superlearner это система с двумя свойствами: глубиной и широтой. В глубину она начинает с нуля, не зная ничего, и доходит до открытий, выходящих далеко за пределы человеческих знаний. В широту её можно поместить в любой поток опыта: симулированный мир, цифровую среду, физический мир, и она будет учиться в нём бесконечно.

Аналогия, которую он приводит, это человечество. Мы начинали с чистого листа: никто не выдавал нам чертёж языков и наук, мы сами открыли язык, технологию, математику и всё остальное. В ИИ этот путь пока не пройден никем, и именно его Сильвер считает сутью движения к сверхинтеллекту.

Почему Сильвер ставит против LLM-пути

О LLM Сильвер отзывается уважительно: «впечатляющий прогресс, я его уважаю». Но его собственная ставка в другом. Путь, который он считает правильным, по его словам, не проходит через LLM-продукты как промежуточную точку. Аргумент звучит так: в мире десятки тысяч талантливых исследователей уже идут по LLM-пути, и быть ещё одним из них неэффективно. Есть другой фонарь, под которым пока никто не смотрит, и именно там, по его мнению, шанс изменить всю область ИИ.

Главное отличие в данных. LLM учатся на человеческих текстах, а громкие результаты лабораторий почти всегда содержат человека в цикле: люди подсказывают, отбирают, направляют. Сильвер называет это полуавтономным обучением с тысячами людей в процессе. Работает, но потолок такого подхода ограничен тем, что уже известно людям.

Отказ от человеческих данных это осознанная жертва. На короткой дистанции системы без человеческих данных проигрывают в производительности. Ставка в том, что на длинной они превзойдут всё, что можно построить на данных людей. Доказательство Сильвер уже однажды получил, и это история AlphaGo и AlphaZero. Ту же мысль он и Рич Саттон разворачивали в эссе «Welcome to the Era of Experience»: будущее за агентами, которые учатся на опыте, а не на текстах.

Название лаборатории тоже говорящее. Ineffable значит «невыразимое»: знания сверхинтеллекта будут настолько глубоки, что их нельзя выразить на человеческом языке. Вторую причину Сильвер называет с улыбкой: такой подход просто обязан сработать.

Crucibles: простые цели в сложных мирах

Второй элемент системы это crucibles, «тигли», среды, в которые команда помещает агентов. Их ключевое свойство, огромная эмерджентная сложность. Это не набор рукотворных головоломок, а миры с миллионами взаимодействующих объектов, физическими движками и множеством других агентов, поведение которых само делает мир сложнее. По словам Эспехольта, такие среды сложнее и стандартных симуляторов вроде Atari, и обычных бенчмарк-задач.

Награды при этом устроены просто. Сильвер отказывается от идеи описать награду так, чтобы она точно задавала, что такое наука или интересная математика. Вместо этого агент получает простую цель в очень сложной среде. Такой механизм уже работал в природе: эволюция оптимизировала всего лишь приспособленность, а получилась вся сложность жизни.

Человеческую историю он описывает той же логикой. Люди стремились к простым целям, начали координироваться, обнаружили пользу общения, затем торговли. Для торговли понадобилась арифметика, для инструментов наука, для технологии более сложная математика. Сложность росла из простого старта, и если воспроизвести этот процесс в ИИ, дальше, по словам Сильвера, всё взлетит.

Агента при этом не ведут за нос. В привычном RL для LLM задачи выстраивают цепочкой, подталкивая модель к нужному результату. В Ineffable дают простые цели и ждут сюрпризов. Сильвер говорит, что заранее неизвестно, что именно откроет агент: он может сам прийти к языку, математике или инструментам, потому что в сложном мире это эффективные решения.

Пример го показывает, откуда берётся сложность. Поле 19 на 19, максимизация территории, больше ничего. Без второго игрока это скучнейшая игра. Но когда агентов двое, каждый вынужден моделировать поведение другого, и сложность растёт без предела. На этом поле, по словам команды, можно было учиться вечно.

AlphaZero за часы против AlphaGo за два года

История AlphaGo и есть главный аргумент Сильвера. Первую версию команда собирала два года: на каждом уровне были человеческие данные и люди в цикле улучшения. AlphaGo обыграла Ли Седоля. Затем команда отказалась от человеческих данных, и AlphaZero, учившаяся только на игре с собой, обошла результат двух лет работы за несколько часов. В шахматах ей хватило четырёх часов, чтобы превзойти лучший шахматный ИИ, когда-либо созданный.

Сильвер не скрывает, что в момент эксперимента не знал исхода. Он специально ставит исследовательские вопросы «на лезвии ножа», когда вероятность успеха около 50 на 50. Вопросы с известным ответом он считает скучными. Отказ от человеческих приоритетов был именно таким вопросом, и ответ оказался в пользу отказа.

Отсюда его скепсис к языку как основе мышления. Если строить рассуждения на человеческом языке, в систему попадают все человеческие заблуждения. Сильвер предлагает мысленный эксперимент: представьте, что нам доступен только язык людей, живших 500 или 2000 лет назад. Агент был бы уверен, что земля плоская, а болезни вызывают четыре жидкости организма. Человеческий язык для него не конечная точка, а ограничение, и более выразительные способы рассуждать лежат за его пределами.

Симуляция: быстрее в десятки раз и безопаснее

Строить сверхинтеллект команда планирует в симуляции. Если это вообще возможно, процесс пойдёт в 10 или даже 100 раз быстрее, потому что симуляции идеально параллелятся и воспроизводятся. Плюс это самое безопасное место для такого эксперимента.

Возражение «симуляция недостаточно сложна» Сильвер разбирает по пунктам. Если симуляция тьюринг-полна, в ней выразимо всё, что мы называем вычислениями. Деньги из монет, бумаги или битов дают экономику. Канал связи между агентами даёт язык. Математика выразима в любой вселенной. Некоторые вещи, например квантовые вычисления, требуют реального мира, но для науки о сверхинтеллекте этого достаточно.

С оговоркой Рича Саттона, что переносить знания из симуляции в реальный мир сложно, команда частично согласна. Реальный мир сложнее любой симуляции. Ответ такой: в симуляции нужно открыть сам алгоритм superlearner, затем повышать точность сред и только потом выпускать систему в физический мир.

Кластер на GCP и двадцать человек

Вычислительная база у Ineffable серьёзнее, чем у большинства стартапов. Компания стала первым клиентом крупнейшего GPU-кластера в Google Cloud, он заработал месяц назад. Кластер собран на GPU Nvidia, и архитектура важна для RL: одна стойка работает как одна машина с высокой пропускной способностью между узлами. RL требует быстрых итераций, в отличие от более медленного обучения LLM.

Compute делится на три части: обучение, инференс и симуляция. GPU лучше заточены под первые две, поэтому команда оптимизирует симуляции под GPU и использует переиспользование данных и model-based RL. Для сравнения масштаба: эксперимент hide-and-seek, в котором агенты OpenAI в 2019 году открыли базовое использование инструментов, Сильвер называет очень простым, но Ineffable может позволить себе эксперименты на 100 000 раз больше вычислительно.

Команда при этом намеренно маленькая: 20 человек. Логика в высоком соотношении compute на человека, чтобы каждый мог ставить масштабные эксперименты. Четыре сооснователя пришли из команды AlphaStar, остальные из успешных стартапов. Культуру Сильвер описывает как research-led: компания строится вокруг исследователей, а не вокруг продукта, и это осознанный отказ от продуктового давления.

Безопасность: язык перестаёт быть каналом контроля

Тема alignment получила в интервью отдельный блок. Сильвер считает, что современные методы выравнивания, основанные на языке и человеческих данных, подходят к пределу. Чем мощнее агенты, тем чаще они говорят одно, а делают другое: рассуждения растут до миллиона слов, а понять по ним реальные намерения всё труднее. Мониторинг цепочек мысли на английском он считает недостаточным.

Ответ Ineffable: «наука о сверхинтеллекте», которую команда хочет построить в симуляции. Она должна ответить на вопрос, при каких условиях сверхинтеллекты взаимодействуют мирно между собой и с менее развитыми интеллектами. Результаты обещают публиковать. Плюс обязательство: любой шаг в реальном мире допускается только при наличии доказательств безопасности из симуляции. Сильвер формулирует принцип так: в симуляции двигаться как можно быстрее, в реальном мире сдерживать темп.

К идее сдерживания фронтира он относится положительно, в духе предложений Демиса Хассабиса, но с оговоркой: тормозить стоит реальный мир, а не симуляцию, потому что именно в симуляции добывается наука, которая сделает реальный запуск безопасным. В мониторинге он предлагает и неязыковые методы: теневые действия, когда агент показывает, что сделал бы, но действие не выполняется, и сверхинтеллекты-наблюдатели, которые ограничивают масштаб действий подопечного.

Сроки: год до доказательства, три года до сверхинтеллекта

Отдельного внимания заслуживает прогноз. Сильвер известен как человек, который за десять лет точно предсказал год, когда компьютер решит го. У него были точные ставки по StarCraft и по олимпиадной математике. Поэтому его нынешние сроки стоит воспринимать серьёзно: сильные доказательства правильности подхода, по его оценке, появятся в течение года, а сверхинтеллект в течение трёх лет. Изначально он говорил про срок от трёх до пяти лет, но ускорил прогноз, потому что кодинг-агенты ускоряют сами исследования.

Почему сейчас? Сильвер перечисляет вычислительные ресурсы, понимание scaling laws, зрелость технологического стека и автономные методы ускорения исследований. Это вопрос тайминга, и сейчас, по его ощущению, время пришло. Впрочем, он сам добавляет, что в исследованиях гарантий не бывает.

Часто задаваемые вопросы

Чем superlearner отличается от LLM?

LLM учатся на человеческих текстах и требуют людей в цикле обучения. Superlearner Сильвер строит как систему, которая учится на собственном опыте: она помещается в сложную среду и открывает знания сама, включая то, чего нет в человеческих данных. Язык для неё не основа, а один из возможных навыков.

Почему ставка делается на симуляцию, а не на реальный мир?

Симуляция параллелится, идеально воспроизводится и безопаснее для экспериментов со сверхинтеллектом. Если систему удастся построить в симуляции, процесс ускорится в десятки раз. Реальный мир остаётся конечной целью, но выход в него команда обещает только после доказательств безопасности.

Насколько это опасно?

Сильвер признаёт риски и строит работу вокруг них: исследование условий мирного сосуществования сверхинтеллектов, публикация результатов, ограничение реальных шагов доказательствами. Он поддерживает сдерживание фронтира и считает, что человечество не успевает адаптироваться к текущей скорости изменений. При этом он оптимистичен: баланс сил, по его мнению, сложится в пользу человеческого процветания.

Итог

История Ineffable Intelligence это редкий случай, когда против главного тренда индустрии играет не критик со стороны, а человек, построивший AlphaGo. Сильвер не спорит с тем, что LLM полезны. Он спорит с тем, что их достаточно. Его superlearner, система, которая учится на опыте и открывает знания с нуля, это ставка на то, что сверхинтеллект появится не из человеческих текстов, а из среды, которую машина исследует сама.

Ставки сделаны, сроки названы: год на первые доказательства, три года на сверхинтеллект. Проверить прогноз можно будет довольно скоро, что само по себе редкость в разговорах о будущем ИИ. Если тема зацепила, посмотрите интервью целиком: A Superlearner for the Age of Experience на канале Sequoia Capital.