Пределы ИИ: лекция 1985 года, предсказавшая споры о LLM

Пределы ИИ: лекция 1985 года, предсказавшая споры о LLM

В 1985 году журнал Artificial Intelligence решил отметить тридцатилетие области юбилейным номером. На статьи позвали всех отцов-основателей: Марвина Мински из MIT, Аллена Ньюэлла и Герберта Саймона из Карнеги-Меллон, Джона Маккарти из Стэнфорда. И, по словам самого героя этой истории, «по странному стечению обстоятельств» позвали ещё и философа Хьюберта Дрейфуса, человека, который двадцать лет к тому моменту говорил, что весь проект под названием «искусственный интеллект» построен на ошибке. Дрейфус до сих пор не был уверен, что означало это приглашение: либо область настолько уверена в успехе, что может позволить себе критика, либо настолько плохо понимает, что происходит, что готова обратиться к философии. Люди, заметил он, всегда идут к философам, когда дела идут плохо и никто не понимает почему.

Записанная в том же году лекция «Пределы ИИ» стала одним из самых честных документов эпохи. И перечитывать её в 2026 году, когда мир спорит о том, понимают ли большие языковые модели хоть что-нибудь, занятие почти жуткое: аргументы совпадают почти слово в слово.

Вырождающаяся исследовательская программа

Дрейфус оперировал понятием философа науки Имре Лакатоса. Вырождающаяся исследовательская программа, по Лакатосу, это программа, где когда-то была хорошая идея, она сработала, дала серию ранних успехов, а потом перестала двигаться вперёд. Исследователи продолжают заниматься ею из инерции, переиздают старые результаты под новыми соусами и объясняют провалы тем, что «вот-вот» всё получится.

Символический ИИ, по Дрейфусу, попал в это определение идеально. Идея 1955 года была красива: компьютер не обязан считать, он может хранить представления объектов и их свойств, а логические правила позволят выводить следствия, решать задачи, играть в игры. Первые программы действительно работали: доказывали теоремы, решали задачи из учебников, манипулировали блоками в игрушечном мире SHRDLU. А потом, примерно в 1970 году, область уперлась в стену, которую назвали проблемой здравого смысла, и с тех пор, утверждал Дрейфус, не сдвинулась ни на миллиметр.

Его любимый факт был почти комическим. В 1982 году Scientific American опубликовал обзорный текст об ИИ Дэвида Уолтца, одного из лидеров области. Каждой упомянутой в статье программе было больше десяти лет. Половина статьи пересказывала SHRDLU образца 1969 года. Для научной дисциплины, живущей в футурологической риторике, это странный симптом: свежих результатов, о которых можно рассказать широкой публике, просто не было.

Экспоненциальный регресс Мински

Дрейфус приводил и более тяжёлое свидетельство, от самого Мински. В 1960-х Мински говорил, что интеллект на машине практически решён. В 1980-м он сказал репортёру, что проблема ИИ это одна из самых трудных задач, которые наука когда-либо бралась решать, а в лекциях начал оценивать сроки в триста лет. «Это не экспоненциальный прогресс, это экспоненциальный регресс», комментировал Дрейфус.

Формально смена оценок не доказывает невозможность. Но в логике Лакатоса это классический паттерн: когда программа вырождается, её сторонники отодвигают горизонт успеха всё дальше, сохраняя риторику неизбежности. Стоит ли напоминать, как за последние годы двигались публичные прогнозы про AGI: от «двух лет» до «десятилетий» и обратно, в зависимости от того, кому и зачем отвечает спикер.

Почему эксперты не могут назвать свои правила

Самая сильная часть лекции касалась экспертных систем, тогдашнего хайпа, коммерческой надежды индустрии. Идея knowledge engineering, которую продвигал Эдвард Фейгенбаум, звучала просто: найди эксперта, вытяни из него правила, закодируй их, получи машинного эксперта.

Дрейфус напоминал, что этому проекту две с половиной тысячи лет, и он уже один раз провалился. Сократ ходил по Афинам и спрашивал у лучших людей города, по каким принципам они действуют. Ремесленники не могли ответить. Поэты не могли. Хуже всего, государственные деятели не могли объяснить собственные решения. Сократ сделал из этого мрачный вывод: никто ничего не знает. Платон спас ситуацию красивым ходом: эксперты когда-то знали правила, но забыли их, а работа философа в том, чтобы помочь вспомнить.

Фейгенбаум, по сути, повторил Платона на языке вычислений. Когда вы учились завязывать шнурки, рассуждал он, вы напряжённо думали о каждом шаге. Потом знание «скомпилировалось», ушло из сознания, но правила по-прежнему где-то хранятся и причинно управляют вашими руками. Задача инженера по знаниям: помочь эксперту декомпилировать их обратно. Проблема в том, что от Сократа до наших дней эксперты, которых просят назвать свои правила, стабильно не могут этого сделать. Сам Фейгенбаум признавал: знание эксперта «ill specified and incomplete», плохо определено и неполно. Дрейфус делал из этого другой вывод: правил там, возможно, просто нет. Есть огромный опыт конкретных ситуаций.

Пять стадий мастерства

Из этой мысли выросла знаменитая модель Дрейфусов (Хьюберт разрабатывал её вместе с братом Стюартом, профессором инженерии и шахматистом), которую до сих пор преподают в педагогике и менеджменте. Новичок учится по контекстно-свободным правилам: тормози, если скорость выше разрешённой. Компетентный человек выбирает перспективу, решает, что в ситуации важно, и именно здесь впервые появляется эмоциональная вовлечённость: ошибся с выбором важного, и тебе физически неприятно. Стюарт Дрейфус описывал это ощущение в шахматах словами «чувствуешь в животе»: если ты ошибся с оценкой того, что в позиции главное, ты проиграешь, даже если дальше считал безупречно.

Профи уже не вычисляет, что важно: он видит это сразу. Дрейфус приводил пример со съездом с автострады. Компетентный водитель прикидывает: я спешу, поворот с уклоном десять градусов, дождь, скорость сорок миль в час, надо сбросить до двадцати. Пока он считает, он уже в отбойнике. Профи просто чувствует, что едет слишком быстро. Шахматный мастер за десять секунд называет, в чём проблема позиции и куда бить. Он не перебирает варианты оценки, позиция просто выглядит для него определённым образом. Эксперт, высшая стадия, уже и действие не вычисляет: он делает то, что обычно срабатывает, и лишь в редких случаях останавливается подумать.

Если экспертиза устроена так, то попытка извлечь из эксперта правила обречена не потому, что он их забыл, а потому, что их никогда не было. Русские комментаторы шахмат по радио, рассказывал Дрейфус со слов брата, не объясняют ходы принципами вроде «контролируй центр». Они сводят позицию к известной: если он пойдёт так, противник ответит этим, и вот тут будет позиция, которую все знают как уродливую. Опыт, а не правила.

Первое машинное обучение и его потолок

Забавно, что Дрейфус знал и про машинное обучение, только называлось оно иначе. Артур Сэмюэл из IBM, не сумев вытянуть из сильных шашистов правила, построил в конце 1950-х первую самообучающуюся программу: машина играла сама с собой, меняла веса оценочных признаков, пробовала причудливые эвристики вроде «держи равное число шашек в каждом квадранте доски». Десятки тысяч партий самоигры. Результат Дрейфус описывал почти сочувственно: старые добрые правила для начинающих оказались лучшими из всех, а выше среднего клубного уровня программа не поднялась. Если в шашках нет правил, а есть только опыт типичных позиций, то никакая шлифовка весов не заменит этот опыт.

Здесь стоит сделать паузу и признать, что именно в этой точке история нанесла Дрейфусу ответный удар. Подход «не правила, а опыт» выиграл, но выиграл его не человек-эксперт и не символическая машина, а нейросети, которые получили опыт напрямую из данных. AlphaGo обыграла чемпиона не потому, что закодировала принципы го, а потому, что впитала миллионы позиций, во многом буквально реализуя дрейфусовскую модель интуиции, только в матрицах весов. Дрейфус ошибся в том, что машина не сможет приобрести подобие телесного опыта. Он оказался прав в другом: там, где опыта в данных нет, машины беспомощны ровно так, как он описывал.

Здравый смысл снова на повестке

Возьмите его пример с «наивной физикой»: ребёнок знает, что разобьётся при падении, что отскочит, что прилипнет, что разольётся. В 1985 году ни одна программа не могла оперировать таким знанием. Сорок лет спустя LLM уверенно рассуждают о разлитой воде словами, потому что прочитали миллионы текстов о разлитой воде, но всё те же модели периодически предлагают клеить шашлык клеем или утверждают, что стакан проедет сквозь дверной проём шире самого себя. Проблема здравого смысла не исчезла, она сменила форму: вместо базы правил мы получили статистическую память, которая правдоподобно имитирует понимание до тех пор, пока ситуация не выходит за пределы корпуса.

Или его шутка про распознавание речи: фразы «ice cream» и «I scream» в звуковом потоке идентичны, паузу между словами человек слышит там, где её физически нет, потому что понимает смысл. Эту конкретную задачу современные системы решили. Но решили её опять же не через правила фонетики, а через контекст и вероятность, то есть ровно через тот «опыт», который Дрейфус считал недоступным машине.

Самое тревожное предсказание

В конце лекции Дрейфус высказал опасение, которое читается сегодня как пророчество. Раз машины не могут понять непрерывную речь, рукописный текст и человеческий контекст, есть риск, что адаптироваться придётся не машинам, а нам. Он приводил пример с банковскими чеками: машине нужен особый машиночитаемый шрифт внизу, и можно представить школы, где детей наказывают за неправильное написание цифр в клеточках, или блокировку счёта за неряшливый почерк. Людям придётся говорить с компьютерами «очень чётко, по слогам», отказываясь от фонового понимания, которое делает человеческое общение человеческим.

Мы обошли эту ловушку с распознаванием речи, но наступили на те же грабли в другом месте. Промпт-инжиниринг, форматы структурированного вывода, «пишите так, чтобы модель поняла», отказ от нюанса ради того, чтобы агент не сломался: это та самая адаптация человека к машине, о которой предупреждал Дрейфус. Вопрос, кто под кого подстраивается, остался открытым.

Часто задаваемые вопросы

Кто такой Хьюберт Дрейфус?

Американский философ, профессор Беркли, специалист по Хайдеггеру и Мерло-Понти. С 1960-х главный интеллектуальный противник символического ИИ, автор книги «What Computers Can't Do» (1972). Вместе с братом Стюартом создал пятиступенчатую модель приобретения мастерства, которая до сих пор используется в педагогике и корпоративном обучении.

Что такое вырождающаяся исследовательская программа?

Термин философа науки Имре Лакатоса. Программа вырождается, когда после серии ранних успехов перестаёт давать новые результаты: исследователи переиздают старое, отодвигают сроки и объясняют неудачи внешними причинами, не меняя ядра теории. Дрейфус считал символический ИИ идеальным примером такой программы.

В чём Дрейфус ошибся?

Он считал, что машина никогда не достигнет экспертной интуиции, потому что у неё нет тела и пережитого опыта. Нейросети показали, что функциональный аналог опыта можно извлечь из огромных данных: AlphaGo и современные LLM действуют во многом как дрейфусовский эксперт, мгновенно «видя» ситуацию без правил. Ошибся он в оценке технологии, а не в диагнозе проблемы.

Актуальна ли его критика для LLM?

Частично. Проблема здравого смысла не решена, а приняла форму галлюцинаций и хрупкости за пределами обучающих данных. Критика экспертных систем пережила самих экспертных систем: современные AI-агенты снова сталкиваются с тем, что знание, которого нет в текстах, из модели не вытянешь.

Итог

Лекция Дрейфуса 1985 года это не памятник наивности, а прибор для калибровки сегодняшнего хайпа. Он показал рабочий тест: если область десятилетиями пересказывает одни и те же успехи, отодвигает прогнозы и требует, чтобы мир адаптировался под её инструменты, это признаки вырождающейся программы, а не приближающегося прорыва. Применить этот тест к сегодняшним заявлениям про AGI: упражнение, которое стоит проделать самостоятельно. Аргументы Дрейфуса дадут вам опору, а его ошибки удержат от излишней самоуверенности.

← Все записи