В 2026 году большинство AI-инструментов, которые мы используем, работают по одному и тому же принципу: они генерируют токены — слово за словом, пиксель за пикселем. Но что, если этот путь сам по себе ограничивает интеллект? Новая статья из лаборатории Meta FAIR, возглавляемой Янном Лекуном, предлагает иной взгляд: модель, которая не пишет ответ, а сначала понимает происходящее, а уж потом — по запросу — переводит понимание в текст.

Это V-JEPA, vision-language model на архитектуре Joint Embedding Predictive Architecture. В отличие от привычных LLM и VLM, она не предсказывает следующий токен. Она предсказывает смысловой вектор — latent-пространство, в котором видео, изображения и запросы существуют как единый язык. И это меняет картину не только для чат-ботов, но и для роботов, носимых устройств и AI-агентов, которые должны действовать в реальном мире.

Что такое V-JEPA и почему это не LLM

V-JEPA — это визуально-языковая модель, построенная на архитектуре JEPA, которую Meta FAIR развивает уже несколько лет. Аббревиатура JEPA расшифровывается как Joint Embedding Predictive Architecture: совместная предсказательная архитектура на общих эмбеддингах. В случае V-JEPA эта идея расширена с чисто видео- и физического понимания на связку «видео + текст».

Генеративные модели — GPT-4, Claude, Gemini, большинство VLM — работают последовательно. Они видят вход, затем генерируют первый токен, затем второй, затем третий, и так до конца. Это означает, что модель вынуждена «думать вслух»: она не может выдать итоговый ответ, не породив промежуточные слова. Более того, она обучена предсказывать именно токены, то есть форму, а не содержание.

V-JEPA делает обратное. Она смотрит на видео, строит внутреннее представление происходящего — meaning vector — и держит это представление в семантическом пространстве. Если пользователь задаёт текстовый вопрос, модель сопоставляет смысл запроса с накопленным пониманием видео и выдаёт ответ. Но сам процесс понимания не проходит через генерацию текста. Язык становится опциональным: модель может действовать и без него.

Как объясняет сам Лекун, язык — не источник интеллекта, а один из форматов вывода. Четырехлетний ребёнок усвоил столько же визуальной информации, сколько самый большой LLM — текстовой. Но реальный мир сложнее, чем текст: он непрерывен, шумный, многомерен и не сводится к последовательности токенов. Именно поэтому LLM умеют решать уравнения, но не могут убраться в квартире или водить машину так, как это даётся подростку после двадцати часов практики.

Как работает архитектура: не слова, а векторы смысла

В основе V-JEPA лежит три компонента: визуальный энкодер, текстовый энкодер и предсказатель. Видеопоток поступает в визуальный энкодер, который превращает кадры в латентные представления. Текстовый запрос кодируется отдельным энкодером. Предсказатель связывает эти потоки и учится предсказывать будущие латентные состояния видео на основе прошлых.

Главное отличие от генеративного подхода — в том, что модель не восстанавливает пиксели и не генерирует слова. Она предсказывает смысловые векторы. Это похоже на то, как человек смотрит на сцену: он не пересказывает каждый кадр, а держит в голове стабильную модель происходящего. Бутылка в кадре может временно загораживать объект, но человек понимает, что за ней — канистра, потому что следит за контекстом, а не за отдельными пикселями.

В V-JEPA это проявляется в виде «облака смыслов». Каждая точка — это мгновенная догадка или стабилизированное понимание. Красные точки — предварительные гипотезы, синие — устоявшиеся интерпретации. Модель не реагирует на каждый кадр отдельно, а накапливает доказательства и только потом выдаёт уверенную метку. Это даёт временную когерентность: она понимает, когда действие началось, продолжается и закончилось.

Поэтому дешёвая VLM, которая описывает каждый кадр текстом, похожа на камеру наблюдения, которая кричит догадки. V-JEPA похожа на человека, который смотрит и понимает: «Он берёт канистру». Разница в том, что первая модель работает в пространстве токенов, вторая — в пространстве смысла.

Почему это важно для роботов и AI-агентов

Самое большое практическое преимущество V-JEPA — в применимости к физическому миру. LLM и генеративные VLM хороши там, где вход и выход — текст или изображение. Но робот, носимое устройство или автономный агент живут в потоке непрерывных сенсорных данных. Им нужно не описать кадр, а понять ситуацию и действовать.

Для этого нужны три вещи, которые плохо даются токенным моделям. Во-первых, временное понимание: действие растянуто во времени, и его нельзя свести к одной подписи. Во-вторых, стабильная внутренняя модель мира: модель должна помнить, что происходило, и предсказывать, что будет дальше. В-третьих, возможность действовать без языка: многие задачи — от навигации до манипуляции — не требуют словесного рассуждения, они требуют смыслового.

V-JEPA напрямую заточена под эти потребности. Она учится предсказывать будущие латентные состояния, то есть по сути строит упрощённую физическую модель мира. Это не означает, что она понимает физику так, как это делает движок симуляции. Но она извлекает абстракцию подходящего уровня: не атомы, не пиксели, а объекты, их движение и взаимодействие. Как заметила исследовательница Meta Соня Джозеф, мы не моделируем дорожное движение через квантовую теорию поля — мы используем уровень абстракции, подходящий для задачи. JEPA делает то же самое для интеллекта.

Это особенно важно для домашних роботов, автономных автомобилей и промышленных агентов. Сегодня даже лучшие системы в этих областях часто «жульничают»: они работают только в заранее картированных пространствах, требуют огромных датасетов или полагаются на правила, а не на понимание. Модель, которая учится миру из видео в семантическом пространстве, может стать шагом к более гибкому и масштабируемому поведению.

Эффективность: меньше параметров, лучше результаты

Ещё один неожиданный вывод из работы — эффективность. V-JEPA использует примерно вдвое меньше параметров, чем традиционные визуально-языковые модели, но при этом показывает сопоставимые или лучшие результаты на ряде бенчмарков. В частности, речь идёт о задачах zero-shot video captioning и zero-shot video classification.

На графиках обучения видно, что V-JEPA быстрее достигает высокого качества при том же объёме данных. Предсказание смысла учится эффективнее, чем предсказание слов. Это логично: чтобы сгенерировать текст, модель должна освоить грамматику, лексику, стилистику и многое другое, тогда как для понимания видео достаточно извлечь инвариантные структуры. Язык — это тяжёлый декодер, который не всегда нужен для самого понимания.

По данным статьи, предсказатель в V-JEPA может занимать около 0,5 миллиарда параметров, в то время как сопоставимые VLM требуют гораздо более тяжёлых декодеров. Это меняет соотношение стоимости и качества: для задач, где нужно не красиво описать видео, а извлечь из него структуру, non-generative подход может оказаться практичнее.

Конечно, сравнение не универсально. Генеративные модели по-прежнему лучше подходят для задач, где выход — это текст, изображение или код. Но для задач, где выход — действие в физическом мире, JEPA-подход выглядит более естественным.

Критика и ограничения: пока это только направление

Несмотря на интригующую идею, важно не преувеличивать текущие результаты. Как отмечают комментаторы, если остановить демонстрационное видео и прочитать подписи, они не всегда корректны. Модель делает ошибки, иногда придумывает действия — например, «человек ест пиццу» там, где её нет. Это напоминает ранние дни любой новой архитектуры: концепция сильна, но реализация требует времени.

Более фундаментальный вопрос — в том, может ли такой подход масштабироваться до уровня общего интеллекта. Лекун убеждён, что дает: по его мнению, именно предсказание в латентном пространстве, а не генерация токенов, лежит в основе человеческого обучения. Другие исследователи скептичны и указывают, что JEPA ещё не показала прорывных результатов на языковых задачах. Но спор здесь не в том, какая архитектура лучше сегодня, а в том, какой путь ведёт к AGI.

Ещё одно ограничение — в обучающих данных. LLM обучаются на огромных корпусах текстов из интернета. Для V-JEPA нужны масштабные видеоданные, демонстрирующие физическую динамику. Сбор и очистка таких данных сложнее, чем скрейпинг текста. Без видеоданств, которые охватывают разнообразие физических сценариев, модель будет обобщаться плохо.

Наконец, стоит отметить, что сам Лекун покинул Meta или объявил о намерении создать собственный AI-стартап. Это не умаляет значения работы, но добавляет политический контекст: V-JEPA может стать как флагманским направлением Meta, так и идеологической основой для его новой компании.

Что это значит для индустрии и для нас

Если V-JEPA или родственные ей архитектуры взлетят, мы можем увидеть разделение AI-систем на два лагеря. Первый — генеративные модели, которые пишут, рисуют, кодируют и разговаривают. Второй — non-generative модели, которые понимают мир и действуют в нём. Эти системы не исключают, а дополняют друг друга: языковая модель может задавать цель, а JEPA-модель — контролировать исполнение.

Это важно для разработчиков, исследователей и бизнеса. Для разработчиков — это новый класс инструментов для робототехники, компьютерного зрения и взаимодействия с физической средой. Для исследователей — это альтернатива доминированию трансформеров и токенной генерации. Для бизнеса — это потенциальная возможность строить дешевле и быстрее системы, которым не нужен тяжёлый языковой декодер для каждого действия.

Для обычных пользователей пока это не меняет повседневной жизни. Но через несколько лет non-generative подход может лечь в основу домашних роботов, которые понимают, что вы делаете, не спрашивая каждый раз «что вы имеете в виду?»; автономных систем, которые предсказывают дорожную ситуацию, а не реагируют на неё; и носимых устройств, которые интерпретируют мир вокруг вас без постоянной передачи данных в облако.

Часто задаваемые вопросы

V-JEPA заменит LLM?

Нет, скорее дополнит. Генеративные языковые модели остаются лучшим инструментом для работы с текстом. V-JEPA заточена на понимание видео и физического мира, а не на генерацию речи. В перспективе обе архитектуры могут работать вместе: LLM формулирует задачу, JEPA — исполняет её в реальном мире.

Чем JEPA отличается от обычной vision-language model?

Обычная VLM генерирует текст на основе изображения или видео. V-JEPA строит смысловое внутреннее представление видео и может сопоставлять его с текстовым запросом, но не обязана генерировать слова. Благодаря этому она эффективнее и лучше удерживает временной контекст.

Почему Янн Лекун критикует LLM?

Лекун не отрицает полезность LLM, но считает, что язык — это не интеллект, а инструмент коммуникации. Настоящий интеллект, по его мнению, требует модели мира, причинно-следственных связей и физического понимания. JEPA — попытка построить такую модель, не полагаясь на токенную генерацию.

Итог

V-JEPA — это не просто новая модель от Meta, а попытка изменить фундаментальный вектор развития AI. Вместо того чтобы учить модели говорить, исследователи учат их понимать. Это подход с меньшим числом параметров, но с большей связью с физической реальностью. Он особенно интересен для робототехники, автономных систем и AI-агентов, которым предстоит действовать в мире, а не только в чате.

Сегодня V-JEPA ещё далека от совершенства: ошибки в демонстрациях, ограниченные масштабы и нерешённые вопросы обучения. Но она задаёт важный вопрос: а что, если будущее интеллекта — не в том, чтобы говорить быстрее и красивее, а в том, чтобы видеть, предсказывать и действовать? Если ответ окажется положительным, мы можем witnessing the emergence of a genuinely new kind of AI.