Каждый запрос к GPT-4 или Claude — это деньги, сетевая задержка и отправка ваших данных на сервер. Для большинства задач это нормально. Но есть сценарии, где локальная LLM выигрывает безоговорочно — и с каждым месяцем таких сценариев становится больше.

Зачем запускать модели локально

Приватность. Медицинские данные, юридические документы, корпоративная переписка — отправлять это в OpenAI или Anthropic не всегда допустимо. Локальная модель гарантирует, что данные не покидают вашу машину. Никаких условий использования, никаких политик хранения логов.

Стоимость при масштабе. API кажется дешёвым, пока вы не начнёте обрабатывать миллионы токенов в день. GPT-4o: $2.50/1M входных токенов. Один GPU RTX 3090 за $800–1000 окупается за 2–3 месяца при интенсивном использовании. Qwen 2.5 72B через llama.cpp на двух 3090 — это производительность уровня GPT-3.5 по цене электричества.

Задержка и офлайн. Сетевой запрос добавляет 200–500 мс даже при хорошем соединении. Локальный инференс на GGUF-модели с batch size 1 — ответ за 50–100 мс. Для чат-ботов и интерактивных приложений разница ощутима. А ещё локальная модель работает без интернета.

Что нужно для запуска

• 7–8B модели (Llama 3 8B, Mistral 7B) — 8 ГБ VRAM, запускаются на любой игровой видеокарте.
• 30–35B модели (Qwen 2.5 32B, Command R 35B) — 24 ГБ VRAM (RTX 3090/4090) или 32 ГБ RAM в CPU-режиме.
• 70B+ модели (Llama 3 70B, Qwen 2.5 72B) — 48+ ГБ VRAM (2×3090) или 64+ ГБ RAM.

Инструменты для локального инференса

• llama.cpp — золотой стандарт. GGUF-формат, CPU + GPU, квантизация от Q2 до Q8. Работает на всём — от Raspberry Pi до серверов.
• Ollama — Docker-подобное управление моделями. Одна команда для установки и запуска: ollama run llama3. Идеально для старта.
• LM Studio — GUI-клиент для тех, кто не любит командную строку. Автоматический подбор параметров квантизации под ваше железо.
• vLLM — серверный инференс для продакшена. OpenAI-совместимый API, continuous batching, PagedAttention.

Какие модели выбирать

• Llama 3.1 8B — лучший баланс для быстрого чата и простых задач.
• Qwen 2.5 32B — отличное качество для задач посложнее, включая код и анализ.
• Mistral Small 24B — новый баланс скорости и качества.
• DeepSeek R1 Distill — для рассуждений и сложных логических задач.

Часто задаваемые вопросы

Можно ли запустить LLM без видеокарты?

Да — через llama.cpp в CPU-режиме. Модели 7–8B работают приемлемо на 16 ГБ RAM. Для 30B+ потребуется 32–64 ГБ RAM, но скорость будет заметно ниже GPU.

Что такое GGUF и квантизация?

GGUF — формат, оптимизированный для инференса на CPU/GPU. Квантизация сжимает модель с 16 бит до 2–8 бит на параметр, уменьшая размер в 2–6 раз с минимальной потерей качества. Q4_K_M — лучший баланс для большинства задач.

Локальная модель заменит GPT-4?

Для большинства рутинных задач — да. Для сложных рассуждений и длинного контекста GPT-4/Claude по-прежнему впереди. Но разрыв сокращается с каждым месяцем.

Итог

Локальные модели — это не замена облаку, а инструмент для конкретных задач: приватность, стоимость при масштабе, работа без интернета. Начните с Ollama + Llama 3 8B — это займёт 5 минут, а вы поймёте, нужен ли вам локальный инференс.