Настройка Llama 3.3 70B на вашем железе, agent stack в работе, продакшн-качество за 14 дней

Llama 3.3 70B, самый безопасный open-weight выбор для регулируемой компании в 2026 году. Вышел 6 декабря 2024 года, соответствует Llama 3.1 405B на большинстве текстовых бенчмарков и работает на железе, купленном в магазине.

  • Продакшн-переход за 14 дней
  • Coding + research agent stack включён
  • 70B dense Параметры
  • 128K токенов Контекстное окно
  • 14 д Продакшн-переход

Llama 3.3 70B одним взглядом

Характеристики, важные при выборе модели и железа.

Параметры

70B (dense)

Контекстное окно

128K токенов

Лицензия

Llama 3.3 Community

Релиз

6 декабря 2024

Граница знаний

Декабрь 2023

Языки

Английский, немецкий, французский, итальянский, португальский, хинди, испанский, тайский

Мин. VRAM (Q4_K_M)

48GB доступных (модель 42GB плюс KV-кэш)

Мин. VRAM (FP16)

140GB

Токенов/сек на Mac Studio M3 Ultra Q4

18-25

Токенов/сек на dual RTX 5090 AWQ

60-90 (vLLM, пакетно)

Токенов/сек на RTX Pro 6000 Blackwell 96GB

70-100

Что клиенты сказали после запуска

Отзывы от людей, которые были в комнате, когда принимались решения.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
Dana, Office ManagerPhoenix
They managed to get our VPs to agree on a direction without it turning into a fight. That alone was worth it.
Rena, Product LeadNew York

Железо, которое запускает Llama 3.3 70B в продакшне

Три уровня, реальные SKU, реальные показатели пропускной способности.

  1. Начальный уровень: Mac Studio M3 Ultra 256GB ($7 499-9 499)

    Пропускная способность: 18-25 токенов/сек. Лучше всего для: компаний 8-15 человек, one-user serving, составление документов и Q&A.

  2. Средний уровень: 2x RTX 5090 ($15-20K) или RTX Pro 6000 Blackwell 96GB ($10-14K)

    Пропускная способность: 60-100 токенов/сек. Лучше всего для: компаний 25-50 человек, vLLM continuous batching, RAG в продакшне.

  3. Корпоративный уровень: 4x H200 SXM 141GB ($150-200K) или 8x H100

    Пропускная способность: 300-500 токенов/сек. Лучше всего для: 100+ параллельных пользователей, многотенантного деплоя.

Варианты квантизации для этой модели

GGUF, AWQ, FP8, INT4.

Рекомендуемая квантизация

Q4_K_M для Mac и одиночного пользователя, AWQ INT4 для GPU serving, FP8 для Hopper и Blackwell

Компромиссы

Q4_K_M теряет 2-4 процента на MMLU-Pro против FP16. AWQ даёт качество почти как FP16 при примерно 2x пропускной способности на vLLM. FP8 нативен на H100, H200 и B200 с потерей качества около 1 процента и наименьшим потреблением памяти.

GGUF Q4_K_M

Размер файла: 42GB.

AWQ INT4

Размер файла: 40GB.

FP8

Размер файла: 70GB.

FP16

Размер файла: 140GB.

Coding-агенты, которые мы подключаем к Llama 3.3 70B

Нативный tool calling через vLLM с --tool-call-parser llama3_json и --enable-auto-tool-choice.

Aider

Хорошее соответствие. Запустите aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct. Формат diff-edit в Aider достаточно консервативен, чтобы Llama 3.3 70B корректно применял правки в большинстве рефакторингов. Ожидайте около 85% успеха применения diff против 95% для моделей класса GPT-5. Лучше всего для Python, JavaScript, TypeScript, Go.

Cline

Настройте как OpenAI Compatible provider, base URL направьте на vLLM endpoint, ID модели точно как зарегистрировано. Режимы Plan и Act оба работают. Llama 3.3 70B иногда излишне запрашивает уточнения в задачах Cline, поэтому внимательно устанавливайте пороги Auto-approve. Локальный путь сохраняет промпты вне сторонних обработчиков, что Cursor не может гарантировать.

Continue.dev

Добавьте в config.yaml с provider: openai, apiBase до vLLM /v1, capabilities: [tool_use]. Роли chat и edit работают хорошо. Tab autocomplete работает при Q4_K_M, но роль модели автодополнения в Continue лучше поручить меньшей быстрой модели. Лучшее применение, многофайловое редактирование и чат.

OpenHands

Контейнерный агент. Установите LLM_BASE_URL на vLLM endpoint и LLM_MODEL на зарегистрированный ID. Llama 3.3 70B не reasoning-модель и никогда не обучалась через RL на траекториях агента, поэтому теряется при выполнении произвольных команд bash и Python в стандартном scaffold OpenHands. Независимые прогоны SWE-bench Lite дают низкие однозначные числа, если только не сократить набор инструментов до нескольких файловых операций и не зафиксировать явные схемы, чего DeepSeek V3.2 и Qwen3-Coder не требуют. Полезен для Q&A по репозиторию и ограниченных задач, но не для неограниченных автономных циклов.

Roo Code

Форк Cline с мультирежимом (Code, Architect, Ask, Debug). Та же OpenAI-совместимая конфигурация. Парсер diff-apply в Roo Code немного более гибкий, чем в Cline, что помогает Llama 3.3 70B при многофрагментных правках. Режим Architect, наилучшая комбинация, так как переносит шаг планирования, в котором модель наиболее слаба.

Sourcegraph Cody (self-hosted)

Корпоративный self-hosted Cody поддерживает OpenAI-совместимые endpoint'ы в cody.json. Полезен, когда у клиента уже работает self-hosted Sourcegraph для поиска по коду. Llama 3.3 70B хорошо справляется с repo-aware чатом Cody. Поддержка tool calling более ограничена, чем в Cline.

Goose

Агент Block с открытым исходным кодом под Apache 2.0. Настройте провайдера как OpenAI-совместимый. MCP-нативная архитектура Goose хорошо сочетается с Llama 3.3 70B для браузера, файловой системы и shell-инструментов. Разрыв в производительности с Claude Code реален (Goose+Sonnet достигает ~45 процентов SWE-bench, Claude Code+Sonnet, ~73 процентов), поэтому используйте для ограниченных задач.

Варианты использования coding-агентов

Где эта модель + agent stack выдаёт реальный результат.

Research-агенты, которые мы разворачиваем на Llama 3.3 70B

Контекст 128K обрабатывает синтез документов объёмом 200-300 страниц без трюков с суммаризацией, а NIH multi-needle retrieval держится на 97.5, поэтому факты, глубоко зарытые в длинной записке, всё равно всплывают.

GPT Researcher

Установите OPENAI_BASE_URL на vLLM endpoint, OPENAI_API_KEY, на любое значение, FAST_LLM_MODEL и SMART_LLM_MODEL, на зарегистрированный ID. Отчёты занимают 4-7 минут для 5-10 источников при обычном параллелизме. Ключи Tavily или SerpAPI всё ещё нужны для веб-поиска.

AnythingLLM

Self-hosted Docker. Установите провайдера как Generic OpenAI, base URL, vLLM, имя модели, ID. Воркспейс-based RAG с встроенным LanceDB. Режим @agent поддерживает агентов web-search, doc-summarize и SQL. Лучший интерфейс чата для нетехнических клиентов в спринтах Pineido.

Open WebUI

Стандартный UI чата в спринтах Pineido. Добавьте OpenAI Connection, направленный на vLLM /v1. Встроенный инструмент веб-поиска, загрузка документов с нативным RAG, function calling и маршрутизация моделей для каждого пользователя. Llama 3.3 70B работает «из коробки», так как формат инструментов Llama совместим с OpenAI (в отличие от Hermes ChatML XML).

AutoGen / AG2

Паттерн GroupChat AG2 работает с Llama 3.3 70B через OpenAI-совместимую конфигурацию. Следите за токенными расходами: дебаты 4 агентов из 5 раундов, это 20+ вызовов LLM. Лучше для оффлайн-рабочих процессов, требовательных к качеству, чем для real-time. AutoGen уступает LangGraph в производственных деплоях 2026 года.

CrewAI

Ролевые команды (исследователь + писатель + критик). Установите llm в конфигурации агента через litellm openai_compatible на vLLM endpoint. Последовательный режим по умолчанию, что подходит для слабости Llama 3.3 70B в планировании. Самый быстрый путь от нуля до рабочей мультиагентной демки (2-3 дня).

LangGraph

Стандарт Pineido для производственных исследовательских рабочих процессов. Граф-ориентированная машина состояний с checkpointing, time-travel и нативной поддержкой human-in-the-loop. Оборачивает Llama 3.3 70B как chat-модель через langchain-openai с переопределением base_url. Используйте LangSmith для трассировки.

LlamaIndex

Лучший в классе retrieval. Используйте query engines LlamaIndex для индексирования, затем предоставляйте их как инструменты внутри LangGraph агента. Накладные расходы фреймворка ~6мс против ~14мс у LangGraph, важно при self-hosting. Гибридный поиск, ранжирование и отслеживание цитат, первоклассные возможности.

Варианты использования research-агентов

Где эта модель + research agent stack выдаёт отчёты, которые реально используются командой.

Фреймворки, которые мы поставляем для производственных агентных рабочих процессов

Выбирайте фреймворк по форме рабочего процесса.

LangGraph

Производственная stateful оркестрация агентов с checkpointing, replay и human-in-the-loop. Стандарт Pineido.

CrewAI

Последовательные ролевые команды (исследователь + писатель + критик). Самый быстрый путь до демо.

AutoGen / AG2

Мультиагентные GroupChat-разговоры с выполнением кода. Следите за токенными расходами.

DSPy

Программная компиляция промптов и few-shot примеров. Используйте с LangGraph для слоя оптимизации.

Pydantic AI

Type-safe агенты с валидацией структурированных выходных данных. Лучше всего для команд, следящих за качеством кода.

LlamaIndex

RAG-first агенты с глубоким индексированием документов, гибридным поиском и отслеживанием цитат.

Qwen-Agent

Разработан для Qwen, но принимает любой OpenAI-совместимый backend. Включает MCP, интерпретатор кода и RAG.

Кто выбирает Llama 3.3 70B

Три портрета клиентов, где эта модель, правильный ответ.

  1. Юридическая фирма, 22 адвоката

    Задача: составление договоров, резюмирование брифов, проверка discovery. Результат: заменяет места Harvey за $26K в год. Llama 3.3 70B на Mac Studio M3 Ultra справляется с нагрузкой при сохранении адвокатской тайны, без сторонней обработки.

  2. Медицинская клиника, 8 врачей

    Задача: диктовка заметок о приёмах, клинический Q&A в рамках HIPAA. Результат: PHI изолированы on-prem, не нужен сторонний BAA, журнал аудита соответствует HIPAA Security Rule на том же железе, что управляет EHR sidecar.

  3. Бухгалтерская фирма, 35 сотрудников

    Задача: анализ налоговых рабочих материалов, извлечение K-1, составление писем по договору. Результат: GLBA Safeguards Rule WISP поставляется вместе со сборкой, качество GPT-класса на финансовых документах, без ежемесячного счёта за SaaS на место.

Llama 3.3 70B против ближайших конкурентов

Где эта модель выигрывает, где проигрывает.

Vs Qwen3 32B

Llama 3.3 70B опережает Qwen3 32B на 5-7 пунктов по MMLU-Pro для общих English-рассуждений. Qwen3 32B выигрывает по многоязычному охвату (119 языков против 8) и имеет более сильные математику и программирование.

Vs GPT-4o

GPT-4o всё ещё лидирует по MMLU-Pro (Llama 3.3 70B на 68.9) и по чистому кодингу. Llama 3.3 70B сокращает разрыв на типовых задачах (суммаризация, составление, извлечение, классификация) и превосходит GPT-4o по следованию инструкциям, где её IFEval 92.1 опережает 84.6 у GPT-4o. Она держится наравне и по MATH, MGSM 91.6 и BFCL tool use. Разрыв, который важен, это сложные рассуждения, а не повседневная бизнес-работа.

Vs DeepSeek V3.2

DeepSeek V3.2 671B MoE выигрывает по сложным рассуждениям и коду. Llama 3.3 70B выигрывает по простоте serving (один dense 70B против 671B MoE) и по доступности железа для компании из 25 человек.

Как Pineido настраивает агентов на Llama 3.3 70B

День 4, vLLM serving с включённым tool calling.

День 4

vLLM serving Llama 3.3 70B с --enable-auto-tool-choice --tool-call-parser llama3_json --max-model-len 131072. FP8 на H100 даёт ~400 токенов/сек. NVFP4 на Blackwell уступает 5-8 процентов точности ради экономии памяти.

День 6

Editor-агенты подключены к локальному /v1 endpoint. Aider через --openai-api-base, Cline как OpenAI Compatible provider, Continue.dev через config.yaml с provider: openai. Runbook настройки на 30-50 страниц передан команде разработки.

День 8

Open WebUI и AnythingLLM в работе. Function calling и RAG по вашему корпусу документов. Воркспейсы изолируют наборы чувствительных документов по командам.

День 10

LangGraph и CrewAI установлены для производственных агентных рабочих процессов. Поставлены три примера рабочих процессов: исследовательский отчёт, проверка кода, сортировка входящих. Включена трассировка LangSmith.

День 12

Agent stack OpenHands или Roo Code в работе для автономных многошаговых задач. Режим Plan и Act продемонстрирован на трёх реальных задачах репозитория.

День 14

Пакет свидетельств с показателями пропускной способности, spot-checks точности, runbook и полным инвентарём агентов сдан.

Как мы разворачиваем Llama 3.3 70B за 14 дней

Фиксированная цена.

День 1

Бенчмарк модели на реальных клиентских промптах. Выбор AWQ против GGUF на основе железа. Подписание подтверждения Llama 3 Community License.

День 4

Квантизация и serving через vLLM (GPU) или Ollama (Mac). Подключение OpenAI-совместимого API. SSO и audit logging перед ним.

День 9

RAG по вашим документам с эмбеддингами BGE-M3 и Qdrant. RBAC, политика хранения, слой редактирования для PII или PHI.

День 14

Пен-тест пройден, пакет свидетельств сдан, продакшн-переход. Атрибуция 'Built with Llama' в документации продукта.

О чём нас спрашивают в первую очередь

Может ли компания с 50 сотрудниками использовать Llama 3.3 70B в коммерческих целях?

Да. Llama 3.3 Community License разрешает коммерческое использование до 700 миллионов ежемесячно активных пользователей. Каждый малый и средний бизнес и большинство корпораций значительно ниже этого порога. Атрибуция обязательна: включите 'Built with Llama' в документацию продукта. Генерация синтетических данных и дистилляция явно разрешены.

Какое самое дешёвое железо для запуска Llama 3.3 70B в продакшне?

Mac Studio M3 Ultra 256GB за $7 499 запускает Llama 3.3 70B на Q4_K_M со скоростью 18-25 токенов в секунду на декодировании. Это уровень продакшна для компаний с 8-15 пользователями, занятых суммаризацией, составлением документов и Q&A. Ниже этого уровня вы запускаете демо, а не стек. Примечание: M4 Ultra не существует. Apple пропустила это поколение, M3 Ultra, текущий топовый чип.

Какую модель развернуть, Llama 3.3 70B или Llama 3.1 405B?

70B для 95 процентов клиентов. 405B требует 4-8 GPU H100 или H200 и показывает улучшение менее 10 процентов на большинстве задач. Преимущество 405B проявляется только при сложнейших рассуждениях (сложная математика, многошаговые агентные задачи). Для типовой бизнес-работы 70B, правильный выбор за одну десятую стоимости железа.

Почему выбрать Llama 3.3 70B вместо Qwen3 235B?

Простота serving и доступность железа. Qwen3 235B требует 132-143GB при Q4 (территория Mac Studio M3 Ultra 256GB или несколько GPU). Llama 3.3 70B помещается на Mac Studio за $7 499 с запасом. Qwen3 235B выигрывает по сырому качеству. Llama 3.3 70B выигрывает для компании, которой нужно его развернуть, обучить на нём сотрудников и его проверить.

Работает ли Llama 3.3 70B с Aider для программирования?

Да. Формат diff-edit Aider корректно работает с Llama 3.3 70B. Подключите его командой aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct. Успех применения diff составляет около 85 процентов при типичных рефакторингах против 95 процентов для моделей класса GPT-5. Для 90 процентов рефакторинга, не требующего frontier-рассуждений, Llama 3.3 70B, правильный выбор. Pineido настраивает Aider на 6-й день спринта.

Что использовать для Llama 3.3 70B, Cline или Cursor?

Cline. Cursor, закрытый исходный код, маршрутизирует промпты через их backend даже при установке кастомной модели. Cline, открытый исходный код, работает полностью на стороне клиента и подключается напрямую к вашему vLLM endpoint. Тот же UX Plan и Act, что у Cursor, без сторонних обработчиков в промпт-цепочке. Обязательно для соответствия HIPAA и GDPR, а также для любого клиента, подписавшего строгий NDA.

70B dense Параметры

Запишитесь на 30-минутный scoping-звонок. Мы скажем, подходит ли Llama 3.3 70B плюс наш agent stack до того, как вы подпишете.

Фиксированная цена.

На 1-й день вы видите точную модель, точное железо, точный agent stack, точную математику затрат и точную комплаенс-позицию.

Вы уходите с

  1. День 0 (на этой неделе): 30-минутный scoping-звонок. Шортлист железа, выбор модели, предложение agent stack, прогноз затрат в вашем inbox до пятницы
  2. День 1: Бенчмарк модели на реальных клиентских промптах. Выбор AWQ против GGUF на основе железа. Подписание подтверждения Llama 3 Community License.

АвторОснователь и имагинатор

Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.

Опубликовано Обновлено