LangGraph
Производственная stateful оркестрация агентов с checkpointing, replay и human-in-the-loop. Стандарт Pineido.
Llama 3.3 70B, самый безопасный open-weight выбор для регулируемой компании в 2026 году. Вышел 6 декабря 2024 года, соответствует Llama 3.1 405B на большинстве текстовых бенчмарков и работает на железе, купленном в магазине.
Характеристики, важные при выборе модели и железа.
70B (dense)
128K токенов
Llama 3.3 Community
6 декабря 2024
Декабрь 2023
Английский, немецкий, французский, итальянский, португальский, хинди, испанский, тайский
48GB доступных (модель 42GB плюс KV-кэш)
140GB
18-25
60-90 (vLLM, пакетно)
70-100
Отзывы от людей, которые были в комнате, когда принимались решения.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
They managed to get our VPs to agree on a direction without it turning into a fight. That alone was worth it.
Три уровня, реальные SKU, реальные показатели пропускной способности.
Пропускная способность: 18-25 токенов/сек. Лучше всего для: компаний 8-15 человек, one-user serving, составление документов и Q&A.
Пропускная способность: 60-100 токенов/сек. Лучше всего для: компаний 25-50 человек, vLLM continuous batching, RAG в продакшне.
Пропускная способность: 300-500 токенов/сек. Лучше всего для: 100+ параллельных пользователей, многотенантного деплоя.
GGUF, AWQ, FP8, INT4.
Q4_K_M для Mac и одиночного пользователя, AWQ INT4 для GPU serving, FP8 для Hopper и Blackwell
Q4_K_M теряет 2-4 процента на MMLU-Pro против FP16. AWQ даёт качество почти как FP16 при примерно 2x пропускной способности на vLLM. FP8 нативен на H100, H200 и B200 с потерей качества около 1 процента и наименьшим потреблением памяти.
Размер файла: 42GB.
Размер файла: 40GB.
Размер файла: 70GB.
Размер файла: 140GB.
Нативный tool calling через vLLM с --tool-call-parser llama3_json и --enable-auto-tool-choice.
Хорошее соответствие. Запустите aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct. Формат diff-edit в Aider достаточно консервативен, чтобы Llama 3.3 70B корректно применял правки в большинстве рефакторингов. Ожидайте около 85% успеха применения diff против 95% для моделей класса GPT-5. Лучше всего для Python, JavaScript, TypeScript, Go.
Настройте как OpenAI Compatible provider, base URL направьте на vLLM endpoint, ID модели точно как зарегистрировано. Режимы Plan и Act оба работают. Llama 3.3 70B иногда излишне запрашивает уточнения в задачах Cline, поэтому внимательно устанавливайте пороги Auto-approve. Локальный путь сохраняет промпты вне сторонних обработчиков, что Cursor не может гарантировать.
Добавьте в config.yaml с provider: openai, apiBase до vLLM /v1, capabilities: [tool_use]. Роли chat и edit работают хорошо. Tab autocomplete работает при Q4_K_M, но роль модели автодополнения в Continue лучше поручить меньшей быстрой модели. Лучшее применение, многофайловое редактирование и чат.
Контейнерный агент. Установите LLM_BASE_URL на vLLM endpoint и LLM_MODEL на зарегистрированный ID. Llama 3.3 70B не reasoning-модель и никогда не обучалась через RL на траекториях агента, поэтому теряется при выполнении произвольных команд bash и Python в стандартном scaffold OpenHands. Независимые прогоны SWE-bench Lite дают низкие однозначные числа, если только не сократить набор инструментов до нескольких файловых операций и не зафиксировать явные схемы, чего DeepSeek V3.2 и Qwen3-Coder не требуют. Полезен для Q&A по репозиторию и ограниченных задач, но не для неограниченных автономных циклов.
Форк Cline с мультирежимом (Code, Architect, Ask, Debug). Та же OpenAI-совместимая конфигурация. Парсер diff-apply в Roo Code немного более гибкий, чем в Cline, что помогает Llama 3.3 70B при многофрагментных правках. Режим Architect, наилучшая комбинация, так как переносит шаг планирования, в котором модель наиболее слаба.
Корпоративный self-hosted Cody поддерживает OpenAI-совместимые endpoint'ы в cody.json. Полезен, когда у клиента уже работает self-hosted Sourcegraph для поиска по коду. Llama 3.3 70B хорошо справляется с repo-aware чатом Cody. Поддержка tool calling более ограничена, чем в Cline.
Агент Block с открытым исходным кодом под Apache 2.0. Настройте провайдера как OpenAI-совместимый. MCP-нативная архитектура Goose хорошо сочетается с Llama 3.3 70B для браузера, файловой системы и shell-инструментов. Разрыв в производительности с Claude Code реален (Goose+Sonnet достигает ~45 процентов SWE-bench, Claude Code+Sonnet, ~73 процентов), поэтому используйте для ограниченных задач.
Где эта модель + agent stack выдаёт реальный результат.
Контекст 128K обрабатывает синтез документов объёмом 200-300 страниц без трюков с суммаризацией, а NIH multi-needle retrieval держится на 97.5, поэтому факты, глубоко зарытые в длинной записке, всё равно всплывают.
Установите OPENAI_BASE_URL на vLLM endpoint, OPENAI_API_KEY, на любое значение, FAST_LLM_MODEL и SMART_LLM_MODEL, на зарегистрированный ID. Отчёты занимают 4-7 минут для 5-10 источников при обычном параллелизме. Ключи Tavily или SerpAPI всё ещё нужны для веб-поиска.
Self-hosted Docker. Установите провайдера как Generic OpenAI, base URL, vLLM, имя модели, ID. Воркспейс-based RAG с встроенным LanceDB. Режим @agent поддерживает агентов web-search, doc-summarize и SQL. Лучший интерфейс чата для нетехнических клиентов в спринтах Pineido.
Стандартный UI чата в спринтах Pineido. Добавьте OpenAI Connection, направленный на vLLM /v1. Встроенный инструмент веб-поиска, загрузка документов с нативным RAG, function calling и маршрутизация моделей для каждого пользователя. Llama 3.3 70B работает «из коробки», так как формат инструментов Llama совместим с OpenAI (в отличие от Hermes ChatML XML).
Паттерн GroupChat AG2 работает с Llama 3.3 70B через OpenAI-совместимую конфигурацию. Следите за токенными расходами: дебаты 4 агентов из 5 раундов, это 20+ вызовов LLM. Лучше для оффлайн-рабочих процессов, требовательных к качеству, чем для real-time. AutoGen уступает LangGraph в производственных деплоях 2026 года.
Ролевые команды (исследователь + писатель + критик). Установите llm в конфигурации агента через litellm openai_compatible на vLLM endpoint. Последовательный режим по умолчанию, что подходит для слабости Llama 3.3 70B в планировании. Самый быстрый путь от нуля до рабочей мультиагентной демки (2-3 дня).
Стандарт Pineido для производственных исследовательских рабочих процессов. Граф-ориентированная машина состояний с checkpointing, time-travel и нативной поддержкой human-in-the-loop. Оборачивает Llama 3.3 70B как chat-модель через langchain-openai с переопределением base_url. Используйте LangSmith для трассировки.
Лучший в классе retrieval. Используйте query engines LlamaIndex для индексирования, затем предоставляйте их как инструменты внутри LangGraph агента. Накладные расходы фреймворка ~6мс против ~14мс у LangGraph, важно при self-hosting. Гибридный поиск, ранжирование и отслеживание цитат, первоклассные возможности.
Где эта модель + research agent stack выдаёт отчёты, которые реально используются командой.
Выбирайте фреймворк по форме рабочего процесса.
Производственная stateful оркестрация агентов с checkpointing, replay и human-in-the-loop. Стандарт Pineido.
Последовательные ролевые команды (исследователь + писатель + критик). Самый быстрый путь до демо.
Мультиагентные GroupChat-разговоры с выполнением кода. Следите за токенными расходами.
Программная компиляция промптов и few-shot примеров. Используйте с LangGraph для слоя оптимизации.
Type-safe агенты с валидацией структурированных выходных данных. Лучше всего для команд, следящих за качеством кода.
RAG-first агенты с глубоким индексированием документов, гибридным поиском и отслеживанием цитат.
Разработан для Qwen, но принимает любой OpenAI-совместимый backend. Включает MCP, интерпретатор кода и RAG.
Три портрета клиентов, где эта модель, правильный ответ.
Задача: составление договоров, резюмирование брифов, проверка discovery. Результат: заменяет места Harvey за $26K в год. Llama 3.3 70B на Mac Studio M3 Ultra справляется с нагрузкой при сохранении адвокатской тайны, без сторонней обработки.
Задача: диктовка заметок о приёмах, клинический Q&A в рамках HIPAA. Результат: PHI изолированы on-prem, не нужен сторонний BAA, журнал аудита соответствует HIPAA Security Rule на том же железе, что управляет EHR sidecar.
Задача: анализ налоговых рабочих материалов, извлечение K-1, составление писем по договору. Результат: GLBA Safeguards Rule WISP поставляется вместе со сборкой, качество GPT-класса на финансовых документах, без ежемесячного счёта за SaaS на место.
Где эта модель выигрывает, где проигрывает.
Llama 3.3 70B опережает Qwen3 32B на 5-7 пунктов по MMLU-Pro для общих English-рассуждений. Qwen3 32B выигрывает по многоязычному охвату (119 языков против 8) и имеет более сильные математику и программирование.
GPT-4o всё ещё лидирует по MMLU-Pro (Llama 3.3 70B на 68.9) и по чистому кодингу. Llama 3.3 70B сокращает разрыв на типовых задачах (суммаризация, составление, извлечение, классификация) и превосходит GPT-4o по следованию инструкциям, где её IFEval 92.1 опережает 84.6 у GPT-4o. Она держится наравне и по MATH, MGSM 91.6 и BFCL tool use. Разрыв, который важен, это сложные рассуждения, а не повседневная бизнес-работа.
DeepSeek V3.2 671B MoE выигрывает по сложным рассуждениям и коду. Llama 3.3 70B выигрывает по простоте serving (один dense 70B против 671B MoE) и по доступности железа для компании из 25 человек.
День 4, vLLM serving с включённым tool calling.
vLLM serving Llama 3.3 70B с --enable-auto-tool-choice --tool-call-parser llama3_json --max-model-len 131072. FP8 на H100 даёт ~400 токенов/сек. NVFP4 на Blackwell уступает 5-8 процентов точности ради экономии памяти.
Editor-агенты подключены к локальному /v1 endpoint. Aider через --openai-api-base, Cline как OpenAI Compatible provider, Continue.dev через config.yaml с provider: openai. Runbook настройки на 30-50 страниц передан команде разработки.
Open WebUI и AnythingLLM в работе. Function calling и RAG по вашему корпусу документов. Воркспейсы изолируют наборы чувствительных документов по командам.
LangGraph и CrewAI установлены для производственных агентных рабочих процессов. Поставлены три примера рабочих процессов: исследовательский отчёт, проверка кода, сортировка входящих. Включена трассировка LangSmith.
Agent stack OpenHands или Roo Code в работе для автономных многошаговых задач. Режим Plan и Act продемонстрирован на трёх реальных задачах репозитория.
Пакет свидетельств с показателями пропускной способности, spot-checks точности, runbook и полным инвентарём агентов сдан.
Фиксированная цена.
Бенчмарк модели на реальных клиентских промптах. Выбор AWQ против GGUF на основе железа. Подписание подтверждения Llama 3 Community License.
Квантизация и serving через vLLM (GPU) или Ollama (Mac). Подключение OpenAI-совместимого API. SSO и audit logging перед ним.
RAG по вашим документам с эмбеддингами BGE-M3 и Qdrant. RBAC, политика хранения, слой редактирования для PII или PHI.
Пен-тест пройден, пакет свидетельств сдан, продакшн-переход. Атрибуция 'Built with Llama' в документации продукта.
Да. Llama 3.3 Community License разрешает коммерческое использование до 700 миллионов ежемесячно активных пользователей. Каждый малый и средний бизнес и большинство корпораций значительно ниже этого порога. Атрибуция обязательна: включите 'Built with Llama' в документацию продукта. Генерация синтетических данных и дистилляция явно разрешены.
Mac Studio M3 Ultra 256GB за $7 499 запускает Llama 3.3 70B на Q4_K_M со скоростью 18-25 токенов в секунду на декодировании. Это уровень продакшна для компаний с 8-15 пользователями, занятых суммаризацией, составлением документов и Q&A. Ниже этого уровня вы запускаете демо, а не стек. Примечание: M4 Ultra не существует. Apple пропустила это поколение, M3 Ultra, текущий топовый чип.
70B для 95 процентов клиентов. 405B требует 4-8 GPU H100 или H200 и показывает улучшение менее 10 процентов на большинстве задач. Преимущество 405B проявляется только при сложнейших рассуждениях (сложная математика, многошаговые агентные задачи). Для типовой бизнес-работы 70B, правильный выбор за одну десятую стоимости железа.
Простота serving и доступность железа. Qwen3 235B требует 132-143GB при Q4 (территория Mac Studio M3 Ultra 256GB или несколько GPU). Llama 3.3 70B помещается на Mac Studio за $7 499 с запасом. Qwen3 235B выигрывает по сырому качеству. Llama 3.3 70B выигрывает для компании, которой нужно его развернуть, обучить на нём сотрудников и его проверить.
Да. Формат diff-edit Aider корректно работает с Llama 3.3 70B. Подключите его командой aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct. Успех применения diff составляет около 85 процентов при типичных рефакторингах против 95 процентов для моделей класса GPT-5. Для 90 процентов рефакторинга, не требующего frontier-рассуждений, Llama 3.3 70B, правильный выбор. Pineido настраивает Aider на 6-й день спринта.
Cline. Cursor, закрытый исходный код, маршрутизирует промпты через их backend даже при установке кастомной модели. Cline, открытый исходный код, работает полностью на стороне клиента и подключается напрямую к вашему vLLM endpoint. Тот же UX Plan и Act, что у Cursor, без сторонних обработчиков в промпт-цепочке. Обязательно для соответствия HIPAA и GDPR, а также для любого клиента, подписавшего строгий NDA.
70B dense Параметры
Фиксированная цена.
На 1-й день вы видите точную модель, точное железо, точный agent stack, точную математику затрат и точную комплаенс-позицию.
АвторKostadin StambolievОснователь и имагинатор
Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.
Опубликовано Обновлено