Configurar Llama 3.3 70B en tu hardware, stack de agentes activo, en producción en 14 días

Llama 3.3 70B es la opción open-weight más segura para una empresa regulada en 2026. Publicado el 6 de diciembre de 2024, iguala a Llama 3.1 405B en la mayoría de benchmarks de texto mientras funciona en hardware que puedes comprar en tienda.

  • Cutover a producción en 14 días
  • Stack de agentes de código + investigación incluido
  • 70B denso Parámetros
  • 128K tokens Ventana de contexto
  • 14 d Cutover a producción

Llama 3.3 70B de un vistazo

Especificaciones que importan al elegir el modelo y el hardware.

Parámetros

70B (denso)

Ventana de contexto

128K tokens

Licencia

Llama 3.3 Community

Publicación

6 de diciembre de 2024

Corte de conocimiento

Diciembre de 2023

Idiomas

Inglés, alemán, francés, italiano, portugués, hindi, español, tailandés

VRAM mínima (Q4_K_M)

48GB utilizables (modelo 42GB más caché KV)

VRAM mínima (FP16)

140GB

Tokens/seg en Mac Studio M3 Ultra Q4

18-25

Tokens/seg en dual RTX 5090 AWQ

60-90 (vLLM con batching)

Tokens/seg en RTX Pro 6000 Blackwell 96GB

70-100

Lo que dijeron los clientes después del lanzamiento

Comentarios de las personas que estuvieron en la sala cuando se tomaron las decisiones.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
Dana, Office ManagerPhoenix
They managed to get our VPs to agree on a direction without it turning into a fight. That alone was worth it.
Rena, Product LeadNew York

Hardware que ejecuta Llama 3.3 70B en producción

Tres niveles, SKUs reales, números de rendimiento reales.

  1. Nivel básico: Mac Studio M3 Ultra 256GB ($7.499-9.499)

    Rendimiento: 18-25 tokens/seg. Mejor para: firmas de 8-15 personas, serving de un solo usuario, redacción y consultas.

  2. Nivel medio: 2x RTX 5090 ($15-20K) o RTX Pro 6000 Blackwell 96GB ($10-14K)

    Rendimiento: 60-100 tokens/seg. Mejor para: firmas de 25-50 personas, batching continuo con vLLM, RAG en producción.

  3. Nivel enterprise: 4x H200 SXM 141GB ($150-200K) u 8x H100

    Rendimiento: 300-500 tokens/seg. Mejor para: más de 100 usuarios concurrentes, despliegue multi-tenant.

Opciones de cuantización para este modelo

GGUF, AWQ, FP8, INT4.

Cuantización recomendada

Q4_K_M para Mac y usuario único, AWQ INT4 para serving en GPU, FP8 para Hopper y Blackwell

Compensaciones

Q4_K_M pierde 2 a 4 puntos en MMLU-Pro frente a FP16. AWQ entrega calidad cercana a FP16 con aproximadamente 2x más rendimiento en vLLM. FP8 es nativo en H100, H200 y B200 con alrededor de 1 por ciento de pérdida de calidad y la huella de memoria más limpia.

GGUF Q4_K_M

Tamaño del archivo: 42GB.

AWQ INT4

Tamaño del archivo: 40GB.

FP8

Tamaño del archivo: 70GB.

FP16

Tamaño del archivo: 140GB.

Agentes de código que conectamos a Llama 3.3 70B

Tool calling nativo mediante vLLM con --tool-call-parser llama3_json y --enable-auto-tool-choice.

Aider

Buena opción. Ejecuta aider --openai-api-base http://tu-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct. El formato diff-edit de Aider es lo suficientemente conservador como para que Llama 3.3 70B aplique ediciones limpiamente en la mayoría de refactorizaciones. Espera aproximadamente 85% de éxito en aplicación de diffs frente al 95% de los modelos clase GPT-5. Mejor en Python, JavaScript, TypeScript, Go.

Cline

Configura como proveedor compatible con OpenAI, URL base apuntando al endpoint de vLLM, ID de modelo exactamente como está registrado. Los modos Plan y Act funcionan. Llama 3.3 70B a veces pide demasiadas aclaraciones en tareas de Cline, así que configura los umbrales de aprobación automática con cuidado. La ruta exclusivamente local mantiene los prompts fuera de terceros, algo que Cursor no puede garantizar.

Continue.dev

Añade a config.yaml con provider: openai, apiBase al /v1 de vLLM, capabilities: [tool_use]. Los roles chat y edit funcionan bien. El autocompletado por tabulación es usable en Q4_K_M pero el rol de modelo de autocompletado de Continue se beneficia de emparejarlo con un modelo más pequeño y rápido. El mejor uso es la edición de múltiples archivos y el chat.

OpenHands

Agente basado en contenedores. Establece LLM_BASE_URL al endpoint de vLLM y LLM_MODEL al ID registrado. Llama 3.3 70B no es un modelo de razonamiento y nunca fue entrenado con RL sobre trayectorias de agente, así que se pierde ejecutando bash y Python arbitrarios en el scaffold por defecto de OpenHands. Las pruebas independientes en SWE-bench Lite quedan en dígitos individuales bajos salvo que recortes el conjunto de herramientas a un puñado de operaciones de archivo y fijes esquemas explícitos, algo que DeepSeek V3.2 y Qwen3-Coder no necesitan. Útil para consultas sobre repositorios y tareas acotadas, no para bucles autónomos sin restricciones.

Roo Code

Fork de Cline con múltiples modos (Code, Architect, Ask, Debug). Misma configuración compatible con OpenAI. El analizador de aplicación de diffs de Roo Code es ligeramente más tolerante que el de Cline, lo que ayuda a Llama 3.3 70B en ediciones multi-hunk. El modo Architect es la combinación más fuerte porque externaliza el paso de planificación en el que el modelo es más débil.

Sourcegraph Cody (auto-hospedado)

El Cody empresarial auto-hospedado soporta endpoints compatibles con OpenAI en cody.json. Útil cuando el comprador ya ejecuta Sourcegraph auto-hospedado para búsqueda de código. Llama 3.3 70B maneja bien el chat con contexto de repositorio de Cody. El soporte de tool calling es más limitado que en Cline.

Goose

Agente open-source Apache 2.0 de Block. Configura el proveedor como compatible con OpenAI. La arquitectura nativa MCP de Goose se combina bien con Llama 3.3 70B para herramientas de navegador, sistema de archivos y shell. La diferencia de rendimiento frente a Claude Code es real (Goose+Sonnet alcanza ~45% en SWE-bench, Claude Code+Sonnet alcanza ~73%), así que úsalo para tareas acotadas.

Casos de uso de agentes de código

Donde este modelo más el stack de agentes entrega trabajo real.

Agentes de investigación que desplegamos en Llama 3.3 70B

El contexto de 128K maneja síntesis de 200 a 300 páginas sin trucos de resumen, y la recuperación multi-aguja NIH se sitúa en 97.5, así que los datos enterrados en lo profundo de un escrito largo siguen aflorando.

GPT Researcher

Establece OPENAI_BASE_URL al endpoint de vLLM, OPENAI_API_KEY a cualquier valor, FAST_LLM_MODEL y SMART_LLM_MODEL al ID registrado. Los informes tardan 4 a 7 minutos para 5 a 10 fuentes con concurrencia típica. Se siguen necesitando claves de Tavily o SerpAPI para búsqueda web.

AnythingLLM

Docker auto-hospedado. Establece el proveedor a Generic OpenAI, la URL base a vLLM, el nombre del modelo al ID. RAG basado en espacios de trabajo con LanceDB integrado. El modo @agent soporta agentes de búsqueda web, resumen de documentos y SQL. Mejor UX de chat para compradores no técnicos en sprints Pineido.

Open WebUI

UI de chat predeterminada en sprints Pineido. Añade una conexión OpenAI apuntando al /v1 de vLLM. Herramienta de búsqueda web integrada, carga de documentos con RAG nativo, tool calling y enrutamiento de modelos por usuario. Llama 3.3 70B funciona de serie porque el formato de herramientas de Llama es compatible con OpenAI (a diferencia del XML ChatML de Hermes).

AutoGen / AG2

El patrón GroupChat de AG2 funciona con Llama 3.3 70B mediante configuración compatible con OpenAI. Atención al coste de tokens: un debate de 4 agentes con 5 rondas supone más de 20 llamadas al LLM. Mejor para flujos de trabajo offline sensibles a la calidad que para tiempo real. AutoGen ha perdido relevancia frente a LangGraph en despliegues de producción en 2026.

CrewAI

Equipos basados en roles (investigador + redactor + crítico). Establece llm en la configuración del agente para usar el endpoint de vLLM mediante litellm openai_compatible. Secuencial por defecto, lo que se adapta a la debilidad de planificación de Llama 3.3 70B. Camino más rápido de cero a demo multi-agente funcional (2 a 3 días).

LangGraph

Predeterminado de Pineido para flujos de investigación en producción. Máquina de estados basada en grafos con puntos de control, viaje en el tiempo y human-in-the-loop nativo. Envuelve Llama 3.3 70B como modelo de chat mediante langchain-openai con anulación de base_url. Combina con LangSmith para trazabilidad.

LlamaIndex

Recuperación de primer nivel. Usa los motores de consulta de LlamaIndex para ingesta e indexación, luego expónlos como herramientas dentro de un agente LangGraph. La sobrecarga de ~6ms del framework frente a los ~14ms de LangGraph importa al auto-hospedar. Búsqueda híbrida, re-ranking y seguimiento de citas son funciones de primera clase.

Casos de uso de agentes de investigación

Donde este modelo más el stack de agentes de investigación entrega informes que tu equipo realmente usa.

Frameworks que instalamos para flujos de trabajo de agentes en producción

Elige el framework según la forma del flujo de trabajo.

LangGraph

Orquestación agentiva con estado en producción con puntos de control, reproducción y human-in-the-loop. Predeterminado de Pineido.

CrewAI

Equipos secuenciales basados en roles (investigador + redactor + crítico). El más rápido para demo.

AutoGen / AG2

Conversaciones GroupChat multi-agente con ejecución de código. Atención al coste de tokens.

DSPy

Compila prompts y ejemplos few-shot de forma programática. Se combina con LangGraph para la capa de optimización.

Pydantic AI

Agentes tipados con validación de salida estructurada. Mejor para equipos que priorizan la calidad del código.

LlamaIndex

Agentes RAG-first con indexación profunda de documentos, búsqueda híbrida y seguimiento de citas.

Qwen-Agent

Construido para Qwen pero acepta cualquier backend compatible con OpenAI. Incluye MCP, intérprete de código y RAG.

Quién elige Llama 3.3 70B

Tres perfiles de comprador donde este modelo es la respuesta correcta.

  1. Despacho de abogados, 22 letrados

    Tarea: Redacción de contratos, resumen de escritos, revisión de discovery. Resultado: Reemplaza asientos Harvey a $26K por año. Llama 3.3 70B en Mac Studio M3 Ultra maneja la carga con el privilegio abogado-cliente intacto, sin procesamiento de terceros.

  2. Clínica sanitaria, 8 médicos

    Tarea: Dictado de notas de visita, consultas clínicas bajo HIPAA. Resultado: PHI en cuarentena on-prem, sin necesidad de BAA con terceros, el log de auditoría cumple la Regla de Seguridad HIPAA en el mismo hardware que gestiona el sidecar del EHR.

  3. Firma CPA, 35 empleados

    Tarea: Análisis de papeles de trabajo fiscales, extracción de K-1, redacción de cartas de encargo. Resultado: GLBA Safeguards Rule WISP entregado con la build, calidad GPT en documentos financieros, sin factura SaaS por asiento.

Llama 3.3 70B frente a sus rivales más cercanos

Dónde gana este modelo, dónde pierde.

vs Qwen3 32B

Llama 3.3 70B supera a Qwen3 32B entre 5 y 7 puntos en MMLU-Pro para razonamiento general en inglés. Qwen3 32B gana en amplitud multilingüe (119 idiomas frente a 8) y tiene mejor matemáticas y codificación.

vs GPT-4o

GPT-4o sigue liderando en MMLU-Pro (Llama 3.3 70B se sitúa en 68.9) y en codificación pura. Llama 3.3 70B cierra la brecha en tareas estándar (resumir, redactar, extraer, clasificar) y supera a GPT-4o en seguimiento de instrucciones, donde su IFEval 92.1 supera el 84.6 de GPT-4o. También se defiende en MATH, MGSM 91.6 y BFCL tool use. La brecha que importa es el razonamiento difícil, no el trabajo de negocio cotidiano.

vs DeepSeek V3.2

DeepSeek V3.2 671B MoE gana en razonamiento difícil y código. Llama 3.3 70B gana en simplicidad de serving (un solo 70B denso frente a 671B MoE) y en hardware accesible para una firma de 25 personas.

Cómo Pineido configura agentes en Llama 3.3 70B

El día 4 vLLM sirve el modelo con tool calling habilitado.

Día 4

vLLM sirve Llama 3.3 70B con --enable-auto-tool-choice --tool-call-parser llama3_json --max-model-len 131072. FP8 en H100 alcanza ~400 tokens/seg. NVFP4 en Blackwell sacrifica entre 5 y 8 por ciento de precisión a cambio de ahorro de memoria.

Día 6

Agentes de editor conectados al endpoint local /v1. Aider mediante --openai-api-base, Cline como proveedor compatible con OpenAI, Continue.dev mediante config.yaml con provider: openai. Runbook de configuración de 30 a 50 páginas entregado al equipo de desarrollo.

Día 8

Open WebUI más AnythingLLM activos. Tool calling y RAG sobre tu corpus documental. Los espacios de trabajo aíslan conjuntos de documentos sensibles por equipo.

Día 10

LangGraph y CrewAI instalados para flujos de trabajo de agentes en producción. Tres flujos de trabajo de ejemplo entregados: informe de investigación, revisión de código, triaje de intake. Trazabilidad con LangSmith habilitada.

Día 12

Stack de agentes OpenHands o Roo Code activo para tareas autónomas de múltiples pasos. Plan and Act demostrado contra tres tareas reales de repositorio.

Día 14

Paquete de evidencia con números de rendimiento, verificaciones puntuales de precisión, runbook e inventario completo de agentes entregado.

Cómo desplegamos Llama 3.3 70B en 14 días

Precio fijo.

  1. Día 1

    Benchmark del modelo sobre prompts reales de clientes. Elegir AWQ frente a GGUF según el hardware. Firmar el acuse de recibo de la Llama 3 Community License.

  2. Día 4

    Cuantizar y servir mediante vLLM (GPU) u Ollama (Mac). Conectar la API compatible con OpenAI. SSO y logging de auditoría en frente.

  3. Día 9

    RAG sobre tus documentos con embeddings BGE-M3 y Qdrant. RBAC, política de retención, capa de redacción para PII o PHI.

  4. Día 14

    Pentest superado, paquete de evidencia entregado, cutover a producción. Atribución 'Built with Llama' en la documentación del producto.

Lo primero que nos preguntan

¿Puede una empresa de 50 empleados usar Llama 3.3 70B comercialmente?

Sí. La Llama 3.3 Community License permite el uso comercial hasta 700 millones de usuarios activos mensuales. Todas las pymes y la mayoría de las empresas están muy por debajo de ese límite. La atribución es obligatoria: incluye 'Built with Llama' en la documentación del producto. La generación de datos sintéticos y la destilación están explícitamente permitidas.

¿Cuál es el hardware más barato que ejecuta Llama 3.3 70B en producción?

Mac Studio M3 Ultra 256GB a $7.499 ejecuta Llama 3.3 70B en Q4_K_M con 18 a 25 tokens por segundo de decodificación. Es producción válida para firmas de 8 a 15 usuarios que hacen resumen, redacción y consultas. Por debajo de ese nivel estás ejecutando una demo, no un stack. Nota: el M4 Ultra no existe. Apple saltó esa generación, el M3 Ultra es el chip superior actual.

¿Debemos desplegar Llama 3.3 70B o Llama 3.1 405B?

70B para el 95 por ciento de los compradores. 405B requiere entre 4 y 8 GPUs H100 o H200 y muestra menos del 10 por ciento de mejora en la mayoría de tareas. La ventaja del 405B aparece solo en el razonamiento más difícil (matemáticas complejas, agentivo de múltiples pasos). Para trabajo de negocio estándar, 70B es la elección correcta a una décima parte de la factura de hardware.

¿Por qué elegir Llama 3.3 70B sobre Qwen3 235B?

Simplicidad de serving y alcance de hardware. Qwen3 235B necesita entre 132 y 143GB en Q4 (territorio del Mac Studio M3 Ultra 256GB o multi-GPU). Llama 3.3 70B cabe en un Mac Studio de $7.499 con margen. Qwen3 235B gana en calidad bruta. Llama 3.3 70B gana para la empresa que tiene que desplegarlo, formar a su personal en él y auditarlo.

¿Funciona Llama 3.3 70B con Aider para codificación?

Sí. El formato diff-edit de Aider funciona limpiamente con Llama 3.3 70B. Conéctalo con aider --openai-api-base http://tu-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instruct. El éxito de aplicación de diffs ronda el 85 por ciento en refactorizaciones típicas frente al 95 por ciento de los modelos clase GPT-5. Para el 90 por ciento del trabajo de refactorización que no requiere razonamiento de frontera, Llama 3.3 70B es la elección correcta. Pineido configura Aider en el día 6 del sprint.

¿Debemos usar Cline o Cursor para Llama 3.3 70B?

Cline. Cursor es de código cerrado y enruta los prompts por su backend incluso cuando estableces un modelo personalizado. Cline es open-source, se ejecuta completamente en el lado del cliente y se conecta directamente a tu endpoint de vLLM. La misma UX de Plan y Act que Cursor sin procesador de terceros en la ruta del prompt. Obligatorio para cumplimiento de HIPAA y GDPR, y para cualquier comprador que haya firmado un NDA estricto con clientes.

70B denso Parámetros

Reserva la llamada de scoping de 30 minutos. Te decimos si Llama 3.3 70B más nuestro stack de agentes es la elección correcta antes de que firmes.

Precio fijo.

El día 1 ves el modelo exacto, el hardware exacto, el stack de agentes exacto, los cálculos de coste exactos y la postura de cumplimiento exacta.

Te llevas

  1. Día 0 (esta semana): Llamada de scoping de 30 minutos. Lista corta de hardware, elección de modelo, propuesta de stack de agentes, proyección de costes en tu bandeja antes del viernes
  2. Día 1: Benchmark del modelo sobre prompts reales de clientes. Elegir AWQ frente a GGUF según el hardware. Firmar el acuse de recibo de la Llama 3 Community License.

PorFundador e Imaginator

Pineido, con sede en Strumica, North Macedonia, es una empresa de software que crea sitios web, tiendas online, apps web y móviles, automatización de procesos e IA para empresas de aquí y del extranjero. El trabajo se entrega en sprints de 30 días a precio fijo, y el código es del cliente.

Publicado Actualizado