Nivel básico: 8x A100 80 GB con cuantización AWQ o GPTQ INT4, NVLink
Rendimiento: 8 a 15 tok/s flujo único, 30 a 50 tok/s en batch. Mejor para: Laboratorios de investigación, trabajo de evaluación, I+D interno donde la latencia es aceptable.
Llama 3.1 405B es el mayor modelo denso de código abierto que alguien ha publicado. Alcanza el territorio de GPT-4 en MMLU, HumanEval y GSM8K, con una ventana de contexto de 128K y una Licencia Comunitaria permisiva.
Las especificaciones que importan al elegir el modelo y el hardware.
405B (denso)
128K tokens
Decoder Transformer con GQA
128K (basado en tiktoken)
15.6 billones
Llama 3.1 Community License (uso comercial permitido, advertencia de MAU por encima de 700M)
~810 GB (solo modelo)
~486 GB (cabe en 8x H100 80 GB)
~243 GB (cabe en 4x H100 o 8x A100 40 GB)
2024-07-23
Tres niveles, SKUs reales, números de rendimiento reales.
Rendimiento: 8 a 15 tok/s flujo único, 30 a 50 tok/s en batch. Mejor para: Laboratorios de investigación, trabajo de evaluación, I+D interno donde la latencia es aceptable.
Rendimiento: 30 a 60 tok/s flujo único, 200+ tok/s en batch. Mejor para: Inferencia en producción con FP8, el despliegue recomendado estándar para servir usuarios reales.
Rendimiento: 60 a 120 tok/s flujo único, 400+ tok/s en batch. Mejor para: Inferencia de mayor fidelidad, cargas de trabajo reguladas, servicio multi-tenant a escala.
GGUF, AWQ, FP8, INT4.
FP8 en H100 o H200. El soporte nativo de FP8 da aproximadamente 2x de reducción de memoria con pérdida mínima de calidad y es el formato de producción estándar para 405B.
BF16 preserva la calidad completa pero necesita H200 para caber en un solo nodo. FP8 es el valor por defecto de producción con una caída de benchmark insignificante. La propia receta FP8 de Meta deja sin cuantizar las capas de self-attention y los bloques transformer primero y último, y tanto ella como la receta row-wise de TensorRT de NVIDIA recuperan alrededor del 99.9 por ciento del MMLU en BF16. La variante de NVIDIA añade hasta 1.44x de throughput en H200. INT4 (AWQ o GPTQ) reduce la VRAM a ~243GB pero pierde de 2 a 5 puntos en razonamiento difícil. Por debajo de INT4 el modelo se degrada rápido.
Tamaño de archivo: no especificado.
Tamaño de archivo: no especificado.
Tamaño de archivo: no especificado.
Tamaño de archivo: no especificado.
Llama 3.1 405B es un problema de hardware antes de ser un problema de modelo.
Funciona con formato diff edit y whole edit. Puntuación Aider Polyglot alrededor del 49 a 52% para 405B en ejecuciones de la comunidad. La latencia lo hace doloroso para programación en vivo por pares. Mejor desplegado como trabajos batch nocturnos contra una cola de stubs de pull requests.
El endpoint vLLM compatible con OpenAI se conecta. SWE-bench Lite alrededor del 25 al 30% en código abierto 405B, por detrás de DeepSeek Coder V2 y Qwen Coder. El costo de tokens por issue resuelto es el problema. Usar solo si ya estás pagando por los GPUs.
Funcional via OpenRouter o endpoint AWS Bedrock. Cline emite 30 o más llamadas de herramientas por tarea en promedio. A la latencia del 405B, eso es una espera de 4 a 7 minutos por tarea. Práctico solo cuando se ejecuta como proceso de fondo mientras se hace otro trabajo.
Funciona para chat y edición. Evitar usar 405B como modelo de autocompletado, la latencia de primer token de 200 a 800 milisegundos interrumpe el flujo. El patrón estándar es Llama 3.1 8B para autocompletado y 405B para chat.
Cursor acepta endpoints personalizados compatibles con OpenAI. El 405B via Bedrock o Together funciona. La mayoría de equipos encuentra que Composer de primera parte de Cursor y Sonnet 4.5 ganan en velocidad de iteración al mismo costo por tarea.
Creado por Princeton. Diseñado para corrección autónoma de bugs al estilo SWE-bench. El 405B funciona en el bucle, las puntuaciones quedan detrás de DeepSeek Coder V2 por 8 a 12 puntos en Verified. Usa el 405B aquí solo si necesitas el razonamiento más amplio para subtareas que no son código.
Fork de Cline con orquestación multi-modo. El 405B maneja bien el razonamiento del modo Architect, menos ideal para la velocidad de iteración del modo Code. Combina Architect=405B con Code=Llama 3.3 70B o DeepSeek Coder V2.
Donde este modelo + stack de agentes genera trabajo real.
Donde el 405B vale su costo.
Compatible con OpenAI. Funciona contra el endpoint vLLM 405B. La calidad de síntesis multi-fuente es genuinamente sólida, a la par con GPT-4. Planifica $0.50 a $2.00 por informe de investigación en contextos típicos de 50K tokens.
Generación de artículos estilo Wikipedia desde fuentes. El 405B maneja bien la fase de generación de preguntas multi-perspectiva. El enfoque impulsado por esquemas aprovecha la profundidad de razonamiento del 405B.
Equipos de investigación multi-agente donde el 405B es el líder de síntesis y el 70B es el trabajador. Los límites de tokens son obligatorios o la conversación se desborda.
La plantilla de investigación profunda de referencia corre limpiamente en el 405B via vLLM. La estructura de grafo se combina bien con la decodificación más lenta del 405B, no sientes la latencia entre nodos.
Patrón de equipo Investigador-Escritor-Crítico. El 405B como Crítico captura errores de razonamiento que los modelos más pequeños pierden. El proxy LiteLLM maneja el endpoint de vLLM.
Clon basado en smolagents de OpenAI Deep Research. El 405B funciona como planificador. Lo hemos ejecutado para informes de inteligencia de mercado de clientes contra 50 a 200 URLs de fuentes.
Donde este modelo + stack de agentes de investigación entrega informes que tu equipo realmente usa.
Comentarios de las personas que estuvieron en la sala cuando se tomaron las decisiones.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Elige el framework según la forma del flujo de trabajo.
Tres perfiles de comprador donde este modelo es la respuesta correcta.
Tarea: Asistente de clase GPT-4 en las instalaciones para finanzas, defensa, salud. Resultado: Ningún dato sale del perímetro, y el 405B es el único modelo de código abierto que iguala consistentemente a los modelos cerrados frontier en benchmarks de conocimiento.
Tarea: Generar corpora de entrenamiento de alta calidad y etiquetas de juez para modelos más pequeños. Resultado: El 405B como maestro produce datos sintéticos mediblemente mejores que los destilados del 70B, justificando el gasto en tiempo de entrenamiento.
Tarea: Servir un endpoint Llama 3.1 a muchos clientes bajo una sola licencia. Resultado: Amortiza el capex de 8x H100 en miles de asientos, donde la economía por token supera a la API de GPT-4 a escala.
Dónde gana este modelo, dónde pierde.
70B cierra la mayor parte de la brecha de calidad en los benchmarks comunes, y en seguimiento de instrucciones lidera de forma rotunda (IFEval 92.1 frente a 88.6) junto con MATH (77.0 frente a 73.9). Corre en un solo nodo 8x A100 o 4x H100 y cuesta aproximadamente 4.5x menos por token. Elige 70B salvo que necesites específicamente la ventaja de 405B en MMLU-Pro (73.4 frente a 68.9), MMLU amplio o HumanEval.
DeepSeek V3 es un MoE de 671B con 37B de parámetros activos. Benchmarks más altos, costo de servicio comparable via MoE, pero más complejo de desplegar y licenciado bajo los propios términos de DeepSeek. El 405B es más simple operacionalmente porque es denso.
Las APIs cerradas cuestan de $2 a $15 por millón de tokens con cero capex. El 405B se vuelve más económico alrededor de 200M a 500M tokens por día sostenido, más obtienes control en las instalaciones. Por debajo de ese volumen gana la API.
Sprint de tres semanas.
Auditoría de hardware. 8x H100 80 GB SXM con NVLink confirmado, plan de cuantización FP8 firmado, topología de despliegue vLLM trazada (TP=8, nodo único).
vLLM lanzado con batching continuo, endpoint compatible con OpenAI detrás de proxy inverso, KV cache ajustado para contexto promedio de 32K, benchmark baseline de tok/s registrado.
Réplica de Llama 3.3 70B instalada junto al 405B para enrutamiento híbrido. Reglas del router LiteLLM: 405B para tareas de razonamiento intensivo y síntesis, 70B para llamadas de herramientas e iteración de contexto corto.
LangGraph más el agente elegido (Aider para código, GPT Researcher para investigación) conectados al router LiteLLM. Seguimiento LangSmith en marcha, presupuestos de tokens por nodo aplicados.
Arnés de evaluación corriendo en un conjunto de tareas del cliente congelado. Tasa de aprobación, latencia P50 y P99, costo por tarea bloqueados como SLA de producción.
Cambio a producción. SSO, registro de auditoría, política de retención, capa de redacción al frente. Atribución 'Built with Llama' enviada en documentos del producto.
Tarifa fija.
Validar la economía de la carga de trabajo. Medir el volumen actual de tokens contra un capex de 8x H100 de aproximadamente $300K a $500K, luego confirmar que 405B supera a Llama 3.3 70B en tu conjunto de evaluación antes de comprometerte.
Adquirir o alquilar el nodo de 8 GPUs. Arrendar 8x H100 de un Neocloud (Lambda, Crusoe, RunPod) a $20-30/hr, u ordenar un DGX H200 con plazo de entrega de 12 a 16 semanas.
Desplegar con vLLM o TensorRT-LLM en FP8. Configurar paralelismo tensorial en 8 GPUs, habilitar batching continuo y validar el rendimiento en tu distribución real de prompts.
Construir observabilidad y fallback. Conectar métricas Prometheus para tok/s, profundidad de cola y utilización de KV cache. Configurar Llama 3.3 70B como fallback para el 90% del tráfico que no necesita el 405B.
Casi nunca. 405B mantiene una ventaja real pero estrecha en conocimiento amplio, MMLU-Pro 73.4 frente a 68.9 y HumanEval 89.0 frente a 88.4, mientras que 70B en realidad gana en seguimiento de instrucciones (IFEval 92.1 frente a 88.6) y en matemáticas (MATH 77.0 frente a 73.9) y empata en GPQA Diamond cerca de 50.5. Elige 405B solo cuando esa ventaja de conocimiento valga un aumento de costo de 4.5x. Para la mayoría del trabajo de producción, Llama 3.3 70B es la respuesta correcta.
Realistamente, 8x A100 80GB con cuantización INT4. Eso te da 640GB de VRAM combinada, cabe un modelo INT4 de 243GB con espacio para la KV cache y corre a 8 a 15 tokens por segundo. Para servir en producción de verdad el suelo es 8x H100 80GB en FP8 (~486GB), el único nivel con los tensor cores FP8 nativos que mantienen la calidad intacta. Cualquier cosa más pequeña es un juguete de investigación, no producción.
Por debajo de 8 horas al día de inferencia sostenida, alquila. Un nodo 8x H100 cuesta aproximadamente de $2 a $4 por GPU-hora en neoclouds como Lambda o Crusoe, y AWS p5.48xlarge bajó a alrededor de $33 a $55 por hora bajo demanda tras su recorte de 2025, bastante por debajo de $2 por GPU-hora con una reserva de un año. Por encima de 16 horas al día, el capex de un DGX H200 (aproximadamente $350K a $500K) se amortiza en 12 a 18 meses frente a la nube bajo demanda, aunque la oferta de Hopper volvió a tensarse a finales de 2025, así que confirma los plazos de entrega antes de planificar alrededor de una caja. El híbrido (nube reservada + burst) reparte la diferencia para cargas variables.
De forma insignificante. Meta y NVIDIA publican benchmarks FP8 que muestran alrededor del 99.9 por ciento de recuperación de MMLU y un HumanEval pass@1 que se mantiene igual o por encima de BF16, muy por debajo de medio punto de caída. Meta protege la calidad omitiendo la cuantización en las capas de self-attention y en los bloques transformer primero y último. FP8 es el valor por defecto de producción para 405B, no un compromiso.
Sí, pero con advertencias. El recall se mantiene sólido hasta 64K a 96K, luego se degrada en la cola larga. Presupuesta VRAM extra para KV cache (aproximadamente 60 GB en 128K completo) y considera RAG sobre contexto largo crudo para trabajo intensivo en recuperación.
Primero el costo del clúster: 8x H100 80 GB en AWS p5.48xlarge corre alrededor de $98 por hora bajo demanda o aproximadamente $50 por hora con reserva de un año. A 7-8 tokens por segundo por solicitud, una sesión Aider típica quema de 30K a 80K tokens. Eso es de 60 a 180 segundos de decodificación más 8 a 15 segundos de prefill. El costo de cómputo por sesión cae a $1.50 a $4.50 contra precios bajo demanda, $0.80 a $2.40 reservado. La matemática solo funciona por encima de aproximadamente 50 millones de tokens por mes versus precios de API de $2.40 por millón en Bedrock.
405B denso Parámetros
Tarifa fija.
El día 1 ves el modelo exacto, el hardware exacto, el stack de agentes exacto, los costos exactos y la postura de cumplimiento exacta.
PorKostadin StambolievFundador e Imaginator
Pineido, con sede en Strumica, North Macedonia, es una empresa de software que crea sitios web, tiendas online, apps web y móviles, automatización de procesos e IA para empresas de aquí y del extranjero. El trabajo se entrega en sprints de 30 días a precio fijo, y el código es del cliente.
Publicado Actualizado