Livello base: 8x A100 80GB con quantizzazione AWQ o GPTQ INT4, NVLink
Throughput: 8-15 tok/s singolo stream, 30-50 tok/s token/sec in batch. Ideale per: laboratori di ricerca, lavoro di valutazione, R&D interno dove la latenza è accettabile.
Llama 3.1 405B è il più grande modello dense open-weight mai distribuito. Raggiunge il territorio GPT-4 su MMLU, HumanEval e GSM8K, con una finestra di contesto da 128K e una Community License permissiva.
Le specifiche che contano quando si sceglie il modello e l'hardware.
405B (denso)
128K token
Transformer decoder con GQA
128K (basato su tiktoken)
15,6 trilioni
Llama 3.1 Community License (uso commerciale consentito, avvertenza MAU sopra 700M)
~810GB (solo modello)
~486GB (entra in 8x H100 80GB)
~243GB (entra in 4x H100 o 8x A100 40GB)
2024-07-23
Tre livelli, SKU reali, numeri di throughput reali.
Throughput: 8-15 tok/s singolo stream, 30-50 tok/s token/sec in batch. Ideale per: laboratori di ricerca, lavoro di valutazione, R&D interno dove la latenza è accettabile.
Throughput: 30-60 tok/s singolo stream, 200+ tok/s token/sec in batch. Ideale per: inference in produzione con FP8, il deployment standard raccomandato per servire utenti reali.
Throughput: 60-120 tok/s singolo stream, 400+ tok/s token/sec in batch. Ideale per: inference ad alta fedeltà, carichi di lavoro regolamentati, serving multi-tenant su scala.
GGUF, AWQ, FP8, INT4.
FP8 su H100 o H200. Il supporto FP8 nativo offre circa 2x di riduzione della memoria con una perdita di qualità minima ed è il formato standard di produzione per il 405B.
BF16 preserva la qualità piena ma richiede H200 per stare su un singolo nodo. FP8 è il default di produzione con un calo di benchmark trascurabile. La ricetta FP8 di Meta lascia non quantizzati i layer di self-attention e il primo e l'ultimo blocco transformer, e sia questa sia la ricetta row-wise di TensorRT di NVIDIA recuperano circa il 99,9 per cento dell'MMLU in BF16. La variante di NVIDIA aggiunge fino a 1,44x di throughput su H200. INT4 (AWQ o GPTQ) riduce la VRAM a ~243GB ma perde da 2 a 5 punti sul ragionamento difficile. Sotto INT4 il modello degrada in fretta.
Dimensione file: non definita.
Dimensione file: non definita.
Dimensione file: non definita.
Dimensione file: non definita.
Llama 3.1 405B è un problema hardware prima di essere un problema di modello.
Funziona con il formato diff edit e whole edit. Punteggio Aider Polyglot intorno a 49-52% per il 405B su run community. La latenza lo rende doloroso per il pair-programming live. Meglio deployato come job batch notturni contro una coda di stub di pull request.
L'endpoint vLLM compatibile OpenAI si collega. SWE-bench Lite intorno al 25-30% sull'open-weight 405B, dietro DeepSeek Coder V2 e Qwen Coder. Il costo token per issue risolta è il problema. Usa solo se stai già pagando per le GPU.
Funzionale via OpenRouter o endpoint AWS Bedrock. Cline emette in media 30+ tool call per task. A latenza 405B, si aspetta 4-7 minuti di attesa per task. Pratico solo quando lo esegui come processo in background mentre fai altro lavoro.
Funziona per chat e modifica. Evita di usare il 405B come modello di autocomplete, la latenza di 200-800 millisecondi del primo token interrompe il flusso. Abbinare Llama 3.1 8B per l'autocomplete e 405B per la chat è il pattern standard.
Cursor accetta endpoint personalizzati compatibili OpenAI. Il 405B via Bedrock o Together funziona. La maggior parte dei team trova che il Composer first-party di Cursor e Sonnet 4.5 vinca sulla velocità di iterazione per lo stesso costo per task.
Costruito da Princeton. Progettato per il bug fixing autonomo in stile SWE-bench. Il 405B funziona nel loop, i punteggi sono dietro DeepSeek Coder V2 di 8-12 punti su Verified. Usa il 405B qui solo se hai bisogno del ragionamento più ampio per i sub-task non-coding.
Fork di Cline con orchestrazione multi-modalità. Il 405B gestisce bene il ragionamento in modalità Architect, meno ideale per la velocità di iterazione in modalità Code. Abbina Architect=405B con Code=Llama 3.3 70B o DeepSeek Coder V2.
Dove questo modello + stack agent porta lavoro reale.
Dove il 405B guadagna il suo posto.
Compatibile OpenAI. Funziona contro l'endpoint vLLM 405B. La qualità della sintesi multi-sorgente è genuinamente forte, alla pari con la classe GPT-4. Pianifica $0,50-$2,00 per report di ricerca a contesti tipici da 50K token.
Generazione di articoli in stile Wikipedia dalle fonti. Il 405B gestisce bene la fase di generazione delle domande multi-prospettiva. L'approccio guidato dall'outline si adatta alla profondità di ragionamento del 405B.
Crew di ricerca multi-agent dove il 405B è il lead di sintesi e il 70B è il worker. I limiti di token sono obbligatori altrimenti la conversazione sfugge di mano.
Il template di deep research di riferimento gira pulito sul 405B via vLLM. La struttura del grafo si abbina bene al decode più lento del 405B, non si sente la latenza tra i nodi.
Pattern crew Ricercatore-Scrittore-Critico. Il 405B come Critico cattura errori di ragionamento che i modelli più piccoli mancano. Il proxy LiteLLM gestisce l'endpoint vLLM.
Clone basato su smolagents di OpenAI Deep Research. Il 405B funziona come pianificatore. L'abbiamo eseguito per report di market intelligence per i clienti contro 50-200 URL sorgente.
Dove questo modello + stack agent di ricerca produce report che il tuo team usa davvero.
Feedback dalle persone che erano nella stanza quando sono state prese le decisioni.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Scegli il framework in base alla forma del workflow.
Tre profili di acquirente dove questo modello è la risposta giusta.
Task: Assistente GPT-4 class on-prem per finanza, difesa, sanità. Risultato: Nessun dato lascia il perimetro, e il 405B è l'unico modello open che eguaglia costantemente i modelli chiusi frontier sui benchmark di conoscenza.
Task: Generare corpus di addestramento di alta qualità ed etichette giudice per modelli più piccoli. Risultato: Il 405B come teacher produce dati sintetici misurabilmente migliori rispetto ai distillati 70B, giustificando la spesa in fase di addestramento.
Task: Servire un endpoint Llama 3.1 a molti clienti sotto un'unica licenza. Risultato: Ammortizza il capex 8x H100 su migliaia di posti, dove l'economia per token batte l'API GPT-4 su scala.
Dove vince questo modello, dove perde.
70B chiude gran parte del divario di qualità sui benchmark comuni, e nel seguire le istruzioni è nettamente in testa (IFEval 92,1 contro 88,6) così come in MATH (77,0 contro 73,9). Gira su un singolo nodo 8x A100 o 4x H100 e costa circa 4,5x in meno per token. Scegli 70B a meno che tu non abbia bisogno specificamente del vantaggio di 405B su MMLU-Pro (73,4 contro 68,9), MMLU ampio o HumanEval.
DeepSeek V3 è un MoE da 671B con 37B parametri attivi. Benchmark headline più alti, costo di serving comparabile via MoE, ma più complesso da deployare e licenziato con i propri termini DeepSeek. Il 405B è operativamente più semplice perché è denso.
Le API chiuse costano $2-15 per milione di token senza capex. Il 405B diventa più economico intorno a 200M-500M token al giorno sostenuti, più ottieni il controllo on-prem. Sotto quel volume l'API vince.
Sprint di tre settimane.
Audit hardware. 8x H100 80GB SXM con NVLink confermati, piano di quantizzazione FP8 approvato, topologia di deployment vLLM disegnata (TP=8, singolo nodo).
vLLM lanciato con batching continuo, endpoint compatibile OpenAI dietro reverse proxy, KV cache ottimizzata per contesto medio di 32K, benchmark baseline tok/s registrato.
Replica Llama 3.3 70B avviata accanto al 405B per il routing ibrido. Regole router LiteLLM: 405B per task di ragionamento intensivo e sintesi, 70B per tool call e iterazione su contesti brevi.
LangGraph più l'agent scelto (Aider per codice, GPT Researcher per ricerca) collegati al router LiteLLM. Tracing LangSmith attivo, budget token per nodo applicati.
Harness di valutazione in esecuzione su una suite task client congelata. Tasso di superamento, latenza P50 e P99, costo per task bloccati come SLA di produzione.
Cutover in produzione. SSO, audit log, policy di retention, layer di redazione davanti. Attribuzione 'Built with Llama' distribuita nei documenti del prodotto.
Prezzo fisso.
Valida l'economicità del carico di lavoro. Misura il volume attuale di token rispetto a un capex 8x H100 di circa $300K-$500K, poi conferma che il 405B batta Llama 3.3 70B sul tuo evaluation set prima di impegnarti.
Procura o noleggia il nodo a 8 GPU. O noleggia 8x H100 da un Neocloud (Lambda, Crusoe, RunPod) a $20-30/ora, o ordina un DGX H200 con lead time di 12-16 settimane.
Deploya con vLLM o TensorRT-LLM in FP8. Configura il parallelismo tensoriale su 8 GPU, abilita il batching continuo e valida il throughput sulla tua distribuzione reale di prompt.
Costruisci l'osservabilità e il fallback. Collega le metriche Prometheus per tok/s, profondità della coda e utilizzo della KV cache. Configura Llama 3.3 70B come fallback per il 90% del traffico che non ha bisogno del 405B.
Quasi mai. 405B mantiene un vantaggio reale ma stretto sulla conoscenza ampia, MMLU-Pro 73,4 contro 68,9 e HumanEval 89,0 contro 88,4, mentre 70B in realtà vince sul seguire le istruzioni (IFEval 92,1 contro 88,6) e in matematica (MATH 77,0 contro 73,9) e pareggia su GPQA Diamond intorno a 50,5. Scegli 405B solo quando quel vantaggio di conoscenza vale un aumento di costo di 4,5x. Per la maggior parte del lavoro di produzione, Llama 3.3 70B è la risposta giusta.
Realisticamente, 8x A100 80GB con quantizzazione INT4. Questo ti dà 640GB di VRAM aggregata, ospita un modello INT4 da 243GB con spazio per la KV cache e gira a 8 a 15 token al secondo. Per un vero serving di produzione il minimo è 8x H100 80GB in FP8 (~486GB), l'unico livello con i tensor core FP8 nativi che mantengono la qualità intatta. Qualsiasi cosa più piccola è un giocattolo da ricerca, non produzione.
Sotto le 8 ore al giorno di inferenza sostenuta, noleggia. Un nodo 8x H100 costa circa da $2 a $4 per GPU-ora su neocloud come Lambda o Crusoe, e AWS p5.48xlarge è sceso a circa $33 a $55 l'ora on-demand dopo il taglio del 2025, ben sotto $2 per GPU-ora con una prenotazione annuale. Oltre le 16 ore al giorno, il capex di un DGX H200 (circa $350K a $500K) si ripaga in 12 a 18 mesi rispetto al cloud on-demand, anche se l'offerta di Hopper si è di nuovo ristretta a fine 2025, quindi conferma i tempi di consegna prima di pianificare attorno a una macchina. L'ibrido (cloud prenotato + burst) divide la differenza per i carichi variabili.
In modo trascurabile. Meta e NVIDIA pubblicano entrambe benchmark FP8 che mostrano circa il 99,9 per cento di recupero dell'MMLU e un HumanEval pass@1 che si mantiene al livello di BF16 o sopra, ben sotto mezzo punto di calo. Meta protegge la qualità saltando la quantizzazione sui layer di self-attention e sul primo e ultimo blocco transformer. FP8 è il default di produzione per 405B, non un compromesso.
Sì, ma con avvertenze. Il recall rimane forte fino a 64K-96K, poi degrada sul long-tail. Budget extra VRAM per la KV cache (circa 60GB al 128K completo) e considera RAG rispetto al contesto lungo grezzo per lavori ricchi di retrieval.
Prima il costo del cluster: 8x H100 80GB su AWS p5.48xlarge gira circa $98 all'ora on-demand o circa $50 all'ora con una prenotazione annuale. A 7-8 token al secondo per richiesta, una tipica sessione Aider brucia 30K-80K token. Sono 60-180 secondi di decode più 8-15 secondi di prefill. Il costo compute per sessione arriva a $1,50-$4,50 ai prezzi on-demand, $0,80-$2,40 riservati. I conti tornano solo sopra circa 50 milioni di token al mese rispetto ai prezzi API a $2,40 per milione blended su Bedrock.
405B denso Parametri
Prezzo fisso.
Al Giorno 1 vedi il modello esatto, l'hardware esatto, lo stack agent esatto, i costi esatti e la postura di conformità esatta.
DiKostadin StambolievFondatore e Imaginator
Pineido, con sede a Strumica, North Macedonia, è una società di software che realizza siti web, negozi online, app web e mobile, automazione dei processi e IA per aziende locali ed estere. Il lavoro viene consegnato in sprint di 30 giorni a prezzo fisso, e il codice è del cliente.
Pubblicato Aggiornato