Niveau entrée : 8x A100 80GB avec quantification AWQ ou GPTQ INT4, NVLink
Débit : 8 à 15 tok/s single stream, 30 à 50 tok/s batched. Idéal pour : Laboratoires de recherche, travail d'évaluation, R&D interne où la latence est acceptable.
Llama 3.1 405B est le plus grand modèle dense open-weight jamais publié. Il atteint le territoire GPT-4 sur MMLU, HumanEval et GSM8K, avec une fenêtre de contexte 128K et une licence Community permissive.
Les specs qui comptent pour choisir le modèle et le matériel.
405B (dense)
128K tokens
Transformer décodeur avec GQA
128K (basé sur tiktoken)
15,6 billions
Llama 3.1 Community License (usage commercial autorisé, clause MAU au-dessus de 700M)
~810 Go (modèle seul)
~486 Go (tient sur 8x H100 80GB)
~243 Go (tient sur 4x H100 ou 8x A100 40GB)
2024-07-23
Trois niveaux, de vrais SKU, de vrais chiffres de débit.
Débit : 8 à 15 tok/s single stream, 30 à 50 tok/s batched. Idéal pour : Laboratoires de recherche, travail d'évaluation, R&D interne où la latence est acceptable.
Débit : 30 à 60 tok/s single stream, 200+ tok/s batched. Idéal pour : Inférence en production avec FP8, le déploiement standard recommandé pour servir de vrais utilisateurs.
Débit : 60 à 120 tok/s single stream, 400+ tok/s batched. Idéal pour : Inférence à la plus haute fidélité, charges de travail réglementées, service multi-tenant à grande échelle.
GGUF, AWQ, FP8, INT4.
FP8 sur H100 ou H200. Le support FP8 natif donne environ 2x la réduction mémoire avec une perte de qualité minimale et est le format de production standard pour 405B.
BF16 préserve la pleine qualité mais exige une H200 pour tenir sur un seul nœud. FP8 est le format de production par défaut, avec une baisse de benchmark négligeable. La recette FP8 propre à Meta laisse non quantifiées les couches de self-attention ainsi que le premier et le dernier bloc transformer, et avec la recette row-wise TensorRT de NVIDIA, toutes deux récupèrent environ 99,9 pour cent du MMLU en BF16. La variante de NVIDIA ajoute jusqu'à 1,44x de débit sur H200. INT4 (AWQ ou GPTQ) réduit la VRAM à ~243GB mais perd 2 à 5 points sur le raisonnement difficile. En dessous d'INT4, le modèle se dégrade vite.
Taille du fichier : non définie.
Taille du fichier : non définie.
Taille du fichier : non définie.
Taille du fichier : non définie.
Llama 3.1 405B est un problème de matériel avant d'être un problème de modèle.
Fonctionne avec le format d'édition diff et le format d'édition entière. Score Aider Polyglot autour de 49 à 52% pour 405B sur les runs communautaires. La latence le rend pénible pour la programmation en pair live. Mieux déployé en runs nocturnes par lots contre une file de stubs de pull request.
L'endpoint vLLM OpenAI-compatible se branche. SWE-bench Lite autour de 25 à 30% sur 405B open-weight, derrière DeepSeek Coder V2 et Qwen Coder. Le coût en tokens par issue résolue est le facteur décisif. À utiliser uniquement si vous payez déjà les GPU.
Fonctionnel via OpenRouter ou endpoint AWS Bedrock. Cline émet 30+ appels d'outils par tâche en moyenne. À la latence 405B, c'est une attente de 4 à 7 minutes par tâche. Pratique uniquement si vous le lancez en processus de fond pendant d'autres travaux.
Fonctionne pour le chat et l'édition. Éviter d'utiliser 405B comme modèle d'autocomplétion, la latence au premier token de 200 à 800 ms brise le flow. Associer Llama 3.1 8B pour l'autocomplétion et 405B pour le chat est le pattern standard.
Cursor accepte les endpoints personnalisés OpenAI-compatible. 405B via Bedrock ou Together fonctionne. La plupart des équipes trouvent que le Composer first-party de Cursor et Sonnet 4.5 gagnent en vitesse d'itération pour le même coût par tâche.
Conçu par Princeton. Conçu pour la correction autonome de bugs de style SWE-bench. 405B fonctionne dans la boucle, les scores traînent derrière DeepSeek Coder V2 de 8 à 12 points sur Verified. Utiliser 405B ici uniquement si vous avez besoin du raisonnement plus large pour des sous-tâches non-codage.
Fork de Cline avec orchestration multi-mode. 405B gère bien le raisonnement en mode Architect, moins idéal pour la vitesse d'itération en mode Code. Associer Architect=405B avec Code=Llama 3.3 70B ou DeepSeek Coder V2.
Là où ce modèle + stack d'agents livre du travail réel.
Là où 405B justifie sa place.
OpenAI-compatible. Fonctionne contre l'endpoint vLLM 405B. La qualité de synthèse multi-sources est vraiment forte, comparable à la classe GPT-4. Prévoyez 0,50 à 2,00 $ par rapport de recherche avec des contextes typiques de 50K tokens.
Génération d'articles de style Wikipedia à partir de sources. 405B gère bien la phase de génération de questions multi-perspectives. L'approche pilotée par plan joue sur la profondeur de raisonnement de 405B.
Équipes d'agents de recherche multi-agents où 405B est le chef de synthèse et 70B est le travailleur. Plafonds de tokens obligatoires sinon la conversation déraille.
Le template de recherche approfondie de référence tourne proprement sur 405B via vLLM. La structure de graphe se couple bien avec le décodage plus lent de 405B, vous ne ressentez pas la latence entre les noeuds.
Pattern d'équipe chercheur-rédacteur-critique. 405B comme Critique détecte des erreurs de raisonnement que des modèles plus petits manquent. Le proxy LiteLLM gère l'endpoint vLLM.
Clone basé sur smolagents d'OpenAI Deep Research. 405B fonctionne comme planificateur. Nous l'avons exécuté pour des rapports d'intelligence de marché client sur 50 à 200 URLs source.
Là où ce modèle + stack d'agents de recherche livre des rapports que votre équipe utilise vraiment.
Les retours des personnes qui étaient dans la pièce quand les décisions ont été prises.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Choisissez le framework selon la forme du workflow.
Trois profils d'acheteurs pour lesquels ce modèle est la bonne réponse.
Tâche : Assistant classe GPT-4 sur site pour la finance, la défense, la santé. Résultat : Aucune donnée ne quitte le périmètre, et 405B est le seul modèle open qui correspond de façon cohérente aux modèles propriétaires frontier sur les benchmarks de connaissance.
Tâche : Générer des corpus d'entraînement de haute qualité et des labels de juge pour des modèles plus petits. Résultat : 405B comme enseignant donne des données synthétiques mesurément meilleures que les distillats 70B, justifiant la dépense au moment de l'entraînement.
Tâche : Servir un endpoint Llama 3.1 à de nombreux clients sous une seule licence. Résultat : Amortit le capex 8x H100 sur des milliers de sièges, où l'économie par token bat l'API GPT-4 à grande échelle.
Là où ce modèle gagne, là où il perd.
70B comble l'essentiel de l'écart de qualité sur les benchmarks courants, et sur le suivi d'instructions il mène nettement (IFEval 92,1 contre 88,6) tout comme en MATH (77,0 contre 73,9). Il tourne sur un seul nœud 8x A100 ou 4x H100 et coûte environ 4,5x moins par token. Choisissez 70B sauf si vous avez spécifiquement besoin de l'avantage de 405B sur MMLU-Pro (73,4 contre 68,9), MMLU large ou HumanEval.
DeepSeek V3 est un MoE 671B avec 37B paramètres actifs. Benchmarks headline plus élevés, coût de service comparable via MoE, mais plus complexe à déployer et licencié sous les propres conditions de DeepSeek. 405B est plus simple opérationnellement car il est dense.
Les API fermées coûtent 2 à 15 $ par million de tokens avec zéro capex. 405B devient moins cher autour de 200M à 500M tokens par jour soutenus, plus vous obtenez le contrôle sur site. En dessous de ce volume l'API gagne.
Sprint de trois semaines.
Audit matériel. 8x H100 80GB SXM avec NVLink confirmé, plan de quantification FP8 signé, topologie de déploiement vLLM dessinée (TP=8, noeud unique).
vLLM lancé avec batching continu, endpoint OpenAI-compatible derrière reverse proxy, cache KV ajusté pour contexte moyen 32K, benchmark tok/s de base enregistré.
Réplica Llama 3.3 70B monté à côté de 405B pour le routage hybride. Règles de routeur LiteLLM : 405B pour les tâches lourdes en raisonnement et synthèse, 70B pour les appels d'outils et l'itération à court contexte.
LangGraph plus agent choisi (Aider pour le code, GPT Researcher pour la recherche) connecté au routeur LiteLLM. Traçage LangSmith actif, budgets de tokens par noeud appliqués.
Harnais d'évaluation tournant sur une suite de tâches client figées. Taux de passage, latence P50 et P99, coût par tâche verrouillés comme SLA de production.
Bascule en production. SSO, log d'audit, politique de rétention, couche de rédaction en front. Attribution 'Built with Llama' livrée dans les docs produit.
Prix fixe.
Valider l'économie de la charge de travail. Mesurer le volume actuel de tokens par rapport à un capex 8x H100 d'environ 300 000 à 500 000 $, puis confirmer que 405B bat Llama 3.3 70B sur votre set d'évaluation avant de vous engager.
Acheter ou louer le noeud 8 GPU. Soit louer 8x H100 auprès d'un Neocloud (Lambda, Crusoe, RunPod) à 20 à 30 $/h, soit commander un DGX H200 avec un délai de 12 à 16 semaines.
Déployer avec vLLM ou TensorRT-LLM en FP8. Configurer le parallélisme de tenseurs sur 8 GPU, activer le batching continu et valider le débit sur votre distribution réelle d'invitations.
Construire l'observabilité et le fallback. Connecter les métriques Prometheus pour tok/s, profondeur de file et utilisation du cache KV. Configurer Llama 3.3 70B comme fallback pour 90% du trafic qui n'a pas besoin de 405B.
Presque jamais. 405B garde un avantage réel mais étroit sur les connaissances larges, MMLU-Pro 73,4 contre 68,9 et HumanEval 89,0 contre 88,4, tandis que 70B l'emporte en réalité sur le suivi d'instructions (IFEval 92,1 contre 88,6) et en mathématiques (MATH 77,0 contre 73,9), et fait jeu égal sur GPQA Diamond autour de 50,5. Choisissez 405B uniquement quand cet avantage de connaissances justifie une hausse de coût de 4,5x. Pour la plupart du travail de production, Llama 3.3 70B est la bonne réponse.
Réalistement, 8x A100 80GB avec quantification INT4. Cela vous donne 640GB de VRAM mutualisée, loge un modèle INT4 de 243GB avec de la marge pour le KV cache, et tourne à 8 à 15 tokens par seconde. Pour du vrai serving de production, le plancher est 8x H100 80GB en FP8 (~486GB), le seul palier doté des tensor cores FP8 natifs qui préservent la qualité. Tout ce qui est plus petit est un jouet de recherche, pas de la production.
En dessous de 8 heures par jour d'inférence soutenue, louez. Un nœud 8x H100 revient à environ $2 à $4 par GPU-heure chez des neoclouds comme Lambda ou Crusoe, et AWS p5.48xlarge est tombé à environ $33 à $55 par heure en on-demand après sa baisse de 2025, bien en dessous de $2 par GPU-heure sur une réservation d'un an. Au-delà de 16 heures par jour, le capex d'un DGX H200 (environ $350K à $500K) s'amortit en 12 à 18 mois face au cloud on-demand, mais l'offre Hopper s'est de nouveau tendue fin 2025, alors confirmez les délais avant de planifier autour d'une machine. L'hybride (cloud réservé + burst) partage la différence pour les charges variables.
De façon négligeable. Meta et NVIDIA publient tous deux des benchmarks FP8 montrant environ 99,9 pour cent de récupération du MMLU et un HumanEval pass@1 qui se maintient au niveau de BF16 ou au-dessus, bien en deçà d'un demi-point de baisse. Meta protège la qualité en évitant de quantifier les couches de self-attention ainsi que le premier et le dernier bloc transformer. FP8 est le format de production par défaut pour 405B, pas un compromis.
Oui, mais avec des mises en garde. Le rappel reste fort jusqu'à 64K à 96K, puis se dégrade sur la longue traîne. Budgétez de la VRAM supplémentaire pour le cache KV (environ 60 Go à 128K complet) et envisagez le RAG plutôt que le contexte long brut pour les travaux à forte intensité de retrieval.
Coût cluster d'abord : 8x H100 80GB sur AWS p5.48xlarge tourne à environ 98 $ par heure à la demande ou environ 50 $ par heure avec une réservation d'un an. À 7 à 8 tokens par seconde par requête, une session Aider typique consomme 30K à 80K tokens. C'est 60 à 180 secondes de décodage plus 8 à 15 secondes de préfill. Le coût de calcul par session atterrit à 1,50 à 4,50 $ aux prix à la demande, 0,80 à 2,40 $ en réservé. Les calculs ne fonctionnent qu'au-dessus d'environ 50 millions de tokens par mois versus le prix API à 2,40 $ par million blended sur Bedrock.
405B dense Paramètres
Prix fixe.
Au Jour 1 vous voyez le modèle exact, le matériel exact, le stack d'agents exact, les calculs de coûts exacts et la posture de conformité exacte.
ParKostadin StambolievFondateur et Imaginator
Pineido, basé à Strumica, North Macedonia, est une société de logiciels qui conçoit des sites web, des boutiques en ligne, des applications web et mobiles, de l’automatisation et de l’IA pour des entreprises d’ici et de l’étranger. Le travail est livré en sprints de 30 jours à prix fixe, et le code appartient au client.
Publié Mis à jour