Einstiegs-Tier: 8x A100 80GB mit AWQ oder GPTQ INT4-Quantisierung, NVLink
Durchsatz: 8 bis 15 Tok/s Einzelstream, 30 bis 50 Tok/s gebatched. Geeignet für: Forschungslabors, Evaluierungsarbeit, internes R&D wo Latenz akzeptabel ist.
Llama 3.1 405B ist das größte Open-Weight-Dense-Modell, das je veröffentlicht wurde. Es erreicht GPT-4-Territorium bei MMLU, HumanEval und GSM8K, mit einem 128K-Kontextfenster und einer permissiven Community License.
Die relevanten Spezifikationen bei Modell- und Hardware-Auswahl.
405B (dicht)
128K Token
Transformer Decoder mit GQA
128K (tiktoken-basiert)
15,6 Billionen
Llama 3.1 Community License (kommerzielle Nutzung erlaubt, MAU-Vorbehalt über 700M)
~810GB (nur Modell)
~486GB (passt auf 8x H100 80GB)
~243GB (passt auf 4x H100 oder 8x A100 40GB)
2024-07-23
Drei Tiers, echte SKUs, echte Durchsatzzahlen.
Durchsatz: 8 bis 15 Tok/s Einzelstream, 30 bis 50 Tok/s gebatched. Geeignet für: Forschungslabors, Evaluierungsarbeit, internes R&D wo Latenz akzeptabel ist.
Durchsatz: 30 bis 60 Tok/s Einzelstream, 200+ Tok/s gebatched. Geeignet für: Produktionsinferenz mit FP8, das standardmäßig empfohlene Deployment für echte Nutzer.
Durchsatz: 60 bis 120 Tok/s Einzelstream, 400+ Tok/s gebatched. Geeignet für: Höchste Qualitätsinferenz, regulierte Workloads, Multi-Tenant-Serving im Maßstab.
GGUF, AWQ, FP8, INT4.
FP8 auf H100 oder H200. Native FP8-Unterstützung gibt ca. 2x Speicherreduktion mit minimalem Qualitätsverlust und ist das Standard-Produktionsformat für 405B.
BF16 bewahrt die volle Qualität, braucht aber H200 für den Single-Node-Fit. FP8 ist der Produktionsstandard mit vernachlässigbarem Benchmark-Verlust. Metas eigenes FP8-Rezept lässt die Self-Attention-Schichten sowie den ersten und letzten Transformer-Block unquantisiert, und sowohl es als auch NVIDIAs zeilenweises (row-wise) TensorRT-Rezept stellen rund 99,9 Prozent des BF16-MMLU wieder her. NVIDIAs Variante bringt auf der H200 bis zu 1,44x mehr Durchsatz. INT4 (AWQ oder GPTQ) senkt den VRAM auf ~243GB, verliert aber 2 bis 5 Punkte bei schwerem Reasoning. Unter INT4 baut das Modell schnell ab.
Dateigröße: nicht angegeben.
Dateigröße: nicht angegeben.
Dateigröße: nicht angegeben.
Dateigröße: nicht angegeben.
Llama 3.1 405B ist zuerst ein Hardware-Klassenproblem, dann ein Modellproblem.
Funktioniert mit Diff-Edit-Format und Whole-Edit-Format. Aider Polyglot-Score ca. 49 bis 52 Prozent für 405B in Community-Läufen. Latenz macht es schmerzhaft für Live-Pair-Programming. Am besten als Übernacht-Batch-Jobs gegen eine Queue von Pull-Request-Stubs deployt.
OpenAI-kompatibler vLLM-Endpunkt wird eingesteckt. SWE-bench Lite ca. 25 bis 30 Prozent auf Open-Weight 405B, hinter DeepSeek Coder V2 und Qwen Coder. Token-Kosten pro gelöstem Problem sind das Killer-Argument. Nur verwenden, wenn bereits für die GPUs bezahlt wird.
Funktional via OpenRouter oder AWS Bedrock Endpunkt. Cline gibt im Durchschnitt 30+ Tool-Calls pro Aufgabe ab. Bei 405B-Latenz ist das eine 4- bis 7-minütige Wartezeit pro Aufgabe. Praktisch nur wenn es als Hintergrundprozess läuft.
Funktioniert für Chat und Edit. 405B nicht als Autocomplete-Modell verwenden, die 200 bis 800 Millisekunden First-Token-Latenz unterbricht den Flow. Llama 3.1 8B für Autocomplete und 405B für Chat ist das Standardmuster.
Cursor akzeptiert OpenAI-kompatible Custom-Endpunkte. 405B via Bedrock oder Together funktioniert. Die meisten Teams stellen fest, dass Cursors First-Party-Composer und Sonnet 4.5 bei Iterationsgeschwindigkeit für dieselben Task-Kosten gewinnen.
Von Princeton entwickelt. Für SWE-bench-artige autonome Fehlerbehebung konzipiert. 405B funktioniert im Loop, Scores liegen 8 bis 12 Punkte hinter DeepSeek Coder V2 bei Verified. 405B hier nur verwenden, wenn breiteres Reasoning für Nicht-Coding-Teilaufgaben benötigt wird.
Cline-Fork mit Multi-Modus-Orchestrierung. 405B handhabt Architect-Modus-Reasoning gut, weniger ideal für Code-Modus-Iterationsgeschwindigkeit. Architect=405B mit Code=Llama 3.3 70B oder DeepSeek Coder V2 kombinieren.
Wo dieser Modell- und Agent-Stack echte Arbeit liefert.
Wo 405B seinen Wert beweist.
OpenAI-kompatibel. Funktioniert gegen vLLM 405B Endpunkt. Multi-Quellen-Synthesequalität ist wirklich stark, auf par mit GPT-4-Klasse. Ca. 0,50 bis 2,00 USD pro Research-Bericht bei typischen 50K-Token-Kontexten einplanen.
Wikipedia-artige Artikelgenerierung aus Quellen. 405B verarbeitet die Multi-Perspektiven-Fragegenerierungsphase gut. Der outline-gesteuerte Ansatz spielt 405Bs Reasoning-Tiefe zu.
Multi-Agent-Research-Crews wo 405B der Synthese-Lead und 70B der Worker ist. Token-Caps obligatorisch, sonst läuft die Konversation weg.
Referenz-Deep-Research-Template läuft sauber auf 405B via vLLM. Die Graph-Struktur passt gut zu 405Bs langsamerem Decode, die Latenz zwischen Nodes ist nicht spürbar.
Researcher-Writer-Critic-Crew-Muster. 405B als Critic erkennt Reasoning-Fehler, die kleinere Modelle übersehen. LiteLLM-Proxy handhabt den vLLM-Endpunkt.
smolagents-basierter Klon von OpenAI Deep Research. 405B funktioniert als Planer. Wir haben es für Kunden-Marktintelligenz-Berichte gegen 50 bis 200 Quell-URLs betrieben.
Wo dieser Modell- und Research-Agent-Stack Berichte liefert, die Ihr Team tatsächlich nutzt.
Feedback von den Menschen, die im Raum waren, als die Entscheidungen getroffen wurden.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Framework nach Workflow-Form wählen.
Drei Käuferprofile, bei denen dieses Modell die richtige Antwort ist.
Aufgabe: On-Prem-GPT-4-Klasse-Assistent für Finanzen, Verteidigung, Gesundheitswesen. Ergebnis: Keine Daten verlassen den Perimeter, und 405B ist das einzige offene Modell, das konsistent Frontier-Closed-Modelle auf Wissens-Benchmarks entspricht.
Aufgabe: Hochwertige Trainingskorpora und Judge-Labels für kleinere Modelle generieren. Ergebnis: 405B als Lehrer liefert messbar bessere synthetische Daten als 70B-Destillate, was den Trainings-Aufwand rechtfertigt.
Aufgabe: Llama 3.1 Endpunkt für viele Kunden unter einer Lizenz betreiben. Ergebnis: Amortisiert den 8x H100-Capex über Tausende von Seats, wo die Pro-Token-Wirtschaftlichkeit GPT-4-API im Maßstab schlägt.
Wo dieses Modell gewinnt, wo es verliert.
70B schließt den Großteil der Qualitätslücke bei gängigen Benchmarks, und beim Instruction-Following führt es klar (IFEval 92,1 gegen 88,6) ebenso wie bei MATH (77,0 gegen 73,9). Es läuft auf einem einzelnen 8x A100- oder 4x H100-Node und kostet rund 4,5x weniger pro Token. Wähle 70B, außer du brauchst gezielt den Vorsprung von 405B bei MMLU-Pro (73,4 gegen 68,9), breitem MMLU oder HumanEval.
DeepSeek V3 ist ein 671B MoE mit 37B aktiven Parametern. Höhere Headline-Benchmarks, vergleichbare Serving-Kosten via MoE, aber komplexer zu deployen und unter DeepSeeks eigenen Bedingungen lizenziert. 405B ist operativ einfacher, da es dicht ist.
Closed APIs kosten 2 bis 15 USD pro Million Token ohne Capex. 405B wird günstiger ab ca. 200M bis 500M Token pro Tag nachhaltig, plus Sie bekommen On-Prem-Kontrolle. Unterhalb dieses Volumens gewinnt die API.
Drei-Wochen-Sprint.
Hardware-Audit. 8x H100 80GB SXM mit NVLink bestätigt, FP8-Quantisierungsplan unterzeichnet, vLLM-Deployment-Topologie gezeichnet (TP=8, Single-Node).
vLLM gestartet mit Continuous Batching, OpenAI-kompatibler Endpunkt hinter Reverse Proxy, KV-Cache für durchschnittlichen 32K-Kontext optimiert, Basis-Tok/s-Benchmark aufgezeichnet.
Llama 3.3 70B Replik neben 405B für hybrides Routing aufgesetzt. LiteLLM Router-Regeln: 405B für Reasoning-intensive und Synthese-Aufgaben, 70B für Tool-Calls und Short-Context-Iteration.
LangGraph plus gewählter Agent (Aider für Code, GPT Researcher für Research) an LiteLLM Router verdrahtet. LangSmith-Tracing live, Pro-Node-Token-Budgets durchgesetzt.
Eval-Harness läuft auf einem eingefrorenen Kunden-Task-Suite. Pass-Rate, Latenz P50 und P99, Kosten pro Task als Produktions-SLA festgelegt.
Produktionsumstellung. SSO, Audit-Log, Aufbewahrungsrichtlinie, Redaktionsschicht davor. 'Built with Llama'-Attribution in Produktdokumentationen ausgeliefert.
Festpreis.
Workload-Wirtschaftlichkeit validieren. Aktuelles Token-Volumen gegen einen 8x H100-Capex von ca. 300.000 bis 500.000 USD messen, dann bestätigen, dass 405B Llama 3.3 70B auf dem Evaluierungsset übertrifft, bevor Sie sich festlegen.
8-GPU-Node beschaffen oder mieten. Entweder 8x H100 von einem Neocloud (Lambda, Crusoe, RunPod) für 20 bis 30 USD/Std. leasen, oder DGX H200 mit 12 bis 16 Wochen Lieferzeit bestellen.
Mit vLLM oder TensorRT-LLM in FP8 deployen. Tensor-Parallelismus über 8 GPUs konfigurieren, Continuous Batching aktivieren und Durchsatz auf der echten Prompt-Verteilung validieren.
Observability und Fallback aufbauen. Prometheus-Metriken für Tok/s, Queue-Tiefe und KV-Cache-Auslastung verdrahten. Llama 3.3 70B als Fallback für die 90 Prozent des Traffics einrichten, der kein 405B braucht.
Fast nie. 405B hält einen echten, aber schmalen Vorsprung beim breiten Wissen, MMLU-Pro 73,4 gegen 68,9 und HumanEval 89,0 gegen 88,4, während 70B beim Instruction-Following (IFEval 92,1 gegen 88,6) und in Mathematik (MATH 77,0 gegen 73,9) tatsächlich gewinnt und bei GPQA Diamond mit rund 50,5 gleichzieht. Wähle 405B nur, wenn dieser Wissensvorsprung eine 4,5-fache Kostensteigerung wert ist. Für die meiste Produktionsarbeit ist Llama 3.3 70B die richtige Antwort.
Realistisch 8x A100 80GB mit INT4-Quantisierung. Das gibt dir 640GB gepoolten VRAM, fasst ein 243GB-INT4-Modell mit Platz für den KV-Cache und läuft mit 8 bis 15 Tokens pro Sekunde. Für echtes Produktions-Serving ist die Untergrenze 8x H100 80GB bei FP8 (~486GB), die einzige Stufe mit den nativen FP8-Tensor-Cores, die die Qualität intakt halten. Alles Kleinere ist ein Forschungsspielzeug, keine Produktion.
Unter 8 Stunden pro Tag anhaltender Inferenz: mieten. Ein 8x H100-Node kostet bei Neoclouds wie Lambda oder Crusoe etwa $2 bis $4 pro GPU-Stunde, und AWS p5.48xlarge fiel nach der Kürzung 2025 auf rund $33 bis $55 pro Stunde On-Demand, deutlich unter $2 pro GPU-Stunde bei einer Einjahresreservierung. Über 16 Stunden pro Tag amortisiert sich der Capex eines DGX H200 (rund $350K bis $500K) gegenüber On-Demand-Cloud in 12 bis 18 Monaten, doch das Hopper-Angebot verknappte sich Ende 2025 erneut, also prüfe die Lieferzeiten, bevor du um eine eigene Box herum planst. Hybrid (reservierte Cloud + Burst) teilt die Differenz bei variabler Last.
Vernachlässigbar. Meta und NVIDIA veröffentlichen beide FP8-Benchmarks mit rund 99,9 Prozent MMLU-Wiederherstellung und einem HumanEval pass@1, das auf oder über BF16-Niveau bleibt, deutlich unter einem halben Punkt Abfall. Meta schützt die Qualität, indem es die Self-Attention-Schichten sowie den ersten und letzten Transformer-Block von der Quantisierung ausnimmt. FP8 ist der Produktionsstandard für 405B, kein Kompromiss.
Ja, mit Vorbehalten. Recall bleibt bis 64K bis 96K stark, dann degradiert es bei langen Tails. Zusätzlichen VRAM für KV-Cache budgetieren (ca. 60GB bei vollem 128K) und RAG über rohen langen Kontext für retrieval-intensive Arbeit erwägen.
Cluster-Kosten zuerst: 8x H100 80GB auf AWS p5.48xlarge läuft ca. 98 USD pro Stunde On-Demand oder ca. 50 USD pro Stunde mit Ein-Jahres-Reservierung. Bei 7 bis 8 Token pro Sekunde pro Request verbrennt eine typische Aider-Session 30.000 bis 80.000 Token. Das sind 60 bis 180 Sekunden Decode plus 8 bis 15 Sekunden Prefill. Pro-Session-Rechenkosten liegen bei 1,50 bis 4,50 USD bei On-Demand-Preisgestaltung, 0,80 bis 2,40 USD reserviert. Die Rechnung geht nur über ca. 50 Millionen Token pro Monat gegenüber API-Preisgestaltung bei 2,40 USD pro Million gemischt auf Bedrock auf.
405B dicht Parameter
Festpreis.
Tag 1 sehen Sie das genaue Modell, die genaue Hardware, den genauen Agent-Stack, die genaue Kostenkalkulation und die genaue Compliance-Positionierung.
VonKostadin StambolievGründer und Imaginator
Pineido, mit Sitz in Strumica, North Macedonia, ist ein Softwareunternehmen, das Websites, Onlineshops, Web- und Mobile-Apps, Prozessautomatisierung und KI für Unternehmen im In- und Ausland baut. Geliefert wird in 30-Tage-Sprints zum Festpreis, und der Code gehört dem Kunden.
Veröffentlicht Aktualisiert