Llama 3.1 405B auf Ihrer Hardware aufsetzen, Agent-Stack live, produktionsreif in 14 Tagen

Llama 3.1 405B ist das größte Open-Weight-Dense-Modell, das je veröffentlicht wurde. Es erreicht GPT-4-Territorium bei MMLU, HumanEval und GSM8K, mit einem 128K-Kontextfenster und einer permissiven Community License.

  • 14-Tage-Produktionsumstellung
  • Coding + Research Agent-Stack inklusive
  • 405B dicht Parameter
  • 128K Token Kontextfenster
  • 14 d Produktionsumstellung

Llama 3.1 405B auf einen Blick

Die relevanten Spezifikationen bei Modell- und Hardware-Auswahl.

Parameter

405B (dicht)

Kontextfenster

128K Token

Architektur

Transformer Decoder mit GQA

Tokenizer-Vokabular

128K (tiktoken-basiert)

Trainings-Token

15,6 Billionen

Lizenz

Llama 3.1 Community License (kommerzielle Nutzung erlaubt, MAU-Vorbehalt über 700M)

FP16 VRAM

~810GB (nur Modell)

FP8 VRAM

~486GB (passt auf 8x H100 80GB)

INT4 VRAM

~243GB (passt auf 4x H100 oder 8x A100 40GB)

Veröffentlichungsdatum

2024-07-23

Hardware für Llama 3.1 405B im Produktionsbetrieb

Drei Tiers, echte SKUs, echte Durchsatzzahlen.

Einstiegs-Tier: 8x A100 80GB mit AWQ oder GPTQ INT4-Quantisierung, NVLink

Durchsatz: 8 bis 15 Tok/s Einzelstream, 30 bis 50 Tok/s gebatched. Geeignet für: Forschungslabors, Evaluierungsarbeit, internes R&D wo Latenz akzeptabel ist.

Mid-Tier: 8x H100 SXM 80GB mit FP8-Quantisierung, NVLink + NVSwitch

Durchsatz: 30 bis 60 Tok/s Einzelstream, 200+ Tok/s gebatched. Geeignet für: Produktionsinferenz mit FP8, das standardmäßig empfohlene Deployment für echte Nutzer.

Enterprise-Tier: 8x H200 SXM 141GB bei BF16 Single-Node, oder DGX B200 Rack bei FP4

Durchsatz: 60 bis 120 Tok/s Einzelstream, 400+ Tok/s gebatched. Geeignet für: Höchste Qualitätsinferenz, regulierte Workloads, Multi-Tenant-Serving im Maßstab.

Quantisierungsempfehlungen für dieses Modell

GGUF, AWQ, FP8, INT4.

Empfohlene Quantisierung

FP8 auf H100 oder H200. Native FP8-Unterstützung gibt ca. 2x Speicherreduktion mit minimalem Qualitätsverlust und ist das Standard-Produktionsformat für 405B.

Abwägungen

BF16 bewahrt die volle Qualität, braucht aber H200 für den Single-Node-Fit. FP8 ist der Produktionsstandard mit vernachlässigbarem Benchmark-Verlust. Metas eigenes FP8-Rezept lässt die Self-Attention-Schichten sowie den ersten und letzten Transformer-Block unquantisiert, und sowohl es als auch NVIDIAs zeilenweises (row-wise) TensorRT-Rezept stellen rund 99,9 Prozent des BF16-MMLU wieder her. NVIDIAs Variante bringt auf der H200 bis zu 1,44x mehr Durchsatz. INT4 (AWQ oder GPTQ) senkt den VRAM auf ~243GB, verliert aber 2 bis 5 Punkte bei schwerem Reasoning. Unter INT4 baut das Modell schnell ab.

BF16

Dateigröße: nicht angegeben.

FP8

Dateigröße: nicht angegeben.

INT4 AWQ

Dateigröße: nicht angegeben.

FP4

Dateigröße: nicht angegeben.

Coding-Agents für Llama 3.1 405B

Llama 3.1 405B ist zuerst ein Hardware-Klassenproblem, dann ein Modellproblem.

Aider

Funktioniert mit Diff-Edit-Format und Whole-Edit-Format. Aider Polyglot-Score ca. 49 bis 52 Prozent für 405B in Community-Läufen. Latenz macht es schmerzhaft für Live-Pair-Programming. Am besten als Übernacht-Batch-Jobs gegen eine Queue von Pull-Request-Stubs deployt.

OpenHands

OpenAI-kompatibler vLLM-Endpunkt wird eingesteckt. SWE-bench Lite ca. 25 bis 30 Prozent auf Open-Weight 405B, hinter DeepSeek Coder V2 und Qwen Coder. Token-Kosten pro gelöstem Problem sind das Killer-Argument. Nur verwenden, wenn bereits für die GPUs bezahlt wird.

Cline

Funktional via OpenRouter oder AWS Bedrock Endpunkt. Cline gibt im Durchschnitt 30+ Tool-Calls pro Aufgabe ab. Bei 405B-Latenz ist das eine 4- bis 7-minütige Wartezeit pro Aufgabe. Praktisch nur wenn es als Hintergrundprozess läuft.

Continue.dev

Funktioniert für Chat und Edit. 405B nicht als Autocomplete-Modell verwenden, die 200 bis 800 Millisekunden First-Token-Latenz unterbricht den Flow. Llama 3.1 8B für Autocomplete und 405B für Chat ist das Standardmuster.

Cursor (BYOK)

Cursor akzeptiert OpenAI-kompatible Custom-Endpunkte. 405B via Bedrock oder Together funktioniert. Die meisten Teams stellen fest, dass Cursors First-Party-Composer und Sonnet 4.5 bei Iterationsgeschwindigkeit für dieselben Task-Kosten gewinnen.

SWE-Agent

Von Princeton entwickelt. Für SWE-bench-artige autonome Fehlerbehebung konzipiert. 405B funktioniert im Loop, Scores liegen 8 bis 12 Punkte hinter DeepSeek Coder V2 bei Verified. 405B hier nur verwenden, wenn breiteres Reasoning für Nicht-Coding-Teilaufgaben benötigt wird.

Roo Code

Cline-Fork mit Multi-Modus-Orchestrierung. 405B handhabt Architect-Modus-Reasoning gut, weniger ideal für Code-Modus-Iterationsgeschwindigkeit. Architect=405B mit Code=Llama 3.3 70B oder DeepSeek Coder V2 kombinieren.

Anwendungsfälle Coding-Agents

Wo dieser Modell- und Agent-Stack echte Arbeit liefert.

Research-Agents auf Llama 3.1 405B

Wo 405B seinen Wert beweist.

GPT Researcher

OpenAI-kompatibel. Funktioniert gegen vLLM 405B Endpunkt. Multi-Quellen-Synthesequalität ist wirklich stark, auf par mit GPT-4-Klasse. Ca. 0,50 bis 2,00 USD pro Research-Bericht bei typischen 50K-Token-Kontexten einplanen.

STORM (Stanford)

Wikipedia-artige Artikelgenerierung aus Quellen. 405B verarbeitet die Multi-Perspektiven-Fragegenerierungsphase gut. Der outline-gesteuerte Ansatz spielt 405Bs Reasoning-Tiefe zu.

AutoGen GroupChat

Multi-Agent-Research-Crews wo 405B der Synthese-Lead und 70B der Worker ist. Token-Caps obligatorisch, sonst läuft die Konversation weg.

LangGraph Deep-Research

Referenz-Deep-Research-Template läuft sauber auf 405B via vLLM. Die Graph-Struktur passt gut zu 405Bs langsamerem Decode, die Latenz zwischen Nodes ist nicht spürbar.

CrewAI

Researcher-Writer-Critic-Crew-Muster. 405B als Critic erkennt Reasoning-Fehler, die kleinere Modelle übersehen. LiteLLM-Proxy handhabt den vLLM-Endpunkt.

Open Deep Research (HuggingFace)

smolagents-basierter Klon von OpenAI Deep Research. 405B funktioniert als Planer. Wir haben es für Kunden-Marktintelligenz-Berichte gegen 50 bis 200 Quell-URLs betrieben.

Anwendungsfälle Research-Agents

Wo dieser Modell- und Research-Agent-Stack Berichte liefert, die Ihr Team tatsächlich nutzt.

Was Kunden nach dem Launch gesagt haben

Feedback von den Menschen, die im Raum waren, als die Entscheidungen getroffen wurden.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
Dana, Office ManagerPhoenix
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Aisha, Engineering LeadToronto

Frameworks für produktive Agent-Workflows

Framework nach Workflow-Form wählen.

  1. LangGraph

  2. CrewAI

  3. AutoGen

  4. DSPy

  5. Pydantic AI

  6. LlamaIndex

Wer Llama 3.1 405B wählt

Drei Käuferprofile, bei denen dieses Modell die richtige Antwort ist.

Sovereign- oder reguliertes Unternehmen

Aufgabe: On-Prem-GPT-4-Klasse-Assistent für Finanzen, Verteidigung, Gesundheitswesen. Ergebnis: Keine Daten verlassen den Perimeter, und 405B ist das einzige offene Modell, das konsistent Frontier-Closed-Modelle auf Wissens-Benchmarks entspricht.

Forschungslabor zum Aufbau synthetischer Daten

Aufgabe: Hochwertige Trainingskorpora und Judge-Labels für kleinere Modelle generieren. Ergebnis: 405B als Lehrer liefert messbar bessere synthetische Daten als 70B-Destillate, was den Trainings-Aufwand rechtfertigt.

Multi-Tenant-API-Betreiber

Aufgabe: Llama 3.1 Endpunkt für viele Kunden unter einer Lizenz betreiben. Ergebnis: Amortisiert den 8x H100-Capex über Tausende von Seats, wo die Pro-Token-Wirtschaftlichkeit GPT-4-API im Maßstab schlägt.

Llama 3.1 405B vs. die engsten Konkurrenten

Wo dieses Modell gewinnt, wo es verliert.

  1. vs. Llama 3.3 70B

    70B schließt den Großteil der Qualitätslücke bei gängigen Benchmarks, und beim Instruction-Following führt es klar (IFEval 92,1 gegen 88,6) ebenso wie bei MATH (77,0 gegen 73,9). Es läuft auf einem einzelnen 8x A100- oder 4x H100-Node und kostet rund 4,5x weniger pro Token. Wähle 70B, außer du brauchst gezielt den Vorsprung von 405B bei MMLU-Pro (73,4 gegen 68,9), breitem MMLU oder HumanEval.

  2. vs. DeepSeek V3 671B

    DeepSeek V3 ist ein 671B MoE mit 37B aktiven Parametern. Höhere Headline-Benchmarks, vergleichbare Serving-Kosten via MoE, aber komplexer zu deployen und unter DeepSeeks eigenen Bedingungen lizenziert. 405B ist operativ einfacher, da es dicht ist.

  3. vs. GPT-4 / Claude API

    Closed APIs kosten 2 bis 15 USD pro Million Token ohne Capex. 405B wird günstiger ab ca. 200M bis 500M Token pro Tag nachhaltig, plus Sie bekommen On-Prem-Kontrolle. Unterhalb dieses Volumens gewinnt die API.

Wie Pineido Agents auf Llama 3.1 405B aufsetzt

Drei-Wochen-Sprint.

Tag 1

Hardware-Audit. 8x H100 80GB SXM mit NVLink bestätigt, FP8-Quantisierungsplan unterzeichnet, vLLM-Deployment-Topologie gezeichnet (TP=8, Single-Node).

Tag 4

vLLM gestartet mit Continuous Batching, OpenAI-kompatibler Endpunkt hinter Reverse Proxy, KV-Cache für durchschnittlichen 32K-Kontext optimiert, Basis-Tok/s-Benchmark aufgezeichnet.

Tag 8

Llama 3.3 70B Replik neben 405B für hybrides Routing aufgesetzt. LiteLLM Router-Regeln: 405B für Reasoning-intensive und Synthese-Aufgaben, 70B für Tool-Calls und Short-Context-Iteration.

Tag 12

LangGraph plus gewählter Agent (Aider für Code, GPT Researcher für Research) an LiteLLM Router verdrahtet. LangSmith-Tracing live, Pro-Node-Token-Budgets durchgesetzt.

Tag 16

Eval-Harness läuft auf einem eingefrorenen Kunden-Task-Suite. Pass-Rate, Latenz P50 und P99, Kosten pro Task als Produktions-SLA festgelegt.

Tag 21

Produktionsumstellung. SSO, Audit-Log, Aufbewahrungsrichtlinie, Redaktionsschicht davor. 'Built with Llama'-Attribution in Produktdokumentationen ausgeliefert.

Wie wir Llama 3.1 405B in 14 Tagen deployen

Festpreis.

  1. Tag 1

    Workload-Wirtschaftlichkeit validieren. Aktuelles Token-Volumen gegen einen 8x H100-Capex von ca. 300.000 bis 500.000 USD messen, dann bestätigen, dass 405B Llama 3.3 70B auf dem Evaluierungsset übertrifft, bevor Sie sich festlegen.

  2. Tag 2 bis 5

    8-GPU-Node beschaffen oder mieten. Entweder 8x H100 von einem Neocloud (Lambda, Crusoe, RunPod) für 20 bis 30 USD/Std. leasen, oder DGX H200 mit 12 bis 16 Wochen Lieferzeit bestellen.

  3. Woche 2

    Mit vLLM oder TensorRT-LLM in FP8 deployen. Tensor-Parallelismus über 8 GPUs konfigurieren, Continuous Batching aktivieren und Durchsatz auf der echten Prompt-Verteilung validieren.

  4. Woche 3 bis 4

    Observability und Fallback aufbauen. Prometheus-Metriken für Tok/s, Queue-Tiefe und KV-Cache-Auslastung verdrahten. Llama 3.3 70B als Fallback für die 90 Prozent des Traffics einrichten, der kein 405B braucht.

Alles, was Sie im ersten Termin fragen würden

Sollte ich 405B gegenüber Llama 3.3 70B wählen?

Fast nie. 405B hält einen echten, aber schmalen Vorsprung beim breiten Wissen, MMLU-Pro 73,4 gegen 68,9 und HumanEval 89,0 gegen 88,4, während 70B beim Instruction-Following (IFEval 92,1 gegen 88,6) und in Mathematik (MATH 77,0 gegen 73,9) tatsächlich gewinnt und bei GPQA Diamond mit rund 50,5 gleichzieht. Wähle 405B nur, wenn dieser Wissensvorsprung eine 4,5-fache Kostensteigerung wert ist. Für die meiste Produktionsarbeit ist Llama 3.3 70B die richtige Antwort.

Was ist die Mindesthardware für den Betrieb von 405B?

Realistisch 8x A100 80GB mit INT4-Quantisierung. Das gibt dir 640GB gepoolten VRAM, fasst ein 243GB-INT4-Modell mit Platz für den KV-Cache und läuft mit 8 bis 15 Tokens pro Sekunde. Für echtes Produktions-Serving ist die Untergrenze 8x H100 80GB bei FP8 (~486GB), die einzige Stufe mit den nativen FP8-Tensor-Cores, die die Qualität intakt halten. Alles Kleinere ist ein Forschungsspielzeug, keine Produktion.

Cloud-GPUs oder eigene Hardware kaufen?

Unter 8 Stunden pro Tag anhaltender Inferenz: mieten. Ein 8x H100-Node kostet bei Neoclouds wie Lambda oder Crusoe etwa $2 bis $4 pro GPU-Stunde, und AWS p5.48xlarge fiel nach der Kürzung 2025 auf rund $33 bis $55 pro Stunde On-Demand, deutlich unter $2 pro GPU-Stunde bei einer Einjahresreservierung. Über 16 Stunden pro Tag amortisiert sich der Capex eines DGX H200 (rund $350K bis $500K) gegenüber On-Demand-Cloud in 12 bis 18 Monaten, doch das Hopper-Angebot verknappte sich Ende 2025 erneut, also prüfe die Lieferzeiten, bevor du um eine eigene Box herum planst. Hybrid (reservierte Cloud + Burst) teilt die Differenz bei variabler Last.

Schadet FP8-Quantisierung der Qualität?

Vernachlässigbar. Meta und NVIDIA veröffentlichen beide FP8-Benchmarks mit rund 99,9 Prozent MMLU-Wiederherstellung und einem HumanEval pass@1, das auf oder über BF16-Niveau bleibt, deutlich unter einem halben Punkt Abfall. Meta schützt die Qualität, indem es die Self-Attention-Schichten sowie den ersten und letzten Transformer-Block von der Quantisierung ausnimmt. FP8 ist der Produktionsstandard für 405B, kein Kompromiss.

Kann es wirklich 128K Kontext nutzen?

Ja, mit Vorbehalten. Recall bleibt bis 64K bis 96K stark, dann degradiert es bei langen Tails. Zusätzlichen VRAM für KV-Cache budgetieren (ca. 60GB bei vollem 128K) und RAG über rohen langen Kontext für retrieval-intensive Arbeit erwägen.

Was kostet eine Aider-Session gegen Self-Hosted Llama 3.1 405B tatsächlich?

Cluster-Kosten zuerst: 8x H100 80GB auf AWS p5.48xlarge läuft ca. 98 USD pro Stunde On-Demand oder ca. 50 USD pro Stunde mit Ein-Jahres-Reservierung. Bei 7 bis 8 Token pro Sekunde pro Request verbrennt eine typische Aider-Session 30.000 bis 80.000 Token. Das sind 60 bis 180 Sekunden Decode plus 8 bis 15 Sekunden Prefill. Pro-Session-Rechenkosten liegen bei 1,50 bis 4,50 USD bei On-Demand-Preisgestaltung, 0,80 bis 2,40 USD reserviert. Die Rechnung geht nur über ca. 50 Millionen Token pro Monat gegenüber API-Preisgestaltung bei 2,40 USD pro Million gemischt auf Bedrock auf.

405B dicht Parameter

30-Minuten-Scoping-Call buchen. Wir sagen Ihnen, ob Llama 3.1 405B plus unser Agent-Stack die richtige Wahl ist, bevor Sie unterschreiben.

Festpreis.

Tag 1 sehen Sie das genaue Modell, die genaue Hardware, den genauen Agent-Stack, die genaue Kostenkalkulation und die genaue Compliance-Positionierung.

Sie gehen mit

  1. Tag 0 (diese Woche): 30-Minuten-Scoping-Call. Hardware-Shortlist, Modellauswahl, Agent-Stack-Vorschlag, Kostenprojektion bis Freitag in Ihrem Posteingang
  2. Tag 1: Workload-Wirtschaftlichkeit validieren. Aktuelles Token-Volumen gegen 8x H100-Capex von ca. 300.000 bis 500.000 USD messen, dann bestätigen, dass 405B Llama 3.3 70B auf dem Evaluierungsset übertrifft, bevor Sie sich festlegen.

VonGründer und Imaginator

Pineido, mit Sitz in Strumica, North Macedonia, ist ein Softwareunternehmen, das Websites, Onlineshops, Web- und Mobile-Apps, Prozessautomatisierung und KI für Unternehmen im In- und Ausland baut. Geliefert wird in 30-Tage-Sprints zum Festpreis, und der Code gehört dem Kunden.

Veröffentlicht Aktualisiert