Mistral Large 3 auf Ihrer Hardware aufsetzen, Agent-Stack live, produktionsreif in 14 Tagen

Mistral Large 3 ist das stärkste Open-Weight-Modell eines westlichen Labors im Jahr 2026. Veröffentlicht am 2.

  • 14-Tage-Produktionsumstellung
  • Coding + Research Agent-Stack inklusive
  • 675B gesamt, 41B aktiv pro Token (MoE), 2,5B Vision-Encoder Parameter
  • 256K Token Kontextfenster
  • 14 d Produktionsumstellung

Mistral Large 3 auf einen Blick

Die relevanten Spezifikationen bei Modell- und Hardware-Auswahl.

Parameter

675B gesamt, 41B aktiv pro Token, plus 2,5B Vision-Encoder

Architektur

Granulares MoE, multimodal (Text + Vision)

Kontextfenster

256K Token

Lizenz

Apache 2.0

Veröffentlichung

2. Dezember 2025

Trainingsaufwand

3.000 NVIDIA H200-GPUs

MMLU-Pro

73.1 (unabhängige Evaluierung)

MATH-500

93.6

Ausgabegeschwindigkeit (Artificial Analysis)

~38 Tok/s

Min. VRAM (NVFP4)

~340GB, 8x A100/H100/B200

Min. VRAM (FP8)

~675GB, 8x H200-Node

Min. VRAM (Q3_K_S)

244GB

Hardware für Mistral Large 3 im Produktionsbetrieb

Drei Tiers, echte SKUs, echte Durchsatzzahlen.

Einstiegs-Tier: 4x RTX 4090/5090 mit Ollama Q4 GGUF

Durchsatz: 10-25 Tokens/Sek. Am besten für: Nur Labor- und Pilotarbeit, nicht für den Produktivbetrieb. Besser Mistral 3 14B- oder 8B-Varianten auf einer einzelnen GPU für KMU verwenden.

Mid-Tier: 8x A100 80GB oder 8x H100 mit NVFP4 (150.000-200.000 USD)

Durchsatz: 60-120 Tokens/Sek. Am besten für: Firmen mit 20-50 Nutzern, die Vision plus Text bis 64K Kontext betreiben, vLLM mit --tensor-parallel-size 4 und dem Mistral-Tool-Parser. Auf A100/H100 läuft NVFP4 über den Marlin-FP4-Fallback (Speichervorteil, keine Beschleunigung gegenüber FP8).

Enterprise-Tier: 8x H200 SXM 141GB (250.000-300.000 USD) oder 8x B200 (300.000+ USD)

Durchsatz: 150-300 Token/s. Geeignet für: Voller 256K-Kontext in Produktion, Multi-Tenant-Deployment, agentische Workflows mit Vision.

Quantisierungsempfehlungen für dieses Modell

GGUF, AWQ, FP8, INT4.

Empfohlene Quantisierung

NVFP4 für den Produktivbetrieb mit Kontext unter 64K auf H100 oder A100 (nahezu verlustfrei bei Text, halber Speicher gegenüber FP8, tensor-parallel-size 4). FP8 für den vollen 256K-Kontext auf einem 8x-H200-Knoten und FP8, wenn Sie Fine-Tuning planen. GGUF Q4 nur für Labor- und Offline-Batch-Arbeit.

Abwägungen

NVFP4 ist hauptsächlich auf Text kalibriert, also erwarten Sie eine geringfügige Regression bei Vision-Datensätzen und einen Qualitätsabfall jenseits von 64K Kontext, genau dort wechseln Sie zu FP8. Auf A100 oder H100 greift vLLM auf Marlin FP4 zurück: Sie behalten den Speichervorteil, aber nicht die Beschleunigung gegenüber FP8, und nur B200 hat den nativen NVFP4-Beschleunigungspfad. FP8 ist außerdem die präzisere Wahl für Fine-Tuning. GGUF Q4 funktioniert, aber der Durchsatz ist auf Consumer-GPUs bandbreitenbegrenzt und der Tool-Calling-Parser benötigt Mistral-spezifische Konfiguration. Der 2,5B-Vision-Encoder läuft unabhängig von der LLM-Quantisierung mit FP16.

NVFP4

Dateigröße: ~340GB.

FP8

Dateigröße: ~675GB.

GGUF Q3_K_S

Dateigröße: 244GB.

GGUF Q4

Dateigröße: 370GB.

Coding-Agents für Mistral Large 3

Veröffentlicht am 2.

Mistral Vibe CLI

Mistrals offizielles Agent-CLI. npm install -g @mistralai/vibe-cli. Nativ im Mistral-Tool-Format. Als Zed-Extension verfügbar. Für die reibungsloseste First-Party-Erfahrung, besonders wenn der Kunde bereits auf Mistrals Enterprise-Tier ist.

Cline

Mistral ist ein erstklassiger Cline-Anbieter. OpenAI Compatible Config funktioniert gegen Ihren vLLM-Endpunkt. Cline hat Devstral 2s Tool-Calling-Zuverlässigkeit bestätigt, und Mistral Large 3 erbt dasselbe Chat-Template. Plan- und Act-Modus funktionieren.

Aider

Mistral Large 3 funktioniert nativ: aider --model mistralai/mistral-large-3 --api-key $MISTRAL_API_KEY für gehostet, oder --openai-api-base http://your-vllm:8000/v1 für Self-Hosted. Edit-Format funktioniert sauber für Python, TypeScript, Go.

Continue.dev

config.yaml mit provider: mistral oder openai (custom apiBase). Fähigkeiten deklarieren: [tool_use, image_input] für das multimodale Flaggschiff. Rollen chat und edit funktionieren; für Autocomplete-Rolle ein kleineres, schnelles Modell verwenden.

Roo Code

Cline-Fork. Gleiche OpenAI-kompatible Konfiguration. Multi-Modus (Code, Architect, Ask, Debug) funktioniert. Mistral Large 3s 256K-Kontext schaltet den vollständigen Repo-Kontext-Plan im Architect-Modus frei.

OpenHands

Funktioniert, aber Devstral 2 ist das bessere Mistral-Modell für Repo-Autonomie. Mistral Large 3 nur verwenden, wenn das Deployment auf ein Modell konsolidiert ist. LLM_BASE_URL auf vLLM setzen, SWE-bench Verified Pass zwischen 35 und 45 Prozent erwarten.

Mistral Code

Mistrals Enterprise-Coding-Bundle: In-IDE-Assistent, Modelle, lokales Deployment, Support. Bündelt Mistral Large 3 plus Devstral 2 plus Tooling. Einsatz, wenn der Kunde ein herstellersupported Paket statt einem zusammengestellten Stack möchte.

Anwendungsfälle Coding-Agents

Wo dieser Modell- und Agent-Stack echte Arbeit liefert.

Research-Agents auf Mistral Large 3

Der 256K-Kontext bewältigt tiefe Dokumentensynthese.

GPT Researcher

Standard OPENAI_BASE_URL-Override. Mistral Large 3s Instruktionsfolge ist stark, GPT Researchers Plan-and-Execute-Muster funktioniert ohne Prompt-Anpassungen. Berichte laufen 4 bis 7 Minuten für 5 bis 10 Quellen.

AnythingLLM

Generischer OpenAI-Provider funktioniert. Mistrals parallel_tool_calls-Flag ermöglicht, dass der @agent-Modus mehrere Tools pro Turn aufrufen kann, was Multi-Tool-Research-Workflows beschleunigt.

Open WebUI

Dokument-Upload, Websuche, Function Calling funktionieren alle. Der 256K-Kontext ist der Höhepunkt für Multi-Dokument-Research-Chats. Mit Mistrals EAGLE Speculative Decoding für schnelleres Streaming kombinieren.

LangGraph

Produktions-Research-Orchestrierung. Mistral Large 3s 256K-Kontext lässt LangGraph längere Agent-Zustände ohne Checkpoint-Komprimierung halten. langchain-mistral oder langchain-openai mit apiBase-Override funktionieren beide.

CrewAI

Rollenbasierte Crews. Mistral Large 3s starke Instruktionsfolge und parallele Tool-Calls passen zu CrewAIs sequentiellem Muster: llm im Agent-Config setzen.

AutoGen / AG2

GroupChat funktioniert. Der 256K-Kontext absorbiert mehr Debattengeschichte als DeepSeek V3.2s 128K. Mistrals langsamere Ausgabegeschwindigkeit (~38 Tok/s) ist der Engpass bei Multi-Agent-Debatten.

LlamaIndex

Hybrid-Stack: LlamaIndex Query-Engines als Tools innerhalb eines LangGraph- oder AutoGen-Workflows. Mistrals stricter Function-Calling-Modus passt sauber zu LlamaIndexs strukturierten Tool-Definitionen.

Anwendungsfälle Research-Agents

Wo dieser Modell- und Research-Agent-Stack Berichte liefert, die Ihr Team tatsächlich nutzt.

Frameworks für produktive Agent-Workflows

Framework nach Workflow-Form wählen.

LangGraph

Produktionsorchestrierung. 256K Kontext plus LangGraph-Checkpoints bewältigen sehr lange Workflows.

CrewAI

Sequentielle Crews mit aktiviertem parallelem Tool-Calling.

AutoGen / AG2

GroupChat. Mistrals langsamere Ausgabegeschwindigkeit ist der Engpass bei debatte-intensiven Mustern.

DSPy

Prompt-Kompilierung. Stark mit Mistrals strikter Format-Befolgung.

Pydantic AI

Typsichere Agents. Mistral Guidance (lark grammar) und Pydantic AI zielen beide auf strukturierte Ausgabe ab.

Wer Mistral Large 3 wählt

Drei Käuferprofile, bei denen dieses Modell die richtige Antwort ist.

  1. Europäische Anwaltskanzlei, 60 Anwälte, EU-multilinguale Praxis

    Aufgabe: Mehrsprachige Vertragsüberprüfung, Vision-basierte Dokumentenaufnahme (gescannte PDFs, Belege), agentische Discovery. Ergebnis: Apache 2.0 plus Mistrals EU-Provenienz vereinfacht die GDPR-Positionierung. Vision plus Text in einem Modell entfernt eine Schicht Pipeline-Glue.

  2. Medizinisches Bildgebungsberatungsunternehmen, 15 Radiologen

    Aufgabe: Image-konditionierte Berichtserstellung, Vision-Text-Q&A auf de-identifizierten DICOM-Exporten. Ergebnis: Erstklassige Multimodalität in einem Open-Weight-Modell mit vollständig HIPAA-kompatiblem Self-Hosting. 256K Kontext bewältigt lange longitudinale Fälle.

  3. Finanzdienstleistungsplattform, 90-köpfiges Engineering-Team

    Aufgabe: Dokumentenaufnahme (Vision OCR plus Reasoning), mehrsprachiges KYC, agentische Workflows mit nativem Tool-Calling. Ergebnis: Apache 2.0 Redistribution ermöglicht der Firma, das Modell in kundengerichteten Produkten einzubetten, ohne Lizenzierungsfriktionen pro Seat.

Mistral Large 3 vs. die engsten Konkurrenten

Wo dieses Modell gewinnt, wo es verliert.

vs. DeepSeek V3.2

DeepSeek V3.2 gewinnt beim schwierigsten Reasoning und Theorem-Beweisen. Mistral Large 3 gewinnt bei Multimodalität (Vision ist nativ), Apache 2.0 Einfachheit (DeepSeek ist MIT, vergleichbar, aber Mistral hat stärkere westliche Enterprise-Bekanntheit) und 256K Kontext vs. 128K.

vs. Qwen3 235B A22B

Qwen3 235B gewinnt bei Hardware-Einstieg (143GB vs. 370GB bei Q4) und reinen Reasoning-Benchmarks. Mistral Large 3 gewinnt bei multimodaler Vision und bei Training-Provenienz (3.000 H200s, vollständig offengelegt), nützlich für risikoscheue Käufer.

vs. Llama 3.3 70B

Andere Klasse. Llama 3.3 70B ist auf einem einzelnen Mac für 7.000 USD deploybar. Mistral Large 3 benötigt einen 8x H200-Node. Llama für KMU-Self-Hosting wählen, Mistral Large 3 wenn Frontier-Qualität plus Vision plus Apache 2.0 alle erforderlich sind.

Wie Pineido Agents auf Mistral Large 3 aufsetzt

Tag 4 vLLM serving für Mistral Large 3 mit Mistral-Tool-Call-Parser und den drei obligatorischen Mistral-Flags.

Tag 4

vLLM serving für Mistral Large 3 mit --tokenizer_mode mistral, --config_format mistral, --load_format mistral, --enable-auto-tool-choice, --tool-call-parser mistral, --max-model-len 32768 (erhöhen nach Speicher-Headroom-Validierung), --tensor-parallel-size 8. mistral_common >= 1.8.6 obligatorisch, sonst bricht Tool-Calling ab. NVFP4 für Inferenz, FP8 für Fine-Tuning.

Tag 5

EAGLE Speculative Decoding verdrahtet mit dem Begleitmodell mistralai/Mistral-Large-3-675B-Instruct-2512-Eagle und num_speculative_tokens: 3. Durchsatz verbessert sich ohne Qualitätsänderung der Ausgabe.

Tag 6

Editor-Agents eingebunden. Aider via --model mistralai/mistral-large-3, Cline als Mistral-Provider, Continue.dev mit provider: mistral, Roo Code OpenAI-kompatibel. Striktes Function-Calling aktiviert gemäß Mistral-Release 1.10.0.

Tag 8

Open WebUI plus AnythingLLM live. Dokument-Upload unterstützt Bild-Multimodalität. Workspaces isolieren sensible Dokumentenmengen.

Tag 10

LangGraph-Workflows. Drei Workflows geliefert: Deep-Research, Code-Review, Customer-Intake. Mistral Guidance Lark-Grammar-Schemavalidierung in die Structured-Output-Nodes eingebunden.

Tag 12

Mistral Code (herstellerunterstütztes Bundle) oder OpenHands Repo-Autonomie. Für coding-intensive Käufer ergänzen wir Devstral 2 neben Mistral Large 3, da Devstral 2 Coding besitzt (72.2 Prozent SWE-bench Verified).

Tag 14

Prometheus-Metriken-Dashboard (vllm:num_requests_waiting, gpu_cache_usage_perc, time_to_first_token_seconds), Nachweispaket, Runbook und Agent-Inventar geliefert.

Was Kunden nach dem Launch gesagt haben

Feedback von den Menschen, die im Raum waren, als die Entscheidungen getroffen wurden.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
Kwame, Digital DirectorSingapore
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Aisha, Engineering LeadToronto

Wie wir Mistral Large 3 in 14 Tagen deployen

Festpreis.

  1. Tag 1

    Hardware-Audit. 8x H100/H200/B200-Node bestätigen. NVFP4 versus FP8 nach Kontextlängenbedarf wählen. Echte Prompts ausführen, inklusive Vision-Aufgaben wenn relevant.

  2. Tag 4

    Serving via vLLM mit Mistral-Tokenizer/-Config/-Load-Formaten. Tool-Call-Parser ('mistral') aktivieren. System-Prompt mit Tool-Beschreibungen. Temperature 0.1 für Produktion.

  3. Tag 9

    RAG mit Vision-fähigem Retrieval falls benötigt. SSO, Audit, RBAC. max-model-len auf 32K oder 64K anpassen, wenn voller 256K-Kontext nicht benötigt wird (spart erheblich KV-Cache-Speicher).

  4. Tag 14

    Pen-Test bestanden. Apache 2.0 NOTICE eingereicht. Produktionsumstellung. EU-Residenz bestätigt falls relevant für GDPR-Positionierung.

Die Fragen, die entscheiden, ob wir zu Ihnen passen

Welche Lizenz hat Mistral Large 3?

Apache 2.0, einschließlich der Basis- und der instruktionsoptimierten Versionen. Keine Nutzungsbeschränkungen, keine Klauseln zu abgeleiteten Werken, keine Umsatzgrenzen. Das freizügigste Open-Weight-Flaggschiff 2026. Pineido empfiehlt Mistral Large 3 gezielt, wenn der Käufer Apache 2.0 oder MIT verlangt (manche risikoscheuen Käufer lehnen die Acceptable Use Policy von Llama ab oder haben Bedenken wegen MIT mit chinesischer Gerichtsbarkeit bei DeepSeek).

Was ist die realistische Mindesthardware für Mistral Large 3 in Produktion?

8x A100 80GB oder 8x H100 mit NVFP4-Gewichten ist die praktische Untergrenze, 150.000 bis 200.000 USD Capex. Darunter läuft Q4 GGUF auf Multi-GPU-Consumer-Karten (4x RTX 5090 oder ähnlich) mit erheblichem Performance-Kompromiss. Für Firmen unter 30 Nutzern, die nicht das volle 675B benötigen, sind die kleineren Geschwister (Mistral 3 14B, 8B, 3B) auf einer einzelnen GPU meist die richtige Antwort.

Funktioniert Vision in Mistral Large 3 wirklich gut?

Ja. Der 2.5-Milliarden-Parameter-Vision-Encoder ist integriert, nicht nachträglich hinzugefügt. Er verarbeitet gescannte PDFs, Diagramme, Grafiken, Fotos und longitudinale Multi-Bild-Fälle. Für beste Ergebnisse Seitenverhältnisse nahe 1:1 halten und den Vision-Encoder unabhängig von der LLM-Quantisierung bei FP16 betreiben. Es ist eines der ersten offenen Frontier-Modelle mit Vision und Mehrsprachigkeit in einem.

Sollten wir Mistral Large 3 oder DeepSeek V3.2 deployen?

Beide sind 670B-Klasse MoE auf Enterprise-Hardware. Mistral Large 3 wählen bei Bedarf an Vision, längerem Kontext (256K vs. 128K) oder Apache 2.0 plus westlicher Training-Provenienz. DeepSeek V3.2 wählen bei maximalem Reasoning und Theorem-Beweisen ohne Vision-Bedarf.

Sollten wir Mistral Large 3 oder Devstral 2 für Coding-Agents verwenden?

Devstral 2 für reine Coding-Deployments. Mistral Large 3 für Ein-Modell-für-viele-Aufgaben-Deployments. Devstral 2 erzielt 72.2 Prozent SWE-bench Verified, läuft auf 4 H100s, und Cline hat seine Tool-Calling-Zuverlässigkeit offiziell bestätigt. Mistral Large 3 ist der Generalist (675B gesamt / 41B aktiv) für Teams, die Coding plus Research plus Dokument-Q&A unter einer Lizenz wollen. Pineido betreibt oft beide: Mistral Large 3 als Standard-Endpunkt, Devstral 2 auf der Coding-Lane wenn das Volumen es rechtfertigt.

Welche vLLM-Flags benötigt Mistral Large 3?

Drei Mistral-spezifische Flags sind obligatorisch: --tokenizer_mode mistral, --config_format mistral, --load_format mistral. Plus --enable-auto-tool-choice und --tool-call-parser mistral für Function Calling. Ohne --tool-call-parser mistral verwendet vLLM den Standard-Parser und Tool-Calls geben nichts zurück. mistral_common >= 1.8.6 installiert prüfen, sonst fällt Tokenisierung auf HuggingFace-Standard zurück und bricht ab. vLLM >= 0.17.0 pinnen.

675B gesamt, 41B aktiv pro Token (MoE), 2,5B Vision-Encoder Parameter

30-Minuten-Scoping-Call buchen. Wir sagen Ihnen, ob Mistral Large 3 plus unser Agent-Stack die richtige Wahl ist, bevor Sie unterschreiben.

Festpreis.

Tag 1 sehen Sie das genaue Modell, die genaue Hardware, den genauen Agent-Stack, die genaue Kostenkalkulation und die genaue Compliance-Positionierung.

Sie gehen mit

  1. Tag 0 (diese Woche): 30-Minuten-Scoping-Call. Hardware-Shortlist, Modellauswahl, Agent-Stack-Vorschlag, Kostenprojektion bis Freitag in Ihrem Posteingang
  2. Tag 1: Hardware-Audit. 8x H100/H200/B200-Node bestätigen. NVFP4 versus FP8 nach Kontextlängenbedarf wählen. Echte Prompts ausführen, inklusive Vision-Aufgaben wenn relevant.

VonGründer und Imaginator

Pineido, mit Sitz in Strumica, North Macedonia, ist ein Softwareunternehmen, das Websites, Onlineshops, Web- und Mobile-Apps, Prozessautomatisierung und KI für Unternehmen im In- und Ausland baut. Geliefert wird in 30-Tage-Sprints zum Festpreis, und der Code gehört dem Kunden.

Veröffentlicht Aktualisiert