Configurare Mistral Large 3 sul tuo hardware, stack agent attivo, livello produzione in 14 giorni

Mistral Large 3 è il modello open-weight più potente di un laboratorio occidentale nel 2026. Rilasciato il 2 dicembre 2025 sotto Apache 2.0, arriva come un MoE granulare da 675 miliardi di parametri con 41 miliardi attivi per token, più un encoder di visione da 2.5 miliardi di parametri, più 256K di contesto.

  • Cutover in produzione 14 giorni
  • Stack agent coding + ricerca incluso
  • 675B totali, 41B attivi per token (MoE), 2,5B encoder visivo Parametri
  • 256K token Finestra di contesto
  • 14 g Cutover in produzione

Mistral Large 3 in sintesi

Le specifiche che contano quando si sceglie il modello e l'hardware.

Parametri

675B totali, 41B attivi per token, più encoder visivo da 2,5B

Architettura

MoE granulare, multimodale (testo + visione)

Finestra di contesto

256K token

Licenza

Apache 2.0

Rilascio

2 dicembre 2025

Compute di addestramento

3.000 GPU NVIDIA H200

MMLU-Pro

73.1 (valutazione indipendente)

MATH-500

93.6

Velocità output (Artificial Analysis)

~38 tok/s

VRAM minima (NVFP4)

~340GB, 8x A100/H100/B200

VRAM minima (FP8)

~675GB, nodo 8x H200

VRAM minima (Q3_K_S)

244GB

Hardware che esegue Mistral Large 3 in produzione

Tre livelli, SKU reali, numeri di throughput reali.

Livello base: 4x RTX 4090/5090 con Ollama Q4 GGUF

Throughput: 10-25 token/sec. Ideale per: Solo lavoro di laboratorio e pilota, non per il servizio in produzione. Meglio usare le varianti Mistral 3 14B o 8B su una singola GPU per le PMI.

Livello medio: 8x A100 80GB o 8x H100 con NVFP4 ($150-200K)

Throughput: 60-120 token/sec. Ideale per: Aziende da 20-50 utenti che eseguono visione più testo fino a 64K di contesto, vLLM con --tensor-parallel-size 4 e il parser di strumenti Mistral. Su A100/H100, NVFP4 gira tramite il fallback Marlin FP4 (guadagno di memoria, nessuna accelerazione rispetto a FP8).

Livello enterprise: 8x H200 SXM 141GB ($250-300K) o 8x B200 ($300K+)

Throughput: 150-300 token/sec. Ideale per: produzione contesto 256K completo, deployment multi-tenant, workflow agentici con visione.

Scelte di quantizzazione per questo modello

GGUF, AWQ, FP8, INT4.

Quantizzazione consigliata

NVFP4 per la produzione con contesto inferiore a 64K su H100 o A100 (quasi senza perdite sul testo, metà della memoria rispetto a FP8, tensor-parallel-size 4). FP8 per il contesto completo di 256K su un nodo 8x H200, e FP8 quando prevedi di fare fine-tuning. GGUF Q4 solo per lavoro di laboratorio e batch offline.

Compromessi

NVFP4 è calibrato principalmente sul testo, quindi aspettati una regressione minore sui dataset di visione e un calo di qualità oltre i 64K di contesto, che è esattamente dove passi a FP8. Su A100 o H100, vLLM ricorre a Marlin FP4: mantieni il guadagno di memoria ma non l'accelerazione rispetto a FP8, e solo B200 ha il percorso di accelerazione NVFP4 nativo. FP8 è anche la scelta più precisa per il fine-tuning. GGUF Q4 funziona ma il throughput è limitato dalla banda sulle GPU consumer e il parser di tool-calling necessita di una configurazione specifica per Mistral. L'encoder di visione da 2,5B gira in FP16 indipendentemente dalla quantizzazione del LLM.

NVFP4

Dimensione file: ~340GB.

FP8

Dimensione file: ~675GB.

GGUF Q3_K_S

Dimensione file: 244GB.

GGUF Q4

Dimensione file: 370GB.

Agent di coding che colleghiamo a Mistral Large 3

Rilasciato il 2 dicembre 2025 sotto Apache 2.0, 41B attivi / 675B totali MoE, 256K di contesto, chiamata di funzioni nativa e output JSON.

Mistral Vibe CLI

La CLI agent ufficiale di Mistral: npm install -g @mistralai/vibe-cli. Nativa al formato tool di Mistral. Disponibile come estensione Zed. Usala per la migliore esperienza first-party, specialmente quando il cliente è già sul piano enterprise di Mistral.

Cline

Mistral è un provider Cline di prima classe. La configurazione OpenAI Compatible funziona con il tuo endpoint vLLM. Cline ha approvato l'affidabilità del tool-calling di Devstral 2, e Mistral Large 3 eredita lo stesso chat template. Modalità Plan e Act funzionali.

Aider

Mistral Large 3 funziona nativamente: aider --model mistralai/mistral-large-3 --api-key $MISTRAL_API_KEY per hosted, o --openai-api-base http://your-vllm:8000/v1 per self-hosted. Il formato di modifica si applica correttamente su Python, TypeScript, Go.

Continue.dev

config.yaml con provider: mistral o openai (apiBase personalizzato). Dichiara capabilities: [tool_use, image_input] per il flagship multimodale. I ruoli chat ed edit funzionano; abbina a un modello più piccolo e veloce per il ruolo di autocomplete.

Roo Code

Fork di Cline. Stessa configurazione compatibile OpenAI. Multi-modalità (Code, Architect, Ask, Debug) funzionale. Il contesto 256K di Mistral Large 3 sblocca il piano repo-context completo della modalità Architect.

OpenHands

Funziona ma Devstral 2 è il modello Mistral migliore per l'autonomia sui repo. Usa Mistral Large 3 solo quando il deployment è consolidato su un unico modello. Imposta LLM_BASE_URL su vLLM, aspettati un pass rate SWE-bench Verified tra il 35 e il 45%.

Mistral Code

Il bundle di coding enterprise di Mistral: assistente in-IDE, modelli, deployment locale, supporto. Racchiude Mistral Large 3 più Devstral 2 più tooling. Usato quando il cliente vuole un pacchetto con supporto vendor invece di uno stack assemblato.

Casi d'uso agent di coding

Dove questo modello + stack agent porta lavoro reale.

Agent di ricerca che deployiamo su Mistral Large 3

Il contesto di 256K gestisce la sintesi documentale approfondita.

GPT Researcher

Override OPENAI_BASE_URL standard. Il forte instruction following di Mistral Large 3 fa sì che il pattern plan-and-execute di GPT Researcher funzioni senza tweaking del prompt. I report richiedono 4-7 minuti per 5-10 fonti.

AnythingLLM

Il provider OpenAI generico funziona. Il flag parallel_tool_calls di Mistral significa che la modalità @agent può chiamare più strumenti per turno, velocizzando i workflow di ricerca multi-strumento.

Open WebUI

Caricamento documenti, ricerca web, function calling funzionano tutti. Il contesto 256K è il punto di forza per le chat di ricerca multi-documento. Abbina a EAGLE speculative decoding di Mistral per uno streaming più veloce.

LangGraph

Orchestrazione di ricerca in produzione. Il contesto 256K di Mistral Large 3 permette a LangGraph di mantenere uno stato agent più lungo senza compressione dei checkpoint. Funzionano entrambi langchain-mistral e langchain-openai con override apiBase.

CrewAI

Crew basate su ruoli. Il forte instruction following di Mistral Large 3 e le chiamate strumenti parallele si adattano al pattern sequenziale di CrewAI. Imposta llm nella configurazione agent.

AutoGen / AG2

GroupChat funziona. Il contesto 256K assorbe più storia di dibattito rispetto ai 128K di DeepSeek V3.2. La velocità di output più lenta di Mistral (~38 t/s) è il collo di bottiglia nei dibattiti multi-agent.

LlamaIndex

Stack ibrido: motori di query LlamaIndex come strumenti all'interno di un workflow LangGraph o AutoGen. La modalità strict function-calling di Mistral si abbina bene alle definizioni strutturate degli strumenti di LlamaIndex.

Casi d'uso agent di ricerca

Dove questo modello + stack agent di ricerca produce report che il tuo team usa davvero.

Framework che distribuiamo per workflow agent in produzione

Scegli il framework in base alla forma del workflow.

LangGraph

Orchestrazione in produzione. Il contesto 256K più i checkpoint LangGraph gestiscono workflow molto lunghi.

CrewAI

Crew sequenziali con chiamate strumenti parallele abilitate.

AutoGen / AG2

GroupChat. La velocità di output più lenta di Mistral è il collo di bottiglia nei pattern a forte dibattito.

DSPy

Compilazione prompt. Forte con il following di formato rigoroso di Mistral.

Pydantic AI

Agent type-safe. Mistral Guidance (grammatica lark) e Pydantic AI mirano entrambi all'output strutturato.

LlamaIndex

Layer di retrieval. Stack ibrido con orchestrazione LangGraph.

Chi sceglie Mistral Large 3

Tre profili di acquirente dove questo modello è la risposta giusta.

  1. Studio legale europeo, 60 avvocati, pratica multilingua EU

    Task: Revisione contratti multilingua, acquisizione documenti basata su visione (PDF scansionati, allegati), discovery agentica. Risultato: Apache 2.0 più la provenienza EU di Mistral semplifica la postura GDPR. Visione + testo in un unico modello elimina uno strato di connessione nella pipeline.

  2. Consulenza di imaging medico, 15 radiologi

    Task: Stesura di report condizionati da immagini, Q&A visione-testo su export DICOM de-identificati. Risultato: Multimodalità di prima classe in un modello open-weight con self-host completamente compatibile HIPAA. Il contesto 256K gestisce casi longitudinali lunghi.

  3. Piattaforma di servizi finanziari, team di 90 ingegneri

    Task: Acquisizione documenti (OCR visivo + ragionamento), KYC multilingua, workflow agentici con tool calling nativo. Risultato: La ridistribuzione Apache 2.0 permette all'azienda di includere il modello in prodotti rivolti ai clienti senza friction di licenza per posto.

Mistral Large 3 vs i rivali più vicini

Dove vince questo modello, dove perde.

vs DeepSeek V3.2

DeepSeek V3.2 vince sul ragionamento più difficile e sulla dimostrazione di teoremi. Mistral Large 3 vince sulla multimodalità (la visione è nativa), sulla semplicità Apache 2.0 (DeepSeek è MIT, comparabile ma Mistral ha maggiore familiarità enterprise occidentale) e su 256K di contesto vs 128K.

vs Qwen3 235B A22B

Qwen3 235B vince sul piano hardware (143GB vs 370GB a Q4) e sui benchmark di ragionamento puro. Mistral Large 3 vince sulla visione multimodale e sulla provenienza dell'addestramento (3.000 H200, completamente divulgata), utile per acquirenti avversi al rischio.

vs Llama 3.3 70B

Classe diversa. Llama 3.3 70B è deployabile su una singola macchina da $7K Mac. Mistral Large 3 ha bisogno di un nodo 8x H200. Scegli Llama per il self-host PMI, Mistral Large 3 quando qualità frontier + visione + Apache 2.0 sono tutti necessari.

Come Pineido configura gli agent su Mistral Large 3

Giorno 4 vLLM serve Mistral Large 3 con il parser tool-call mistral e i tre flag mistral obbligatori.

Giorno 4

vLLM serve Mistral Large 3 con --tokenizer_mode mistral, --config_format mistral, --load_format mistral, --enable-auto-tool-choice, --tool-call-parser mistral, --max-model-len 32768 (aumenta dopo la validazione del margine di memoria), --tensor-parallel-size 8. mistral_common >= 1.8.6 obbligatorio altrimenti il tool calling si interrompe. NVFP4 per inference, FP8 per fine-tuning.

Giorno 5

EAGLE speculative decoding collegato con il modello companion mistralai/Mistral-Large-3-675B-Instruct-2512-Eagle e num_speculative_tokens: 3. Il throughput migliora senza cambiare la qualità dell'output.

Giorno 6

Agent editor collegati. Aider via --model mistralai/mistral-large-3, Cline come provider Mistral, Continue.dev con provider: mistral, Roo Code compatibile OpenAI. Strict function calling abilitato per il rilascio Mistral 1.10.0.

Giorno 8

Open WebUI più AnythingLLM attivi. Il caricamento documenti supporta la multimodalità visiva. I workspace isolano set di documenti sensibili.

Giorno 10

Workflow LangGraph. Tre workflow distribuiti: deep-research, code-review, customer-intake. Validazione schema con grammatica lark di Mistral Guidance collegata ai nodi di output strutturato.

Giorno 12

Mistral Code (bundle con supporto vendor) o OpenHands per l'autonomia sul repo. Per i clienti focalizzati sul coding aggiungiamo Devstral 2 accanto a Mistral Large 3 perché Devstral 2 gestisce il coding (72.2% SWE-bench Verified).

Giorno 14

Dashboard metriche Prometheus (vllm:num_requests_waiting, gpu_cache_usage_perc, time_to_first_token_seconds), evidence pack, runbook e inventario agent consegnati.

Cosa hanno detto i clienti dopo il lancio

Feedback dalle persone che erano nella stanza quando sono state prese le decisioni.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
Kwame, Digital DirectorSingapore
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Aisha, Engineering LeadToronto

Come deployiamo Mistral Large 3 in 14 giorni

Prezzo fisso.

  1. Giorno 1

    Audit hardware. Conferma nodo 8x H100/H200/B200. Scegli NVFP4 vs FP8 in base alla lunghezza del contesto. Esegui prompt reali inclusi task visivi se applicabile.

  2. Giorno 4

    Servi via vLLM con i formati tokenizer/config/load di Mistral. Abilita il parser tool-call ('mistral'). System prompt con descrizioni degli strumenti. Temperature 0.1 per produzione.

  3. Giorno 9

    RAG con retrieval visivo se necessario. SSO, audit, RBAC. Regola max-model-len a 32K o 64K se non hai bisogno del 256K completo (risparmia memoria KV-cache significativa).

  4. Giorno 14

    Pen-test superato. NOTICE Apache 2.0 registrato. Cutover in produzione. Residency EU confermata se rilevante per la postura GDPR.

Le domande che decidono se siamo adatti

Che licenza ha Mistral Large 3?

Apache 2.0, comprese le versioni base e quelle ottimizzate sulle istruzioni. Nessuna restrizione d'uso, nessuna clausola sulle opere derivate, nessun tetto sul fatturato. Il modello di punta a pesi aperti più permissivo del 2026. Pineido consiglia Mistral Large 3 in particolare quando l'acquirente richiede Apache 2.0 o MIT (alcuni acquirenti prudenti rifiutano l'Acceptable Use Policy di Llama o si preoccupano del MIT con giurisdizione cinese di DeepSeek).

Qual è l'hardware minimo realistico per Mistral Large 3 in produzione?

8x A100 80GB o 8x H100 con pesi NVFP4 è il piano pratico, $150K-$200K di capex. Sotto quello, si esegue Q4 GGUF su multi-GPU consumer (4x RTX 5090 o simili) con compromesso significativo sulle prestazioni. Per un'azienda sotto i 30 utenti che non ha bisogno dei 675B completi, i modelli più piccoli (Mistral 3 14B, 8B, 3B) su una singola GPU sono di solito la risposta giusta.

Mistral Large 3 gestisce davvero bene la visione?

Sì. L'encoder visivo da 2.5 miliardi di parametri è integrato, non aggiunto in seguito. Gestisce PDF scansionati, grafici, diagrammi, foto e casi multi-immagine longitudinali. Per risultati migliori mantieni i rapporti d'aspetto vicino a 1:1 e fai girare l'encoder visivo a FP16 indipendentemente dalla quantizzazione dell'LLM. È tra i primi modelli frontier open con visione e multilingua tutto in uno.

Dovremmo deployare Mistral Large 3 o DeepSeek V3.2?

Entrambi sono MoE della classe 670B su hardware enterprise. Scegli Mistral Large 3 se hai bisogno di visione, contesto più lungo (256K vs 128K) o Apache 2.0 più provenienza dell'addestramento occidentale. Scegli DeepSeek V3.2 se hai bisogno di massime prestazioni di ragionamento e dimostrazione di teoremi e puoi vivere senza visione.

Dovremmo usare Mistral Large 3 o Devstral 2 per gli agent di coding?

Devstral 2 per deployment solo-coding. Mistral Large 3 per deployment un-modello-per-molti-lavori. Devstral 2 pubblica 72.2% SWE-bench Verified, gira su 4 H100 e Cline ha approvato ufficialmente la sua affidabilità nel tool-calling. Mistral Large 3 è il generalista (675B totali / 41B attivi) per team che vogliono coding + ricerca + Q&A su documenti sotto un'unica licenza. Pineido spesso esegue entrambi: Mistral Large 3 come endpoint predefinito, Devstral 2 aggiunto sulla corsia coding quando il volume lo giustifica.

Quali flag vLLM richiede Mistral Large 3?

Tre flag specifici Mistral sono obbligatori: --tokenizer_mode mistral, --config_format mistral, --load_format mistral. Più --enable-auto-tool-choice e --tool-call-parser mistral per il function calling. Senza --tool-call-parser mistral, vLLM usa il parser predefinito e le tool call restituiscono vuoto. Verifica che mistral_common >= 1.8.6 sia installato o la tokenizzazione torna al default HuggingFace e si rompe. Usa vLLM >= 0.17.0.

675B totali, 41B attivi per token (MoE), 2,5B encoder visivo Parametri

Prenota la chiamata di scoping da 30 minuti. Ti diciamo se Mistral Large 3 più il nostro stack agent è la scelta giusta prima che tu firmi.

Prezzo fisso.

Al Giorno 1 vedi il modello esatto, l'hardware esatto, lo stack agent esatto, i costi esatti e la postura di conformità esatta.

Te ne vai con

  1. Giorno 0 (questa settimana): Chiamata di scoping da 30 minuti. Shortlist hardware, scelta modello, proposta stack agent, proiezione costi nella tua casella entro venerdì
  2. Giorno 1: Audit hardware. Conferma nodo 8x H100/H200/B200. Scegli NVFP4 vs FP8 in base alla lunghezza del contesto. Esegui prompt reali inclusi task visivi se applicabile.

DiFondatore e Imaginator

Pineido, con sede a Strumica, North Macedonia, è una società di software che realizza siti web, negozi online, app web e mobile, automazione dei processi e IA per aziende locali ed estere. Il lavoro viene consegnato in sprint di 30 giorni a prezzo fisso, e il codice è del cliente.

Pubblicato Aggiornato