Configurare Qwen3 235B A22B sul tuo hardware, stack agent live, livello produzione in 14 giorni

Qwen3 235B A22B è il modello open-weight che colma il divario con i lab frontier closed. Rilasciato il 28 aprile 2025 dal team Qwen di Alibaba, distribuito sotto Apache 2.0 senza limitazioni commerciali.

  • Passaggio in produzione 14 giorni
  • Stack coding + research agent incluso
  • 235B totali, 22B attivi per token (MoE) Parametri
  • 128K nativo, 262K su variante Instruct-2507 Finestra di contesto
  • 14 g Passaggio in produzione

Qwen3 235B A22B in sintesi

Le specifiche che contano quando si sceglie il modello e l'hardware.

Parametri

235B totali, 22B attivi per token

Architettura

MoE, 128 esperti, 8 attivi per token

Finestra di contesto

128K nativo, 262K su Instruct-2507

Licenza

Apache 2.0

Rilascio

28 aprile 2025 (Instruct-2507 a luglio 2025)

Lingue

119 lingue e dialetti

Modalità

Thinking ibrido e Non-Thinking

RAM min (Q4_K_M)

143GB

RAM min (IQ4_XS per Mac 128GB)

112GB

Token/sec su Mac Studio M3 Ultra 256GB Q4

15-22

Token/sec su 4x H200 FP8 (vLLM)

120-180 in batch

Hardware che esegue Qwen3 235B A22B in produzione

Tre livelli, SKU reali, numeri di throughput reali.

  1. Livello base: Mac Studio M3 Ultra 256GB o 512GB ($9.499-14.999)

    Throughput: 15-22 token/sec. Ideale per: workflow power single-user, generazione codice, ragionamento approfondito su documenti privati.

  2. Livello medio: 2x RTX Pro 6000 Blackwell 96GB ($20-28K) o 4x RTX 5090

    Throughput: 40-70 token/sec. Ideale per: studi da 10-30 utenti, serving batched vLLM, offload expert MoE.

  3. Livello enterprise: 4x H200 SXM 141GB o 8x H100 80GB FP8 ($150-300K)

    Throughput: 120-300 token/sec. Ideale per: 100+ utenti concorrenti, operazioni multilingue, workflow agentivi.

Scelte di quantizzazione per questo modello

GGUF, AWQ, FP8, INT4.

Quantizzazione consigliata

IQ4_XS per Mac 128GB (qualità vicina a Q4_K_M, si adatta con contesto 40K), Q4_K_M per Mac 256GB+, FP8 per H100 e H200, AWQ INT4 per schede consumer Blackwell

Compromessi

I modelli MoE tollerano la quantizzazione leggermente meglio dei modelli densi perché il routing expert diluisce l'errore per peso. IQ4_XS perde circa 3 percento su MMLU-Pro rispetto a FP16. FP8 è il punto ideale in produzione su Hopper e Blackwell, quasi senza perdite e 2x throughput rispetto a FP16.

GGUF IQ4_XS

Dimensione file: 112GB.

GGUF Q4_K_M

Dimensione file: 143GB.

AWQ INT4

Dimensione file: 118GB.

FP8

Dimensione file: 235GB.

Agent di coding che colleghiamo a Qwen3 235B A22B

Tool calling nativo con l'affidabilità più elevata di qualsiasi modello open nel 2026.

Qwen-Agent

Opzione nativa di Alibaba: pip install -U qwen-agent[gui,rag,code_interpreter,mcp]. Incapsula template e parser di tool-calling internamente. Passa model_server come URL vLLM /v1. Include MCP, code interpreter, RAG e estensione Chrome.

Cline

Provider OpenAI Compatible. Il tool calling su Qwen3 è il più stabile nella classe dei modelli open, raramente allucinando chiamate o perdendo parametri. Le modalità Plan e Act funzionano entrambe. La variante Thinking-2507 aggiunge passi di ragionamento per piani più profondi, Instruct-2507 è più veloce per il lavoro di routine.

Aider

La leaderboard Aider Polyglot posiziona Qwen3 235B A22B al 65,3 percento, vicino al vertice dei modelli open auto-ospitabili. Configura --openai-api-base sull'endpoint vLLM. La modalità edit-format funziona bene su Python, TypeScript, Go, Rust e Java.

Continue.dev

Aggiungi a config.yaml con provider: openai e apiBase sul tuo vLLM. Dichiara capabilities: [tool_use]. La modalità agent rileva automaticamente il tool calling nativo. Il contesto 256K sulla variante Thinking sblocca la modalità repo-context completa di Continue.

OpenHands

Ottima compatibilità. Un checkpoint RFT 235B della base Instruct-2507 ha raggiunto il 61,7 percento Pass@1 (74,3 percento Pass@5 a 500 turni) su SWE-bench Verified con traiettorie OpenHands per Nebius, battendo lo specialista di codice 30B (50,3 percento) con metà dei parametri di Qwen3-Coder-480B. Imposta LLM_BASE_URL su vLLM. La migliore performance in loop autonomo di qualsiasi modello in questo batch.

Roo Code

Fork di Cline. Multi-modalità (Code, Architect, Ask, Debug). La combinazione modalità Architect + variante Thinking-2507 è forte perché il tracciamento di ragionamento di Qwen3 emerge chiaramente sui compromessi architetturali. Stessa configurazione compatibile OpenAI.

Claude Code (con endpoint personalizzato)

Claude Code accetta override OPENAI_BASE_URL per le guide non ufficiali. Qwen3 235B A22B è il modello open più vicino a Claude Sonnet sulla valutazione SWE-bench di Claude Code. Attenzione alla compatibilità del formato tool, alcuni strumenti interni di Claude Code assumono chiamate funzione con sapore Anthropic.

Casi d'uso degli agent di coding

Dove questo modello + stack agent produce lavoro reale.

Agent di ricerca che deployiamo su Qwen3 235B A22B

Il contesto 256K (variante Thinking-2507) rende Qwen3 235B A22B uno dei modelli open più forti per la ricerca approfondita.

Qwen-Agent

RAG, MCP, code interpreter integrati. Un singolo pip install fornisce uno stack agent funzionante. Il miglior punto di partenza per la ricerca se il buyer è impegnato nella linea Qwen.

GPT Researcher

Punta OPENAI_BASE_URL su vLLM. Il seguimento delle istruzioni di Qwen3 (Qwen 3.5 raggiunge IFEval 92,6) significa che i prompt di pianificazione di GPT Researcher vengono seguiti con precisione. I report richiedono da 3 a 5 minuti per 5 a 10 fonti.

AnythingLLM

Il provider Generic OpenAI funziona. Il RAG workspace più la modalità @agent copre l'80 percento dei casi d'uso degli acquirenti. L'affidabilità degli strumenti di Qwen3 significa che @agent fallisce raramente nelle sequenze multi-strumento.

Open WebUI

UI di chat predefinita. Il toggle del thinking ibrido di Qwen3 si espone bene tramite le impostazioni per conversazione di Open WebUI (chat_template_kwargs.enable_thinking). I buyer possono attivare il ragionamento per le domande difficili e disattivarlo per la chat veloce.

LangGraph

Orchestrazione di ricerca in produzione. Il tool calling affidabile di Qwen3 è il differenziatore: le transizioni di stato LangGraph si attivano correttamente senza logica di retry. Abbina con tracciamento LangSmith.

CrewAI

Crew di ricerca basate su ruoli. Il forte seguimento delle istruzioni di Qwen3 235B A22B significa che il testo di ruolo e obiettivo di CrewAI viene rispettato senza overhead di prompt engineering.

LlamaIndex

Il miglior abbinamento di retrieval. Usa i query engine LlamaIndex come strumenti all'interno di un workflow Qwen-Agent o LangGraph. Il contesto 256K consente di mantenere una finestra di chunk recuperati molto più ampia del RAG tipico.

DSPy

Ottimizzazione prompt. Il passo di compilazione DSPy è insolitamente efficace su Qwen3 perché il modello segue pattern few-shot strutturati con precisione. Usa DSPy per ottimizzare il prompt di scomposizione delle domande, poi deploya via LangGraph.

Casi d'uso degli agent di ricerca

Dove questo modello + stack agent di ricerca produce report che il tuo team usa davvero.

Framework che installiamo per workflow agent in produzione

Scegli il framework in base alla forma del workflow.

Qwen-Agent

Framework agent nativo Qwen con MCP, RAG, code interpreter e UI Gradio.

LangGraph

Orchestrazione stateful in produzione. Ideale abbinato al tool calling affidabile di Qwen3.

CrewAI

Crew basate su ruoli. Il più rapido da dimostrare con il seguimento delle istruzioni di Qwen3.

AutoGen / AG2

Conversazioni GroupChat. Utile per i pattern di dibattito in modalità ibrida di Qwen3.

DSPy

Compilazione prompt. Forte con l'aderenza al formato strutturato di Qwen3.

Pydantic AI

Agent type-safe. L'affidabilità dell'output strutturato di Qwen3 è un abbinamento pulito.

LlamaIndex

Livello di retrieval. Abbina con il contesto 256K di Qwen3 per chunk recuperati enormi.

Chi sceglie Qwen3 235B A22B

Tre profili acquirente in cui questo modello è la risposta giusta.

  1. Studio legale internazionale, 80 avvocati, 5 uffici

    Task: Revisione contratti cross-border in inglese, francese, tedesco, mandarino, più discovery. Risultato: La copertura di 119 lingue sostituisce tre strumenti di traduzione separati. Apache 2.0 significa che la ridistribuzione nei portali clienti è pulita.

  2. Consultancy software, 40 ingegneri

    Task: Generazione codice, revisione codice, refactoring agentivo su più lingue e framework. Risultato: 70,7 LiveCodeBench v5 e 2.056 CodeForces batte ogni modello open denso. Modalità Thinking ibrida per bug difficili, Non-Thinking per autocomplete.

  3. Organizzazione di ricerca farmaceutica, 12 scienziati

    Task: Sintesi della letteratura, generazione di ipotesi, Q&A STEM di classe GPQA su documenti interni. Risultato: Leadership SuperGPQA su DeepSeek-V3 e Llama-4 su STEM esperto. Il contesto 256K gestisce interi dossier di trial clinici.

Cosa hanno detto i clienti dopo il lancio

Feedback dalle persone che erano nella stanza quando sono state prese le decisioni.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
James, Fleet ManagerDallas
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
Fatima, CTOSydney

Qwen3 235B A22B vs i concorrenti più vicini

Dove questo modello vince, dove perde.

vs DeepSeek V3.2

DeepSeek V3.2 (671B MoE, 37B attivi) vince in matematica e codice al massimo livello assoluto. Qwen3 235B vince per footprint di memoria (143GB Q4 vs 376GB Q4) e per l'accessibilità hardware per qualsiasi azienda senza budget 8x H100.

vs Llama 3.3 70B

Qwen3 235B vince su ragionamento, coding, multilingue e benchmark su tutta la linea. Llama 3.3 70B vince per semplicità di serving, soglia hardware e maturità dell'ecosistema. Scegli Llama per studi da 8 a 15 persone, Qwen3 235B per 30+ dove la qualità è il vincolo.

vs Mistral Large 3 (675B MoE)

Mistral Large 3 vince su Apache 2.0 più visione multimodale di prima classe. Qwen3 235B vince per footprint hardware (143GB vs 370GB a Q4) e per la dimensione dello studio che può fare self-hosting senza un nodo GPU enterprise.

Come Pineido configura gli agent su Qwen3 235B A22B

Giorno 4 vLLM (o SGLang) serve il modello con tool calling e reasoning parser.

Giorno 4

vLLM serve Qwen3-235B-A22B-Instruct-2507 con tensor-parallel-size 8, max-model-len 131072 (o 256K su Thinking-2507), --enable-reasoning --reasoning-parser deepseek_r1 per la variante Thinking. La variante FP8 si adatta su 8xH100.

Giorno 6

Editor agent (Aider, Cline, Continue.dev, Roo Code) collegati a /v1. Configurazione compatibile OpenAI su tutti. Il tool calling è il più stabile di qualsiasi modello open quindi quasi nessuna logica di retry necessaria.

Giorno 8

Open WebUI più AnythingLLM live. Toggle del thinking ibrido esposto per conversazione via chat_template_kwargs.enable_thinking. I workspace isolano i set di documenti sensibili.

Giorno 9

Qwen-Agent installato (pip install -U qwen-agent[gui,rag,code_interpreter,mcp]). Server MCP collegati per filesystem, time, fetch e le tue API interne.

Giorno 10

Workflow LangGraph per ricerca in produzione. Tre workflow consegnati: deep-research, code-review, customer-intake. Tracciamento LangSmith attivo.

Giorno 12

Autonomia repository OpenHands dimostrata su tre task reali. Tasso di superamento atteso SWE-bench-class intorno al 60 percento data la base Instruct 235B.

Giorno 14

Pacchetto prove con tassi di successo tool-call, numeri di throughput, spot-check di accuratezza, runbook e inventario agent consegnato.

Come deployiamo Qwen3 235B A22B in 14 giorni

Prezzo fisso.

Giorno 1

Conferma del livello hardware. Mac da 128GB è al limite (solo IQ4_XS). Mac da 256GB+ o multi-GPU è il vero minimo. Benchmark Thinking vs Non-Thinking sul carico di lavoro reale.

Giorno 4

Serving via vLLM con FP8 (GPU) o MLX con Q4 (Mac). Collegamento API compatibile OpenAI. Configurazione toggle modalità thinking per route o per ruolo utente.

Giorno 9

RAG con embedding BGE-M3 multilingue, Qdrant. SSO, audit logging, RBAC, telemetria expert-routing per monitoraggio costi.

Giorno 14

Pen-test superato. NOTICE Apache 2.0 archiviato. Cutover. Nessuna stringa di attribuzione richiesta nell'UI del prodotto.

235B totali, 22B attivi per token (MoE) Parametri

Prenota la call di scoping da 30 minuti. Ti diciamo se Qwen3 235B A22B più il nostro stack agent è la scelta giusta prima che tu firmi.

Prezzo fisso.

Al giorno 1 vedi il modello esatto, l'hardware esatto, lo stack agent esatto, la matematica dei costi esatta e la postura di compliance esatta.

Te ne vai con

  1. Giorno 0 (questa settimana): Call di scoping da 30 minuti. Shortlist hardware, scelta modello, proposta stack agent, proiezione costi nella tua casella entro venerdì
  2. Giorno 1: Conferma del livello hardware. Mac da 128GB è al limite (solo IQ4_XS). Mac da 256GB+ o multi-GPU è il vero minimo. Benchmark Thinking vs Non-Thinking sul carico di lavoro reale.

Le domande che decidono se siamo adatti

Qwen3 235B è davvero gratuito per uso commerciale?

Sì. Apache 2.0, nessun limite MAU, nessun requisito di attribuzione nel prodotto, nessun livello a pagamento. Puoi fare fine-tuning, redistribuire, distribuire in prodotti commerciali e incorporare nelle consegne ai clienti senza contattare Alibaba. L'unico requisito è preservare il file NOTICE Apache 2.0 nelle distribuzioni sorgente, che è un task legale di una riga.

Quale hardware esegue effettivamente Qwen3 235B a velocità utilizzabile?

Mac Studio M3 Ultra 256GB a Q4_K_M è il percorso praticabile più economico, decode da 15 a 22 token al secondo per un singolo utente. Il Mac da 128GB richiede IQ4_XS e finisce lo spazio oltre il contesto 40K. Per la produzione multi-utente, punta a 2x RTX Pro 6000 Blackwell 96GB o a un nodo 4x H200 con FP8.

Cos'è la modalità Thinking vs Non-Thinking e quando uso ciascuna?

La modalità Thinking esegue una chain-of-thought interna prima di rispondere, più lenta ma più forte su matematica, codice e ragionamento multi-step. Non-Thinking è risposta diretta, più veloce, adatta per chat, redazione e chiamate di strumenti. La variante Instruct-2507 è Non-Thinking per default. Instrada i problemi difficili a Thinking e i task commodity a Non-Thinking e il tuo rapporto token-per-dollaro migliora da 3 a 5x.

Dobbiamo deployare Qwen3 235B o DeepSeek V3.2?

DeepSeek V3.2 vince nel ragionamento più difficile e nella matematica di classe IMO. Qwen3 235B vince per soglia hardware (143GB vs 376GB a Q4), ampiezza multilingue e semplicità di serving. Per qualsiasi azienda senza un cluster 8x H100 inattivo, Qwen3 235B è la scelta pratica.

Perché il tool calling di Qwen3 235B A22B è considerato l'opzione open più affidabile?

La pipeline di post-training di Qwen3 includeva RL su 20+ task di dominio generale specificamente per rafforzare le capacità agent, il seguimento delle istruzioni e il formato. Il risultato è il tasso di allucinazione tool-call più basso di qualsiasi modello open nei benchmark 2026, e il chat template codifica nativamente il formato tool compatibile OpenAI più MCP. Negli sprint Pineido vediamo notevolmente meno bug di retry-loop su Qwen3 rispetto a Llama o Mistral.

Dobbiamo usare Qwen3-235B-A22B-Instruct-2507 o Thinking-2507?

Entrambi. Pineido deploya Instruct-2507 come endpoint predefinito perché è più veloce e salta i token di thinking. Deployiamo Thinking-2507 su una seconda porta per i problemi difficili. I due modelli condividono l'architettura quindi vLLM li serve fianco a fianco. Cline, Roo Code e Open WebUI possono instradare per task. La variante Thinking segna circa 7 a 12 punti in più sui benchmark di ragionamento difficile ma è circa 3x più lenta per risposta.

DiFondatore e Imaginator

Pineido, con sede a Strumica, North Macedonia, è una società di software che realizza siti web, negozi online, app web e mobile, automazione dei processi e IA per aziende locali ed estere. Il lavoro viene consegnato in sprint di 30 giorni a prezzo fisso, e il codice è del cliente.

Pubblicato Aggiornato