Qwen3 235B A22B auf Ihrer Hardware einrichten, Agent-Stack live, produktionsreif in 14 Tagen

Qwen3 235B A22B ist das Open-Weight-Modell, das die Lücke zu geschlossenen Frontier-Labs schließt. Am 28.

  • 14-Tage-Produktionsumstellung
  • Coding + Research Agent Stack inklusive
  • 235B gesamt, 22B aktiv pro Token (MoE) Parameter
  • 128K nativ, 262K im Instruct-2507-Variant Kontextfenster
  • 14 d Produktionsumstellung

Qwen3 235B A22B auf einen Blick

Spezifikationen, die bei der Auswahl des Modells und der Hardware zählen.

Parameter

235B gesamt, 22B aktiv pro Token

Architektur

MoE, 128 Experten, 8 aktiv pro Token

Kontextfenster

128K nativ, 262K im Instruct-2507

Lizenz

Apache 2.0

Veröffentlichung

28. April 2025 (Instruct-2507 im Juli 2025)

Sprachen

119 Sprachen und Dialekte

Modi

Hybrid Thinking und Non-Thinking

Min. RAM (Q4_K_M)

143GB

Min. RAM (IQ4_XS für 128GB Macs)

112GB

Token/Sek. auf Mac Studio M3 Ultra 256GB Q4

15-22

Token/Sek. auf 4x H200 FP8 (vLLM)

120-180 im Batch

Hardware, die Qwen3 235B A22B in Produktion betreibt

Drei Tiers, echte SKUs, echte Durchsatzzahlen.

  1. Einstiegs-Tier: Mac Studio M3 Ultra 256GB oder 512GB ($9.499-14.999)

    Durchsatz: 15-22 Token/Sek. Beste Wahl für: Single-User Power-Workflows, Code-Generierung, tiefes Reasoning auf privaten Dokumenten.

  2. Mid-Tier: 2x RTX Pro 6000 Blackwell 96GB ($20-28K) oder 4x RTX 5090

    Durchsatz: 40-70 Token/Sek. Beste Wahl für: Unternehmen mit 10-30 Nutzern, vLLM batched Serving, MoE Expert Offload.

  3. Enterprise-Tier: 4x H200 SXM 141GB oder 8x H100 80GB FP8 ($150-300K)

    Durchsatz: 120-300 Token/Sek. Beste Wahl für: 100+ gleichzeitige Nutzer, mehrsprachiger Betrieb, agentische Workflows.

Quantisierungsoptionen für dieses Modell

GGUF, AWQ, FP8, INT4.

Empfohlene Quantisierung

IQ4_XS für 128GB Macs (nahe Q4_K_M Qualität, passt mit 40K Kontext), Q4_K_M für 256GB+ Macs, FP8 für H100 und H200, AWQ INT4 für Blackwell Consumer-Karten

Kompromisse

MoE-Modelle tolerieren Quantisierung etwas besser als dichte Modelle, da Expert-Routing den Per-Weight-Fehler verteilt. IQ4_XS verliert etwa 3 Prozent auf MMLU-Pro gegenüber FP16. FP8 ist der Produktions-Sweet-Spot auf Hopper und Blackwell, nahezu verlustfrei und 2x Durchsatz gegenüber FP16.

GGUF IQ4_XS

Dateigröße: 112GB.

GGUF Q4_K_M

Dateigröße: 143GB.

AWQ INT4

Dateigröße: 118GB.

FP8

Dateigröße: 235GB.

Coding-Agents, die wir mit Qwen3 235B A22B verbinden

Nativer Tool-Aufruf mit der höchsten Zuverlässigkeit aller offenen Modelle im Jahr 2026.

Qwen-Agent

Native Option von Alibaba: pip install -U qwen-agent[gui,rag,code_interpreter,mcp]. Kapselt intern Tool-Calling-Templates und Parser. model_server als vLLM /v1 URL übergeben. Bündelt MCP, Code-Interpreter, RAG und Chrome-Erweiterung.

Cline

OpenAI-kompatibler Anbieter. Tool-Calling auf Qwen3 ist das stabilste in der Open-Modell-Klasse, halluziniert selten Aufrufe oder lässt Parameter fallen. Plan- und Act-Modus funktionieren beide. Der Thinking-2507-Variant fügt Reasoning-Schritte für tiefere Pläne hinzu, der Instruct-2507 ist schneller für Routinearbeit.

Aider

Aider Polyglot-Rangliste setzt Qwen3 235B A22B bei 65,3 Prozent, nahe der Spitze der selbst-hostbaren offenen Modelle. --openai-api-base auf vLLM-Endpunkt konfigurieren. Edit-Format-Modus funktioniert sauber bei Python, TypeScript, Go, Rust und Java.

Continue.dev

In config.yaml mit provider: openai und apiBase auf Ihr vLLM hinzufügen, capabilities: [tool_use] deklarieren. Agent-Modus erkennt nativen Tool-Calling automatisch. Der 256K-Kontext beim Thinking-Variant schaltet Continues vollständigen Repo-Kontext-Modus frei.

OpenHands

Starke Eignung. Ein 235B-RFT-Checkpoint der Instruct-2507-Basis erzielte 61,7 Prozent Pass@1 (74,3 Prozent Pass@5 bei 500 Turns) auf SWE-bench Verified mit OpenHands-Trajektorien laut Nebius und übertraf den 30B-Coding-Spezialisten (50,3 Prozent) mit der Hälfte der Parameter von Qwen3-Coder-480B. LLM_BASE_URL auf vLLM setzen. Beste autonome Schleifen-Performance aller Modelle in dieser Gruppe.

Roo Code

Cline-Fork. Multi-Modus (Code, Architect, Ask, Debug). Die Kombination Architect-Modus + Thinking-2507-Variant ist stark, da Qwen3s Reasoning-Trace architektonische Kompromisse klar aufzeigt. Gleiche OpenAI-kompatible Konfiguration.

Claude Code (mit benutzerdefiniertem Endpunkt)

Claude Code akzeptiert OPENAI_BASE_URL-Override gemäß inoffiziellen Anleitungen. Qwen3 235B A22B ist das offene Modell, das Claude Sonnet bei Claude Codes eigenem SWE-bench-Eval am nächsten kommt. Tool-Format-Kompatibilität beachten, einige Claude Code interne Tools setzen Anthropic-flavored Funktionsaufrufe voraus.

Coding-Agent-Anwendungsfälle

Wo dieser Modell- + Agent-Stack echte Arbeit liefert.

Research-Agents, die wir auf Qwen3 235B A22B einsetzen

256K-Kontext (Thinking-2507-Variant) macht Qwen3 235B A22B zu einem der stärksten offenen Modelle für tiefe Forschung.

Qwen-Agent

Eingebautes RAG, Code-Interpreter, MCP. Ein einzelner pip-Install gibt einen funktionierenden Agent-Stack. Bester Forschungs-Ausgangspunkt, wenn der Käufer der Qwen-Linie verpflichtet ist.

GPT Researcher

OPENAI_BASE_URL auf vLLM zeigen. Qwen3s Anweisungsbefolgung (Qwen 3.5 trifft IFEval 92,6) bedeutet, dass GPT Researchers Planungs-Prompts präzise befolgt werden. Berichte dauern 3 bis 5 Minuten für 5 bis 10 Quellen.

AnythingLLM

Generic OpenAI-Anbieter funktioniert. Workspace-RAG plus @agent-Modus deckt 80 Prozent der Käufer-Anwendungsfälle ab. Qwen3s Tool-Zuverlässigkeit bedeutet, dass @agent selten bei Multi-Tool-Sequenzen scheitert.

Open WebUI

Standard-Chat-UI. Qwen3s Hybrid-Thinking-Toggle ist über Open WebUIs Pro-Konversations-Einstellungen (chat_template_kwargs.enable_thinking) zugänglich. Käufer können Reasoning für schwierige Fragen aktivieren und für schnellen Chat deaktivieren.

LangGraph

Produktions-Forschungsorchestrierung. Qwen3s zuverlässiger Tool-Calling ist der Differenziator: LangGraph-Zustandsübergänge werden korrekt ausgelöst, ohne Retry-Logik. Mit LangSmith-Tracing kombinieren.

CrewAI

Rollenbasierte Forschungs-Crews. Qwen3 235B A22Bs starke Anweisungsbefolgung bedeutet, dass CrewAIs Rollen- und Zieltext ohne Prompt-Engineering-Aufwand eingehalten wird.

LlamaIndex

Beste Retrieval-Kopplung. LlamaIndex-Query-Engines als Tools in einem Qwen-Agent- oder LangGraph-Workflow verwenden. Der 256K-Kontext ermöglicht ein viel größeres abgerufenes Chunk-Fenster als typisches RAG.

DSPy

Prompt-Optimierung. DSPys Kompilierungsschritt ist bei Qwen3 ungewöhnlich effektiv, da das Modell strukturierte Few-Shot-Muster präzise befolgt. DSPy verwenden, um den Fragen-Zerlegung-Prompt zu optimieren, dann über LangGraph deployen.

Research-Agent-Anwendungsfälle

Wo dieser Modell- + Research-Agent-Stack Berichte liefert, die Ihr Team tatsächlich nutzt.

Frameworks, die wir für Produktions-Agent-Workflows liefern

Framework nach Workflow-Shape wählen.

Qwen-Agent

Natives Qwen Agent-Framework mit MCP, RAG, Code-Interpreter und Gradio-UI.

LangGraph

Produktions-stateful Orchestrierung. Beste Kopplung mit Qwen3s zuverlässigem Tool-Calling.

CrewAI

Rollenbasierte Crews. Am schnellsten zur Demo mit Qwen3s Anweisungsbefolgung.

AutoGen / AG2

GroupChat-Konversationen. Nützlich für Qwen3 Hybrid-Modus Debattenmuster.

DSPy

Prompt-Kompilierung. Stark mit Qwen3s strukturierter Format-Einhaltung.

Pydantic AI

Typsichere Agents. Qwen3s strukturierte Output-Zuverlässigkeit ist eine saubere Passung.

LlamaIndex

Retrieval-Schicht. Mit dem 256K-Qwen3-Kontext für riesige abgerufene Chunks kombinieren.

Wer wählt Qwen3 235B A22B

Drei Käuferprofile, bei denen dieses Modell die richtige Antwort ist.

  1. Internationale Anwaltskanzlei, 80 Anwälte, 5 Niederlassungen

    Aufgabe: Grenzüberschreitende Vertragsprüfung auf Englisch, Französisch, Deutsch, Mandarin, plus Discovery. Ergebnis: 119-Sprachen-Abdeckung ersetzt drei separate Übersetzungstools. Apache 2.0 bedeutet, dass die Weitergabe an Kundenportale problemlos möglich ist.

  2. Software-Beratungsunternehmen, 40 Entwickler

    Aufgabe: Code-Generierung, Code-Review, agentisches Refactoring über mehrere Sprachen und Frameworks. Ergebnis: 70,7 LiveCodeBench v5 und 2.056 CodeForces schlägt jedes dichte offene Modell. Hybrid-Thinking-Modus für schwierige Bugs, Non-Thinking für Autovervollständigung.

  3. Pharma-Forschungsorganisation, 12 Wissenschaftler

    Aufgabe: Literatursynthese, Hypothesengenerierung, GPQA-Klasse STEM-Fragen & Antworten auf internen Dokumenten. Ergebnis: SuperGPQA-Führung über DeepSeek-V3 und Llama-4 bei Experten-STEM. 256K-Kontext verarbeitet vollständige klinische Studiendossiers.

Was Kunden nach dem Launch gesagt haben

Feedback von den Menschen, die im Raum waren, als die Entscheidungen getroffen wurden.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
James, Fleet ManagerDallas
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
Fatima, CTOSydney

Qwen3 235B A22B vs. die nächsten Konkurrenten

Wo dieses Modell gewinnt, wo es verliert.

vs. DeepSeek V3.2

DeepSeek V3.2 (671B MoE, 37B aktiv) gewinnt bei Mathematik und Code am absoluten Spitzenende. Qwen3 235B gewinnt beim Speicher-Footprint (143GB Q4 vs. 376GB Q4) und bei der Hardware-Zugänglichkeit für jedes Unternehmen ohne 8x H100-Budget.

vs. Llama 3.3 70B

Qwen3 235B gewinnt bei Reasoning, Coding, Mehrsprachigkeit und Benchmarks insgesamt. Llama 3.3 70B gewinnt bei Serving-Einfachheit, Hardware-Untergrenze und Ökosystem-Reife. Wählen Sie Llama für Unternehmen mit 8-15 Personen, Qwen3 235B für 30+, wo Qualität die Einschränkung ist.

vs. Mistral Large 3 (675B MoE)

Mistral Large 3 gewinnt bei Apache 2.0 plus erstklassiger multimodaler Vision. Qwen3 235B gewinnt beim Hardware-Footprint (143GB vs. 370GB bei Q4) und bei der Unternehmensgröße, die sich Self-Hosting ohne Enterprise-GPU-Node leisten kann.

Wie Pineido Agents auf Qwen3 235B A22B einrichtet

Tag 4 vLLM (oder SGLang) serviert das Modell mit Tool-Calling und Reasoning-Parser.

Tag 4

vLLM serviert Qwen3-235B-A22B-Instruct-2507 mit tensor-parallel-size 8, max-model-len 131072 (oder 256K beim Thinking-2507), --enable-reasoning --reasoning-parser deepseek_r1 für den Thinking-Variant. FP8-Variant passt auf 8xH100.

Tag 6

Editor-Agents (Aider, Cline, Continue.dev, Roo Code) auf /v1 verdrahtet. OpenAI-kompatible Konfiguration überall. Tool-Calling ist das stabilste aller offenen Modelle, also fast keine Retry-Logik erforderlich.

Tag 8

Open WebUI plus AnythingLLM live. Hybrid-Thinking-Toggle pro Konversation über chat_template_kwargs.enable_thinking zugänglich. Workspaces isolieren sensible Dokumentensätze.

Tag 9

Qwen-Agent installiert (pip install -U qwen-agent[gui,rag,code_interpreter,mcp]). MCP-Server für Dateisystem, Zeit, Fetch und Ihre internen APIs verdrahtet.

Tag 10

LangGraph-Workflows für Produktionsforschung. Drei Workflows geliefert: Deep-Research, Code-Review, Customer-Intake. LangSmith-Tracing aktiviert.

Tag 12

OpenHands Repo-Autonomie gegen drei echte Aufgaben demonstriert. Erwartete SWE-bench-Klasse Erfolgsrate etwa 60 Prozent angesichts der 235B Instruct-Basis.

Tag 14

Nachweispaket mit Tool-Call-Erfolgsraten, Durchsatzzahlen, Genauigkeits-Stichproben, Runbook und Agent-Inventar geliefert.

Wie wir Qwen3 235B A22B in 14 Tagen deployen

Festpreis.

Tag 1

Hardware-Tier bestätigen. 128GB Mac ist grenzwertig (nur IQ4_XS). 256GB+ Mac oder Multi-GPU ist die echte Untergrenze. Thinking vs. Non-Thinking auf dem tatsächlichen Workload benchmarken.

Tag 4

Über vLLM mit FP8 (GPU) oder MLX mit Q4 (Mac) bereitstellen. OpenAI-kompatible API verdrahten. Thinking-Modus-Toggle nach Route oder Benutzerrolle konfigurieren.

Tag 9

RAG mit mehrsprachigen BGE-M3-Embeddings, Qdrant. SSO, Audit-Logging, RBAC, Expert-Routing-Telemetrie für Kostenüberwachung.

Tag 14

Pen-Test bestanden. Apache 2.0 NOTICE eingereicht. Umstellung. Keine Attribution-Zeichenkette in der Produkt-UI erforderlich.

235B gesamt, 22B aktiv pro Token (MoE) Parameter

Buchen Sie das 30-minütige Scoping-Call. Wir sagen Ihnen, ob Qwen3 235B A22B plus unser Agent-Stack die richtige Wahl ist, bevor Sie unterschreiben.

Festpreis.

Tag 1 sehen Sie das genaue Modell, die genaue Hardware, den genauen Agent-Stack, die genaue Kostenkalkulation und die genaue Compliance-Position.

Sie gehen mit

  1. Tag 0 (diese Woche): 30-minütiger Scoping-Call. Hardware-Shortlist, Modellauswahl, Agent-Stack-Vorschlag, Kostenkalkulation bis Freitag in Ihrem Posteingang
  2. Tag 1: Hardware-Tier bestätigen. 128GB Mac ist grenzwertig (nur IQ4_XS). 256GB+ Mac oder Multi-GPU ist die echte Untergrenze. Thinking vs. Non-Thinking auf dem tatsächlichen Workload benchmarken.

Die Fragen, die entscheiden, ob wir zu Ihnen passen

Ist Qwen3 235B wirklich kostenlos für die kommerzielle Nutzung?

Ja. Apache 2.0, kein MAU-Cap, kein Produkt-UI-Attribution-Erfordernis, keine kostenpflichtige Stufe. Sie können feinabstimmen, weitergeben, in kommerziellen Produkten versenden und in Kundenlieferungen einbetten, ohne Alibaba zu kontaktieren. Die einzige Anforderung ist die Beibehaltung der Apache 2.0 NOTICE-Datei in Quellverteilungen, was eine einzeilige rechtliche Aufgabe ist.

Welche Hardware betreibt Qwen3 235B tatsächlich mit nutzbarer Geschwindigkeit?

Mac Studio M3 Ultra 256GB bei Q4_K_M ist der günstigste praktikable Weg, 15 bis 22 Token pro Sekunde Dekodierung für einen einzelnen Nutzer. 128GB Mac erfordert IQ4_XS und läuft bei über 40K Kontext aus dem Ruder. Für Multi-User-Produktion 2x RTX Pro 6000 Blackwell 96GB oder einen 4x H200-Node mit FP8 anvisieren.

Was ist der Thinking- vs. Non-Thinking-Modus und wann verwende ich welchen?

Thinking-Modus führt eine interne Chain-of-Thought vor der Antwort aus, langsamer aber stärker bei Mathematik, Code und mehrstufigem Reasoning. Non-Thinking ist eine direkte Antwort, schneller, geeignet für Chat, Entwürfe und Tool-Aufrufe. Der 2507 Instruct-Variant ist standardmäßig Non-Thinking. Schwierige Probleme an Thinking und Commodity-Aufgaben an Non-Thinking leiten, und Ihr Token-pro-Dollar verbessert sich um das 3- bis 5-fache.

Sollten wir Qwen3 235B oder DeepSeek V3.2 deployen?

DeepSeek V3.2 gewinnt beim härtesten Reasoning und IMO-Klasse-Mathematik. Qwen3 235B gewinnt bei Hardware-Untergrenze (143GB vs. 376GB bei Q4), mehrsprachiger Breite und Serving-Einfachheit. Für jedes Unternehmen ohne einen 8x H100-Cluster, der im Leerlauf steht, ist Qwen3 235B die praktische Wahl.

Warum gilt Qwen3 235B A22Bs Tool-Calling als die zuverlässigste offene Option?

Qwen3s Post-Training-Pipeline enthielt RL über 20+ allgemeine Domänenaufgaben, speziell um Agent-Fähigkeiten, Anweisungsbefolgung und Format-Einhaltung zu stärken. Das Ergebnis ist die niedrigste Tool-Call-Halluzinationsrate aller offenen Modelle in den 2026-Benchmarks, und das Chat-Template kodiert nativ das OpenAI-kompatible Tool-Format plus MCP. In Pineido-Sprints sehen wir deutlich weniger Retry-Schleifen-Bugs auf Qwen3 gegenüber Llama oder Mistral.

Sollten wir Qwen3-235B-A22B-Instruct-2507 oder Thinking-2507 verwenden?

Beide. Pineido deployt den Instruct-2507 als Standard-Endpunkt, da er schneller ist und Thinking-Token überspringt. Wir deployen Thinking-2507 auf einem zweiten Port für schwierige Probleme. Die beiden Modelle teilen die Architektur, sodass vLLM sie nebeneinander serviert. Cline, Roo Code und Open WebUI können pro Aufgabe weiterleiten. Der Thinking-Variant erzielt ~7 bis 12 Punkte höher bei hartem Reasoning-Benchmarks, ist aber etwa 3x langsamer pro Antwort.

VonGründer und Imaginator

Pineido, mit Sitz in Strumica, North Macedonia, ist ein Softwareunternehmen, das Websites, Onlineshops, Web- und Mobile-Apps, Prozessautomatisierung und KI für Unternehmen im In- und Ausland baut. Geliefert wird in 30-Tage-Sprints zum Festpreis, und der Code gehört dem Kunden.

Veröffentlicht Aktualisiert