Настройка Qwen3 235B A22B на вашем железе, agent stack в работе, продакшн-качество за 14 дней

Qwen3 235B A22B, open-weight модель, закрывающая разрыв с закрытыми frontier-лабораториями. Выпущена 28 апреля 2025 года командой Qwen в Alibaba под Apache 2.0 без коммерческих ограничений.

  • Продакшн-переход за 14 дней
  • Coding + research agent stack включён
  • 235B всего, 22B активных на токен (MoE) Параметры
  • 128K нативно, 262K на Instruct-2507 Контекстное окно
  • 14 д Продакшн-переход

Qwen3 235B A22B одним взглядом

Характеристики, важные при выборе модели и железа.

Параметры

235B всего, 22B активных на токен

Архитектура

MoE, 128 экспертов, 8 активных на токен

Контекстное окно

128K нативно, 262K на Instruct-2507

Лицензия

Apache 2.0

Релиз

28 апреля 2025 (Instruct-2507 в июле 2025)

Языки

119 языков и диалектов

Режимы

Гибридный Thinking и Non-Thinking

Мин. RAM (Q4_K_M)

143GB

Мин. RAM (IQ4_XS для Mac 128GB)

112GB

Токенов/сек на Mac Studio M3 Ultra 256GB Q4

15-22

Токенов/сек на 4x H200 FP8 (vLLM)

120-180 пакетно

Железо, которое запускает Qwen3 235B A22B в продакшне

Три уровня, реальные SKU, реальные показатели пропускной способности.

  1. Начальный уровень: Mac Studio M3 Ultra 256GB или 512GB ($9 499-14 999)

    Пропускная способность: 15-22 токенов/сек. Лучше всего для: одиночных мощных рабочих процессов, генерации кода, глубоких рассуждений по приватным документам.

  2. Средний уровень: 2x RTX Pro 6000 Blackwell 96GB ($20-28K) или 4x RTX 5090

    Пропускная способность: 40-70 токенов/сек. Лучше всего для: компаний 10-30 человек, vLLM batched serving, MoE offload экспертов.

  3. Корпоративный уровень: 4x H200 SXM 141GB или 8x H100 80GB FP8 ($150-300K)

    Пропускная способность: 120-300 токенов/сек. Лучше всего для: 100+ параллельных пользователей, многоязычных операций, агентных рабочих процессов.

Варианты квантизации для этой модели

GGUF, AWQ, FP8, INT4.

Рекомендуемая квантизация

IQ4_XS для Mac 128GB (качество близко к Q4_K_M, помещается с контекстом 40K), Q4_K_M для Mac 256GB+, FP8 для H100 и H200, AWQ INT4 для потребительских карт Blackwell

Компромиссы

Модели MoE переносят квантизацию чуть лучше, чем dense-модели, так как маршрутизация экспертов распределяет ошибку на вес. IQ4_XS теряет около 3 процентов на MMLU-Pro против FP16. FP8, производственный sweet spot на Hopper и Blackwell, почти без потерь и 2x пропускная способность против FP16.

GGUF IQ4_XS

Размер файла: 112GB.

GGUF Q4_K_M

Размер файла: 143GB.

AWQ INT4

Размер файла: 118GB.

FP8

Размер файла: 235GB.

Coding-агенты, которые мы подключаем к Qwen3 235B A22B

Нативный tool calling с наилучшей надёжностью среди open-weight моделей в 2026 году.

Qwen-Agent

Нативный вариант от Alibaba: pip install -U qwen-agent[gui,rag,code_interpreter,mcp]. Инкапсулирует шаблоны и парсеры tool-calling внутренне. Передайте model_server как vLLM /v1 URL. Включает MCP, интерпретатор кода, RAG и Chrome-расширение.

Cline

OpenAI Compatible provider. Tool calling на Qwen3, наиболее стабильный в классе open-weight моделей, редко галлюцинирует вызовы или теряет параметры. Режимы Plan и Act оба работают. Thinking-2507 вариант добавляет шаги рассуждений для более глубоких планов, Instruct-2507 быстрее для рутинной работы.

Aider

Таблица Aider Polyglot помещает Qwen3 235B A22B на 65.3 процента, у вершины самостоятельно хостящихся open-weight моделей. Настройте --openai-api-base на vLLM endpoint. Режим edit-format работает корректно для Python, TypeScript, Go, Rust и Java.

Continue.dev

Добавьте в config.yaml с provider: openai и apiBase на ваш vLLM. Объявите capabilities: [tool_use]. Режим Agent автоматически определяет нативный tool calling. Контекст 256K в Thinking-варианте разблокирует полный режим repo-context в Continue.

OpenHands

Хорошее соответствие. Чекпоинт RFT 235B на базе Instruct-2507 достиг 61.7 процента Pass@1 (74.3 процента Pass@5 при 500 ходах) на SWE-bench Verified на траекториях OpenHands по данным Nebius, обойдя 30B-специалиста по коду (50.3 процента) при половине параметров Qwen3-Coder-480B. Установите LLM_BASE_URL на vLLM. Наилучшая производительность в автономных циклах среди моделей в этом наборе.

Roo Code

Форк Cline. Мультирежим (Code, Architect, Ask, Debug). Комбинация Architect mode + Thinking-2507 вариант сильная, так как трассировка рассуждений Qwen3 чётко показывает архитектурные компромиссы. Та же OpenAI-совместимая конфигурация.

Claude Code (с кастомным endpoint)

Claude Code принимает переопределение OPENAI_BASE_URL по неофициальным руководствам. Qwen3 235B A22B, open-weight модель, ближайшая к Claude Sonnet по собственной оценке SWE-bench Claude Code. Следите за совместимостью формата инструментов, некоторые внутренние инструменты Claude Code предполагают функциональные вызовы в стиле Anthropic.

Варианты использования coding-агентов

Где эта модель + agent stack выдаёт реальный результат.

Research-агенты, которые мы разворачиваем на Qwen3 235B A22B

Контекст 256K (Thinking-2507 вариант) делает Qwen3 235B A22B одной из сильнейших open-weight моделей для глубоких исследований.

Qwen-Agent

Встроенные RAG, интерпретатор кода, MCP. Одна команда pip install даёт рабочий agent stack. Лучшая отправная точка для исследований, если клиент ориентирован на линейку Qwen.

GPT Researcher

Направьте OPENAI_BASE_URL на vLLM. Следование инструкциям Qwen3 (Qwen 3.5 достигает IFEval 92.6) означает, что планировочные промпты GPT Researcher выполняются точно. Отчёты занимают 3-5 минут для 5-10 источников.

AnythingLLM

Работает через Generic OpenAI provider. Workspace RAG плюс режим @agent покрывают 80 процентов пользовательских сценариев. Надёжность tool calling Qwen3 означает, что @agent редко ломается на многоинструментных последовательностях.

Open WebUI

Стандартный UI чата. Гибридное переключение мышления Qwen3 удобно представлено через настройки Open WebUI для каждого разговора (chat_template_kwargs.enable_thinking). Клиенты могут включать рассуждения для сложных вопросов и отключать для быстрого чата.

LangGraph

Производственная оркестрация исследований. Надёжный tool calling Qwen3, ключевое преимущество: переходы состояний LangGraph срабатывают корректно без логики повторных попыток. Используйте с трассировкой LangSmith.

CrewAI

Ролевые исследовательские команды. Сильное следование инструкциям Qwen3 235B A22B означает, что текст роли и цели CrewAI соблюдается без накладных расходов на prompt engineering.

LlamaIndex

Лучшее сочетание для retrieval. Используйте query engines LlamaIndex как инструменты внутри рабочего процесса Qwen-Agent или LangGraph. Контекст 256K позволяет хранить намного большее окно извлечённых чанков, чем в типичном RAG.

DSPy

Оптимизация промптов. Шаг компиляции DSPy особенно эффективен на Qwen3, поскольку модель точно следует структурированным few-shot паттернам. Используйте DSPy для оптимизации промпта разложения вопросов, затем разворачивайте через LangGraph.

Варианты использования research-агентов

Где эта модель + research agent stack выдаёт отчёты, которые реально используются командой.

Фреймворки, которые мы поставляем для производственных агентных рабочих процессов

Выбирайте фреймворк по форме рабочего процесса.

Qwen-Agent

Нативный фреймворк агентов Qwen с MCP, RAG, интерпретатором кода и Gradio UI.

LangGraph

Производственная stateful оркестрация. Лучше всего сочетается с надёжным tool calling Qwen3.

CrewAI

Ролевые команды. Самый быстрый путь до демо с учётом следования инструкциям Qwen3.

AutoGen / AG2

GroupChat-разговоры. Полезно для паттернов дебатов в гибридном режиме Qwen3.

DSPy

Компиляция промптов. Сильный с точным соблюдением структурированного формата Qwen3.

Pydantic AI

Type-safe агенты. Надёжность структурированных выходных данных Qwen3, хорошее соответствие.

LlamaIndex

Слой retrieval. Используйте с контекстом 256K Qwen3 для больших извлечённых чанков.

Кто выбирает Qwen3 235B A22B

Три портрета клиентов, где эта модель, правильный ответ.

  1. Международная юридическая фирма, 80 адвокатов, 5 офисов

    Задача: межграничная проверка договоров на английском, французском, немецком, мандаринском, плюс discovery. Результат: охват 119 языков заменяет три отдельных инструмента перевода. Apache 2.0 обеспечивает чистое распространение на клиентские порталы.

  2. Консалтинговая компания по программному обеспечению, 40 инженеров

    Задача: генерация кода, проверка кода, агентный рефакторинг на нескольких языках и фреймворках. Результат: 70.7 LiveCodeBench v5 и 2 056 CodeForces превосходят все dense open-weight модели. Гибридный режим Thinking для сложных ошибок, Non-Thinking для автодополнения.

  3. Фармацевтическая исследовательская организация, 12 учёных

    Задача: синтез литературы, генерация гипотез, Q&A уровня GPQA по STEM на внутренних документах. Результат: лидерство SuperGPQA над DeepSeek-V3 и Llama-4 по экспертному STEM. Контекст 256K вмещает полные досье клинических испытаний.

Что клиенты сказали после запуска

Отзывы от людей, которые были в комнате, когда принимались решения.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
James, Fleet ManagerDallas
They did not ask us to trust a rewrite plan. They proved one critical workflow first, then scaled from evidence.
Fatima, CTOSydney

Qwen3 235B A22B против ближайших конкурентов

Где эта модель выигрывает, где проигрывает.

Vs DeepSeek V3.2

DeepSeek V3.2 (671B MoE, 37B активных) выигрывает по математике и коду на абсолютном пределе. Qwen3 235B выигрывает по объёму памяти (143GB Q4 против 376GB Q4) и доступности железа для компании без бюджета на 8x H100.

Vs Llama 3.3 70B

Qwen3 235B выигрывает по рассуждениям, программированию, многоязычности и бенчмаркам в целом. Llama 3.3 70B выигрывает по простоте serving, минимальному железу и зрелости экосистемы. Выбирайте Llama для компаний 8-15 человек, Qwen3 235B, для 30+, где качество, главное ограничение.

Vs Mistral Large 3 (675B MoE)

Mistral Large 3 выигрывает по Apache 2.0 плюс мультимодальному зрению первого класса. Qwen3 235B выигрывает по объёму памяти (143GB против 370GB при Q4) и размеру компании, которая может это развернуть без корпоративного GPU-узла.

Как Pineido настраивает агентов на Qwen3 235B A22B

День 4, vLLM (или SGLang) serving с tool calling и reasoning парсером.

День 4

vLLM serving Qwen3-235B-A22B-Instruct-2507 с tensor-parallel-size 8, max-model-len 131072 (или 256K на Thinking-2507), --enable-reasoning --reasoning-parser deepseek_r1 для Thinking-варианта. FP8-вариант помещается на 8xH100.

День 6

Editor-агенты (Aider, Cline, Continue.dev, Roo Code) подключены к /v1. OpenAI-совместимая конфигурация для всех. Tool calling, наиболее стабильный среди open-weight моделей, почти без логики повторных попыток.

День 8

Open WebUI и AnythingLLM в работе. Гибридное переключение мышления доступно для каждого разговора через chat_template_kwargs.enable_thinking. Воркспейсы изолируют наборы чувствительных документов.

День 9

Qwen-Agent установлен (pip install -U qwen-agent[gui,rag,code_interpreter,mcp]). MCP-серверы подключены для файловой системы, времени, fetch и ваших внутренних API.

День 10

Рабочие процессы LangGraph для производственных исследований. Поставлено три рабочих процесса: deep-research, проверка кода, клиентский интейк. Трассировка LangSmith включена.

День 12

Репозиторная автономия OpenHands продемонстрирована на трёх реальных задачах. Ожидаемый SWE-bench-class pass rate около 60 процентов с учётом базы Instruct 235B.

День 14

Пакет свидетельств с показателями успеха tool calls, пропускной способностью, spot-checks точности, runbook и инвентарём агентов сдан.

Как мы разворачиваем Qwen3 235B A22B за 14 дней

Фиксированная цена.

День 1

Подтвердить уровень железа. Mac 128GB пограничен (только IQ4_XS). Mac 256GB+ или несколько GPU, реальный минимум. Бенчмарк Thinking против Non-Thinking на реальной рабочей нагрузке.

День 4

Serving через vLLM с FP8 (GPU) или MLX с Q4 (Mac). Подключение OpenAI-совместимого API. Настройка переключателя режима мышления по маршруту или роли пользователя.

День 9

RAG с многоязычными эмбеддингами BGE-M3, Qdrant. SSO, audit logging, RBAC, телеметрия маршрутизации экспертов для мониторинга затрат.

День 14

Пен-тест пройден. Файл NOTICE Apache 2.0 подан. Переход. Атрибуция в UI продукта не требуется.

235B всего, 22B активных на токен (MoE) Параметры

Запишитесь на 30-минутный scoping-звонок. Мы скажем, подходит ли Qwen3 235B A22B плюс наш agent stack до того, как вы подпишете.

Фиксированная цена.

На 1-й день вы видите точную модель, точное железо, точный agent stack, точную математику затрат и точную комплаенс-позицию.

Вы уходите с

  1. День 0 (на этой неделе): 30-минутный scoping-звонок. Шортлист железа, выбор модели, предложение agent stack, прогноз затрат в вашем inbox до пятницы
  2. День 1: Подтвердить уровень железа. Mac 128GB пограничен (только IQ4_XS). Mac 256GB+ или несколько GPU, реальный минимум. Бенчмарк Thinking против Non-Thinking на реальной рабочей нагрузке.

Вопросы, которые решают, подходим ли мы

Действительно ли Qwen3 235B бесплатен для коммерческого использования?

Да. Apache 2.0, без ограничений MAU, без требований атрибуции в продукте, без платного уровня. Вы можете дообучать, распространять, поставлять в коммерческих продуктах и встраивать в клиентские материалы без связи с Alibaba. Единственное требование, сохранить файл NOTICE Apache 2.0 в исходных дистрибутивах, что является одноразовой юридической задачей.

Какое железо реально запускает Qwen3 235B на приемлемой скорости?

Mac Studio M3 Ultra 256GB при Q4_K_M, самый дешёвый реальный вариант, 15-22 токена в секунду на декодировании для одного пользователя. Mac 128GB требует IQ4_XS и исчерпывает память при контексте более 40K. Для многопользовательского продакшна цельтесь на 2x RTX Pro 6000 Blackwell 96GB или узел 4x H200 с FP8.

Что такое режим Thinking против Non-Thinking и когда использовать каждый?

Режим Thinking запускает внутреннюю цепочку рассуждений перед ответом, медленнее, но сильнее по математике, коду и многошаговым рассуждениям. Non-Thinking, прямой ответ, быстрее, подходит для чата, составления документов и tool calls. Вариант Instruct-2507 по умолчанию в режиме Non-Thinking. Направьте сложные проблемы в Thinking и типовые задачи в Non-Thinking, и соотношение токенов к деньгам улучшится в 3-5 раз.

Что развернуть, Qwen3 235B или DeepSeek V3.2?

DeepSeek V3.2 выигрывает по сложнейшим рассуждениям и математике уровня ИМО. Qwen3 235B выигрывает по минимальному железу (143GB против 376GB при Q4), многоязычному охвату и простоте serving. Для компании без незадействованного кластера 8x H100 Qwen3 235B, практичный выбор.

Почему tool calling Qwen3 235B A22B считается наиболее надёжным open-weight вариантом?

Постобучающий пайплайн Qwen3 включал RL по 20+ задачам общего назначения специально для укрепления агентных возможностей, следования инструкциям и формату. Результат, наименьшая частота галлюцинаций tool-call среди open-weight моделей в бенчмарках 2026 года, а шаблон чата нативно кодирует OpenAI-совместимый формат инструментов плюс MCP. В спринтах Pineido мы видим заметно меньше ошибок retry-loop на Qwen3 по сравнению с Llama или Mistral.

Какую модель использовать, Qwen3-235B-A22B-Instruct-2507 или Thinking-2507?

Обе. Pineido разворачивает Instruct-2507 как стандартный endpoint, так как он быстрее и пропускает токены мышления. Thinking-2507 разворачиваем на втором порту для сложных проблем. Обе модели разделяют архитектуру, поэтому vLLM serving их рядом. Cline, Roo Code и Open WebUI могут маршрутизировать по задаче. Thinking-вариант набирает на 7-12 пунктов выше по сложным бенчмаркам рассуждений, но примерно в 3 раза медленнее на ответ.

АвторОснователь и имагинатор

Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.

Опубликовано Обновлено