Установка Qwen2.5-Coder 32B на вашем железе, агентный стек запущен, продакшн-уровень за 14 дней

Qwen2.5-Coder 32B, open-weight code-модель, которая попала в тир GPT-4o на каждом публичном бенчмарке кодирования. Выпущена 11 ноября 2024 под Apache 2.0, обучена на 5,5 триллиона токенов по 92 языкам программирования.

  • Продакшн-переход за 14 дней
  • Coding + research агентный стек включён
  • 32.5B dense (31.0B non-embedding) Параметры
  • 128K токенов Контекстное окно
  • 14 дней Продакшн-переход

Qwen2.5-Coder 32B в двух словах

Характеристики, важные при выборе модели и железа.

Параметры

32.5B dense (31.0B non-embedding)

Контекстное окно

128K токенов

Лицензия

Apache 2.0

Релиз

11 ноября 2024

Данные обучения

5,5T токенов, 92 языка программирования

HumanEval

92.7

MBPP

90.2

Aider (исправление кода)

73.7

Мин. VRAM (Q4_K_M)

19 ГБ

Мин. VRAM (Q5_K_M)

22 ГБ

Мин. VRAM (Q8_0)

34 ГБ

Токен/с на RTX 4090 Q4

42

Токен/с на RTX 5090 Q4

55-70

Токен/с на M3 Max Q4

18

Железо для Qwen2.5-Coder 32B в продакшне

Три уровня, реальные SKU, реальные показатели пропускной способности.

  1. Начальный уровень: Mac Mini M4 Pro 24 ГБ ($1 599) или RTX 4090 ($1 800) на Q4_K_M

    Пропускная способность: 18-42 токен/с. Лучше всего для: разработчиков-одиночек, небольших команд, IDE-автодополнения, code review.

  2. Средний уровень: RTX 5090 32 ГБ ($2 500) или 2x RTX 4090 ($3 600)

    Пропускная способность: 55-90 токен/с. Лучше всего для: команд 5-15 инженеров, общего vLLM-обслуживания для автодополнения, качества Q5/Q6, сервера генерации кода.

  3. Корпоративный уровень: RTX Pro 6000 Blackwell 96 ГБ ($10-14K) или A100/H100

    Пропускная способность: 120-200 токен/с. Лучше всего для: организаций 30+ инженеров, мультиарендной code-платформы, цикла дообучения, замены внутреннего Copilot.

Что клиенты сказали после запуска

Отзывы от людей, которые были в комнате, когда принимались решения.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Crew scheduling was a nightmare. Guys would show up at the wrong site or not at all. The automated dispatch board fixed that in week two.
Tom, Landscaping OwnerAtlanta
Three drivers called out on the same morning. The system reassigned every route before I finished my coffee. That used to take two hours of phone calls.
James, Fleet ManagerDallas

Выбор квантизации для этой модели

GGUF, AWQ, FP8, INT4.

Рекомендуемая квантизация

Q4_K_M для одного пользователя и потребительского GPU. Q5_K_M или Q6_K при наличии VRAM (RTX 5090 или больше), лучше качество кода на edge cases. AWQ INT4 для vLLM-обслуживания. FP8 только на H100 при наличии парка машин.

Компромиссы

Code-модели чувствительны к квантизации при длинных генерациях. Q4 подходит для IDE-автодополнения и задач редактирования. Q5_K_M и Q6_K заметно лучше при написании функций с нуля или рефакторинге нескольких файлов. Q8_0 вынуждает offload на RTX 4090 (~34 ГБ), снижая пропускную способность с 42 до 22 токен/с.

GGUF Q4_K_M

Размер файла: 19 ГБ.

GGUF Q5_K_M

Размер файла: 22 ГБ.

GGUF Q8_0

Размер файла: 34 ГБ.

AWQ INT4

Размер файла: 18 ГБ.

Агенты кодирования, которые мы подключаем к Qwen2.5-Coder 32B

Лучший «бюджетный» агентный кодировщик 2026 года: сопоставим с GPT-4o на HumanEval, работает на одном RTX 4090 при Q4_K_M.

Aider

Лучший выбор. Формат diff-edit Aider не зависит от агрессивных мультиходовых циклов инструментов, поэтому особенности вызова инструментов Qwen2.5-Coder 32B не мешают. 73.7 процента на бенчмарке Aider code-repair, сопоставимо с GPT-4o. Запуск: aider --openai-api-base http://your-vllm:8000/v1 --model openai/Qwen2.5-Coder-32B-Instruct.

Continue.dev

Хорошее сочетание. config.yaml с provider: openai или vllm, apiBase на ваш endpoint. Tab autocomplete работает при Q4_K_M на одном RTX 4090. Используйте как роль autocomplete-and-edit; сочетайте с меньшей быстрой моделью для inline completion, если важна задержка.

Cline (с обходным путём)

Vanilla Qwen2.5-Coder 32B может зацикливаться на задачах Cline (перечитывает файлы без прогресса). Обходной путь: использовать форк сообщества mychen76/qwen2.5_cline_roocode:32b с системным промптом, обеспечивающим строгий формат XML <tool><param>value</param></tool>, ровно один инструмент за ход. Или перейти на Qwen3-Coder.

Roo Code (с обходным путём)

Те же оговорки, что и Cline. Кастомный промпт mychen76/qwen2.5_cline_roocode:32b явно нацелен как на Cline, так и на Roo Code. Режим Architect обычно более терпим, чем режим Code, потому что он выносит шаг планирования.

Qwen-Agent

Нативный агентный фреймворк Qwen со встроенным шаблоном вызова инструментов для Qwen2.5. Включает function calling, MCP, интерпретатор кода, RAG. Наиболее поддерживаемый путь для вызова инструментов на vanilla Qwen2.5-Coder 32B, поскольку использует официальный chat template.

OpenHands (ограниченно)

Работает, но уступает Qwen3-Coder 30B-A3B на SWE-bench. Qwen2.5-Coder не обучался RL на агентных циклах как Qwen3-Coder. Используйте только если Qwen2.5-Coder 32B, единственная модель, умещающаяся на доступном GPU 24 ГБ.

Cursor (только облако)

Доступен через OpenRouter или облачные API, но не через кастомный локальный endpoint. Cursor маршрутизирует через свой backend, разрушая аргумент локальности данных, который делает Qwen2.5-Coder 32B привлекательным. Cline, лучший выбор Pineido.

Кейсы агентного кодирования

Где эта модель в связке с агентным стеком даёт реальные результаты.

Research-агенты на Qwen2.5-Coder 32B

Специализированная code-модель.

Qwen-Agent

RAG, MCP, интерпретатор кода встроены. Лучший research-стек для Qwen2.5-Coder 32B, так как выравнивание chat template точное: pip install -U qwen-agent[gui,rag,code_interpreter,mcp].

AnythingLLM

Code-aware RAG по документации репозитория. Рабочее пространство на проект. Режим @agent можно использовать для code-research вопросов по вашей приватной кодовой базе плюс документации SDK.

Open WebUI

Стандартный чат-интерфейс. Подходит для ad-hoc вопросов по коду и поиска в документации. Загрузка документов охватывает PDF-руководства SDK, RFC и документацию библиотек.

GPT Researcher

Применим для code-смежных исследований (сравнения библиотек, бенчмарки фреймворков). Для чисто некодовых исследований лучше подойдёт модель общего назначения. Переопределение OPENAI_BASE_URL работает.

LlamaIndex

Лучшее сочетание для RAG по коду и документации. Суммаризатор деревьев и отслеживание цитат LlamaIndex хорошо обрабатывают документацию SDK. Сочетайте с оркестрацией Qwen-Agent или LangGraph поверх.

LangGraph

Продакшн-оркестрация. Полезен для многошаговых code-research рабочих процессов (разбор stack trace, поиск в документации, черновик фикса). Особенности вызова инструментов Qwen2.5-Coder означают, что может потребоваться явная retry-логика в граф.

CrewAI

Последовательные команды. Полезен для пар research-and-write (исследователь читает документацию, писатель составляет Architecture Decision Record). Быстрее демонстрируется, чем LangGraph.

Кейсы research-агентов

Где эта модель в связке с research-агентным стеком даёт отчёты, которые ваша команда действительно использует.

Фреймворки для продакшн-агентных рабочих процессов

Выбирайте фреймворк по форме рабочего процесса.

Qwen-Agent

Нативный фреймворк Qwen. Лучшее выравнивание вызова инструментов для Qwen2.5-Coder 32B.

LangGraph

Продакшн-оркестрация с явной retry-логикой для особенностей вызова инструментов.

DSPy

Компиляция промптов. Полезен для уточнения промптов вызова инструментов Qwen2.5-Coder.

Кто выбирает Qwen2.5-Coder 32B

Три профиля покупателей, для которых эта модель, правильный выбор.

  1. Разработческий отдел, 12 инженеров

    Задача: IDE-автодополнение, code review, рефакторинг, внутренний инструментарий. Результат: Замена лицензий Copilot или Cursor по $24-40 за место в месяц. Один RTX 5090 обслуживает всю команду. ROI за 3 месяца. Код не покидает компанию.

  2. Финтех, 25 инженеров под SOC 2

    Задача: Генерация кода для приватных торговых систем и проприетарных алгоритмов. Результат: Apache 2.0 плюс on-prem деплой проходит проверку SOC 2 без вопросов. Никакой утечки фрагментов кода через сторонние API. Дообучаем на проприетарной кодовой базе.

  3. Оборонный подрядчик, 8 инженеров в scope ITAR

    Задача: Code review и генерация на экспортно-контролируемом ПО. Результат: air-gapped деплой удовлетворяет ITAR. Q5_K_M на одной рабочей станции на инженера. API третьих сторон кодовую базу не касается.

Qwen2.5-Coder 32B против ближайших конкурентов

Где эта модель выигрывает, где проигрывает.

vs Llama 3.3 70B

Qwen2.5-Coder 32B опережает Llama 3.3 70B на каждом code-бенчмарке на 3-8 пунктов и работает на железе, втрое дешевле. Llama 3.3 70B выигрывает на общих рассуждениях и некодовых задачах. Используйте Qwen2.5-Coder для кода, Llama 3.3 для всего остального, или просто запустите обе.

vs GPT-4o

Qwen2.5-Coder 32B сопоставим с GPT-4o на HumanEval и MBPP, на уровне на Aider. GPT-4o выигрывает на самых сложных рассуждениях. Для 90 процентов dev-работы (автодополнение, рефакторинг, написание тестов, review PR) разрыв незаметен.

vs DeepSeek-Coder V2

Qwen2.5-Coder 32B опережает DeepSeek-Coder V2 на EvalPlus, наиболее насыщенном code-бенчмарке. Qwen2.5-Coder также выигрывает по простоте обслуживания dense против MoE (единый 32B против сложности MoE DSCv2).

Как Pineido настраивает агентов на Qwen2.5-Coder 32B

День 4: Ollama или vLLM запускает Qwen2.5-Coder 32B Instruct на одном GPU 24 ГБ.

День 4

Ollama запускает qwen2.5-coder:32b при Q4_K_M (~22 ГБ на GPU 24 ГБ). Для более высокой пропускной способности vLLM обслуживает Qwen2.5-Coder-32B-Instruct с --tensor-parallel-size 1 --max-model-len 32768. Для полного окна 128K требуется больше запаса VRAM.

День 5

Выбираем агентный путь. Vanilla Qwen2.5-Coder работает для Aider и Continue.dev. Для Cline или Roo Code устанавливаем mychen76/qwen2.5_cline_roocode:32b с настроенным XML-промптом инструментов, или рекомендуем покупателю перейти на Qwen3-Coder 30B-A3B.

День 6

Aider через --openai-api-base, Continue.dev через config.yaml provider: openai или vllm. Tab autocomplete включён в Continue.

День 8

Open WebUI и AnythingLLM запущены. Code-aware RAG по репозиторию и документации SDK.

День 10

Qwen-Agent установлен (pip install -U qwen-agent[gui,rag,code_interpreter,mcp]). MCP-серверы для файловой системы и GitHub подключены.

День 12

LangGraph рабочий процесс для пайплайна code-research-and-write. Явная retry-логика на узлах вызова инструментов с учётом особенностей формата инструментов модели.

День 14

Пакет доказательств с воспроизведением Aider-баллов, показателями пропускной способности, инвентарём агентов и письменной рекомендацией по переходу на Qwen3-Coder.

Как мы разворачиваем Qwen2.5-Coder 32B за 14 дней

Фиксированная цена.

День 1

Тест на реальной кодовой базе. Выбор Q4_K_M или Q5_K_M исходя из VRAM. Проверка языкового покрытия (92 языка, но качество варьируется).

День 4

Запуск через vLLM (RTX 5090 или Pro 6000) или Ollama (Mac, отдельная рабочая станция). OpenAI-совместимый endpoint. Подключение к Continue.dev или Cline IDE-плагину.

День 9

Опционально: дообучение на приватной кодовой базе с QLoRA. Embeddings поиск через BGE-M3 по вашему репозиторию. RBAC, audit logging, firewall-правило без egress.

День 14

Пен-тест пройден. Apache 2.0 NOTICE оформлен. Переход. Замена мест Copilot/Cursor.

Вопросы, которые решают, подходим ли мы

Можем ли мы встроить Qwen2.5-Coder 32B в наш коммерческий продукт?

Да. Apache 2.0, без лимитов MAU, без атрибуции в продукте, без коммерческих ограничений. Вы можете дообучать на своей кодовой базе, распространять дообученные веса и встраивать в коммерческие продукты. Сохраните файл NOTICE в исходных дистрибутивах, и всё.

Какое самое дешёвое железо для запуска Qwen2.5-Coder 32B для работающего разработчика?

Mac Mini M4 Pro 24 ГБ за $1 599 запускает Q4_K_M из коробки через Ollama, около 14-18 токенов в секунду. Подходит для одного разработчика с IDE-автодополнением. RTX 4090 достигает 42 токенов в секунду при том же уровне квантизации за примерно ту же цену. RTX 5090 поднимает это до 55-70 с запасом для Q5 или Q6.

Заменяет ли Qwen2.5-Coder 32B GitHub Copilot или Cursor?

Для автодополнения, рефакторинга и code review на большинстве стеков, да. HumanEval 92.7, это уровень GPT-4o. Разрыв виден на самых сложных рассуждениях и нишевых языках. Большинство команд обнаруживают, что Qwen2.5-Coder плюс хороший IDE-плагин (Continue, Cline) покрывает 90 процентов кейсов Copilot при нулевой стоимости за место.

Стоит ли ждать Qwen3-Coder?

Базовые модели Qwen3 существуют, семейство Qwen3-Coder следует тому же ритму релизов. Если у вас работающий стек, Qwen2.5-Coder 32B зрелый, поддерживаемый экосистемой и превышает бенчмарки любой модели, работавшей на $2K железа год назад. Мигрируйте, когда Qwen3-Coder выйдет и покажет реальную дельту бенчмарков. Не ждите, чтобы начать.

Работает ли Qwen2.5-Coder 32B с Cline?

С оговорками. Vanilla Qwen2.5-Coder 32B имеет известную проблему с зацикливанием Cline на многоходовых задачах (issue Cline #1429), перечитывает файлы без прогресса. Работают два фикса. Первый: установить форк сообщества mychen76/qwen2.5_cline_roocode:32b с настроенным XML-промптом инструментов. Второй: перейти на Qwen3-Coder 30B-A3B, который обучался RL для агентных циклов в стиле Cline. Pineido тестирует оба варианта в ходе спринта и рекомендует Qwen3-Coder для покупателей, чей основной кейс, автономные агентные циклы. Qwen2.5-Coder остаётся отличным для рабочих процессов явного редактирования в стиле Aider.

Какой Aider-балл у Qwen2.5-Coder 32B?

73.7 процента на бенчмарке Aider code-repair по официальному блогу QwenLM. Сопоставимо с GPT-4o. Паттерн diff-edit Aider не активирует особенности вызова инструментов, которые мешают Cline, поэтому Qwen2.5-Coder 32B реально применим для многофайлового рефакторинга через Aider. Запуск: aider --openai-api-base http://your-vllm:8000/v1 --model openai/Qwen2.5-Coder-32B-Instruct.

32.5B dense (31.0B non-embedding) Параметры

Запишитесь на 30-минутный звонок по скопингу. Скажем, подходят ли Qwen2.5-Coder 32B и наш агентный стек именно вам, до подписания.

Фиксированная цена.

В День 1 вы видите точную модель, точное железо, точный агентный стек, точную математику стоимости и точную позицию по соответствию требованиям.

Вы уходите с

  1. День 0 (на этой неделе): 30-минутный звонок по скопингу. Шортлист железа, выбор модели, предложение агентного стека, прогноз стоимости в вашем inbox к пятнице
  2. День 1: Тест на реальной кодовой базе. Выбор Q4_K_M или Q5_K_M исходя из VRAM. Проверка языкового покрытия (92 языка, но качество варьируется).

АвторОснователь и имагинатор

Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.

Опубликовано Обновлено