Рекомендуемая квантизация
Full 236B в FP8 на H100/H200. Lite 16B в Q4_K_M для одного GPU. INT4 (AWQ) на полной модели для развёртываний на 4 GPU.
DeepSeek Coder V2 стала первой open-weight моделью для программирования, всерьёз бросившей вызов GPT-4 Turbo на реальных бенчмарках. 90,2 на HumanEval, 76,2 на MBPP+, 43,4 на LiveCodeBench и переломная цифра 12,7 на SWE-Bench, первая open-модель, перешагнувшая двузначный рубеж.
Характеристики, которые важны при выборе модели и железа.
236B всего, 21B активных на токен
16B всего, 2,4B активных на токен
128K tokens
DeepSeekMoE + Multi-head Latent Attention (MLA)
338 языков программирования
10,2T всего (6T продолженного предобучения для кода+математики)
DeepSeek License Agreement (коммерческое использование разрешено)
~472 ГБ
~240 ГБ
2024-06-17
Три уровня, реальные SKU, реальные цифры пропускной способности.
Пропускная способность: 60-120 ток/с на Lite. Лучше всего для: одиночного разработчика, автодополнения в IDE, локального сервера дополнения кода.
Пропускная способность: 30-60 ток/с одиночный поток, 200+ ток/с в батче. Лучше всего для: общекомандной самохостинговой замены Copilot, бота для code review, внутреннего агента программирования.
Пропускная способность: 100-200 ток/с одиночный поток, 1000+ ток/с в батче. Лучше всего для: мультиарендной code API, хостинга продукта класса Cursor, корпоративных платформ SWE-агентов.
GGUF, AWQ, FP8, INT4.
Full 236B в FP8 на H100/H200. Lite 16B в Q4_K_M для одного GPU. INT4 (AWQ) на полной модели для развёртываний на 4 GPU.
Архитектура MoE более чувствительна к квантизации, чем плотная. FP8 практически без потерь. INT4 AWQ теряет 1-3 балла на HumanEval и MBPP. Ниже INT4 модель резко деградирует на многоязычном коде.
Около 472 ГБ весов. Нужен узел из 8x 80 ГБ (H100 или A100). Эталонное качество без потерь, максимальная стоимость памяти.
Около 240 ГБ весов. Помещается в узел из 8x H100 80 ГБ с FP8 KV-кэшем через SGLang или vLLM. Практически без потерь на бенчмарках кода.
Около 120 ГБ весов. Нацелено на 4x GPU по 80 ГБ. Теряет 1-3 балла на HumanEval и MBPP по сравнению с FP8.
Около 10,4 ГБ GGUF, то есть примерно 9-11 ГБ VRAM с KV-кэшем. Одна RTX 4090 или 5090, с удобным запасом для контекста 32K.
Отзывы от людей, которые были в комнате, когда принимались решения.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Crew scheduling was a nightmare. Guys would show up at the wrong site or not at all. The automated dispatch board fixed that in week two.
Our food cost was a mystery until they wired the POS to the inventory system. Now I know the actual margin on every plate before the week ends.
DeepSeek Coder V2 236B (21B активных, MoE) была флагманом программирования с открытыми весами на момент выпуска и первой open-моделью, перешагнувшей двузначный рубеж на SWE-Bench в паре с каркасами SWE-Agent и OpenHands.
Первоклассный показатель успешности diff-apply. Aider 73,7% на исходном Python-бенчмарке, около 65% на Aider Polyglot для V2 (проверьте на лидерборде). Формат diff edit работает надёжно, меньше ошибок 'не удалось применить', чем у Llama или Codestral.
Наивысший показатель прохождения SWE-bench Lite в пуле с открытыми весами, около 38-42%. Связка DeepSeek-OpenHands произвела исходный open-source прорыв на SWE-bench. Каркас по умолчанию для автономного исправления багов на V2.
Сильное соответствие через API DeepSeek или вариант Lite на Ollama. Контекст 128K поглощает многословный системный промпт Cline плюс многофайловый контекст. Стоимость токенов на облачном API самая низкая в пуле крупных вендоров, $0,14/M на входе с кэшем.
Идеальная пара. Lite 16B (2,4B активных) работает на рабочей карте на 24 ГБ при 60+ ток/с, укладывается в бюджет задержки автодополнения. Full 236B через API для чата и редактирования. Стандартная конфигурация DeepSeek-плюс-Continue - один из самых развёрнутых стеков с открытыми весами.
Cursor принимает DeepSeek как кастомную модель через конфигурацию BYOK. V2 Instruct работает для чата и редактирования. Собственный Composer Cursor быстрее на итерациях, V2 выигрывает по стоимости за задачу.
Каркас автономного исправления багов от Принстона. V2 стала первой моделью с открытыми весами, перешагнувшей двузначный рубеж на SWE-bench, выбор команды Принстона для эталонного прогона с открытыми весами.
Форк Cline. V2 хорошо справляется с итерацией в режиме Code, менее идеален в режиме Architect (V2 настроена под программирование, слабее в широком рассуждении). Совмещайте Architect=DeepSeek V3.2 плюс Code=DeepSeek Coder V2 для самого чистого разделения.
Где эта модель + агентный стек выдаёт реальную работу.
Менее подходит.
Применимо для технических исследований, где источники - репозитории GitHub или документация API. Чисто прозовые исследования (юридические записки, рыночные отчёты) страдают от программистского уклона V2. Маршрутизируйте вместо этого на DeepSeek V3 или V3.2.
Нишевое соответствие для сугубо технических исследований. Фреймворк smolagents держит петлю плотной, сила V2 в программировании помогает на подзадачах поиска кода. Избегайте для общих исследований.
Используйте V2 только для узлов анализа кода в смешанном графе. Узлы синтеза и письма должны маршрутизироваться на DeepSeek V3.2 или Llama 3.3 70B.
Сильное соответствие для типизированных агентов извлечения кода. Чтение исходных файлов, извлечение сигнатур функций, выдача JSON-схем, V2 справляется чисто. Не тот выбор для прозоёмких исследовательских выходов.
Поиск по репозиториям GitHub и вопросы-ответы по коду. V2 плюс LlamaIndex - выбор по умолчанию для кодового RAG с открытыми весами. Для исследований по статьям и PDF используйте модель общего назначения.
Где эта модель + стек исследовательских агентов выдаёт отчёты, которыми ваша команда действительно пользуется.
Выбирайте фреймворк по форме воркфлоу.
Три профиля покупателя, для которых эта модель - правильный ответ.
Задача: автодополнение в IDE и чат для 50-500 разработчиков. Результат: Full 236B в FP8 на 4x H100 хорошо амортизируется на множестве мест, и 21B активных удерживают задержку конкурентной с Codex.
Задача: генерация кода на Rust, Zig, Elixir, OCaml, Solidity. Результат: 338 поддерживаемых языков против более узкого покрытия Qwen дают DeepSeek Coder V2 преимущество на нишевых стеках.
Задача: разрешение issue, генерация PR, рассуждение на уровне репозитория. Результат: первая open-модель, преодолевшая 10% на SWE-Bench (12,7%), что делает её достоверной основой для продуктов агентного программирования.
Где эта модель выигрывает, где проигрывает.
Qwen 32B плотная, помещается на одном GPU на 48 ГБ в BF16, показывает 92,7 на HumanEval (против 90,2) и под Apache 2.0. DeepSeek Coder V2 выигрывает по стоимости обслуживания при высоком батче через MoE, по покрытию длиннохвостых языков и на SWE-Bench. Qwen выигрывает по развёртыванию на одном GPU и простоте лицензии.
Codestral быстрее для FIM-автодополнения и имеет контекст 256K, но Mistral Non-Production License блокирует коммерческое использование без отдельного соглашения. Коммерчески разрешительная лицензия DeepSeek Coder V2 и более сильное многошаговое рассуждение выигрывают для продакшен-команд.
Вариант Lite работает на одном GPU на 24 ГБ и является практичным выбором для большинства команд. Полная 236B оправдывает 5-кратные расходы на железо только когда вам нужно преимущество SWE-Bench или мультиарендный масштаб.
Двухнедельный спринт.
Решение по варианту. Lite 16B для локального автодополнения на одном GPU, Full 236B через облачный API DeepSeek для оркестрации. Подтвердить, запрашивает ли покупатель конкретно V2 или V3.2 подходит лучше.
Локальное развёртывание Lite через Ollama на GPU на 24 ГБ. Continue.dev подключён с Lite как tabAutocompleteModel и Full 236B как chat-моделью. Базовая задержка, прогноз стоимости токенов.
Тестовые прогоны Aider плюс OpenHands плюс Cline против кодовой базы клиента. Показатель успешности diff-apply, показатель прохождения задач в стиле SWE-bench, расход токенов на задачу - всё логируется.
Связывание агентного фреймворка. LangGraph для графовых воркфлоу, Pydantic AI для типизированного извлечения. Нативный вызов инструментов протестирован, валидация схемы зафиксирована.
Каркас оценки на замороженных задачах клиента. Цель успешности diff-apply 95+%, соответствие схеме 99%, согласован средний бюджет токенов на задачу.
Переход в продакшен. SSO, журнал аудита, лимиты частоты на разработчика. Политика ротации API-ключей DeepSeek. Атрибуция лицензии MIT поставлена в документацию продукта.
Фиксированная цена.
Выбрать между Lite (16B) и Full (236B). Большинству команд стоит начать с Lite на одной RTX 4090, чтобы проверить UX и качество, прежде чем переходить на multi-GPU.
Поднять vLLM с выбранной моделью. Для Full настроить тензорный параллелизм на 4-8 GPU и включить непрерывный батчинг. Для Lite достаточно llama.cpp или Ollama.
Подключить к Continue.dev, Cline или вашему внутреннему IDE-плагину. Настроить FIM-эндпоинт для автодополнения и chat-эндпоинт для объяснений. Тестировать на вашей реальной кодовой базе, а не только на HumanEval.
Добавить агентный каркас, если нужна разрешение issue в стиле SWE-bench. Наложить песочничное исполнение, поиск по репозиторию и петлю верификации. Сравнить с реальной пропускной способностью PR вашей команды.
236B всего / 21B активных (MoE) Параметры
Фиксированная цена.
В день 1 вы видите точную модель, точное железо, точный агентный стек, точный расчёт затрат и точную позицию по соответствию.
Lite почти для всех. Она работает на одном потребительском GPU, показывает 81 на HumanEval и быстрее на токен, чем полная модель на эквивалентном железе. Выбирайте полную 236B только если вам конкретно нужен разрыв на SWE-Bench или вы амортизируете на сотнях мест.
Да. DeepSeek License Agreement разрешает коммерческое использование, включая хостинговые сервисы. Она включает некоторые ограничения по сценариям (военные, нелегальный контент), но без потолка MAU и без роялти. Большинство продакшен-развёртываний покрыты.
Три причины. Первая, экономика MoE-обслуживания при высоком батче. Вторая, более широкое покрытие языков (338 против более узкого набора Qwen). Третья, более сильные показатели SWE-Bench для агентных воркфлоу. Если ничего из этого не важно, Qwen2.5-Coder 32B - более простой и столь же сильный выбор.
В основном. Полнота остаётся сильной до 64K, но деградирует на длинном хвосте 128K. Для задач уровня репозитория сочетайте контекст 128K с поиском по индексу эмбеддингов кода вместо сырого наполнения.
V3.2, если V2 не является жёстким требованием. DeepSeek V3.2-Exp набирает 74,5% на Aider Polyglot и 67,8% на SWE-bench Verified, при доле от стоимости GPT-5. V2 держится около 65% на том же бенчмарке Aider. V3.2 также сильнее в следовании инструкциям, разрыв, который авторы V2 отметили как ключевое узкое место SWE-bench. Выбирайте V2 только когда покупателю нужна конкретная форма MoE с 21B активных параметров для самохостинга на узле 8x H100, или когда анализ стоимости нацелен конкретно на ценовой уровень API V2.
Да, это правильная настройка для небольшой команды. У Lite 16B параметров всего с 2,4B активных на токен. В Q4_K_M она работает на одной RTX 4090 или RTX 5090 со скоростью 60-90 токенов в секунду на декодировании. Continue.dev плюс Lite - стандартная настройка парного программирования для одиночных разработчиков и консалтинговых фирм из 2-5 человек. Используйте полную 236B через облачный API DeepSeek для задач оркестрации, где 21B активных превосходят 2,4B активных.
АвторKostadin StambolievОснователь и имагинатор
Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.
Опубликовано Обновлено