Настройка DeepSeek Coder V2 на вашем железе, агентный стек запущен, продакшен-уровень за 14 дней

DeepSeek Coder V2 стала первой open-weight моделью для программирования, всерьёз бросившей вызов GPT-4 Turbo на реальных бенчмарках. 90,2 на HumanEval, 76,2 на MBPP+, 43,4 на LiveCodeBench и переломная цифра 12,7 на SWE-Bench, первая open-модель, перешагнувшая двузначный рубеж.

  • Переход в продакшен за 14 дней
  • Стек агентов для кода и исследований включён
  • 236B всего / 21B активных (MoE) Параметры
  • 128K tokens Окно контекста
  • 14 d Переход в продакшен

DeepSeek Coder V2 в общих чертах

Характеристики, которые важны при выборе модели и железа.

Параметры

236B всего, 21B активных на токен

Вариант Lite

16B всего, 2,4B активных на токен

Окно контекста

128K tokens

Архитектура

DeepSeekMoE + Multi-head Latent Attention (MLA)

Поддерживаемые языки

338 языков программирования

Токены обучения

10,2T всего (6T продолженного предобучения для кода+математики)

Лицензия

DeepSeek License Agreement (коммерческое использование разрешено)

VRAM FP16 (полная)

~472 ГБ

VRAM FP8 (полная)

~240 ГБ

Дата выпуска

2024-06-17

Железо, на котором DeepSeek Coder V2 работает в продакшене

Три уровня, реальные SKU, реальные цифры пропускной способности.

  1. Начальный уровень: DeepSeek Coder V2 Lite (16B / 2,4B активных) на одной RTX 4090 24 ГБ в Q4

    Пропускная способность: 60-120 ток/с на Lite. Лучше всего для: одиночного разработчика, автодополнения в IDE, локального сервера дополнения кода.

  2. Средний уровень: Full 236B в INT4 на 4x A100 80 ГБ или 4x H100 80 ГБ

    Пропускная способность: 30-60 ток/с одиночный поток, 200+ ток/с в батче. Лучше всего для: общекомандной самохостинговой замены Copilot, бота для code review, внутреннего агента программирования.

  3. Корпоративный уровень: 8x H100 SXM в FP8 или 8x H200 в BF16 на одном узле

    Пропускная способность: 100-200 ток/с одиночный поток, 1000+ ток/с в батче. Лучше всего для: мультиарендной code API, хостинга продукта класса Cursor, корпоративных платформ SWE-агентов.

Выбор квантизации для этой модели

GGUF, AWQ, FP8, INT4.

Рекомендуемая квантизация

Full 236B в FP8 на H100/H200. Lite 16B в Q4_K_M для одного GPU. INT4 (AWQ) на полной модели для развёртываний на 4 GPU.

Компромиссы

Архитектура MoE более чувствительна к квантизации, чем плотная. FP8 практически без потерь. INT4 AWQ теряет 1-3 балла на HumanEval и MBPP. Ниже INT4 модель резко деградирует на многоязычном коде.

BF16 (full 236B)

Около 472 ГБ весов. Нужен узел из 8x 80 ГБ (H100 или A100). Эталонное качество без потерь, максимальная стоимость памяти.

FP8 (full 236B)

Около 240 ГБ весов. Помещается в узел из 8x H100 80 ГБ с FP8 KV-кэшем через SGLang или vLLM. Практически без потерь на бенчмарках кода.

INT4 AWQ (full 236B)

Около 120 ГБ весов. Нацелено на 4x GPU по 80 ГБ. Теряет 1-3 балла на HumanEval и MBPP по сравнению с FP8.

Q4_K_M (Lite 16B)

Около 10,4 ГБ GGUF, то есть примерно 9-11 ГБ VRAM с KV-кэшем. Одна RTX 4090 или 5090, с удобным запасом для контекста 32K.

Что клиенты сказали после запуска

Отзывы от людей, которые были в комнате, когда принимались решения.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
Crew scheduling was a nightmare. Guys would show up at the wrong site or not at all. The automated dispatch board fixed that in week two.
Tom, Landscaping OwnerAtlanta
Our food cost was a mystery until they wired the POS to the inventory system. Now I know the actual margin on every plate before the week ends.
Miguel, Restaurant OwnerMiami

Агенты программирования, которые мы подключаем к DeepSeek Coder V2

DeepSeek Coder V2 236B (21B активных, MoE) была флагманом программирования с открытыми весами на момент выпуска и первой open-моделью, перешагнувшей двузначный рубеж на SWE-Bench в паре с каркасами SWE-Agent и OpenHands.

Aider

Первоклассный показатель успешности diff-apply. Aider 73,7% на исходном Python-бенчмарке, около 65% на Aider Polyglot для V2 (проверьте на лидерборде). Формат diff edit работает надёжно, меньше ошибок 'не удалось применить', чем у Llama или Codestral.

OpenHands

Наивысший показатель прохождения SWE-bench Lite в пуле с открытыми весами, около 38-42%. Связка DeepSeek-OpenHands произвела исходный open-source прорыв на SWE-bench. Каркас по умолчанию для автономного исправления багов на V2.

Cline

Сильное соответствие через API DeepSeek или вариант Lite на Ollama. Контекст 128K поглощает многословный системный промпт Cline плюс многофайловый контекст. Стоимость токенов на облачном API самая низкая в пуле крупных вендоров, $0,14/M на входе с кэшем.

Continue.dev

Идеальная пара. Lite 16B (2,4B активных) работает на рабочей карте на 24 ГБ при 60+ ток/с, укладывается в бюджет задержки автодополнения. Full 236B через API для чата и редактирования. Стандартная конфигурация DeepSeek-плюс-Continue - один из самых развёрнутых стеков с открытыми весами.

Cursor (BYOK)

Cursor принимает DeepSeek как кастомную модель через конфигурацию BYOK. V2 Instruct работает для чата и редактирования. Собственный Composer Cursor быстрее на итерациях, V2 выигрывает по стоимости за задачу.

SWE-Agent

Каркас автономного исправления багов от Принстона. V2 стала первой моделью с открытыми весами, перешагнувшей двузначный рубеж на SWE-bench, выбор команды Принстона для эталонного прогона с открытыми весами.

Roo Code

Форк Cline. V2 хорошо справляется с итерацией в режиме Code, менее идеален в режиме Architect (V2 настроена под программирование, слабее в широком рассуждении). Совмещайте Architect=DeepSeek V3.2 плюс Code=DeepSeek Coder V2 для самого чистого разделения.

Сценарии использования агентов программирования

Где эта модель + агентный стек выдаёт реальную работу.

Исследовательские агенты, которые мы разворачиваем на DeepSeek Coder V2

Менее подходит.

GPT Researcher

Применимо для технических исследований, где источники - репозитории GitHub или документация API. Чисто прозовые исследования (юридические записки, рыночные отчёты) страдают от программистского уклона V2. Маршрутизируйте вместо этого на DeepSeek V3 или V3.2.

Open Deep Research (HuggingFace)

Нишевое соответствие для сугубо технических исследований. Фреймворк smolagents держит петлю плотной, сила V2 в программировании помогает на подзадачах поиска кода. Избегайте для общих исследований.

LangGraph deep-research

Используйте V2 только для узлов анализа кода в смешанном графе. Узлы синтеза и письма должны маршрутизироваться на DeepSeek V3.2 или Llama 3.3 70B.

Pydantic AI

Сильное соответствие для типизированных агентов извлечения кода. Чтение исходных файлов, извлечение сигнатур функций, выдача JSON-схем, V2 справляется чисто. Не тот выбор для прозоёмких исследовательских выходов.

LlamaIndex code-search

Поиск по репозиториям GitHub и вопросы-ответы по коду. V2 плюс LlamaIndex - выбор по умолчанию для кодового RAG с открытыми весами. Для исследований по статьям и PDF используйте модель общего назначения.

Сценарии использования исследовательских агентов

Где эта модель + стек исследовательских агентов выдаёт отчёты, которыми ваша команда действительно пользуется.

Фреймворки, которые мы поставляем для продакшен-агентных воркфлоу

Выбирайте фреймворк по форме воркфлоу.

Кто выбирает DeepSeek Coder V2

Три профиля покупателя, для которых эта модель - правильный ответ.

  1. Самохостинговый Copilot для инженерной организации

    Задача: автодополнение в IDE и чат для 50-500 разработчиков. Результат: Full 236B в FP8 на 4x H100 хорошо амортизируется на множестве мест, и 21B активных удерживают задержку конкурентной с Codex.

  2. Покрытие длиннохвостых языков

    Задача: генерация кода на Rust, Zig, Elixir, OCaml, Solidity. Результат: 338 поддерживаемых языков против более узкого покрытия Qwen дают DeepSeek Coder V2 преимущество на нишевых стеках.

  3. Бэкенд SWE-агента

    Задача: разрешение issue, генерация PR, рассуждение на уровне репозитория. Результат: первая open-модель, преодолевшая 10% на SWE-Bench (12,7%), что делает её достоверной основой для продуктов агентного программирования.

DeepSeek Coder V2 против ближайших соперников

Где эта модель выигрывает, где проигрывает.

против Qwen2.5-Coder 32B

Qwen 32B плотная, помещается на одном GPU на 48 ГБ в BF16, показывает 92,7 на HumanEval (против 90,2) и под Apache 2.0. DeepSeek Coder V2 выигрывает по стоимости обслуживания при высоком батче через MoE, по покрытию длиннохвостых языков и на SWE-Bench. Qwen выигрывает по развёртыванию на одном GPU и простоте лицензии.

против Codestral 22B

Codestral быстрее для FIM-автодополнения и имеет контекст 256K, но Mistral Non-Production License блокирует коммерческое использование без отдельного соглашения. Коммерчески разрешительная лицензия DeepSeek Coder V2 и более сильное многошаговое рассуждение выигрывают для продакшен-команд.

против DeepSeek Coder V2 Lite (16B / 2,4B)

Вариант Lite работает на одном GPU на 24 ГБ и является практичным выбором для большинства команд. Полная 236B оправдывает 5-кратные расходы на железо только когда вам нужно преимущество SWE-Bench или мультиарендный масштаб.

Как Pineido настраивает агентов на DeepSeek Coder V2

Двухнедельный спринт.

  1. День 1

    Решение по варианту. Lite 16B для локального автодополнения на одном GPU, Full 236B через облачный API DeepSeek для оркестрации. Подтвердить, запрашивает ли покупатель конкретно V2 или V3.2 подходит лучше.

  2. День 3

    Локальное развёртывание Lite через Ollama на GPU на 24 ГБ. Continue.dev подключён с Lite как tabAutocompleteModel и Full 236B как chat-моделью. Базовая задержка, прогноз стоимости токенов.

  3. День 6

    Тестовые прогоны Aider плюс OpenHands плюс Cline против кодовой базы клиента. Показатель успешности diff-apply, показатель прохождения задач в стиле SWE-bench, расход токенов на задачу - всё логируется.

  4. День 8

    Связывание агентного фреймворка. LangGraph для графовых воркфлоу, Pydantic AI для типизированного извлечения. Нативный вызов инструментов протестирован, валидация схемы зафиксирована.

  5. День 11

    Каркас оценки на замороженных задачах клиента. Цель успешности diff-apply 95+%, соответствие схеме 99%, согласован средний бюджет токенов на задачу.

  6. День 14

    Переход в продакшен. SSO, журнал аудита, лимиты частоты на разработчика. Политика ротации API-ключей DeepSeek. Атрибуция лицензии MIT поставлена в документацию продукта.

Как мы разворачиваем DeepSeek Coder V2 за 14 дней

Фиксированная цена.

День 1

Выбрать между Lite (16B) и Full (236B). Большинству команд стоит начать с Lite на одной RTX 4090, чтобы проверить UX и качество, прежде чем переходить на multi-GPU.

Дни 2-4

Поднять vLLM с выбранной моделью. Для Full настроить тензорный параллелизм на 4-8 GPU и включить непрерывный батчинг. Для Lite достаточно llama.cpp или Ollama.

Неделя 2

Подключить к Continue.dev, Cline или вашему внутреннему IDE-плагину. Настроить FIM-эндпоинт для автодополнения и chat-эндпоинт для объяснений. Тестировать на вашей реальной кодовой базе, а не только на HumanEval.

Недели 3-4

Добавить агентный каркас, если нужна разрешение issue в стиле SWE-bench. Наложить песочничное исполнение, поиск по репозиторию и петлю верификации. Сравнить с реальной пропускной способностью PR вашей команды.

236B всего / 21B активных (MoE) Параметры

Забронируйте 30-минутный ознакомительный звонок. Мы скажем вам, является ли DeepSeek Coder V2 плюс наш агентный стек правильным выбором, прежде чем вы подпишете.

Фиксированная цена.

В день 1 вы видите точную модель, точное железо, точный агентный стек, точный расчёт затрат и точную позицию по соответствию.

Вы уходите с

  1. День 0 (на этой неделе): 30-минутный ознакомительный звонок. Шорт-лист железа, выбор модели, предложение агентного стека, прогноз затрат в вашем почтовом ящике к пятнице
  2. День 1: Выбрать между Lite (16B) и Full (236B). Большинству команд стоит начать с Lite на одной RTX 4090, чтобы проверить UX и качество, прежде чем переходить на multi-GPU.

Всё, что вы спросили бы на первой встрече

Запускать Lite на 16B или полную 236B?

Lite почти для всех. Она работает на одном потребительском GPU, показывает 81 на HumanEval и быстрее на токен, чем полная модель на эквивалентном железе. Выбирайте полную 236B только если вам конкретно нужен разрыв на SWE-Bench или вы амортизируете на сотнях мест.

Можно ли использовать её коммерчески?

Да. DeepSeek License Agreement разрешает коммерческое использование, включая хостинговые сервисы. Она включает некоторые ограничения по сценариям (военные, нелегальный контент), но без потолка MAU и без роялти. Большинство продакшен-развёртываний покрыты.

Почему выбрать DeepSeek вместо Qwen2.5-Coder?

Три причины. Первая, экономика MoE-обслуживания при высоком батче. Вторая, более широкое покрытие языков (338 против более узкого набора Qwen). Третья, более сильные показатели SWE-Bench для агентных воркфлоу. Если ничего из этого не важно, Qwen2.5-Coder 32B - более простой и столь же сильный выбор.

Работает ли контекст 128K для рассуждения по целому репозиторию?

В основном. Полнота остаётся сильной до 64K, но деградирует на длинном хвосте 128K. Для задач уровня репозитория сочетайте контекст 128K с поиском по индексу эмбеддингов кода вместо сырого наполнения.

Развернуть DeepSeek Coder V2 или DeepSeek V3.2 для нашего агента программирования?

V3.2, если V2 не является жёстким требованием. DeepSeek V3.2-Exp набирает 74,5% на Aider Polyglot и 67,8% на SWE-bench Verified, при доле от стоимости GPT-5. V2 держится около 65% на том же бенчмарке Aider. V3.2 также сильнее в следовании инструкциям, разрыв, который авторы V2 отметили как ключевое узкое место SWE-bench. Выбирайте V2 только когда покупателю нужна конкретная форма MoE с 21B активных параметров для самохостинга на узле 8x H100, или когда анализ стоимости нацелен конкретно на ценовой уровень API V2.

Может ли DeepSeek Coder V2 Lite (16B) запустить локальный агент программирования на GPU на 24 ГБ?

Да, это правильная настройка для небольшой команды. У Lite 16B параметров всего с 2,4B активных на токен. В Q4_K_M она работает на одной RTX 4090 или RTX 5090 со скоростью 60-90 токенов в секунду на декодировании. Continue.dev плюс Lite - стандартная настройка парного программирования для одиночных разработчиков и консалтинговых фирм из 2-5 человек. Используйте полную 236B через облачный API DeepSeek для задач оркестрации, где 21B активных превосходят 2,4B активных.

АвторОснователь и имагинатор

Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.

Опубликовано Обновлено