Установка Phi-4 на вашем железе, агентный стек запущен, продакшн-уровень за 14 дней

Phi-4, модель, которую выбирают, когда нужны реальные рассуждения на одном GPU. 14,7 миллиарда параметров, лицензия MIT, плотная архитектура декодера и рецепт обучения с упором на синтетические данные с верифицируемыми ответами.

  • Продакшн-переход за 14 дней
  • Coding + research агентный стек включён
  • 14B dense Параметры
  • 16K токенов Контекстное окно
  • 14 дней Продакшн-переход

Phi-4 в двух словах

Характеристики, важные при выборе модели и железа.

Параметры

14B (dense)

Контекстное окно

16K токенов

Архитектура

Decoder-only Transformer

Токены обучения

~10T (смесь с упором на синтетику)

Лицензия

MIT (полное коммерческое использование)

VRAM FP16

~28 ГБ

VRAM Q4_K_M

~9 ГБ

Варианты reasoning

Phi-4-reasoning, Phi-4-reasoning-plus

Дата релиза

2024-12-12

Доступно на

Hugging Face, Azure AI Foundry, Ollama, llama.cpp

Железо для Phi-4 в продакшне

Три уровня, реальные SKU, реальные показатели пропускной способности.

Начальный уровень: Mac Mini M4 24 ГБ унифицированной памяти, RTX 3090 24 ГБ, RTX 4070 Ti 16 ГБ на Q4

Пропускная способность: 10-30 токен/с на Mac Mini M4, 40-70 токен/с на RTX 3090. Лучше всего для: разработчиков-одиночек, локальных агентов, оффлайн reasoning-рабочих процессов.

Средний уровень: RTX 4090 24 ГБ или одиночный A6000 48 ГБ при Q5 или BF16

Пропускная способность: 60-120 токен/с, BF16 в полном качестве. Лучше всего для: небольших команд self-hosted, внутреннего RAG с рассуждениями, ботов code review.

Корпоративный уровень: 1x H100 80 ГБ или 2x L40S для батчевого обслуживания с vLLM

Пропускная способность: 200-600 токен/с батчем. Лучше всего для: продакшн мультиарендного API для математики, структурированного извлечения или бэкендов агентов.

Выбор квантизации для этой модели

GGUF, AWQ, FP8, INT4.

Рекомендуемая квантизация

Q4_K_M для локального использования. BF16 при наличии 28+ ГБ VRAM. Phi-4 необычно устойчива к квантизации благодаря хорошо распределённым синтетическим обучающим данным.

Компромиссы

Q4_K_M теряет примерно 1-2 пункта на MATH и GPQA против BF16, наименьший разрыв в классе размеров. Q3 начинает ломать цепочки рассуждений. Q5_K_M, безопасная середина при наличии 12+ ГБ.

BF16

Размер файла: не определён.

Q8_0

Размер файла: не определён.

Q5_K_M

Размер файла: не определён.

Q4_K_M

Размер файла: не определён.

Агенты кодирования, которые мы подключаем к Phi-4

Phi-4 14B, маленькая плотная модель, превышающая ожидания на математике и структурированных рассуждениях, но упирающаяся в стену на работе с несколькими файлами репозитория.

Aider

Работает с форматом whole edit на маленьких репозиториях. Aider Polyglot около 28-35 процентов для Phi-4. Бюджет 16K контекста принуждает к aider --map-tokens 4096 и агрессивному закреплению файлов. Многофайловые рефакторы предсказуемо падают, как только история diff переполняет окно.

Continue.dev

Хорошо для inline-правок и чата над открытым файлом. Настройте как chat-модель, не как autocomplete-модель: количество параметров 14B делает задержку первого токена слишком большой для предложений на уровне нажатий клавиш. Лучше сочетать с меньшей моделью (DeepSeek Coder V2 Lite или Qwen2.5 Coder 7B) для автодополнения.

Cline

Быстро упирается в стену 16K. Cline генерирует системный промпт 6K-9K токенов уже на первом ходу. К 3-му ходу контекст исчерпан. Работоспособно только на крошечных задачах с одним файлом или с экспериментальным режимом trimming промптов Cline.

Cursor (BYOK через локальный прокси)

Phi-4 через локальный llama.cpp за OpenAI-совместимым прокси работает для чата. Агрессивное context-stuffing Cursor 2026 года насыщает 16K окно на любом нетривиальном файле. Только нишевое применение.

Claude Code (BYOK путь)

Мост Anthropic-compatible плюс Phi-4 теоретически возможен. Практически, протокол tool-use Claude Code предполагает надёжность вызова инструментов уровня Anthropic. Варианты tool Phi-4 сообщества пропускают вызовы инструментов в 5-12 процентах случаев. Пропустите.

smolagents

Крошечный агентный фреймворк HuggingFace, правильный выбор. Режим CodeAgent, где LLM генерирует Python напрямую, подходит к сильным сторонам рассуждений Phi-4. Мы используем smolagents плюс Phi-4 для агентов структурированного извлечения в клиентских пайплайнах.

Кейсы агентного кодирования

Где эта модель в связке с агентным стеком даёт реальные результаты.

Research-агенты на Phi-4

16K контекст, ключевое ограничение.

GPT Researcher

Работоспособен с меньшим масштабом. Ограничьте исходные URL до 5-8, суммаризируйте каждый перед финальным синтезом. Качество рассуждений в синтезе конкурентоспособно с намного большими моделями на STEM темах.

STORM (Stanford)

Контурно-ориентированная структура Phi-4-reasoning помогает здесь. Фаза генерации вопросов с нескольких перспектив работает хорошо. Фаза синтеза статьи требует агрессивной нарезки из-за окна 16K.

Open Deep Research (HuggingFace)

На smolagents, нативно короткий контекст. Лучшее сочетание small-модели для Phi-4. Мы поставляли это для клиентских разовых рыночных отчётов по менее 20 источникам.

Pydantic AI ResearchAgent паттерн

Типизированные схемы принуждают к дисциплине. Phi-4 генерирует чистый структурированный вывод, валидация Pydantic V2 быстрая. Хорошее сочетание для узких пайплайнов извлечение-затем-синтез, не для широких открытых исследований.

LlamaIndex sub-question query engine

Декомпозирует сложные запросы на подвопросы, выполняет их последовательно против retrieved контекста. Каждый подвопрос вмещается в 16K, финальный синтез остаётся в бюджете. Правильный архитектурный паттерн для Phi-4 research.

Кейсы research-агентов

Где эта модель в связке с research-агентным стеком даёт отчёты, которые ваша команда действительно использует.

Фреймворки для продакшн-агентных рабочих процессов

Выбирайте фреймворк по форме рабочего процесса.

  1. LangGraph

  2. CrewAI

  3. AutoGen

  4. DSPy

  5. Pydantic AI

  6. smolagents

Кто выбирает Phi-4

Три профиля покупателей, для которых эта модель, правильный выбор.

Разработчик локальных агентов

Задача: многошаговое планирование и вызов инструментов на ноутбуке или Mac Mini. Результат: Phi-4 reasoning работает оффлайн с приемлемой скоростью, надёжно обрабатывает JSON и структурированный вывод и остаётся на устройстве.

Приложение-репетитор по математике и STEM

Задача: решение задач олимпийского уровня с пошаговыми рассуждениями. Результат: Phi-4-reasoning-plus держится около 82,5 процента на AIME 2025, опережая DeepSeek-R1-Distill-70B при одной пятой размера (считайте любой одиночный запуск AIME шумным, Microsoft усредняет по 50 с лишним генерациям).

Пайплайны структурированного извлечения

Задача: извлечение полей из счётов, контрактов, медицинских заметок в JSON. Результат: обучение на синтетических данных делает Phi-4 необычно хорошей для строгих схем и отказа при неопределённости, при низкой стоимости инференса на документ.

Phi-4 против ближайших конкурентов

Где эта модель выигрывает, где проигрывает.

  1. vs Llama 3.1 8B

    Phi-4 примерно на 84 процента больше (14,7B против 8B), но выигрывает на 15-25 пунктов на MATH, GPQA и HumanEval. Llama 3.1 8B выигрывает по многоязычному охвату, контексту 128K и долгохвостовому фактическому recall.

  2. vs Mistral Small 22B

    Mistral Small выигрывает на творческом письме, многоязычности и контексте 32K. Phi-4 решительно выигрывает на математике, структурированном выводе и рассуждениях. Phi-4 также MIT против исследовательской лицензии Mistral.

  3. vs Qwen2.5 14B

    Qwen2.5 14B имеет 128K контекст (против 16K) и более сильное покрытие китайского и кода. Phi-4 опережает на западной математике и STEM бенчмарках. Выбирайте по языку и потребностям в контексте.

Как Pineido настраивает агентов на Phi-4 14B

Двухнедельный спринт.

День 1

Выбор варианта. Phi-4 base для агентов извлечения, Phi-4-reasoning-plus для STEM исследований (32K контекст), Phi-4-mini для нативного вызова инструментов. Выбор Modelfile для вызова инструментов (zac/phi4-tools или кастомный).

День 3

vLLM плюс Outlines развёрнуты на GPU 24 ГБ (RTX 4090 или A6000) при FP16. guided_json и guided_regex протестированы на клиентских схемах. Целевой показатель успешности 99 процентов или эскалация до FP16 из любой квантизации.

День 6

Схемы Pydantic V2 определены для каждого ввода и вывода инструмента. Агентная среда выполнения Pydantic AI настроена со строгой валидацией result_type. Режимы сбоев нанесены на карту (модель генерирует невалидный JSON, retry с regenerate или fallback).

День 9

Принудительное соблюдение бюджета контекста. Предварительный подсчёт токенов на основе Tiktoken на каждый промпт. Суммаризация на уровне узлов LangGraph или short-memory режим smolagents зафиксированы. Жёсткий отказ при превышении промптом 14K токенов (запас безопасности 2K).

День 11

Eval harness на наборе задач клиента. Соответствие схемам, end-to-end процент успешных задач, среднее использование контекста. Продакшн SLA зафиксирован.

День 14

Продакшн-переход. Малый footprint означает реалистичность деплоя на одной машине. Audit log, prompt log и ошибки валидации Pydantic все стекаются в одно место.

Что клиенты сказали после запуска

Отзывы от людей, которые были в комнате, когда принимались решения.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
Kwame, Digital DirectorSingapore
This wasn't theoretical. They got into the weeds with us and didn't leave until the code was live.
Marcus, Engineering ManagerGermany

Как мы разворачиваем Phi-4 за 14 дней

Фиксированная цена.

  1. День 1

    Загрузка Phi-4 через Ollama: ollama pull phi4. Валидация базового tok/s на вашем железе и запуск вашего reasoning eval-набора.

  2. День 2

    Подключение к вашему приложению через OpenAI-совместимый endpoint на localhost:11434. Тест JSON mode и круговых вызовов инструментов.

  3. Дни 3-5

    Если качество недостаточно, оцените Phi-4-reasoning-plus для math-heavy задач. Иначе настройте sampling (temperature 0 до 0.3 для рассуждений) и добавьте системный промпт для пошагового вывода.

  4. Неделя 2

    Переход на vLLM или TGI для продакшна. Пакетирование запросов, включение prefix caching, настройка метрик Prometheus, бенчмарк стоимости за миллион токенов против предыдущего счёта OpenAI.

О чём нас спрашивают в первую очередь

Действительно ли Phi-4 лицензирована под MIT?

Да. Microsoft выпустила как Phi-4, так и варианты reasoning под MIT в начале 2025 года. Нет коммерческих ограничений, нет лимитов MAU, нет условий acceptable use помимо стандартных условий MIT. Используйте в продуктах, дообучайте, распространяйте.

Как Phi-4 опережает модели в 30 раз больше?

Синтетические данные с верифицируемыми ответами. Microsoft генерировала обучающие задачи, где правильный путь рассуждений известен, затем использовала Pivotal Token Search и DPO для обучения Phi-4 следовать этому пути. Это уже, чем общий 405B, но на изученных темах она конкурентоспособна.

Достаточно ли 16K контекста?

Для большинства задач рассуждения и структурированного вывода, да. Для RAG по длинным документам потребуется агрессивная нарезка или сочетание Phi-4 с моделью 128K, например Llama 3.1 8B для retrieval. Варианты Phi-4-reasoning расширяют глубину рассуждений, не длину контекста.

Хорошо ли работает на MacBook?

На Mac Mini M4 24 ГБ или M4 Pro MacBook Phi-4 при Q4_K_M работает со скоростью 10-25 токенов в секунду через Ollama или LM Studio. На Mac с 16 ГБ можно запустить Q4, но ожидайте давления на память при любом значимом контексте. 24 ГБ, комфортный минимум.

Поддерживает ли Microsoft Phi-4 14B вызов инструментов нативно?

Базовый релиз microsoft/phi-4 не поставляется с нативным шаблоном чата для вызова инструментов. Варианты Modelfile сообщества (zac/phi4-tools, jacob-ebey/phi4-tools) закрывают разрыв кастомным шаблоном промпта плюс слоем парсинга. Phi-4-mini, меньший брат, имеет официальную поддержку вызова инструментов Microsoft. Для продакшн-использования инструментов Phi-4 14B в 2026 году планируйте использовать вариант сообщества или строить шаблон самостоятельно. Надёжность 88-95 процентов в зависимости от квантизации.

Может ли Phi-4 14B работать с Aider на реальной кодовой базе?

Только на маленьких репозиториях. Phi-4 base имеет контекстное окно 16K. Карта репозитория Aider одна сжигает 8K-12K токенов на средней кодовой базе, оставляя 4K-8K для файлов, диффов и диалога. Режим отказа, тихая деградация качества: Aider обрезает более старый контекст и модель теряет нить более ранних решений. Обходные пути: aider --map-tokens 4096, закрепляйте конкретные файлы через /add, переключитесь на Phi-4-reasoning (32K) для репозиториев свыше 30 файлов.

14B dense Параметры

Запишитесь на 30-минутный звонок по скопингу. Скажем, подходят ли Phi-4 и наш агентный стек именно вам, до подписания.

Фиксированная цена.

В День 1 вы видите точную модель, точное железо, точный агентный стек, точную математику стоимости и точную позицию по соответствию требованиям.

Вы уходите с

  1. День 0 (на этой неделе): 30-минутный звонок по скопингу. Шортлист железа, выбор модели, предложение агентного стека, прогноз стоимости в вашем inbox к пятнице
  2. День 1: Загрузка Phi-4 через Ollama: ollama pull phi4. Валидация базового tok/s на вашем железе и запуск вашего reasoning eval-набора.

АвторОснователь и имагинатор

Pineido, из города Strumica, North Macedonia, — софтверная компания, которая делает сайты, интернет-магазины, веб- и мобильные приложения, автоматизацию бизнес-процессов и ИИ для компаний в стране и за рубежом. Работа сдаётся 30-дневными спринтами по фиксированной цене, а код принадлежит клиенту.

Опубликовано Обновлено