Phi-4 auf Ihrer Hardware aufsetzen, Agent-Stack live, produktionsreif in 14 Tagen

Phi-4 ist das Modell, das Sie wählen, wenn Sie echtes Reasoning auf einer einzelnen GPU brauchen. 14,7 Milliarden Parameter, MIT-Lizenz, dichte Decoder-Architektur und ein Trainingsrezept, das stark auf synthetische Daten mit verifizierbaren Antworten setzt.

  • 14-Tage-Produktionsumstellung
  • Coding + Research Agent-Stack inklusive
  • 14B dicht Parameter
  • 16K Token Kontextfenster
  • 14 d Produktionsumstellung

Phi-4 auf einen Blick

Die relevanten Spezifikationen bei Modell- und Hardware-Auswahl.

Parameter

14B (dicht)

Kontextfenster

16K Token

Architektur

Decoder-only Transformer

Trainings-Token

~10T (synthetisch-lastiger Mix)

Lizenz

MIT (vollständige kommerzielle Nutzung)

FP16 VRAM

~28GB

Q4_K_M VRAM

~9GB

Reasoning-Varianten

Phi-4-reasoning, Phi-4-reasoning-plus

Veröffentlichungsdatum

2024-12-12

Verfügbar auf

Hugging Face, Azure AI Foundry, Ollama, llama.cpp

Hardware für Phi-4 im Produktionsbetrieb

Drei Tiers, echte SKUs, echte Durchsatzzahlen.

Einstiegs-Tier: Mac Mini M4 24GB Unified Memory, RTX 3090 24GB, RTX 4070 Ti 16GB bei Q4

Durchsatz: 10 bis 30 Tok/s auf Mac Mini M4, 40 bis 70 Tok/s auf RTX 3090. Geeignet für: Einzelentwickler, lokale Agents, Offline-Reasoning-Workflows.

Mid-Tier: RTX 4090 24GB oder einzelne A6000 48GB bei Q5 oder BF16

Durchsatz: 60 bis 120 Tok/s, BF16 bei voller Qualität. Geeignet für: Kleines Team Self-Hosted, internes RAG mit Reasoning, Code-Review-Bots.

Enterprise-Tier: 1x H100 80GB oder 2x L40S für gebatchtes Serving mit vLLM

Durchsatz: 200 bis 600 Tok/s gebatched. Geeignet für: Produktions-Multi-Tenant-API für Mathematik, strukturierte Extraktion oder Agent-Backends.

Quantisierungsempfehlungen für dieses Modell

GGUF, AWQ, FP8, INT4.

Empfohlene Quantisierung

Q4_K_M für lokal. BF16 wenn 28GB+ VRAM vorhanden. Phi-4 ist ungewöhnlich quantisierungstolerant, da die synthetischen Trainingsdaten gut verteilt sind.

Abwägungen

Q4_K_M verliert ca. 1 bis 2 Punkte bei MATH und GPQA vs. BF16, was die kleinste Lücke in seiner Größenklasse ist. Q3 beginnt Reasoning-Ketten zu unterbrechen. Q5_K_M ist die sichere Mitte wenn 12GB+ verfügbar sind.

BF16

Dateigröße: nicht angegeben.

Q8_0

Dateigröße: nicht angegeben.

Q5_K_M

Dateigröße: nicht angegeben.

Q4_K_M

Dateigröße: nicht angegeben.

Coding-Agents für Phi-4

Phi-4 14B ist ein kleines dichtes Modell, das bei Mathematik und strukturiertem Reasoning über seine Gewichtsklasse punktet, aber bei Multi-File-Repo-Arbeit an seine Grenzen stößt.

Aider

Funktioniert mit Whole-Edit-Format auf kleinen Repos. Aider Polyglot ca. 28 bis 35 Prozent auf Phi-4. Das 16K-Kontext-Budget erzwingt aider --map-tokens 4096 und aggressives Datei-Pinning. Multi-File-Refactors scheitern vorhersehbar, sobald die Diff-History das Fenster überläuft.

Continue.dev

Gut für Inline-Edits und Chat über die geöffnete Datei. Als Chat-Modell konfigurieren, nicht als Autocomplete-Modell, die 14B-Parameter-Anzahl macht First-Token-Latenz für Tastatureingabe-Suggestionen zu langsam. Am besten mit einem kleineren Modell (DeepSeek Coder V2 Lite oder Qwen2.5 Coder 7B) für Autocomplete kombinieren.

Cline

Stößt schnell an die 16K-Wand. Cline gibt beim ersten Turn allein einen System-Prompt von 6K bis 9K Token aus. Bis Turn 3 ist der Kontext aufgebraucht. Nur für winzige Single-File-Aufgaben oder mit Clines experimentellem Prompt-Trimming-Modus nutzbar.

Cursor (BYOK via lokalem Proxy)

Phi-4 via lokalem llama.cpp hinter einem OpenAI-kompatiblen Proxy funktioniert für Chat. Cursors Context-Stuffing 2026 sättigt das 16K-Fenster bei jeder nicht-trivialen Datei. Nur für Nischenanwendungen.

Claude Code (BYOK Route)

Anthropic-kompatibler Bridge plus Phi-4 ist theoretisch möglich. Praktisch setzt Claude Codes Tool-Use-Protokoll Anthropic-Klasse Tool-Calling-Zuverlässigkeit voraus. Phi-4 Community-Tool-Varianten lassen Tool-Calls 5 bis 12 Prozent der Zeit fallen. Nicht empfohlen.

smolagents

HuggingFaces kleines Agent-Framework ist die richtige Passform. CodeAgent-Modus wo das LLM direkt Python ausgibt, passt zu Phi-4s Reasoning-Stärken. Wir verwenden smolagents plus Phi-4 für Structured-Extraction-Agents in Kunden-Pipelines.

Anwendungsfälle Coding-Agents

Wo dieser Modell- und Agent-Stack echte Arbeit liefert.

Research-Agents auf Phi-4

16K Kontext ist die Headline-Einschränkung.

GPT Researcher

Mit kleinerem Umfang nutzbar. Quell-URLs auf 5 bis 8 begrenzen, jede vor der abschließenden Synthese zusammenfassen. Reasoning-Qualität bei der Synthese ist bei STEM-Themen wettbewerbsfähig mit viel größeren Modellen.

STORM (Stanford)

Phi-4-reasonings outline-gesteuerte Struktur hilft hier. Multi-Perspektiven-Fragegenerierungsphase funktioniert gut. Artikelsynthesephase benötigt aggressives Chunking wegen 16K-Fenster.

Open Deep Research (HuggingFace)

smolagents-basiert, natürlich kurzkontextig. Beste Kleinstmodell-Passform für Phi-4. Wir haben dies für einmalige Kunden-Marktberichte unter 20 Quellen eingesetzt.

Pydantic AI ResearchAgent-Muster

Typisierte Schemata erzwingen Disziplin. Phi-4 gibt saubere strukturierte Ausgabe ab, Pydantic V2-Validierung ist schnell. Gut für enge Extraktions-dann-Synthese-Pipelines, nicht für breite offene Research.

LlamaIndex Sub-Question Query Engine

Zerlegt komplexe Queries in Teilfragen, führt sie sequentiell gegen abgerufenen Kontext aus. Jede Teilfrage passt in 16K, abschließende Synthese bleibt im Budget. Das richtige architektonische Muster für Phi-4-Research.

Anwendungsfälle Research-Agents

Wo dieser Modell- und Research-Agent-Stack Berichte liefert, die Ihr Team tatsächlich nutzt.

Frameworks für produktive Agent-Workflows

Framework nach Workflow-Form wählen.

  1. LangGraph

  2. CrewAI

  3. AutoGen

  4. DSPy

  5. Pydantic AI

  6. smolagents

Wer Phi-4 wählt

Drei Käuferprofile, bei denen dieses Modell die richtige Antwort ist.

Lokaler Agent-Entwickler

Aufgabe: Mehrstufige Planung und Tool-Use auf einem Laptop oder Mac Mini. Ergebnis: Phi-4 Reasoning läuft offline mit nutzbarer Geschwindigkeit, handhabt JSON und strukturierte Ausgabe zuverlässig und bleibt auf dem Gerät.

Mathe- und STEM-Tutor-App

Aufgabe: Olympiade-Niveau-Probleme mit Schritt-für-Schritt-Reasoning lösen. Ergebnis: Phi-4-reasoning-plus liegt bei rund 82,5 Prozent bei AIME 2025, schlägt DeepSeek-R1-Distill-70B bei einem Fünftel der Größe (jeder einzelne AIME-Durchlauf ist verrauscht, Microsoft mittelt über 50 und mehr Generationen).

Strukturierte Extraktions-Pipelines

Aufgabe: Felder aus Rechnungen, Verträgen, medizinischen Notizen in JSON extrahieren. Ergebnis: Synthetisches Datentraining macht Phi-4 ungewöhnlich gut bei strikten Schemata und Ablehnung bei Unsicherheit, mit günstigen Inferenzkosten pro Dokument.

Phi-4 vs. die engsten Konkurrenten

Wo dieses Modell gewinnt, wo es verliert.

  1. vs. Llama 3.1 8B

    Phi-4 ist rund 84 Prozent größer (14,7B vs. 8B), gewinnt aber um 15 bis 25 Punkte bei MATH, GPQA und HumanEval. Llama 3.1 8B gewinnt bei mehrsprachiger Abdeckung, 128K-Kontext und Faktenabruf auf langen Tails.

  2. vs. Mistral Small 22B

    Mistral Small gewinnt bei kreativem Schreiben, Mehrsprachigkeit und 32K Kontext. Phi-4 gewinnt entscheidend bei Mathematik, strukturierter Ausgabe und Reasoning. Phi-4 ist auch MIT gegenüber Mistrals Research-Lizenz.

  3. vs. Qwen2.5 14B

    Qwen2.5 14B hat 128K Kontext (vs. 16K) und stärkere chinesische und Code-Abdeckung. Phi-4 schlägt es bei westlicher Mathematik und STEM-Benchmarks. Wahl nach Sprache und Kontext-Bedürfnissen.

Wie Pineido Agents auf Phi-4 14B aufsetzt

Zwei-Wochen-Sprint.

Tag 1

Variantenauswahl. Phi-4 Basis für Extraktions-Agents, Phi-4-reasoning-plus für STEM-Research (32K Kontext), Phi-4-mini für natives Tool-Calling. Tool-Calling-Modelfile gewählt (zac/phi4-tools oder custom).

Tag 3

vLLM plus Outlines auf einer 24GB-GPU (RTX 4090 oder A6000) bei FP16 deployt. guided_json und guided_regex gegen Kunden-Schemata getestet. Trefferquoten-Ziel 99 Prozent oder Eskalation auf FP16 von jeder Quantisierung.

Tag 6

Pydantic V2-Schemata für jeden Tool-Input und -Output definiert. Pydantic AI Agent-Runtime mit strikter result_type-Validierung konfiguriert. Fehlermodi kartiert (Modell gibt ungültiges JSON aus, Retry mit Regenerierung oder Fallback).

Tag 9

Kontext-Budget-Durchsetzung. Tiktoken-basierte Pre-Flight-Token-Zählung bei jedem Prompt. LangGraph-Node-Level-Zusammenfassung oder smolagents-Short-Memory-Modus festgelegt. Hard Fail wenn Prompt 14K Token überschreitet (2K Sicherheitsmarge).

Tag 11

Eval-Harness auf Kunden-Task-Suite. Schema-Konformitätsrate, End-to-End-Task-Bestehensrate, durchschnittliche Kontext-Auslastung. Produktions-SLA festgelegt.

Tag 14

Produktionsumstellung. Kleiner Footprint bedeutet Single-Machine-Deployment ist realistisch. Audit-Log, Prompt-Log und Pydantic-Validierungsfehler fließen alle an einen Ort.

Was Kunden nach dem Launch gesagt haben

Feedback von den Menschen, die im Raum waren, als die Entscheidungen getroffen wurden.

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
Kwame, Digital DirectorSingapore
This wasn't theoretical. They got into the weeds with us and didn't leave until the code was live.
Marcus, Engineering ManagerGermany

Wie wir Phi-4 in 14 Tagen deployen

Festpreis.

  1. Tag 1

    Phi-4 mit Ollama pullen: ollama pull phi4. Basis-Tok/s auf Ihrer Hardware validieren und Reasoning-Eval-Set ausführen.

  2. Tag 2

    Mit Ihrer Anwendung über den OpenAI-kompatiblen Endpunkt bei localhost:11434 verbinden. JSON-Modus und Tool-Calling-Round-Trips testen.

  3. Tag 3 bis 5

    Falls Qualität unzureichend, Phi-4-reasoning-plus für mathematiklastige Aufgaben evaluieren. Andernfalls Sampling anpassen (Temperature 0 bis 0.3 für Reasoning) und System-Prompt mit Schritt-für-Schritt-Ausgabe hinzufügen.

  4. Woche 2

    Auf vLLM oder TGI für Produktion wechseln. Anfragen batchen, Prefix-Caching aktivieren, Prometheus-Metriken einrichten und Kosten pro Million Token gegen vorherige OpenAI-Rechnung benchmarken.

Was man uns zuerst fragt

Ist Phi-4 wirklich MIT-lizenziert?

Ja. Microsoft hat sowohl Phi-4 als auch die Reasoning-Varianten Anfang 2025 unter MIT veröffentlicht. Keine kommerziellen Einschränkungen, keine MAU-Caps, keine Acceptable-Use-Klauseln über MITs Standardbedingungen hinaus. In Produkten verwenden, fine-tunen, redistribuieren.

Wie schlägt Phi-4 Modelle, die 30-mal so groß sind?

Synthetische Daten mit verifizierbaren Antworten. Microsoft generierte Trainingsaufgaben, bei denen der korrekte Reasoning-Pfad bekannt ist, und verwendete dann Pivotal Token Search und DPO, um Phi-4 beizubringen, diesem Pfad zu folgen. Es ist enger als ein allgemeines 405B, aber bei den gelernten Themen ist es wettbewerbsfähig.

Sind 16K Kontext ausreichend?

Für die meisten Reasoning- und Structured-Output-Aufgaben: ja. Für Long-Document-RAG müssen Sie aggressiv chunken oder Phi-4 mit einem 128K-Modell wie Llama 3.1 8B für Retrieval kombinieren. Die Phi-4-reasoning-Varianten erweitern Reasoning-Tiefe, nicht Kontextlänge.

Läuft es gut auf einem MacBook?

Auf einem 24GB Mac Mini M4 oder M4 Pro MacBook läuft Phi-4 bei Q4_K_M mit 10 bis 25 Token pro Sekunde durch Ollama oder LM Studio. Auf 16GB Macs kann Q4 laufen, aber Speicherdruck bei merklichem Kontext ist zu erwarten. 24GB ist die komfortable Untergrenze.

Unterstützt Microsoft Phi-4 14B Tool-Calling nativ?

Das Basis-Release microsoft/phi-4 wird ohne natives Tool-Calling-Chat-Template ausgeliefert. Community-Modelfile-Varianten (zac/phi4-tools, jacob-ebey/phi4-tools) überbrücken die Lücke mit einem benutzerdefinierten Prompt-Template plus Parsing-Schicht. Phi-4-mini, das kleinere Geschwistermodell, hat offiziellen Microsoft-Tool-Calling-Support. Für Phi-4 14B Produktions-Tool-Use in 2026 eine Community-Variante verwenden oder das Template selbst bauen. Zuverlässigkeit liegt bei 88 bis 95 Prozent je nach Quantisierung.

Kann Phi-4 14B mit Aider auf einer echten Codebasis arbeiten?

Nur auf kleinen Repos. Phi-4 Basis hat ein 16K-Kontextfenster. Aiders Repo-Map allein verbrennt 8K bis 12K Token auf einer mittleren Codebasis, was 4K bis 8K für Dateien, Diffs und Konversation lässt. Das Fehlermuster ist stille Qualitätsdegradation: Aider kürzt älteren Kontext und das Modell verliert frühere Entscheidungen. Workarounds: aider --map-tokens 4096, spezifische Dateien mit /add pinnen, auf Phi-4-reasoning (32K) für Repos über 30 Dateien wechseln.

14B dicht Parameter

30-Minuten-Scoping-Call buchen. Wir sagen Ihnen, ob Phi-4 plus unser Agent-Stack die richtige Wahl ist, bevor Sie unterschreiben.

Festpreis.

Tag 1 sehen Sie das genaue Modell, die genaue Hardware, den genauen Agent-Stack, die genaue Kostenkalkulation und die genaue Compliance-Positionierung.

Sie gehen mit

  1. Tag 0 (diese Woche): 30-Minuten-Scoping-Call. Hardware-Shortlist, Modellauswahl, Agent-Stack-Vorschlag, Kostenprojektion bis Freitag in Ihrem Posteingang
  2. Tag 1: Phi-4 mit Ollama pullen: ollama pull phi4. Basis-Tok/s auf Ihrer Hardware validieren und Reasoning-Eval-Set ausführen.

VonGründer und Imaginator

Pineido, mit Sitz in Strumica, North Macedonia, ist ein Softwareunternehmen, das Websites, Onlineshops, Web- und Mobile-Apps, Prozessautomatisierung und KI für Unternehmen im In- und Ausland baut. Geliefert wird in 30-Tage-Sprints zum Festpreis, und der Code gehört dem Kunden.

Veröffentlicht Aktualisiert