Einstiegs-Tier: Mac Mini M4 24GB Unified Memory, RTX 3090 24GB, RTX 4070 Ti 16GB bei Q4
Durchsatz: 10 bis 30 Tok/s auf Mac Mini M4, 40 bis 70 Tok/s auf RTX 3090. Geeignet für: Einzelentwickler, lokale Agents, Offline-Reasoning-Workflows.
Phi-4 ist das Modell, das Sie wählen, wenn Sie echtes Reasoning auf einer einzelnen GPU brauchen. 14,7 Milliarden Parameter, MIT-Lizenz, dichte Decoder-Architektur und ein Trainingsrezept, das stark auf synthetische Daten mit verifizierbaren Antworten setzt.
Die relevanten Spezifikationen bei Modell- und Hardware-Auswahl.
14B (dicht)
16K Token
Decoder-only Transformer
~10T (synthetisch-lastiger Mix)
MIT (vollständige kommerzielle Nutzung)
~28GB
~9GB
Phi-4-reasoning, Phi-4-reasoning-plus
2024-12-12
Hugging Face, Azure AI Foundry, Ollama, llama.cpp
Drei Tiers, echte SKUs, echte Durchsatzzahlen.
Durchsatz: 10 bis 30 Tok/s auf Mac Mini M4, 40 bis 70 Tok/s auf RTX 3090. Geeignet für: Einzelentwickler, lokale Agents, Offline-Reasoning-Workflows.
Durchsatz: 60 bis 120 Tok/s, BF16 bei voller Qualität. Geeignet für: Kleines Team Self-Hosted, internes RAG mit Reasoning, Code-Review-Bots.
Durchsatz: 200 bis 600 Tok/s gebatched. Geeignet für: Produktions-Multi-Tenant-API für Mathematik, strukturierte Extraktion oder Agent-Backends.
GGUF, AWQ, FP8, INT4.
Q4_K_M für lokal. BF16 wenn 28GB+ VRAM vorhanden. Phi-4 ist ungewöhnlich quantisierungstolerant, da die synthetischen Trainingsdaten gut verteilt sind.
Q4_K_M verliert ca. 1 bis 2 Punkte bei MATH und GPQA vs. BF16, was die kleinste Lücke in seiner Größenklasse ist. Q3 beginnt Reasoning-Ketten zu unterbrechen. Q5_K_M ist die sichere Mitte wenn 12GB+ verfügbar sind.
Dateigröße: nicht angegeben.
Dateigröße: nicht angegeben.
Dateigröße: nicht angegeben.
Dateigröße: nicht angegeben.
Phi-4 14B ist ein kleines dichtes Modell, das bei Mathematik und strukturiertem Reasoning über seine Gewichtsklasse punktet, aber bei Multi-File-Repo-Arbeit an seine Grenzen stößt.
Funktioniert mit Whole-Edit-Format auf kleinen Repos. Aider Polyglot ca. 28 bis 35 Prozent auf Phi-4. Das 16K-Kontext-Budget erzwingt aider --map-tokens 4096 und aggressives Datei-Pinning. Multi-File-Refactors scheitern vorhersehbar, sobald die Diff-History das Fenster überläuft.
Gut für Inline-Edits und Chat über die geöffnete Datei. Als Chat-Modell konfigurieren, nicht als Autocomplete-Modell, die 14B-Parameter-Anzahl macht First-Token-Latenz für Tastatureingabe-Suggestionen zu langsam. Am besten mit einem kleineren Modell (DeepSeek Coder V2 Lite oder Qwen2.5 Coder 7B) für Autocomplete kombinieren.
Stößt schnell an die 16K-Wand. Cline gibt beim ersten Turn allein einen System-Prompt von 6K bis 9K Token aus. Bis Turn 3 ist der Kontext aufgebraucht. Nur für winzige Single-File-Aufgaben oder mit Clines experimentellem Prompt-Trimming-Modus nutzbar.
Phi-4 via lokalem llama.cpp hinter einem OpenAI-kompatiblen Proxy funktioniert für Chat. Cursors Context-Stuffing 2026 sättigt das 16K-Fenster bei jeder nicht-trivialen Datei. Nur für Nischenanwendungen.
Anthropic-kompatibler Bridge plus Phi-4 ist theoretisch möglich. Praktisch setzt Claude Codes Tool-Use-Protokoll Anthropic-Klasse Tool-Calling-Zuverlässigkeit voraus. Phi-4 Community-Tool-Varianten lassen Tool-Calls 5 bis 12 Prozent der Zeit fallen. Nicht empfohlen.
HuggingFaces kleines Agent-Framework ist die richtige Passform. CodeAgent-Modus wo das LLM direkt Python ausgibt, passt zu Phi-4s Reasoning-Stärken. Wir verwenden smolagents plus Phi-4 für Structured-Extraction-Agents in Kunden-Pipelines.
Wo dieser Modell- und Agent-Stack echte Arbeit liefert.
16K Kontext ist die Headline-Einschränkung.
Mit kleinerem Umfang nutzbar. Quell-URLs auf 5 bis 8 begrenzen, jede vor der abschließenden Synthese zusammenfassen. Reasoning-Qualität bei der Synthese ist bei STEM-Themen wettbewerbsfähig mit viel größeren Modellen.
Phi-4-reasonings outline-gesteuerte Struktur hilft hier. Multi-Perspektiven-Fragegenerierungsphase funktioniert gut. Artikelsynthesephase benötigt aggressives Chunking wegen 16K-Fenster.
smolagents-basiert, natürlich kurzkontextig. Beste Kleinstmodell-Passform für Phi-4. Wir haben dies für einmalige Kunden-Marktberichte unter 20 Quellen eingesetzt.
Typisierte Schemata erzwingen Disziplin. Phi-4 gibt saubere strukturierte Ausgabe ab, Pydantic V2-Validierung ist schnell. Gut für enge Extraktions-dann-Synthese-Pipelines, nicht für breite offene Research.
Zerlegt komplexe Queries in Teilfragen, führt sie sequentiell gegen abgerufenen Kontext aus. Jede Teilfrage passt in 16K, abschließende Synthese bleibt im Budget. Das richtige architektonische Muster für Phi-4-Research.
Wo dieser Modell- und Research-Agent-Stack Berichte liefert, die Ihr Team tatsächlich nutzt.
Framework nach Workflow-Form wählen.
Drei Käuferprofile, bei denen dieses Modell die richtige Antwort ist.
Aufgabe: Mehrstufige Planung und Tool-Use auf einem Laptop oder Mac Mini. Ergebnis: Phi-4 Reasoning läuft offline mit nutzbarer Geschwindigkeit, handhabt JSON und strukturierte Ausgabe zuverlässig und bleibt auf dem Gerät.
Aufgabe: Olympiade-Niveau-Probleme mit Schritt-für-Schritt-Reasoning lösen. Ergebnis: Phi-4-reasoning-plus liegt bei rund 82,5 Prozent bei AIME 2025, schlägt DeepSeek-R1-Distill-70B bei einem Fünftel der Größe (jeder einzelne AIME-Durchlauf ist verrauscht, Microsoft mittelt über 50 und mehr Generationen).
Aufgabe: Felder aus Rechnungen, Verträgen, medizinischen Notizen in JSON extrahieren. Ergebnis: Synthetisches Datentraining macht Phi-4 ungewöhnlich gut bei strikten Schemata und Ablehnung bei Unsicherheit, mit günstigen Inferenzkosten pro Dokument.
Wo dieses Modell gewinnt, wo es verliert.
Phi-4 ist rund 84 Prozent größer (14,7B vs. 8B), gewinnt aber um 15 bis 25 Punkte bei MATH, GPQA und HumanEval. Llama 3.1 8B gewinnt bei mehrsprachiger Abdeckung, 128K-Kontext und Faktenabruf auf langen Tails.
Mistral Small gewinnt bei kreativem Schreiben, Mehrsprachigkeit und 32K Kontext. Phi-4 gewinnt entscheidend bei Mathematik, strukturierter Ausgabe und Reasoning. Phi-4 ist auch MIT gegenüber Mistrals Research-Lizenz.
Qwen2.5 14B hat 128K Kontext (vs. 16K) und stärkere chinesische und Code-Abdeckung. Phi-4 schlägt es bei westlicher Mathematik und STEM-Benchmarks. Wahl nach Sprache und Kontext-Bedürfnissen.
Zwei-Wochen-Sprint.
Variantenauswahl. Phi-4 Basis für Extraktions-Agents, Phi-4-reasoning-plus für STEM-Research (32K Kontext), Phi-4-mini für natives Tool-Calling. Tool-Calling-Modelfile gewählt (zac/phi4-tools oder custom).
vLLM plus Outlines auf einer 24GB-GPU (RTX 4090 oder A6000) bei FP16 deployt. guided_json und guided_regex gegen Kunden-Schemata getestet. Trefferquoten-Ziel 99 Prozent oder Eskalation auf FP16 von jeder Quantisierung.
Pydantic V2-Schemata für jeden Tool-Input und -Output definiert. Pydantic AI Agent-Runtime mit strikter result_type-Validierung konfiguriert. Fehlermodi kartiert (Modell gibt ungültiges JSON aus, Retry mit Regenerierung oder Fallback).
Kontext-Budget-Durchsetzung. Tiktoken-basierte Pre-Flight-Token-Zählung bei jedem Prompt. LangGraph-Node-Level-Zusammenfassung oder smolagents-Short-Memory-Modus festgelegt. Hard Fail wenn Prompt 14K Token überschreitet (2K Sicherheitsmarge).
Eval-Harness auf Kunden-Task-Suite. Schema-Konformitätsrate, End-to-End-Task-Bestehensrate, durchschnittliche Kontext-Auslastung. Produktions-SLA festgelegt.
Produktionsumstellung. Kleiner Footprint bedeutet Single-Machine-Deployment ist realistisch. Audit-Log, Prompt-Log und Pydantic-Validierungsfehler fließen alle an einen Ort.
Feedback von den Menschen, die im Raum waren, als die Entscheidungen getroffen wurden.
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We didn't rush. We just stopped wasting time on things that didn't matter. The risk was managed, not ignored.
This wasn't theoretical. They got into the weeds with us and didn't leave until the code was live.
Festpreis.
Phi-4 mit Ollama pullen: ollama pull phi4. Basis-Tok/s auf Ihrer Hardware validieren und Reasoning-Eval-Set ausführen.
Mit Ihrer Anwendung über den OpenAI-kompatiblen Endpunkt bei localhost:11434 verbinden. JSON-Modus und Tool-Calling-Round-Trips testen.
Falls Qualität unzureichend, Phi-4-reasoning-plus für mathematiklastige Aufgaben evaluieren. Andernfalls Sampling anpassen (Temperature 0 bis 0.3 für Reasoning) und System-Prompt mit Schritt-für-Schritt-Ausgabe hinzufügen.
Auf vLLM oder TGI für Produktion wechseln. Anfragen batchen, Prefix-Caching aktivieren, Prometheus-Metriken einrichten und Kosten pro Million Token gegen vorherige OpenAI-Rechnung benchmarken.
Ja. Microsoft hat sowohl Phi-4 als auch die Reasoning-Varianten Anfang 2025 unter MIT veröffentlicht. Keine kommerziellen Einschränkungen, keine MAU-Caps, keine Acceptable-Use-Klauseln über MITs Standardbedingungen hinaus. In Produkten verwenden, fine-tunen, redistribuieren.
Synthetische Daten mit verifizierbaren Antworten. Microsoft generierte Trainingsaufgaben, bei denen der korrekte Reasoning-Pfad bekannt ist, und verwendete dann Pivotal Token Search und DPO, um Phi-4 beizubringen, diesem Pfad zu folgen. Es ist enger als ein allgemeines 405B, aber bei den gelernten Themen ist es wettbewerbsfähig.
Für die meisten Reasoning- und Structured-Output-Aufgaben: ja. Für Long-Document-RAG müssen Sie aggressiv chunken oder Phi-4 mit einem 128K-Modell wie Llama 3.1 8B für Retrieval kombinieren. Die Phi-4-reasoning-Varianten erweitern Reasoning-Tiefe, nicht Kontextlänge.
Auf einem 24GB Mac Mini M4 oder M4 Pro MacBook läuft Phi-4 bei Q4_K_M mit 10 bis 25 Token pro Sekunde durch Ollama oder LM Studio. Auf 16GB Macs kann Q4 laufen, aber Speicherdruck bei merklichem Kontext ist zu erwarten. 24GB ist die komfortable Untergrenze.
Das Basis-Release microsoft/phi-4 wird ohne natives Tool-Calling-Chat-Template ausgeliefert. Community-Modelfile-Varianten (zac/phi4-tools, jacob-ebey/phi4-tools) überbrücken die Lücke mit einem benutzerdefinierten Prompt-Template plus Parsing-Schicht. Phi-4-mini, das kleinere Geschwistermodell, hat offiziellen Microsoft-Tool-Calling-Support. Für Phi-4 14B Produktions-Tool-Use in 2026 eine Community-Variante verwenden oder das Template selbst bauen. Zuverlässigkeit liegt bei 88 bis 95 Prozent je nach Quantisierung.
Nur auf kleinen Repos. Phi-4 Basis hat ein 16K-Kontextfenster. Aiders Repo-Map allein verbrennt 8K bis 12K Token auf einer mittleren Codebasis, was 4K bis 8K für Dateien, Diffs und Konversation lässt. Das Fehlermuster ist stille Qualitätsdegradation: Aider kürzt älteren Kontext und das Modell verliert frühere Entscheidungen. Workarounds: aider --map-tokens 4096, spezifische Dateien mit /add pinnen, auf Phi-4-reasoning (32K) für Repos über 30 Dateien wechseln.
14B dicht Parameter
Festpreis.
Tag 1 sehen Sie das genaue Modell, die genaue Hardware, den genauen Agent-Stack, die genaue Kostenkalkulation und die genaue Compliance-Positionierung.
VonKostadin StambolievGründer und Imaginator
Pineido, mit Sitz in Strumica, North Macedonia, ist ein Softwareunternehmen, das Websites, Onlineshops, Web- und Mobile-Apps, Prozessautomatisierung und KI für Unternehmen im In- und Ausland baut. Geliefert wird in 30-Tage-Sprints zum Festpreis, und der Code gehört dem Kunden.
Veröffentlicht Aktualisiert