Hardware-Anforderungen für ein lokales LLM: CPU-, RAM- und GPU-Guide
Was es wirklich braucht, um ein LLM auf eigener Hardware zu betreiben, vom 3B-Modell auf einer Laptop-CPU bis zum 70B-Modell auf einer Workstation. Die Zahlen unten sind die, die entscheiden, ob Ihr Setup schnell, langsam oder ohne Speicher dasteht.
Auf dieser Seite8
- Die eine Zahl, die alles entscheidet: der Speicher
- Quantisierung: wie man ein Modell schrumpft, ohne es zu zerstören
- VRAM und RAM nach Modellgröße: die Arbeitstabelle
- GPU-Optionen und was sie 2026 tatsächlich kosten
- Apple Silicon: das stille 70B-Arbeitstier
- Reine CPU und hybrides Offloading: der Budget-Weg
- Was wir gemessen haben: ein 4B-Modell auf einer 8-GB-Karte
- Kostenstufen: das kleinste Rig wählen, das zu Ihrer Arbeitslast passt
Die eine Zahl, die alles entscheidet: der Speicher
Bevor Sie GPUs vergleichen, verstehen Sie den Engpass. Jeden Token zu erzeugen bedeutet, den gesamten aktiven Gewichtssatz des Modells durch den Prozessor zu streamen, daher wird die Geschwindigkeit eines lokalen LLM von Speicherbandbreite und Speicherkapazität bestimmt, nicht von reiner Rechenleistung. Die Kapazität entscheidet, ob das Modell überhaupt lädt; die Bandbreite entscheidet, wie schnell es nach dem Laden läuft. Wenn ein Modell nicht in den Speicher passt, hilft keine noch so große GPU-Leistung.
Deshalb ist die praktische Dimensionierungsregel um den Speicher herum gebaut. Bei voller FP16-Präzision braucht ein Modell etwa 2 GB pro Milliarde Parameter, also ist ein 7B-Modell rund 14 GB und ein 70B-Modell rund 140 GB. Fast niemand betreibt lokale Modelle in FP16. Quantisierung komprimiert die Gewichte, und auf der beliebten Q4_K_M-Stufe sinkt der Speicherbedarf auf etwa 0,5 bis 0,7 GB pro Milliarde Parameter: rund 4 bis 5 GB für ein 7B-Modell und etwa 40 GB für ein 70B-Modell. Addieren Sie den KV-Cache (den laufenden Speicher Ihrer Konversation), der mit der Kontextlänge wächst, plus etwas Laufzeit-Overhead, und Sie haben Ihren realen Bedarf.
Der zweite Faktor, die Bandbreite, erklärt, warum eine GPU für 300 Dollar beim selben Modell schneller sein kann als eine CPU für 2.000 Dollar. Eine RTX 4090 bewegt rund 1.000 GB/s, ein Apple M4 Max etwa 546 GB/s, und typischer Dual-Channel-DDR5-System-RAM liegt irgendwo bei 70 bis 90 GB/s. Diese Lücke ist der Großteil des Grunds, warum sich GPU-Inferenz augenblicklich anfühlt und CPU-Inferenz wie ein Modem.
Quantisierung: wie man ein Modell schrumpft, ohne es zu zerstören
Quantisierung speichert jedes Gewicht mit weniger Bits. FP16 nutzt 16 Bit pro Gewicht, Q8 etwa 8 und Q4 etwa 4. Die in der gesamten lokalen LLM-Community am meisten empfohlene Einstellung ist Q4_K_M, eine 4-Bit-Variante, die mit ihren Block-Metadaten näher an 4,8 effektiven Bit pro Gewicht landet. Sie behält rund 95 Prozent der Qualität voller Präzision, während sie den Speicher um fast das Vierfache senkt, weshalb sie der Standard ist, mit dem fast jeder startet.
Die praktische Anleitung ist einfach. Für alltäglichen Chat, Entwürfe und Zusammenfassungen ist Q4_K_M die richtige Wahl. Für Code-Generierung und schwierigeres Schlussfolgern steigen Sie auf Q5_K_M, Q6_K oder Q8_0 um, wenn Sie den VRAM haben, denn Qualitätsverluste zeigen sich zuerst bei Logik und Code. Unter Q4 wird die Verschlechterung spürbar, daher sind Q3 und Q2 letzte Mittel, um ein zu großes Modell auf unterdimensionierte Hardware zu quetschen. Eine nützliche Folgerung: Ein größeres Modell bei stärkerer Quantisierung schlägt oft ein kleineres Modell bei leichter Quantisierung. Ein 14B-Modell bei Q4 wird ein 7B-Modell bei Q8 in der Regel übertreffen, wenn beide in Ihr Speicherbudget passen.
Das Standard-Dateiformat für diese quantisierten Gewichte ist GGUF, das Einzeldateiformat, das von llama.cpp und Ollama verwendet wird. Dieselbe .gguf-Datei läuft unter Windows, Linux und macOS sowie über die Backends CUDA, Metal und CPU, sodass Sie eine Datei herunterladen und ohne Konvertierung zwischen Maschinen verschieben können.
VRAM und RAM nach Modellgröße: die Arbeitstabelle
Hier ist, was jede Modellstufe bei Q4_K_M braucht, inklusive moderatem Kontext-Spielraum. Ein 3B- bis 4B-Modell (Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B, Qwen 3 4B) braucht etwa 2 bis 4 GB und läuft auf fast allem, einschließlich reiner CPU-Laptops mit 8 bis 16 GB RAM. Ein 7B- bis 8B-Modell (Mistral 7B, Llama 3.1 8B, Qwen 3 8B) braucht etwa 6 bis 8 GB und ist auf jeder GPU mit 8 GB oder mehr komfortabel. Ein 13B- bis 14B-Modell braucht etwa 9 bis 12 GB und passt auf eine 12-GB-Karte. Ein 30B- bis 34B-Modell braucht rund 18 bis 24 GB und ist die natürliche Wahl für eine einzelne 24-GB-Karte.
Der Sprung, den jeder unterschätzt, ist 70B. Bei Q4_K_M will ein 70B-Modell rund 40 bis 48 GB, sobald Sie ein nutzbares Kontextfenster einrechnen, was bedeutet, dass es nicht auf eine einzelne 24-GB-Karte passt. Sie brauchen zwei gepoolte 24-GB-GPUs (48 GB gesamt), eine einzelne 48-GB-Workstation-Karte oder einen großen Unified-Memory-Mac. Ein 405B-Modell ist ein anderes Universum: rund 240 GB selbst bei 4 Bit, etwa 486 GB bei FP8, was Rechenzentrumsterrain ist (denken Sie an 8x A100 80 GB oder 8x H100), plus über ein Terabyte System-RAM und schnelles NVMe für die Gewichte.
Vergessen Sie den KV-Cache nicht, den Posten, der leise Budgets sprengt. Bei einem 8B-Modell wächst der Cache von einem Bruchteil eines GB bei 2K-Kontext auf rund 5 GB bei 32K und etwa 20 GB bei 128K. Bei einem 70B-Modell kann ein 128K-Kontext über 40 GB Cache zusätzlich zu den Gewichten verlangen. Wenn Sie lange Kontexte nutzen wollen, dimensionieren Sie für den Cache, nicht nur für das Modell. Den KV-Cache auf 8 Bit zu quantisieren halbiert ihn grob bei geringen Qualitätskosten.
GPU-Optionen und was sie 2026 tatsächlich kosten
Für reine Inferenz ist VRAM pro Dollar die Kennzahl, die zählt, und die gebrauchte NVIDIA RTX 3090 bleibt der Preis-Leistungs-König. Mit 24 GB VRAM für gebraucht rund 600 bis 850 Dollar betreibt sie 13B-Modelle bei hoher Quantisierung, Modelle der 30B-Klasse bei Q4 und lässt sich sauber zu einem Dual-Karten-48-GB-Rig für 70B koppeln. Sie ist außerdem die letzte Consumer-Karte mit NVLink, was Zwei-Karten-Setups eine schnellere GPU-zu-GPU-Kommunikation gibt. Der Haken: keine Garantie, mögliche Mining-Vergangenheit, und Sie müssen womöglich die VRAM-Temperaturen im Griff behalten.
Die RTX 4090, rund 1.600 bis 2.200 Dollar, ist der beste Allrounder. Dieselben 24 GB, aber deutlich schneller, mit starker Leistung für Bildgenerierung und leichtes Fine-Tuning zusätzlich zur Inferenz, und sie kommt mit Garantie. Die RTX 5090, etwa 3.000 bis 4.000 Dollar inmitten anhaltender Speicherchip-Knappheit, ist die einzige Consumer-Karte mit 32 GB und der höchsten Bandbreite der drei, was sie zur Einzelkarten-Wahl für 32B-Modelle bei Q4 mit langem Kontext und für Mixture-of-Experts-Modelle macht. Beachten Sie, dass selbst 32 GB ein 70B bei Q4 nicht sauber fassen.
Reale Generierungsgeschwindigkeiten rücken die Abwägungen ins rechte Licht. Ein 8B-Modell läuft auf einer einzelnen 4090 jenseits von 100 Tokens pro Sekunde. Ein 70B-Modell bei Q4_K_M lädt nicht auf eine einzelne 24-GB-Karte; auf zwei 3090 läuft es mit rund 16 Tokens pro Sekunde und auf zwei 4090 mit rund 19. Das sind nutzbare, gesprächstaugliche Geschwindigkeiten, wobei das Dual-Rig unter Last nahe 900 Watt zieht.
Apple Silicon: das stille 70B-Arbeitstier
Apples Unified-Memory-Architektur ist der einfachste Single-Box-Weg zu einem 70B-Modell. Weil CPU und GPU einen Speicherpool teilen, kann ein Mac mit 128 GB Unified Memory Modelle laden, die sonst zwei per NVLink verbundene GPUs oder eine Rechenzentrumskarte erfordern würden. Ein M4 Max liefert rund 546 GB/s Bandbreite und unterstützt bis zu 128 GB, während der M3 Ultra bei etwa 800 GB/s bis 192 GB geht, was der echte High-End-Apple-Baustein für KI-Arbeit ist, da es keinen M4 Ultra gibt.
In der Praxis betreibt ein M4 Max Llama 3.3 70B bei Q4_K_M irgendwo im Bereich von 15 bis 28 Tokens pro Sekunde, je nach Backend und Kontext. Nutzen Sie Apples MLX-Framework statt des Standard-llama.cpp-Backends; MLX ist auf Apple Silicon durchgehend 30 bis 50 Prozent schneller. Eine klare Empfehlung: Für ernsthafte 70B-Arbeit wählen Sie 128 GB, nicht 64 GB. Ein 70B-Q4-Modell passt technisch in 64 GB, aber der Speicherdruck von macOS schnellt hoch und das System lagert auf SSD aus, was die Geschwindigkeit einbrechen lässt und das Laufwerk belastet. Die 128-GB-Konfiguration lässt Spielraum für Ihren Browser, Editor und das Modell zugleich.
Die Abwägung gegenüber NVIDIA ist Geschwindigkeit bei Modellen, die in den VRAM einer GPU passen, wo eine 4090 etwa die doppelte Bandbreite eines M4 Max hat. Apple gewinnt bei dem, was in eine einzige leise Maschine passt, die wenig Strom zieht; NVIDIA gewinnt beim reinen Durchsatz für Modelle, die auf die Karte passen.
Reine CPU und hybrides Offloading: der Budget-Weg
Sie können ein lokales LLM ganz ohne GPU betreiben. Auf einer modernen CPU mit Dual-Channel-DDR5 läuft ein 3B- bis 4B-Modell bei Q4 mit rund 8 bis 25 Tokens pro Sekunde, schnell genug für echte interaktive Nutzung. Phi-4 Mini (3,8B) ist hier das Aushängeschild: ein Speicherbedarf von etwa 2,3 GB, rund 12 Tokens pro Sekunde auf einer modernen CPU und Benchmark-Werte, die bei Allgemeinwissen mit Llama 3.1 8B mithalten. Ein 7B- bis 8B-Modell auf der CPU fällt auf rund 3 bis 8 Tokens pro Sekunde, was für Batch-Jobs in Ordnung, aber für Chat träge ist. Über 8B ist reine CPU nicht mehr praktikabel.
Zwei CPU-Details machen den Unterschied. Die Speichergeschwindigkeit zählt: Der Wechsel von DDR5-4800 auf DDR5-6000 hat die Generierungsgeschwindigkeit von 7B bis 8B nachweislich um 20 Prozent oder mehr angehoben, rein durch die Bandbreite. Und Dual-Channel zählt: Zwei RAM-Riegel verdoppeln effektiv die Bandbreite gegenüber einem, also bestücken Sie beide Kanäle. Die einfache RAM-Regel für CPU-Inferenz lautet: die GGUF-Dateigröße plus etwa 500 MB Overhead ergibt Ihr Minimum.
Wenn ein Modell etwas zu groß für Ihren VRAM ist, hält hybrides Offloading einige Schichten auf der GPU und lagert den Rest in den System-RAM aus. Das ist langsamer als reine GPU, aber schneller als reine CPU, und entscheidend ändert es die Ausgabequalität überhaupt nicht; dieselben Gewichte rechnen dieselbe Mathematik, nur an anderem Ort gespeichert. Die Geschwindigkeitskosten hängen von Ihrer PCIe-Bandbreite ab, also erwarten Sie auf einer dedizierten GPU eine echte Einbuße pro ausgelagerter Schicht. Es ist ein pragmatischer Notbehelf, kein Ersatz dafür, das Modell in den VRAM zu bekommen.
Was wir gemessen haben: ein 4B-Modell auf einer 8-GB-Karte
Faustregeln versagen an der Grenze, deshalb hier ein Modell, Ende zu Ende auf unserem eigenen Testrechner gemessen: Intel Core i7-7700, 32 GB RAM, NVIDIA GeForce GTX 1080 mit 8 GB, llama.cpp llama-server (CUDA-12-Build, Flash Attention an), 9. November 2026. Das Modell ist ein hybrides 4-Milliarden-Parameter-Modell in Q4_K_M, eine Datei von 3,3 GB. Seine Sprachgewichte belegten 2.514 MiB auf der Karte; die 497 MiB große Token-Embedding-Tabelle blieb im Arbeitsspeicher, wie llama.cpp es standardmäßig hält.
Mit allen Schichten auf der Karte und einem Cache von 16.384 Tokens für zwei Unterhaltungen hielt die Karte zusätzlich 512 MiB KV-Cache, 100,5 MiB rekurrenten Zustand und 72 MiB Rechenpuffer, dazu 223 MiB Arbeitsspeicher für den Vision-Encoder. Das Modell las Prompts mit 750 bis 892 Tokens pro Sekunde und schrieb mit 24,9 bis 37,4 Tokens pro Sekunde.
Minuten später wurde dasselbe Modell mit einem Fenster von 12.288 Tokens pro Unterhaltung neu gestartet, während andere Modelle die Karte mitbenutzten. Der KV-Cache wuchs auf 768 MiB, und 3 seiner 33 Schichten passten nicht mehr: Sie liefen auf dem Prozessor. Danach las es Prompts mit 110 Tokens pro Sekunde und schrieb mit 5,47. 9 Prozent der Schichten zu verschieben kostete 78 bis 85 Prozent der Generierungsgeschwindigkeit: Eine teilweise Auslagerung ist eine Pipeline, und ihre langsamste Stufe, Gewichte, die vier CPU-Threads aus dem Arbeitsspeicher lesen, bestimmt das Tempo jedes Tokens. Die Praxisregel: Wenn ein Modell nur knapp passt, verkleinern Sie das Kontextfenster oder nehmen Sie die nächstkleinere Quantisierung, bevor Sie Schichten auslagern lassen.
Kostenstufen: das kleinste Rig wählen, das zu Ihrer Arbeitslast passt
Passen Sie die Hardware an das Modell an, das Sie wirklich brauchen, nicht an das größte, das Sie sich vorstellen können. Einstiegsklasse, etwa $0 bis $400: ein Laptop oder Desktop, den Sie schon besitzen, mit 3B- bis 8B-Modellen auf der CPU oder einer GPU mit 8 GB. Das reicht für privates Entwerfen, Zusammenfassen, Klassifizieren und einfache Hilfe beim Programmieren, und es genügt, um überhaupt zu klären, ob lokale KI zu Ihrem Workflow passt. Enthusiasten-Klasse, etwa $700 bis $2,200: eine einzelne gebrauchte RTX 3090 oder eine neue RTX 4090 mit 24 GB, die 13B- bis 34B-Modelle für tägliches Programmieren, RAG über Ihre eigenen Dokumente und Agenten-Skripte bequem ausführt.
Prosumer-Klasse, etwa $2,000 bis $5,000: zwei GPUs mit je 24 GB (48 GB gebündelt) oder ein Mac mit M4 Max und 128 GB, der Einstieg für Modelle der 70B-Klasse mit Gesprächstempo. In dieser Klasse konkurriert ein lokales Modell bei vielen Aufgaben wirklich mit einer gehosteten API. Alles darüber, die 405B-Klasse an der Spitze, ist für fast alle praktisch nur in der Cloud nutzbar, und in nahezu allen realen Anwendungen erreicht oder übertrifft ein gut gewähltes 70B-Modell ein 405B-Modell, bei einem Bruchteil der Betriebskosten.
Genau an dieser Größenplanung beginnt die Arbeit von Pineido bei der Einrichtung lokaler KI. Wir grenzen den kleinsten Rechner ab, der Ihre Anforderungen an Datenschutz und Leistung erfüllt, wählen Modell und Quantisierung dazu und bauen den Stack so auf, dass er den echten Einsatz übersteht. Wenn Sie lokale gegen gehostete KI für sensible Daten abwägen, machen unsere Sprints zur Einrichtung lokaler KI und zu Pocket AI aus dieser Rechnung in 30 Tagen ein funktionierendes System. Ein Fractional-CTO-Mandat ist möglich, wenn die Entscheidung Ihre übrige Infrastruktur-Roadmap berührt.
Wöchentliche Impulse für den Betrieb
Schließen Sie sich Betreibern von Dienstleistungsunternehmen an, die jede Woche einen umsetzbaren Impuls zu Betrieb, Automatisierung und Wachstum erhalten.
Kein Spam. Jederzeit abbestellbar.
Sie sind angemeldet! Die nächste Ausgabe kommt in Ihr Postfach.
Das hat nicht geklappt. Bitte versuchen Sie es erneut oder schreiben Sie an [email protected].
Bereit zum Launch?
Sagen Sie uns, wo Sie feststecken. Wir prüfen es und senden Ihnen innerhalb eines Werktags eine konkrete Empfehlung.
Häufig gestellte Fragen
Wie viel VRAM brauche ich, um ein lokales LLM zu betreiben?
Bei der gängigen Q4_K_M-Quantisierung rechnen Sie mit rund 0,5 bis 0,7 GB pro Milliarde Parameter plus Spielraum für den Kontext. Das bedeutet etwa 6 bis 8 GB für ein 7B- bis 8B-Modell, 9 bis 12 GB für ein 13B, 18 bis 24 GB für ein 30B und rund 40 bis 48 GB für ein 70B. Lange Kontexte fügen oben den KV-Cache hinzu, also dimensionieren Sie höher, wenn Sie 32K Tokens oder mehr nutzen wollen.
Kann ich ein lokales LLM ohne GPU betreiben?
Ja, für kleinere Modelle. Eine moderne CPU mit Dual-Channel-DDR5 betreibt 3B- bis 4B-Modelle mit rund 8 bis 25 Tokens pro Sekunde, was für Chat nutzbar ist. Ein 7B- bis 8B-Modell fällt auf etwa 3 bis 8 Tokens pro Sekunde, in Ordnung für Batch-Arbeit, aber langsam für interaktive Nutzung. Über 8B wird reine CPU-Inferenz unpraktisch und Sie wollen eine GPU oder einen Apple-Silicon-Mac.
Welche Hardware betreibt ein 70B-Modell lokal?
Ein 70B-Modell bei Q4_K_M braucht rund 40 bis 48 GB Speicher, passt also nicht auf eine einzelne 24-GB-GPU. Die drei praktischen Wege sind zwei gepoolte 24-GB-GPUs (Dual RTX 3090 oder 4090 für 48 GB), eine einzelne 48-GB-Workstation-Karte oder ein Apple-Silicon-Mac mit 128 GB Unified Memory. Erwarten Sie je nach Setup rund 15 bis 28 Tokens pro Sekunde.
Lohnt sich die RTX 3090 2026 noch für lokale KI?
Für Inferenz ja. Für gebraucht rund 600 bis 850 Dollar bietet sie den besten VRAM pro Dollar jeder Consumer-Karte, mit 24 GB und der einzigen Consumer-NVLink-Unterstützung, was Dual-Karten-48-GB-Rigs für 70B-Modelle billiger macht als jede Alternative. Die Abwägungen sind keine Garantie, mögliche Mining-Vergangenheit und etwas langsamere Geschwindigkeit als eine 4090. Kaufen Sie stattdessen die 4090, wenn Sie auch Garantie, Bildgenerierung oder leichtes Fine-Tuning wollen.
Warum ist die Speicherbandbreite wichtiger als die Taktrate von CPU oder GPU?
Jeden Token zu erzeugen erfordert, die aktiven Gewichte des Modells durch den Prozessor zu streamen, daher ist die Token-Geschwindigkeit dadurch begrenzt, wie schnell der Speicher gelesen werden kann, nicht durch reine Rechenleistung. Deshalb fühlt sich eine RTX 4090 mit etwa 1.000 GB/s augenblicklich an, während System-RAM mit 70 bis 90 GB/s beim selben Modell langsam wirkt, und deshalb kann schnelleres DDR5 allein die CPU-Inferenzgeschwindigkeit um 20 Prozent oder mehr anheben.
Brauche ich wirklich ein 405B-Modell, oder reicht ein 70B?
Für nahezu jeden praktischen Anwendungsfall reicht ein gut gewähltes 70B-Modell und erreicht oder übertrifft in Benchmarks oft ein 405B-Modell, während der Betrieb einen Bruchteil kostet. Ein 405B-Modell braucht selbst bei 4 Bit rund 240 GB, was Rechenzentrumshardware ist, also ist es effektiv nur in der Cloud. Heben Sie es sich für spezifische Forschung auf, die wirklich die maximale Modellgröße erfordert.