Requisiti hardware per un LLM locale: guida a CPU, RAM e GPU
Cosa serve davvero per eseguire un LLM sul tuo hardware, da un modello da 3B sulla CPU di un portatile a un modello da 70B su una workstation. I numeri qui sotto sono quelli che decidono se la tua configurazione è veloce, lenta o a corto di memoria.
In questa pagina8
- L'unico numero che decide tutto: la memoria
- Quantizzazione: come ridurre un modello senza romperlo
- VRAM e RAM per dimensione del modello: la tabella di lavoro
- Opzioni di GPU e quanto costano davvero nel 2026
- Apple Silicon: il silenzioso cavallo da lavoro del 70B
- Sola CPU e offloading ibrido: la via economica
- Cosa abbiamo misurato: un modello 4B su una scheda da 8 GB
- Fasce di costo: scegli il rig più piccolo che si adatta al tuo carico di lavoro
L'unico numero che decide tutto: la memoria
Prima di confrontare le GPU, capisci il collo di bottiglia. Generare ogni token significa far scorrere l'intero insieme dei pesi attivi del modello attraverso il processore, quindi la velocità di un LLM locale è governata dalla larghezza di banda e dalla capacità di memoria, non dalla potenza di calcolo grezza. La capacità decide se il modello si carica del tutto; la larghezza di banda decide quanto velocemente gira una volta caricato. Se un modello non entra in memoria, nessuna quantità di potenza GPU serve a qualcosa.
Ecco perché la regola pratica di dimensionamento è costruita intorno alla memoria. Alla piena precisione FP16 un modello richiede circa 2 GB per miliardo di parametri, quindi un modello da 7B è circa 14 GB e uno da 70B circa 140 GB. Quasi nessuno esegue modelli locali in FP16. La quantizzazione comprime i pesi, e al popolare livello Q4_K_M l'ingombro scende a circa 0,5 a 0,7 GB per miliardo di parametri: circa 4 a 5 GB per un modello da 7B e intorno ai 40 GB per uno da 70B. Aggiungi la cache KV (la memoria attiva della tua conversazione), che cresce con la lunghezza del contesto, più un po' di overhead di runtime, e hai il tuo requisito reale.
Il secondo fattore, la larghezza di banda, spiega perché una GPU da 300 dollari può essere più veloce di una CPU da 2.000 dollari sullo stesso modello. Una RTX 4090 muove circa 1.000 GB/s, un Apple M4 Max circa 546 GB/s, e la tipica RAM di sistema DDR5 a doppio canale sta da qualche parte intorno ai 70 a 90 GB/s. Quel divario è gran parte del motivo per cui l'inferenza su GPU sembra istantanea e quella su CPU sembra una connessione via modem.
Quantizzazione: come ridurre un modello senza romperlo
La quantizzazione memorizza ogni peso usando meno bit. FP16 usa 16 bit per peso, Q8 circa 8, e Q4 circa 4. L'impostazione più raccomandata in tutta la comunità degli LLM locali è Q4_K_M, una variante a 4 bit che, con i suoi metadati di blocco, si attesta più vicino a 4,8 bit effettivi per peso. Conserva circa il 95 per cento della qualità a piena precisione tagliando la memoria di quasi 4 volte, motivo per cui è l'impostazione predefinita da cui quasi tutti partono.
La guida pratica è semplice. Per chat quotidiana, stesura e riassunti, Q4_K_M è la scelta giusta. Per la generazione di codice e il ragionamento più difficile, sali a Q5_K_M, Q6_K o Q8_0 se hai la VRAM, perché le perdite di qualità compaiono prima sulla logica e sul codice. Sotto Q4 il degrado diventa evidente, quindi Q3 e Q2 sono ultime risorse per far stare un modello sovradimensionato su hardware insufficiente. Un corollario utile: un modello più grande con quantizzazione più spinta spesso batte un modello più piccolo con quantizzazione leggera. Un modello da 14B a Q4 di solito supera uno da 7B a Q8 se entrambi rientrano nel tuo budget di memoria.
Il formato di file standard per questi pesi quantizzati è GGUF, il formato a file singolo usato da llama.cpp e Ollama. Lo stesso file .gguf gira su Windows, Linux e macOS e sui backend CUDA, Metal e CPU, quindi puoi scaricare un file e spostarlo tra macchine senza conversione.
VRAM e RAM per dimensione del modello: la tabella di lavoro
Ecco di cosa ha bisogno ogni fascia di modello a Q4_K_M, incluso un modesto margine di contesto. Un modello da 3B a 4B (Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B, Qwen 3 4B) richiede circa 2 a 4 GB e gira su quasi tutto, inclusi portatili a sola CPU con 8 a 16 GB di RAM. Un modello da 7B a 8B (Mistral 7B, Llama 3.1 8B, Qwen 3 8B) richiede circa 6 a 8 GB ed è comodo su qualsiasi GPU da 8 GB o più. Un modello da 13B a 14B richiede circa 9 a 12 GB ed entra in una scheda da 12 GB. Un modello da 30B a 34B richiede circa 18 a 24 GB ed è l'abbinamento naturale per una singola scheda da 24 GB.
Il salto che tutti sottovalutano è il 70B. A Q4_K_M un modello da 70B vuole circa 40 a 48 GB una volta inclusa una finestra di contesto utilizzabile, il che significa che non entra in una singola scheda da 24 GB. Servono due GPU da 24 GB aggregate (48 GB in totale), una singola scheda da workstation da 48 GB, o un grande Mac a memoria unificata. Un modello da 405B è un altro universo: circa 240 GB anche a 4 bit, intorno ai 486 GB a FP8, ovvero territorio da data center (pensa a 8x A100 80 GB o 8x H100), più oltre un terabyte di RAM di sistema e NVMe veloce per i pesi.
Non dimenticare la cache KV, la voce che fa saltare i budget in silenzio. Per un modello da 8B la cache cresce da una frazione di GB a 2K di contesto a circa 5 GB a 32K e intorno ai 20 GB a 128K. Su un modello da 70B un contesto da 128K può richiedere oltre 40 GB di cache oltre ai pesi. Se intendi usare contesti lunghi, dimensiona per la cache, non solo per il modello. Quantizzare la cache KV a 8 bit la dimezza all'incirca con un piccolo costo di qualità.
Opzioni di GPU e quanto costano davvero nel 2026
Per la pura inferenza, la VRAM per dollaro è la metrica che conta, e la NVIDIA RTX 3090 usata resta il re del rapporto qualità-prezzo. Con 24 GB di VRAM a circa 600 a 850 dollari usata, esegue modelli da 13B ad alta quantizzazione, modelli di classe 30B a Q4, e si accoppia in modo pulito in un rig a doppia scheda da 48 GB per il 70B. È anche l'ultima scheda consumer con NVLink, che dà ai setup a due schede una comunicazione GPU a GPU più veloce. Il problema: niente garanzia, possibile storia di mining, e potresti dover gestire le temperature della VRAM.
La RTX 4090, intorno ai 1.600 a 2.200 dollari, è la migliore tuttofare. Gli stessi 24 GB ma sensibilmente più veloce, con buone prestazioni per la generazione di immagini e il fine-tuning leggero oltre all'inferenza, e con garanzia. La RTX 5090, circa 3.000 a 4.000 dollari in mezzo alla persistente carenza di chip di memoria, è l'unica scheda consumer con 32 GB e la più alta larghezza di banda delle tre, il che la rende la scelta a scheda singola per modelli da 32B a Q4 con contesto lungo e per i modelli a miscela di esperti. Nota che nemmeno 32 GB fanno entrare in modo pulito un 70B a Q4.
Le velocità di generazione nel mondo reale mettono i compromessi in prospettiva. Un modello da 8B su una singola 4090 gira oltre i 100 token al secondo. Un modello da 70B a Q4_K_M non si caricherà su una singola scheda da 24 GB; su due 3090 gira intorno ai 16 token al secondo, e su due 4090 intorno ai 19. Sono velocità utilizzabili, da conversazione, con il rig doppio che assorbe quasi 900 watt sotto carico.
Apple Silicon: il silenzioso cavallo da lavoro del 70B
L'architettura a memoria unificata di Apple è il percorso a singola macchina più semplice verso un modello da 70B. Poiché CPU e GPU condividono un unico pool di memoria, un Mac con 128 GB di memoria unificata può caricare modelli che altrimenti richiederebbero due GPU collegate in NVLink o una scheda da data center. Un M4 Max offre circa 546 GB/s di larghezza di banda e supporta fino a 128 GB, mentre l'M3 Ultra arriva a 192 GB a circa 800 GB/s, che è il vero componente Apple di fascia alta per il lavoro di IA dato che non esiste un M4 Ultra.
Nella pratica un M4 Max esegue Llama 3.3 70B a Q4_K_M da qualche parte nell'intervallo di 15 a 28 token al secondo a seconda del backend e del contesto. Usa il framework MLX di Apple invece del backend predefinito llama.cpp; MLX è costantemente dal 30 al 50 per cento più veloce su Apple Silicon. Una raccomandazione ferma: per il lavoro serio in 70B scegli 128 GB, non 64 GB. Un modello 70B Q4 entra tecnicamente in 64 GB, ma la pressione di memoria di macOS schizza e il sistema fa swap su SSD, il che affossa la velocità e stressa l'unità. La configurazione da 128 GB lascia margine per il browser, l'editor e il modello allo stesso tempo.
Il compromesso rispetto a NVIDIA è la velocità per i modelli che entrano nella VRAM di una GPU, dove una 4090 ha circa il doppio della larghezza di banda di un M4 Max. Apple vince su ciò che entra in una singola macchina silenziosa che consuma poco; NVIDIA vince sul throughput grezzo per i modelli che entrano nella scheda.
Sola CPU e offloading ibrido: la via economica
Puoi eseguire un LLM locale senza alcuna GPU. Su una CPU moderna con DDR5 a doppio canale, un modello da 3B a 4B a Q4 gira intorno agli 8 a 25 token al secondo, abbastanza veloce per un uso interattivo reale. Phi-4 Mini (3,8B) è il fiore all'occhiello qui: un ingombro di circa 2,3 GB, circa 12 token al secondo su una CPU moderna, e punteggi nei benchmark che eguagliano Llama 3.1 8B sulle conoscenze generali. Un modello da 7B a 8B su CPU scende a circa 3 a 8 token al secondo, il che va bene per i lavori in batch ma è lento per la chat. Sopra gli 8B, la sola CPU smette di essere pratica.
Due dettagli della CPU spostano l'ago. La velocità della memoria conta: passare da DDR5-4800 a DDR5-6000 ha dimostrato di aumentare la velocità di generazione dei 7B a 8B del 20 per cento o più, puramente per la larghezza di banda. E il doppio canale conta: due banchi di RAM raddoppiano di fatto la larghezza di banda rispetto a uno, quindi popola entrambi i canali. La semplice regola della RAM per l'inferenza su CPU è: la dimensione del file GGUF più circa 500 MB di overhead equivale al tuo minimo.
Quando un modello è leggermente troppo grande per la tua VRAM, l'offloading ibrido tiene alcuni layer sulla GPU e riversa il resto nella RAM di sistema. È più lento del pieno GPU ma più veloce della sola CPU, e cosa cruciale non cambia affatto la qualità dell'output; gli stessi pesi fanno gli stessi calcoli, solo conservati in posti diversi. Il costo in velocità dipende dalla tua larghezza di banda PCIe, quindi su una GPU dedicata aspettati una penalità reale per ogni layer scaricato. È un rimedio pragmatico, non un sostituto del far entrare il modello nella VRAM.
Cosa abbiamo misurato: un modello 4B su una scheda da 8 GB
Le regole pratiche cedono al limite, quindi ecco un modello misurato dall’inizio alla fine sulla nostra macchina di prova: Intel Core i7-7700, 32 GB di RAM, NVIDIA GeForce GTX 1080 con 8 GB, llama.cpp llama-server (build CUDA 12, flash attention attiva), 9 novembre 2026. Il modello è un ibrido da 4 miliardi di parametri in Q4_K_M, un file da 3,3 GB. I suoi pesi linguistici occupavano 2.514 MiB sulla scheda, mentre la tabella degli embedding dei token da 497 MiB restava nella RAM di sistema, come fa llama.cpp per impostazione predefinita.
Con tutti i livelli sulla scheda e una cache di 16.384 token condivisa da due conversazioni, la scheda conteneva anche 512 MiB di cache KV, 100,5 MiB di stato ricorrente e 72 MiB di buffer di calcolo, più 223 MiB di memoria di lavoro per l’encoder visivo. Leggeva i prompt a 750-892 token al secondo e scriveva a 24,9-37,4 token al secondo.
Pochi minuti dopo lo stesso modello è stato riavviato con una finestra di 12.288 token per conversazione mentre altri modelli condividevano la scheda. La cache KV è salita a 768 MiB e 3 dei suoi 33 livelli non entravano più, quindi sono stati eseguiti sul processore. A quel punto leggeva i prompt a 110 token al secondo e scriveva a 5,47. Spostare il 9 % dei livelli è costato dal 78 all’85 % della velocità di generazione: uno scarico parziale è una pipeline, e il suo stadio più lento, pesi letti dalla RAM di sistema da quattro thread della CPU, detta il ritmo di ogni token. La regola pratica: quando un modello ci sta appena, riduci la finestra di contesto o scegli la quantizzazione immediatamente più piccola prima di lasciare che i livelli tracimino.
Fasce di costo: scegli il rig più piccolo che si adatta al tuo carico di lavoro
Adatta l'hardware al modello di cui hai davvero bisogno, non al più grande che riesci a immaginare. Fascia di ingresso, circa 0 a 400 dollari: un portatile o un desktop che già possiedi, che esegue modelli da 3B a 8B su CPU o una GPU da 8 GB. Questo copre la stesura privata, i riassunti, la classificazione e un semplice aiuto al codice, ed è sufficiente per confermare se l'IA locale si adatta al tuo flusso di lavoro. Fascia appassionati, circa 700 a 2.200 dollari: una singola RTX 3090 usata o una RTX 4090 nuova con 24 GB, che esegue comodamente modelli da 13B a 34B per il codice quotidiano, il RAG sui tuoi documenti e gli script agentici.
Fascia prosumer, circa 2.000 a 5.000 dollari: due GPU da 24 GB (48 GB aggregati) o un Mac M4 Max da 128 GB, il punto di ingresso per i modelli di classe 70B a velocità da conversazione. Questa è la fascia in cui un modello locale compete davvero con un'API ospitata per molti compiti. Tutto ciò che sta oltre, la frontiera di classe 405B, è di fatto solo cloud per quasi tutti, e per quasi tutti i casi d'uso reali un modello da 70B ben scelto eguaglia o batte un modello da 405B costando una frazione per essere eseguito.
Questo esercizio di dimensionamento è esattamente il punto in cui inizia il lavoro di configurazione dell'IA locale di Pineido. Definiamo l'ambito del rig più piccolo che soddisfa i tuoi requisiti di privacy e prestazioni, scegliamo il modello e la quantizzazione adatti, e mettiamo in piedi lo stack perché sopravviva al contatto con l'uso reale. Se stai valutando IA locale contro IA ospitata per dati sensibili, i nostri sprint di configurazione dell'IA locale e di pocket AI trasformano questi calcoli in un sistema funzionante in 30 giorni, con un incarico da CTO frazionale disponibile quando la decisione tocca la tua roadmap infrastrutturale più ampia.
Spunti operativi ogni settimana
Unisciti ai responsabili di aziende di servizi che ricevono ogni settimana uno spunto concreto su operazioni, automazione e crescita.
Niente spam. Disiscriviti quando vuoi.
Iscrizione completata! Cerca il prossimo numero nella tua casella di posta.
Invio non riuscito. Riprova o scrivi a [email protected].
Pronto a rilasciare?
Dicci dove sei bloccato. Lo esaminiamo e ti inviamo una raccomandazione mirata entro un giorno lavorativo.
Domande frequenti
Quanta VRAM mi serve per eseguire un LLM locale?
Con la comune quantizzazione Q4_K_M, conta circa 0,5 a 0,7 GB per miliardo di parametri più un margine per il contesto. Questo significa circa 6 a 8 GB per un modello da 7B a 8B, 9 a 12 GB per un 13B, 18 a 24 GB per un 30B, e circa 40 a 48 GB per un 70B. I contesti lunghi aggiungono cache KV sopra, quindi aumenta le dimensioni se intendi usare 32K token o più.
Posso eseguire un LLM locale senza GPU?
Sì, per i modelli più piccoli. Una CPU moderna con DDR5 a doppio canale esegue modelli da 3B a 4B a circa 8 a 25 token al secondo, il che è utilizzabile per la chat. Un modello da 7B a 8B scende a circa 3 a 8 token al secondo, va bene per il lavoro in batch ma è lento per l'uso interattivo. Sopra gli 8B, l'inferenza su sola CPU diventa impraticabile e ti serve una GPU o un Mac Apple Silicon.
Quale hardware esegue un modello da 70B in locale?
Un modello da 70B a Q4_K_M richiede circa 40 a 48 GB di memoria, quindi non entra in una singola GPU da 24 GB. Le tre vie pratiche sono due GPU da 24 GB aggregate (doppia RTX 3090 o 4090 per 48 GB), una singola scheda da workstation da 48 GB, o un Mac Apple Silicon con 128 GB di memoria unificata. Aspettati circa 15 a 28 token al secondo a seconda della configurazione.
La RTX 3090 vale ancora la pena per l'IA locale nel 2026?
Per l'inferenza, sì. A circa 600 a 850 dollari usata offre il miglior rapporto VRAM per dollaro di qualsiasi scheda consumer, con 24 GB e l'unico supporto NVLink consumer, il che rende i rig a doppia scheda da 48 GB per i modelli da 70B più economici di qualsiasi alternativa. I compromessi sono niente garanzia, possibile storia di mining e velocità leggermente inferiore a una 4090. Compra invece la 4090 se vuoi anche copertura di garanzia, generazione di immagini o fine-tuning leggero.
Perché la larghezza di banda della memoria è più importante della frequenza di clock della CPU o della GPU?
Generare ogni token richiede di far scorrere i pesi attivi del modello attraverso il processore, quindi la velocità in token è limitata da quanto velocemente si può leggere la memoria, non dalla potenza di calcolo grezza. Ecco perché una RTX 4090 a circa 1.000 GB/s sembra istantanea mentre la RAM di sistema a 70 a 90 GB/s sembra lenta sullo stesso modello, ed ecco perché una DDR5 più veloce da sola può aumentare la velocità di inferenza su CPU del 20 per cento o più.
Ho davvero bisogno di un modello da 405B, oppure ne basta uno da 70B?
Per quasi tutti i casi d'uso pratici un modello da 70B ben scelto è sufficiente e spesso eguaglia o batte un modello da 405B nei benchmark costando una frazione per essere eseguito. Un modello da 405B richiede circa 240 GB anche a 4 bit, ovvero hardware da data center, quindi è di fatto solo cloud. Riservalo a ricerche specifiche che richiedono davvero la massima dimensione del modello.