Configuration matérielle pour un LLM local : guide CPU, RAM et GPU

Ce qu'il faut vraiment pour faire tourner un LLM sur votre propre matériel, d'un modèle de 3B sur le CPU d'un portable à un modèle de 70B sur une station de travail. Les chiffres ci-dessous sont ceux qui décident si votre configuration est rapide, lente ou à court de mémoire.

11 min de lecture8 sections9 novembre 2026

Kostadin Stamboliev

Fondateur et Imaginator

LinkedIn

Fondateur et Imaginator de Pineido. Il travaille dans le conseil informatique, le développement d’applications et de sites web, le SEO technique, l’IA et l’automatisation. Il livre du code en production en sprints de 30 jours, avec un périmètre fixe et des responsabilités claires.

Le seul chiffre qui décide de tout : la mémoire

Avant de comparer les GPU, comprenez le goulot d'étranglement. Générer chaque token signifie faire transiter l'ensemble des poids actifs du modèle à travers le processeur, donc la vitesse d'un LLM local est gouvernée par la bande passante et la capacité mémoire, pas par la puissance de calcul brute. La capacité décide si le modèle se charge tout court ; la bande passante décide à quelle vitesse il tourne une fois chargé. Si un modèle ne tient pas en mémoire, aucune puissance de GPU n'y change rien.

Voilà pourquoi la règle pratique de dimensionnement est bâtie autour de la mémoire. En pleine précision FP16, un modèle demande environ 2 Go par milliard de paramètres, donc un modèle de 7B fait à peu près 14 Go et un modèle de 70B à peu près 140 Go. Presque personne ne fait tourner des modèles locaux en FP16. La quantification compresse les poids, et au niveau populaire Q4_K_M l'empreinte tombe à environ 0,5 à 0,7 Go par milliard de paramètres : environ 4 à 5 Go pour un modèle de 7B et autour de 40 Go pour un modèle de 70B. Ajoutez le cache KV (la mémoire vive de votre conversation), qui croît avec la longueur du contexte, plus un peu de surcharge d'exécution, et vous avez votre besoin réel.

Le second facteur, la bande passante, explique pourquoi un GPU à 300 dollars peut être plus rapide qu'un CPU à 2 000 dollars sur le même modèle. Une RTX 4090 déplace environ 1 000 Go/s, un Apple M4 Max environ 546 Go/s, et la RAM système DDR5 double canal typique se situe quelque part vers 70 à 90 Go/s. Cet écart est en grande partie la raison pour laquelle l'inférence GPU paraît instantanée et l'inférence CPU paraît aussi lente qu'un modem.

Quantification : comment rétrécir un modèle sans le casser

La quantification stocke chaque poids avec moins de bits. FP16 utilise 16 bits par poids, Q8 environ 8, et Q4 environ 4. Le réglage le plus recommandé dans toute la communauté du LLM local est Q4_K_M, une variante 4 bits qui, avec ses métadonnées de bloc, atterrit plus près de 4,8 bits effectifs par poids. Il conserve environ 95 pour cent de la qualité de pleine précision tout en réduisant la mémoire de près de 4 fois, ce qui en fait la valeur par défaut par laquelle presque tout le monde commence.

Le conseil pratique est simple. Pour le chat quotidien, la rédaction et le résumé, Q4_K_M est le bon choix. Pour la génération de code et le raisonnement plus difficile, montez à Q5_K_M, Q6_K ou Q8_0 si vous avez la VRAM, car les pertes de qualité apparaissent d'abord sur la logique et le code. Sous Q4, la dégradation devient perceptible, donc Q3 et Q2 sont des derniers recours pour caser un modèle surdimensionné sur du matériel sous-dimensionné. Un corollaire utile : un modèle plus grand fortement quantifié bat souvent un modèle plus petit légèrement quantifié. Un modèle de 14B en Q4 surpassera généralement un modèle de 7B en Q8 si les deux tiennent dans votre budget mémoire.

Le format de fichier standard pour ces poids quantifiés est GGUF, le format à fichier unique utilisé par llama.cpp et Ollama. Le même fichier .gguf tourne sous Windows, Linux et macOS et sur les backends CUDA, Metal et CPU, vous pouvez donc télécharger un fichier et le déplacer entre machines sans conversion.

VRAM et RAM par taille de modèle : le tableau de travail

Voici ce dont chaque palier de modèle a besoin en Q4_K_M, avec une marge de contexte modeste. Un modèle de 3B à 4B (Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B, Qwen 3 4B) demande environ 2 à 4 Go et tourne sur presque tout, y compris les portables sur CPU seul avec 8 à 16 Go de RAM. Un modèle de 7B à 8B (Mistral 7B, Llama 3.1 8B, Qwen 3 8B) demande environ 6 à 8 Go et est à l'aise sur n'importe quel GPU de 8 Go ou plus. Un modèle de 13B à 14B demande environ 9 à 12 Go et tient sur une carte de 12 Go. Un modèle de 30B à 34B demande environ 18 à 24 Go et convient naturellement à une seule carte de 24 Go.

Le saut que tout le monde sous-estime, c'est 70B. En Q4_K_M, un modèle de 70B veut environ 40 à 48 Go une fois que vous incluez une fenêtre de contexte utilisable, ce qui veut dire qu'il ne tient pas sur une seule carte de 24 Go. Il vous faut deux GPU de 24 Go mutualisés (48 Go au total), une seule carte station de travail de 48 Go, ou un grand Mac à mémoire unifiée. Un modèle de 405B est un autre univers : environ 240 Go même en 4 bits, autour de 486 Go en FP8, c'est-à-dire un territoire de centre de données (pensez à 8x A100 80 Go ou 8x H100), plus plus d'un téraoctet de RAM système et du NVMe rapide pour les poids.

N'oubliez pas le cache KV, le poste qui fait sauter les budgets en silence. Pour un modèle de 8B, le cache passe d'une fraction de Go à 2K de contexte à environ 5 Go à 32K et autour de 20 Go à 128K. Sur un modèle de 70B, un contexte de 128K peut exiger plus de 40 Go de cache en plus des poids. Si vous comptez utiliser de longs contextes, dimensionnez pour le cache, pas seulement pour le modèle. Quantifier le cache KV en 8 bits le réduit grosso modo de moitié pour un faible coût en qualité.

Les options de GPU et ce qu'elles coûtent vraiment en 2026

Pour de l'inférence pure, la VRAM par dollar est la métrique qui compte, et la NVIDIA RTX 3090 d'occasion reste le roi du rapport qualité-prix. Avec 24 Go de VRAM pour environ 600 à 850 dollars d'occasion, elle fait tourner des modèles de 13B en haute quantification, des modèles de classe 30B en Q4, et se couple proprement en config bicarte de 48 Go pour le 70B. C'est aussi la dernière carte grand public avec NVLink, ce qui donne aux montages à deux cartes une communication GPU à GPU plus rapide. Le hic : pas de garantie, possible passé de minage, et vous devrez peut-être gérer les températures de la VRAM.

La RTX 4090, autour de 1 600 à 2 200 dollars, est la meilleure polyvalente. Les mêmes 24 Go mais nettement plus rapide, avec de bonnes performances pour la génération d'images et le fine-tuning léger en plus de l'inférence, et elle est sous garantie. La RTX 5090, environ 3 000 à 4 000 dollars sur fond de pénurie persistante de puces mémoire, est la seule carte grand public avec 32 Go et la plus haute bande passante des trois, ce qui en fait le choix monocarte pour les modèles de 32B en Q4 avec long contexte et pour les modèles à mélange d'experts. Notez que même 32 Go ne casent pas proprement un 70B en Q4.

Les vitesses de génération en conditions réelles remettent les compromis en perspective. Un modèle de 8B sur une seule 4090 tourne au-delà de 100 tokens par seconde. Un modèle de 70B en Q4_K_M ne se chargera pas sur une seule carte de 24 Go ; sur deux 3090 il tourne autour de 16 tokens par seconde, et sur deux 4090 autour de 19. Ce sont des vitesses utilisables, conversationnelles, le montage bicarte tirant près de 900 watts en charge.

Apple Silicon : le cheval de trait discret du 70B

L'architecture à mémoire unifiée d'Apple est le chemin mono-machine le plus simple vers un modèle de 70B. Parce que le CPU et le GPU partagent un seul pool de mémoire, un Mac avec 128 Go de mémoire unifiée peut charger des modèles qui exigeraient autrement deux GPU en NVLink ou une carte de centre de données. Un M4 Max offre environ 546 Go/s de bande passante et prend en charge jusqu'à 128 Go, tandis que le M3 Ultra monte à 192 Go à environ 800 Go/s, ce qui est la véritable pièce Apple haut de gamme pour le travail d'IA puisqu'il n'y a pas de M4 Ultra.

En pratique, un M4 Max fait tourner Llama 3.3 70B en Q4_K_M quelque part dans la plage de 15 à 28 tokens par seconde selon le backend et le contexte. Utilisez le framework MLX d'Apple plutôt que le backend llama.cpp par défaut ; MLX est systématiquement 30 à 50 pour cent plus rapide sur Apple Silicon. Une recommandation ferme : pour un travail sérieux en 70B, choisissez 128 Go, pas 64 Go. Un modèle 70B Q4 tient techniquement dans 64 Go, mais la pression mémoire de macOS grimpe en flèche et le système se met à swapper sur le SSD, ce qui plombe la vitesse et fatigue le disque. La configuration 128 Go laisse de la marge pour votre navigateur, votre éditeur et le modèle en même temps.

Le compromis face à NVIDIA, c'est la vitesse pour les modèles qui tiennent dans la VRAM d'un GPU, où une 4090 a environ deux fois la bande passante d'un M4 Max. Apple l'emporte sur ce qui tient dans une seule machine silencieuse qui consomme peu ; NVIDIA l'emporte sur le débit brut pour les modèles qui tiennent sur la carte.

CPU seul et délestage hybride : la voie économique

Vous pouvez faire tourner un LLM local sans aucun GPU. Sur un CPU moderne avec de la DDR5 double canal, un modèle de 3B à 4B en Q4 tourne autour de 8 à 25 tokens par seconde, assez rapide pour un usage interactif réel. Phi-4 Mini (3,8B) est la vedette ici : une empreinte d'environ 2,3 Go, environ 12 tokens par seconde sur un CPU moderne, et des scores de benchmark qui égalent Llama 3.1 8B sur les connaissances générales. Un modèle de 7B à 8B sur CPU tombe à environ 3 à 8 tokens par seconde, ce qui convient aux travaux par lots mais reste poussif pour le chat. Au-dessus de 8B, le CPU seul cesse d'être pratique.

Deux détails côté CPU font la différence. La vitesse mémoire compte : passer de la DDR5-4800 à la DDR5-6000 a démontré une hausse de 20 pour cent ou plus de la vitesse de génération en 7B à 8B, uniquement grâce à la bande passante. Et le double canal compte : deux barrettes de RAM doublent effectivement la bande passante par rapport à une seule, donc peuplez les deux canaux. La règle simple de RAM pour l'inférence CPU est : la taille du fichier GGUF plus environ 500 Mo de surcharge égale votre minimum.

Quand un modèle est juste un peu trop gros pour votre VRAM, le délestage hybride garde certaines couches sur le GPU et déverse le reste vers la RAM système. C'est plus lent que le tout-GPU mais plus rapide que le CPU seul, et surtout cela ne change pas du tout la qualité de sortie ; les mêmes poids font les mêmes calculs, simplement stockés à des endroits différents. Le coût en vitesse dépend de votre bande passante PCIe, donc sur un GPU dédié attendez-vous à une pénalité réelle par couche délestée. C'est une solution de dépannage pragmatique, pas un substitut au fait de faire tenir le modèle dans la VRAM.

Ce que nous avons mesuré : un modèle 4B sur une carte de 8 Go

Les règles empiriques cèdent à la limite ; voici donc un modèle mesuré de bout en bout sur notre propre machine de test : Intel Core i7-7700, 32 Go de RAM, NVIDIA GeForce GTX 1080 avec 8 Go, llama.cpp llama-server (version CUDA 12, flash attention activée), 9 novembre 2026. Le modèle est un hybride de 4 milliards de paramètres en Q4_K_M, un fichier de 3,3 Go. Ses poids de langage occupaient 2 514 Mio sur la carte, et la table d’embeddings des tokens de 497 Mio restait en mémoire vive, comme llama.cpp le fait par défaut.

Avec toutes les couches sur la carte et un cache de 16 384 tokens partagé par deux conversations, la carte contenait en plus 512 Mio de cache KV, 100,5 Mio d’état récurrent et 72 Mio de tampons de calcul, ainsi que 223 Mio de mémoire de travail pour l’encodeur de vision. Le modèle lisait les prompts à 750 à 892 tokens par seconde et écrivait à 24,9 à 37,4 tokens par seconde.

Quelques minutes plus tard, le même modèle a été relancé avec une fenêtre de 12 288 tokens par conversation, pendant que d’autres modèles partageaient la carte. Le cache KV est passé à 768 Mio et 3 de ses 33 couches ne tenaient plus : elles ont tourné sur le processeur. Il lisait alors les prompts à 110 tokens par seconde et écrivait à 5,47. Déplacer 9 % des couches a coûté 78 à 85 % de la vitesse de génération : un déchargement partiel est un pipeline, et son étage le plus lent, des poids lus en mémoire vive par quatre threads CPU, impose son rythme à chaque token. La règle pratique : quand un modèle tient tout juste, réduisez la fenêtre de contexte ou prenez la quantification immédiatement plus petite avant de laisser des couches déborder.

Paliers de coût : choisir la plus petite config qui convient à votre charge de travail

Faites correspondre le matériel au modèle dont vous avez réellement besoin, pas au plus gros que vous puissiez imaginer. Palier d'entrée, environ 0 à 400 dollars : un portable ou un ordinateur de bureau que vous possédez déjà, faisant tourner des modèles de 3B à 8B sur CPU ou un GPU de 8 Go. Cela couvre la rédaction privée, le résumé, la classification et l'aide simple au code, et suffit à confirmer si l'IA locale convient ne serait-ce qu'à votre flux de travail. Palier passionné, environ 700 à 2 200 dollars : une seule RTX 3090 d'occasion ou une RTX 4090 neuve avec 24 Go, faisant tourner confortablement des modèles de 13B à 34B pour le code quotidien, le RAG sur vos propres documents et les scripts agentiques.

Palier prosommateur, environ 2 000 à 5 000 dollars : deux GPU de 24 Go (48 Go mutualisés) ou un Mac M4 Max de 128 Go, le point d'entrée pour les modèles de classe 70B à vitesse conversationnelle. C'est le palier où un modèle local rivalise réellement avec une API hébergée pour de nombreuses tâches. Au-delà, la frontière de classe 405B est en pratique réservée au cloud pour presque tout le monde, et pour la quasi-totalité des cas d'usage réels un modèle de 70B bien choisi égale ou bat un modèle de 405B tout en coûtant une fraction à exploiter.

Cet exercice de dimensionnement est exactement là où commence le travail de mise en place d'IA locale de Pineido. Nous cadrons la plus petite config qui répond à vos exigences de confidentialité et de performance, choisissons le modèle et la quantification adaptés, et montons la pile pour qu'elle survive au contact d'un usage réel. Si vous pesez l'IA locale contre l'IA hébergée pour des données sensibles, nos sprints de mise en place d'IA locale et de pocket AI transforment ce calcul en un système opérationnel en 30 jours, avec une mission de CTO à temps partagé disponible lorsque la décision touche à votre feuille de route d'infrastructure plus large.

Des idées opérationnelles chaque semaine

Rejoignez les dirigeants d’entreprises de services qui reçoivent chaque semaine une idée concrète sur les opérations, l’automatisation et la croissance.

Nous vérifions que vous êtes humain. Vous pourrez envoyer dans un instant.

Pas de spam. Désabonnement à tout moment.

Vous êtes inscrit ! Surveillez votre boîte de réception pour le prochain numéro.

Prêt à livrer ?

Dites-nous où vous bloquez. Nous l’examinons et vous envoyons une recommandation ciblée sous un jour ouvré.

Questions fréquentes

De combien de VRAM ai-je besoin pour faire tourner un LLM local ?

Avec la quantification courante Q4_K_M, comptez environ 0,5 à 0,7 Go par milliard de paramètres plus une marge pour le contexte. Cela représente environ 6 à 8 Go pour un modèle de 7B à 8B, 9 à 12 Go pour un 13B, 18 à 24 Go pour un 30B, et environ 40 à 48 Go pour un 70B. Les longs contextes ajoutent du cache KV par-dessus, alors prévoyez plus grand si vous comptez utiliser 32K tokens ou plus.

Puis-je faire tourner un LLM local sans GPU ?

Oui, pour les modèles plus petits. Un CPU moderne avec de la DDR5 double canal fait tourner des modèles de 3B à 4B à environ 8 à 25 tokens par seconde, ce qui est utilisable pour le chat. Un modèle de 7B à 8B tombe à environ 3 à 8 tokens par seconde, correct pour le traitement par lots mais lent pour un usage interactif. Au-dessus de 8B, l'inférence sur CPU seul devient impraticable et vous voudrez un GPU ou un Mac Apple Silicon.

Quel matériel fait tourner un modèle de 70B en local ?

Un modèle de 70B en Q4_K_M demande environ 40 à 48 Go de mémoire, donc il ne tient pas sur un seul GPU de 24 Go. Les trois voies pratiques sont deux GPU de 24 Go mutualisés (deux RTX 3090 ou 4090 pour 48 Go), une seule carte station de travail de 48 Go, ou un Mac Apple Silicon avec 128 Go de mémoire unifiée. Attendez-vous à environ 15 à 28 tokens par seconde selon la configuration.

La RTX 3090 vaut-elle encore le coup pour l'IA locale en 2026 ?

Pour l'inférence, oui. À environ 600 à 850 dollars d'occasion, elle offre le meilleur rapport VRAM par dollar de toutes les cartes grand public, avec 24 Go et le seul support NVLink grand public, ce qui rend les configs bicarte de 48 Go pour les modèles de 70B moins chères que toute alternative. Les compromis sont l'absence de garantie, un possible passé de minage et une vitesse légèrement inférieure à une 4090. Achetez plutôt la 4090 si vous voulez aussi une garantie, la génération d'images ou du fine-tuning léger.

Pourquoi la bande passante mémoire est-elle plus importante que la fréquence d'horloge du CPU ou du GPU ?

Générer chaque token nécessite de faire transiter les poids actifs du modèle à travers le processeur, donc la vitesse en tokens est limitée par la rapidité de lecture de la mémoire, pas par la puissance de calcul brute. C'est pourquoi une RTX 4090 à environ 1 000 Go/s paraît instantanée tandis que la RAM système à 70 à 90 Go/s paraît lente sur le même modèle, et pourquoi une DDR5 plus rapide à elle seule peut relever la vitesse d'inférence CPU de 20 pour cent ou plus.

Ai-je vraiment besoin d'un modèle de 405B, ou un 70B suffit-il ?

Pour la quasi-totalité des cas d'usage pratiques, un modèle de 70B bien choisi suffit et égale ou bat souvent un modèle de 405B sur les benchmarks tout en coûtant une fraction à exploiter. Un modèle de 405B demande environ 240 Go même en 4 bits, ce qui relève du matériel de centre de données, il est donc en pratique réservé au cloud. Réservez-le à des recherches spécifiques qui exigent réellement la taille de modèle maximale.