ローカルLLMのハードウェア要件:CPU・RAM・GPUガイド
自分のハードウェアでLLMを動かすのに本当に必要なものを、ノートPCのCPUで動かす3Bモデルから、ワークステーションで動かす70Bモデルまで解説します。以下の数字こそが、あなたの構成が速いか、遅いか、メモリ不足になるかを決めます。
すべてを決めるたった一つの数字:メモリ
GPUを比較する前に、ボトルネックを理解しましょう。各トークンを生成するということは、モデルのアクティブな重みセット全体をプロセッサに流すことを意味します。したがってローカルLLMの速度は、生の演算能力ではなくメモリ帯域幅とメモリ容量によって支配されます。容量はモデルがそもそも読み込めるかを決め、帯域幅は読み込まれた後どれだけ速く動くかを決めます。モデルがメモリに収まらなければ、どれだけGPUの馬力があっても役に立ちません。
だからこそ、実用的なサイジングの法則はメモリを中心に組み立てられます。完全なFP16精度では、モデルは10億パラメータあたり約2 GBを必要とするので、7Bモデルはおよそ14 GB、70Bモデルはおよそ140 GBです。ローカルモデルをFP16で動かす人はほとんどいません。量子化は重みを圧縮し、人気のあるQ4_K_Mレベルでは、フットプリントは10億パラメータあたりおよそ0.5から0.7 GBまで下がります。7Bモデルで約4から5 GB、70Bモデルで約40 GBです。これにKVキャッシュ(会話の作業メモリ)を加えます。これはコンテキスト長とともに増え、さらに少しのランタイムオーバーヘッドを足すと、あなたの本当の必要量になります。
第二の要素である帯域幅は、なぜ300ドルのGPUが同じモデルで2,000ドルのCPUより速くなりうるのかを説明します。RTX 4090はおよそ1,000 GB/sを動かし、Apple M4 Maxは約546 GB/s、一般的なデュアルチャネルDDR5システムRAMはおよそ70から90 GB/s付近です。この差こそが、GPU推論が瞬時に感じられ、CPU推論がダイヤルアップのように感じられる理由のほとんどです。
量子化:モデルを壊さずに縮める方法
量子化は各重みをより少ないビットで保存します。FP16は重みあたり16ビット、Q8は約8ビット、Q4は約4ビットを使います。ローカルLLMコミュニティ全体で最も推奨される設定はQ4_K_Mで、これは4ビットの変種であり、ブロックのメタデータを含めると実効で重みあたり4.8ビットに近づきます。完全精度の品質をおよそ95パーセント保ちつつ、メモリを約4倍削減します。だからこそ、ほぼ誰もがこれをデフォルトとして始めます。
実用的な指針は明快です。日常のチャット、ドラフト作成、要約にはQ4_K_Mが正しい選択です。コード生成やより難しい推論には、VRAMに余裕があればQ5_K_M、Q6_K、Q8_0へと上げてください。品質の低下はまず論理とコードに現れるからです。Q4を下回ると劣化が顕著になるので、Q3とQ2は大きすぎるモデルを小さすぎるハードウェアに押し込むための最後の手段です。有用な帰結として、より大きなモデルをより強い量子化で動かす方が、より小さなモデルを軽い量子化で動かすより優れていることがよくあります。両方がメモリ予算に収まるなら、14BモデルのQ4は通常7BモデルのQ8を上回ります。
これらの量子化された重みの標準ファイル形式はGGUFで、llama.cppとOllamaが使う単一ファイル形式です。同じ.ggufファイルがWindows、Linux、macOS、そしてCUDA、Metal、CPUの各バックエンドで動くので、1つのファイルをダウンロードして変換なしにマシン間で移動できます。
モデルサイズ別のVRAMとRAM:実用テーブル
各モデル帯がQ4_K_Mで必要とする容量を、控えめなコンテキストの余裕を含めて示します。3Bから4Bのモデル(Phi-4 Mini、Llama 3.2 3B、Gemma 3 4B、Qwen 3 4B)は約2から4 GBが必要で、8から16 GBのRAMを積んだCPUのみのノートPCを含め、ほぼ何でも動きます。7Bから8Bのモデル(Mistral 7B、Llama 3.1 8B、Qwen 3 8B)は約6から8 GBが必要で、8 GB以上のどのGPUでも快適です。13Bから14Bのモデルは約9から12 GBが必要で、12 GBのカードに収まります。30Bから34Bのモデルはおよそ18から24 GBが必要で、24 GBのカード1枚に自然に収まります。
誰もが過小評価する跳ね上がりが70Bです。Q4_K_Mでは、使えるコンテキストウィンドウを含めると70Bモデルはおよそ40から48 GBを欲しがります。つまり24 GBのカード1枚には収まりません。24 GBのGPU2枚をプール(合計48 GB)するか、48 GBのワークステーションカード1枚、あるいは大容量のユニファイドメモリMacが必要です。405Bモデルは別世界です。4ビットでもおよそ240 GB、FP8で約486 GBで、これはデータセンターの領域です(A100 80 GBを8枚、またはH100を8枚を思い浮かべてください)。さらに1テラバイト超のシステムRAMと、重み用の高速NVMeが必要です。
KVキャッシュを忘れてはいけません。これは静かに予算を吹き飛ばす項目です。8Bモデルでは、キャッシュは2Kコンテキストでの1 GB未満から、32Kで約5 GB、128Kで約20 GBへと増えます。70Bモデルでは、128Kコンテキストは重みに加えて40 GB超のキャッシュを要求しうります。長いコンテキストを使うつもりなら、モデルだけでなくキャッシュ込みでサイジングしてください。KVキャッシュを8ビットに量子化すると、わずかな品質コストでおよそ半分になります。
GPUの選択肢と2026年の実際のコスト
純粋な推論では、1ドルあたりのVRAMこそが重要な指標であり、中古のNVIDIA RTX 3090は依然としてコスパの王様です。中古でおよそ600から850ドルで24 GBのVRAMを持ち、高量子化で13Bモデルを、Q4で30Bクラスのモデルを動かし、70B向けにデュアルカードの48 GB構成へきれいにペアリングできます。また、これは最後のNVLink対応コンシューマーカードでもあり、2枚構成にGPU間のより速い通信を与えます。難点は、保証なし、マイニング履歴の可能性、そしてVRAMの発熱管理が必要になりうることです。
RTX 4090は、およそ1,600から2,200ドルで、最良の万能選手です。同じ24 GBですが格段に速く、推論に加えて画像生成や軽いファインチューニングでも強い性能を発揮し、保証も付きます。RTX 5090は、メモリチップ不足が続く中でおよそ3,000から4,000ドルで、3者の中で唯一32 GBを持ち最も高い帯域幅を備えるため、長いコンテキストでのQ4の32Bモデルや、混合エキスパートモデルの単一カードの選択肢になります。なお、32 GBでもQ4の70Bはきれいには収まりません。
実世界の生成速度がトレードオフを際立たせます。8Bモデルは4090 1枚で毎秒100トークンを超えます。70BモデルのQ4_K_Mは24 GBのカード1枚には読み込めません。デュアル3090では毎秒約16トークン、デュアル4090では約19トークンで動きます。これらは使える、会話的な速度で、デュアル構成は負荷時に900ワット近くを消費します。
Apple Silicon:静かな70Bの主力
Appleのユニファイドメモリアーキテクチャは、70Bモデルへの最も簡単な1台完結の道です。CPUとGPUが1つのメモリプールを共有するため、128 GBのユニファイドメモリを持つMacは、本来なら2枚のNVLink GPUやデータセンターカードが必要なモデルを読み込めます。M4 Maxはおよそ546 GB/sの帯域幅を提供し最大128 GBに対応し、M3 Ultraは約800 GB/sで192 GBまで対応します。M4 Ultraが存在しないため、これがAIワーク向けのApple真の最上位パーツです。
実際には、M4 MaxはLlama 3.3 70BをQ4_K_Mで、バックエンドとコンテキスト次第で毎秒15から28トークンあたりの範囲で動かします。デフォルトのllama.cppバックエンドではなく、AppleのMLXフレームワークを使ってください。MLXはApple Siliconで一貫して30から50パーセント速いです。確かな推奨が一つあります。本格的な70Bの作業には64 GBではなく128 GBを選んでください。70BのQ4モデルは技術的には64 GBに収まりますが、macOSのメモリ圧迫が急増しシステムがSSDへスワップし、速度が落ちドライブに負担がかかります。128 GB構成なら、ブラウザ、エディタ、そしてモデルを同時に動かす余裕が残ります。
NVIDIAに対するトレードオフは、GPUのVRAMに収まるモデルでの速度です。そこでは4090がM4 Maxのおよそ2倍の帯域幅を持ちます。Appleは静かで省電力な1台に収まるものに勝り、NVIDIAはカードに収まるモデルの生のスループットに勝ります。
CPUのみとハイブリッドオフロード:予算の道
GPUがまったくなくてもローカルLLMは動かせます。デュアルチャネルDDR5を備えた現代のCPUでは、3Bから4BのモデルがQ4で毎秒約8から25トークンで動き、実際のインタラクティブな利用に十分な速さです。ここで際立つのがPhi-4 Mini(3.8B)です。フットプリントは約2.3 GB、現代のCPUで毎秒約12トークン、そして一般知識でLlama 3.1 8Bに匹敵するベンチマークスコアです。7Bから8BのモデルはCPUで毎秒約3から8トークンに落ち、バッチ処理には十分ですがチャットには遅いです。8Bを超えると、CPUのみは実用的でなくなります。
CPUの2つの細部が効いてきます。メモリ速度が重要です。DDR5-4800からDDR5-6000へ上げると、7Bから8Bの生成速度が純粋に帯域幅だけで20パーセント以上向上することが示されています。そしてデュアルチャネルが重要です。2本のRAMは1本に対して実効的に帯域幅を倍にするので、両方のチャネルを埋めてください。CPU推論のためのシンプルなRAMの法則は、GGUFファイルサイズに約500 MBのオーバーヘッドを足したものが最低要件、というものです。
モデルがVRAMにわずかに大きすぎる場合、ハイブリッドオフロードは一部のレイヤーをGPUに置き、残りをシステムRAMへこぼします。これはフルGPUより遅いですがCPUのみより速く、そして重要なことに出力品質はまったく変わりません。同じ重みが同じ計算をするだけで、保存される場所が違うだけです。速度のコストはPCIe帯域幅に依存するので、ディスクリートGPUではオフロードしたレイヤーごとに実際のペナルティを見込んでください。これは現実的な応急策であり、モデルをVRAMに収めることの代替ではありません。
実測:8 GBのカードで動かした4Bモデル
経験則は限界ぎりぎりのところで外れます。そこで、自社のテスト機で1つのモデルを最初から最後まで測定しました。Intel Core i7-7700、RAM 32 GB、NVIDIA GeForce GTX 1080(8 GB)、llama.cpp の llama-server(CUDA 12 ビルド、Flash Attention 有効)、2026年11月9日。モデルは Q4_K_M の40億パラメータのハイブリッドモデルで、ファイルは3.3 GBです。言語部分の重みはカード上で2,514 MiBを占め、497 MiBのトークン埋め込みテーブルは llama.cpp の既定どおりシステムRAMに残りました。
すべての層をカードに載せ、2つの会話で共有する16,384トークンのキャッシュを確保すると、カードにはさらにKVキャッシュ512 MiB、再帰状態100.5 MiB、計算バッファ72 MiB、そしてビジョンエンコーダ用の作業領域223 MiBが載りました。プロンプトの読み込みは毎秒750〜892トークン、生成は毎秒24.9〜37.4トークンでした。
数分後、ほかのモデルとカードを共有しながら、同じモデルを会話ごとに12,288トークンのウィンドウで再起動しました。KVキャッシュは768 MiBに増え、33層のうち3層が収まらずプロセッサで実行されました。このときプロンプトは毎秒110トークン、生成は毎秒5.47トークンでした。層の9%を移しただけで生成速度の78〜85%が失われたのです。部分オフロードはパイプラインであり、最も遅い段、つまり4つのCPUスレッドがシステムRAMから重みを読む段が、すべてのトークンのペースを決めます。実践的なルール:モデルがぎりぎりでしか収まらないときは、層をはみ出させる前に、コンテキストウィンドウを縮めるか、ひとつ小さい量子化を選んでください。
コスト帯:ワークロードに合う最小の構成を選ぶ
想像できる最大のモデルではなく、実際に必要なモデルにハードウェアを合わせましょう。エントリー帯、およそ0から400ドル:すでに持っているノートPCやデスクトップで、3Bから8BのモデルをCPUまたは8 GBのGPUで動かします。これはプライベートなドラフト作成、要約、分類、簡単なコーディング支援をカバーし、ローカルAIがそもそもあなたのワークフローに合うかを確認するのに十分です。エンスージアスト帯、およそ700から2,200ドル:中古のRTX 3090 1枚、または24 GBの新品RTX 4090で、日々のコーディング、自分のドキュメントへのRAG、エージェント的スクリプトのために13Bから34Bのモデルを快適に動かします。
プロシューマー帯、およそ2,000から5,000ドル:24 GBのGPU2枚(プールで48 GB)または128 GBのM4 Max Mac、これが会話速度での70Bクラスのモデルの入口です。これは、多くのタスクでローカルモデルがホスト型APIと本当に競える帯です。それを超える405Bクラスのフロンティアは、ほぼ全員にとって実質的にクラウド専用であり、ほぼすべての実用ケースで、よく選ばれた70Bモデルは405Bモデルに匹敵するか上回りつつ、運用コストはそのほんの一部です。
このサイジングの作業こそ、PineidoのローカルAI構築の出発点です。あなたのプライバシーとパフォーマンスの要件を満たす最小の構成をスコープし、それに合うモデルと量子化を選び、実利用との接触に耐えるようスタックを立ち上げます。機微なデータについてローカル対ホスト型AIを天秤にかけているなら、私たちのローカルAI構築とpocket AIのスプリントが、この計算を30日で動くシステムに変えます。決定がより広いインフラのロードマップに関わる場合は、フラクショナルCTOの関与も利用できます。
毎週、オペレーションのヒントを受け取る
サービス業の経営者・運営者と一緒に、オペレーション、自動化、成長に関する実践的なヒントを毎週1つ受け取りましょう。
スパムは送りません。いつでも配信停止できます。
登録が完了しました。次号を受信トレイでお待ちください。
送信できませんでした。もう一度お試しいただくか、[email protected] までご連絡ください。
よくある質問
ローカルLLMを動かすのにどれだけのVRAMが必要ですか?
一般的なQ4_K_M量子化では、10億パラメータあたりおよそ0.5から0.7 GB、それにコンテキスト用の余裕を見込んでください。つまり7Bから8Bのモデルで約6から8 GB、13Bで9から12 GB、30Bで18から24 GB、70Bでおよそ40から48 GBです。長いコンテキストはその上にKVキャッシュを加えるので、32Kトークン以上を使うつもりならサイズを上げてください。
GPUなしでローカルLLMを動かせますか?
はい、より小さなモデルなら可能です。デュアルチャネルDDR5を備えた現代のCPUは、3Bから4Bのモデルを毎秒約8から25トークンで動かし、チャットに使えます。7Bから8Bのモデルは毎秒約3から8トークンに落ち、バッチ作業には十分ですがインタラクティブな利用には遅いです。8Bを超えると、CPUのみの推論は非現実的になり、GPUかApple Silicon Macが欲しくなります。
70Bモデルをローカルで動かすにはどんなハードウェアが必要ですか?
70BモデルはQ4_K_Mでおよそ40から48 GBのメモリが必要なので、24 GBのGPU1枚には収まりません。実用的な3つの道は、プールした24 GBのGPU2枚(48 GBにするためのデュアルRTX 3090または4090)、48 GBのワークステーションカード1枚、または128 GBのユニファイドメモリを持つApple Silicon Macです。構成次第で毎秒およそ15から28トークンを見込んでください。
2026年にローカルAI向けにRTX 3090を買う価値はまだありますか?
推論には、あります。中古でおよそ600から850ドルで、どのコンシューマーカードより最良の1ドルあたりVRAMを提供し、24 GBと唯一のコンシューマー向けNVLinkサポートを備えるため、70Bモデル向けのデュアルカード48 GB構成をどの代替よりも安くします。トレードオフは、保証なし、マイニング履歴の可能性、そして4090よりわずかに遅い速度です。保証、画像生成、または軽いファインチューニングも欲しいなら、代わりに4090を買ってください。
なぜメモリ帯域幅はCPUやGPUのクロック速度より重要なのですか?
各トークンの生成にはモデルのアクティブな重みをプロセッサに流す必要があるため、トークン速度は生の演算能力ではなく、メモリをどれだけ速く読めるかで制限されます。だからこそ約1,000 GB/sのRTX 4090は同じモデルで瞬時に感じられ、70から90 GB/sのシステムRAMは遅く感じられ、そしてより速いDDR5だけでCPU推論速度を20パーセント以上引き上げられるのです。
本当に405Bモデルが必要ですか、それとも70Bで十分ですか?
ほぼすべての実用ケースで、よく選ばれた70Bモデルは十分であり、ベンチマークで405Bモデルに匹敵するか上回ることがよくあり、運用コストはそのほんの一部です。405Bモデルは4ビットでもおよそ240 GBが必要で、これはデータセンターのハードウェアなので、実質的にクラウド専用です。最大のモデルサイズを本当に必要とする特定の研究のために取っておいてください。