エントリー: NVLink の 8x A100 80GB で AWQ または GPTQ INT4 量子化
スループット: シングルストリーム毎秒 8〜15 トークン、バッチ毎秒 30〜50 トークン。最適用途: 研究所、評価業務、レイテンシーが許容できる社内 R&D。
モデルとハードウェアを選ぶ際に重要なスペックです。
405B(デンス)
128K tokens
GQA 付き Transformer デコーダー
128K(tiktoken ベース)
15.6 兆
Llama 3.1 Community License(商用利用可、7 億 MAU 超に注意事項あり)
~810GB(モデルのみ)
~486GB(8x H100 80GB に収まる)
~243GB(4x H100 または 8x A100 40GB に収まる)
2024-07-23
3つの階層、実際の SKU、実際のスループット数値。
スループット: シングルストリーム毎秒 8〜15 トークン、バッチ毎秒 30〜50 トークン。最適用途: 研究所、評価業務、レイテンシーが許容できる社内 R&D。
スループット: シングルストリーム毎秒 30〜60 トークン、バッチ毎秒 200+ トークン。最適用途: FP8 プロダクション推論、実際のユーザーへの提供に推奨される標準デプロイ。
スループット: シングルストリーム毎秒 60〜120 トークン、バッチ毎秒 400+ トークン。最適用途: 最高忠実度推論、規制対応ワークロード、スケールでのマルチテナント提供。
GGUF、AWQ、FP8、INT4。
H100 または H200 での FP8。ネイティブ FP8 サポートにより、わずかな品質低下で約 2 倍のメモリ削減が実現し、405B の標準プロダクション形式です。
BF16 は完全な品質を保ちますが、単一ノードに収めるには H200 が必要です。FP8 は本番のデフォルトで、ベンチマークの低下はごくわずかです。Meta 独自の FP8 レシピは self-attention 層と最初および最後の transformer ブロックを量子化せず、これと NVIDIA の TensorRT row-wise レシピはいずれも BF16 の MMLU の約 99.9 パーセントを回復します。NVIDIA の派生版は H200 で最大 1.44 倍のスループットを上乗せします。INT4(AWQ または GPTQ)は VRAM を約 243GB まで削減しますが、難しい推論で 2 から 5 ポイント落ちます。INT4 を下回るとモデルは急速に劣化します。
ファイルサイズ: 未定義。
ファイルサイズ: 未定義。
ファイルサイズ: 未定義。
ファイルサイズ: 未定義。
Llama 3.1 405B はモデルの問題である前にハードウェアクラスの問題です。
差分編集形式と全体編集形式で動作します。コミュニティ実行での 405B の Aider Polyglot スコアは約 49〜52%。レイテンシーによりライブペアプログラミングには苦痛。プルリクエストスタブのキューに対する夜間バッチジョブとして最も適したデプロイ。
OpenAI 互換の vLLM エンドポイントが接続できます。オープンウェイト 405B での SWE-bench Lite は約 25〜30%、DeepSeek Coder V2 と Qwen Coder を下回る。問題 1 件あたりのトークンコストが高い。GPU の費用をすでに支払っている場合のみ使用。
OpenRouter または AWS Bedrock エンドポイント経由で機能します。Cline はタスクあたり平均 30 以上のツール呼び出しを発行します。405B のレイテンシーでは、タスクあたり 4〜7 分の待ち時間。他の作業をしながらバックグラウンドプロセスとして実行する場合のみ実用的。
チャットと編集に対応します。自動補完モデルとして 405B は使用しないでください。最初のトークンレイテンシー 200〜800ms はフローを損ないます。Llama 3.1 8B を自動補完に、405B をチャットに使用するペアが標準的なパターン。
Cursor は OpenAI 互換のカスタムエンドポイントを受け付けます。Bedrock または Together 経由の 405B が動作します。多くのチームが、同じタスクコストで Cursor のファーストパーティ Composer と Sonnet 4.5 がイテレーションスピードで勝ることを発見しています。
Princeton 製。SWE-bench スタイルの自律バグ修正向けに設計。405B はループで機能し、Verified での DeepSeek Coder V2 より 8〜12 ポイント低い。コーディング以外のサブタスクにより広い推論が必要な場合にのみ 405B を使用。
マルチモードオーケストレーションを持つ Cline フォーク。405B は Architect モードの推論に対応しますが、Code モードのイテレーションスピードには不向き。Architect=405B と Code=Llama 3.3 70B または DeepSeek Coder V2 を組み合わせてください。
このモデル + エージェントスタックが実際の成果を出す場面。
405B が真価を発揮する場面。
OpenAI 互換。vLLM 405B エンドポイントで動作。マルチソース合成品質は GPT-4 クラスと同等で本当に強力。典型的な 50K トークンのコンテキストでリサーチレポートあたり $0.50〜$2.00 を計画。
ソースから Wikipedia スタイルの記事を生成。405B はマルチパースペクティブの質問生成フェーズをうまく処理。アウトライン主導のアプローチが 405B の推論の深さを活かします。
405B がシンセシスリードで 70B がワーカーのマルチエージェントリサーチクルー。会話が制限なしに進まないよう、トークン上限が必須。
リファレンス深いリサーチテンプレートは vLLM 経由の 405B でクリーンに動作します。グラフ構造は 405B の低速デコードとうまく組み合わさり、ノード間のレイテンシーを感じさせません。
リサーチャー・ライター・クリティッカーのクルーパターン。405B をクリティッカーとして使用することで、小型モデルが見逃す推論エラーを捉えられます。vLLM エンドポイントは LiteLLM プロキシで処理。
smolagents ベースの OpenAI Deep Research クローン。405B がプランナーとして機能。50〜200 のソース URL に対してクライアントの市場インテリジェンスレポートに使用実績あり。
このモデル + リサーチエージェントスタックがチームに実際に役立つレポートを提供する場面。
決定がなされたときに部屋にいた人々からのフィードバック。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
ワークフローの形状でフレームワークを選択してください。
このモデルが正解となる3つのバイヤープロファイル。
タスク: 金融、防衛、医療向けのオンプレミス GPT-4 クラスアシスタント。成果: データが境界を出ず、知識ベンチマークでフロンティアのクローズドモデルと一貫して同等なオープンモデルは 405B のみ
タスク: 小型モデル向けの高品質トレーニングコーパスと評判ラベルを生成。成果: 405B をティーチャーとして使用すると、70B 蒸留より測定可能な優れた合成データが生成され、トレーニング時間の支出を正当化
タスク: 1 つのライセンスで多数の顧客に Llama 3.1 エンドポイントを提供。成果: 8x H100 の設備投資を数千の座席に分散し、スケールで GPT-4 API より良いトークン単位の経済性を実現
このモデルが勝つ場面、負ける場面。
70B は一般的なベンチマークで品質差の大部分を埋め、指示追従では明確に上回り(IFEval 92.1 対 88.6)、数学でも同様です(MATH 77.0 対 73.9)。単一の 8x A100 または 4x H100 ノードで動作し、トークンあたりのコストは約 4.5 倍安くなります。MMLU-Pro(73.4 対 68.9)、広義の MMLU、または HumanEval における 405B の優位が特に必要でない限り、70B を選んでください。
DeepSeek V3 は 37B 有効パラメータの 671B MoE。より高いヘッドラインベンチマーク、MoE によって同等の提供コスト、しかしより複雑なデプロイと DeepSeek 独自条件のライセンス。405B はデンスなのでオペレーション上よりシンプル。
クローズド API は設備投資ゼロで 100 万トークンあたり $2〜$15 のコスト。405B は持続的な 1 日 2 億〜5 億トークン以上でより安くなり、さらにオンプレミスコントロールが得られる。それ以下の量では API が優位。
3週間スプリント。
ハードウェア監査。NVLink 付き 8x H100 80GB SXM を確認、FP8 量子化計画に署名、vLLM デプロイトポロジーを設計(TP=8、単一ノード)。
連続バッチングで vLLM を起動し、リバースプロキシの背後に OpenAI 互換エンドポイントを配置し、KV キャッシュを平均 32K コンテキスト向けにチューニングし、ベースライン tok/s ベンチマークを記録。
ハイブリッドルーティング用に 405B の隣に Llama 3.3 70B レプリカを設置。LiteLLM ルーターのルール: 推論重視と合成タスクには 405B、ツール呼び出しと短コンテキストのイテレーションには 70B。
LangGraph + 採用エージェント(コードには Aider、リサーチには GPT Researcher)を LiteLLM ルーターに接続。LangSmith トレーシングを稼働し、ノードごとのトークン予算を適用。
凍結されたクライアントタスクスイートでの評価ハーネスを実行。通過率、レイテンシー P50 と P99、タスクあたりのコストをプロダクション SLA として確定。
プロダクション移行。SSO、監査ログ、保持ポリシー、前面に設置したリダクションレイヤー。製品ドキュメントに「Built with Llama」帰属を記載。
固定料金。
ワークロードの経済性を検証。現在のトークン量を約 $300K〜$500K の 8x H100 設備投資と比較し、コミットする前に 405B が評価セットで Llama 3.3 70B を上回ることを確認。
8 GPU ノードを調達またはレンタル。Neocloud(Lambda、Crusoe、RunPod)から 8x H100 を $20〜30/時でリースするか、12〜16 週のリードタイムで DGX H200 を注文。
FP8 で vLLM または TensorRT-LLM を使用してデプロイ。8 GPU でテンソル並列を設定し、連続バッチングを有効にし、実際のプロンプト分布でスループットを検証。
オブザーバビリティとフォールバックを構築。tok/s、キュー深度、KV キャッシュ使用率の Prometheus メトリクスを接続。405B を必要としない 90% のトラフィック向けフォールバックとして Llama 3.3 70B を設定。
ほぼ選びません。405B は広範な知識で本物だが狭い優位を保ち、MMLU-Pro は 73.4 対 68.9、HumanEval は 89.0 対 88.4 です。一方で 70B は指示追従(IFEval 92.1 対 88.6)と数学(MATH 77.0 対 73.9)で実際に勝ち、GPQA Diamond では約 50.5 で同点です。その知識上の優位が 4.5 倍のコスト増に見合うときだけ 405B を選んでください。ほとんどの本番作業では Llama 3.3 70B が正解です。
現実的には、INT4 量子化の 8x A100 80GB です。プールされた 640GB の VRAM が得られ、243GB の INT4 モデルが KV cache の余地を残して収まり、毎秒 8 から 15 トークンで動作します。本格的な本番サービングの下限は FP8 の 8x H100 80GB(約 486GB)で、品質を保つネイティブ FP8 tensor core を備えた唯一のティアです。それより小さいものは研究用のおもちゃであり、本番ではありません。
1日あたりの継続推論が 8 時間未満ならレンタルです。8x H100 ノードは Lambda や Crusoe などの neocloud で GPU 時間あたり約 $2 から $4、AWS p5.48xlarge は 2025 年の値下げ後、オンデマンドで 1 時間あたり約 $33 から $55、1 年リザーブなら GPU 時間あたり $2 を十分に下回ります。1日 16 時間を超えるなら、DGX H200(約 $350K から $500K)の設備投資はオンデマンドクラウドに対して 12 から 18 か月で回収できますが、Hopper の供給は 2025 年末に再び逼迫したため、自社マシンを前提に計画する前に納期を確認してください。ハイブリッド(リザーブドクラウド + バースト)は変動負荷で折衷します。
ごくわずかです。Meta と NVIDIA はいずれも、MMLU の回復が約 99.9 パーセント、HumanEval pass@1 が BF16 と同等以上を維持し、低下は 0.5 ポイントを大きく下回るという FP8 ベンチマークを公開しています。Meta は self-attention 層と最初および最後の transformer ブロックの量子化を省くことで品質を守ります。405B にとって FP8 は妥協ではなく本番のデフォルトです。
はい、ただし注意点があります。リコールは 64K〜96K まで強力ですが、その後は長尾で劣化します。KV キャッシュの追加 VRAM(完全な 128K で約 60GB)を確保し、リトリーバル重視の作業では生の長コンテキストよりも RAG を検討してください。
まずクラスターコスト: 8x H100 80GB の AWS p5.48xlarge はオンデマンドで 1 時間約 $98、または 1 年予約で約 $50。毎秒 7〜8 トークンのリクエストで、典型的な Aider セッションは 30K〜80K トークンを消費します。それはデコード 60〜180 秒とプリフィル 8〜15 秒。セッションあたりの計算コストはオンデマンド価格で $1.50〜$4.50、予約で $0.80〜$2.40 に着地します。この計算は Bedrock での混合 $2.40/百万に対して月約 5000 万トークン以上でのみ成立します。
405B dense パラメータ数
固定料金。
1 日目に正確なモデル、ハードウェア、エージェントスタック、コスト計算、コンプライアンス姿勢をご確認いただけます。
著者Kostadin Stamboliev創業者・Imaginator
Pineido, 拠点: Strumica, North Macedonia, は、国内外の企業向けにウェブサイト、オンラインショップ、ウェブ・モバイルアプリ、業務の自動化、AI を開発するソフトウェア会社です。30 日間のスプリントを固定価格で納品し、コードはお客様のものになります。
公開日 更新日