Llama 3.1 405B を自社ハードウェアにセットアップ、 エージェントスタックを14日間でプロダクション品質に

Llama 3.1 405B は誰もが出荷した最大のオープンウェイトデンスモデルです。MMLU、HumanEval、GSM8K で GPT-4 領域に達し、128K コンテキストウィンドウと寛容なコミュニティライセンスを持っています。

  • 14日間プロダクション移行
  • コーディング + リサーチエージェントスタック含む
  • 405B dense パラメータ数
  • 128K tokens コンテキストウィンドウ
  • 14 d プロダクション移行

Llama 3.1 405B の概要

モデルとハードウェアを選ぶ際に重要なスペックです。

パラメータ数

405B(デンス)

コンテキストウィンドウ

128K tokens

アーキテクチャ

GQA 付き Transformer デコーダー

トークナイザー語彙

128K(tiktoken ベース)

トレーニングトークン数

15.6 兆

ライセンス

Llama 3.1 Community License(商用利用可、7 億 MAU 超に注意事項あり)

FP16 VRAM

~810GB(モデルのみ)

FP8 VRAM

~486GB(8x H100 80GB に収まる)

INT4 VRAM

~243GB(4x H100 または 8x A100 40GB に収まる)

リリース日

2024-07-23

Llama 3.1 405B をプロダクションで動かすハードウェア

3つの階層、実際の SKU、実際のスループット数値。

エントリー: NVLink の 8x A100 80GB で AWQ または GPTQ INT4 量子化

スループット: シングルストリーム毎秒 8〜15 トークン、バッチ毎秒 30〜50 トークン。最適用途: 研究所、評価業務、レイテンシーが許容できる社内 R&D。

ミドル: NVLink + NVSwitch の 8x H100 SXM 80GB で FP8 量子化

スループット: シングルストリーム毎秒 30〜60 トークン、バッチ毎秒 200+ トークン。最適用途: FP8 プロダクション推論、実際のユーザーへの提供に推奨される標準デプロイ。

エンタープライズ: 単一ノード BF16 の 8x H200 SXM 141GB、または FP4 の DGX B200 ラック

スループット: シングルストリーム毎秒 60〜120 トークン、バッチ毎秒 400+ トークン。最適用途: 最高忠実度推論、規制対応ワークロード、スケールでのマルチテナント提供。

このモデルの量子化選択

GGUF、AWQ、FP8、INT4。

推奨量子化

H100 または H200 での FP8。ネイティブ FP8 サポートにより、わずかな品質低下で約 2 倍のメモリ削減が実現し、405B の標準プロダクション形式です。

トレードオフ

BF16 は完全な品質を保ちますが、単一ノードに収めるには H200 が必要です。FP8 は本番のデフォルトで、ベンチマークの低下はごくわずかです。Meta 独自の FP8 レシピは self-attention 層と最初および最後の transformer ブロックを量子化せず、これと NVIDIA の TensorRT row-wise レシピはいずれも BF16 の MMLU の約 99.9 パーセントを回復します。NVIDIA の派生版は H200 で最大 1.44 倍のスループットを上乗せします。INT4(AWQ または GPTQ)は VRAM を約 243GB まで削減しますが、難しい推論で 2 から 5 ポイント落ちます。INT4 を下回るとモデルは急速に劣化します。

BF16

ファイルサイズ: 未定義。

FP8

ファイルサイズ: 未定義。

INT4 AWQ

ファイルサイズ: 未定義。

FP4

ファイルサイズ: 未定義。

Llama 3.1 405B に接続するコーディングエージェント

Llama 3.1 405B はモデルの問題である前にハードウェアクラスの問題です。

Aider

差分編集形式と全体編集形式で動作します。コミュニティ実行での 405B の Aider Polyglot スコアは約 49〜52%。レイテンシーによりライブペアプログラミングには苦痛。プルリクエストスタブのキューに対する夜間バッチジョブとして最も適したデプロイ。

OpenHands

OpenAI 互換の vLLM エンドポイントが接続できます。オープンウェイト 405B での SWE-bench Lite は約 25〜30%、DeepSeek Coder V2 と Qwen Coder を下回る。問題 1 件あたりのトークンコストが高い。GPU の費用をすでに支払っている場合のみ使用。

Cline

OpenRouter または AWS Bedrock エンドポイント経由で機能します。Cline はタスクあたり平均 30 以上のツール呼び出しを発行します。405B のレイテンシーでは、タスクあたり 4〜7 分の待ち時間。他の作業をしながらバックグラウンドプロセスとして実行する場合のみ実用的。

Continue.dev

チャットと編集に対応します。自動補完モデルとして 405B は使用しないでください。最初のトークンレイテンシー 200〜800ms はフローを損ないます。Llama 3.1 8B を自動補完に、405B をチャットに使用するペアが標準的なパターン。

Cursor(BYOK)

Cursor は OpenAI 互換のカスタムエンドポイントを受け付けます。Bedrock または Together 経由の 405B が動作します。多くのチームが、同じタスクコストで Cursor のファーストパーティ Composer と Sonnet 4.5 がイテレーションスピードで勝ることを発見しています。

SWE-Agent

Princeton 製。SWE-bench スタイルの自律バグ修正向けに設計。405B はループで機能し、Verified での DeepSeek Coder V2 より 8〜12 ポイント低い。コーディング以外のサブタスクにより広い推論が必要な場合にのみ 405B を使用。

Roo Code

マルチモードオーケストレーションを持つ Cline フォーク。405B は Architect モードの推論に対応しますが、Code モードのイテレーションスピードには不向き。Architect=405B と Code=Llama 3.3 70B または DeepSeek Coder V2 を組み合わせてください。

コーディングエージェントのユースケース

このモデル + エージェントスタックが実際の成果を出す場面。

Llama 3.1 405B に展開するリサーチエージェント

405B が真価を発揮する場面。

GPT Researcher

OpenAI 互換。vLLM 405B エンドポイントで動作。マルチソース合成品質は GPT-4 クラスと同等で本当に強力。典型的な 50K トークンのコンテキストでリサーチレポートあたり $0.50〜$2.00 を計画。

STORM(Stanford)

ソースから Wikipedia スタイルの記事を生成。405B はマルチパースペクティブの質問生成フェーズをうまく処理。アウトライン主導のアプローチが 405B の推論の深さを活かします。

AutoGen GroupChat

405B がシンセシスリードで 70B がワーカーのマルチエージェントリサーチクルー。会話が制限なしに進まないよう、トークン上限が必須。

LangGraph 深いリサーチ

リファレンス深いリサーチテンプレートは vLLM 経由の 405B でクリーンに動作します。グラフ構造は 405B の低速デコードとうまく組み合わさり、ノード間のレイテンシーを感じさせません。

CrewAI

リサーチャー・ライター・クリティッカーのクルーパターン。405B をクリティッカーとして使用することで、小型モデルが見逃す推論エラーを捉えられます。vLLM エンドポイントは LiteLLM プロキシで処理。

Open Deep Research(HuggingFace)

smolagents ベースの OpenAI Deep Research クローン。405B がプランナーとして機能。50〜200 のソース URL に対してクライアントの市場インテリジェンスレポートに使用実績あり。

リサーチエージェントのユースケース

このモデル + リサーチエージェントスタックがチームに実際に役立つレポートを提供する場面。

立ち上げ後にクライアントが言ったこと

決定がなされたときに部屋にいた人々からのフィードバック。

I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
Karen, Property ManagerDenver
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
Dana, Office ManagerPhoenix
The Firebase-to-Supabase migration sounded terrifying. They moved 200k users without a single support ticket. We were live in 19 days.
Aisha, Engineering LeadToronto

プロダクションエージェントワークフロー向けフレームワーク

ワークフローの形状でフレームワークを選択してください。

  1. LangGraph

  2. CrewAI

  3. AutoGen

  4. DSPy

  5. Pydantic AI

  6. LlamaIndex

Llama 3.1 405B を選ぶ組織

このモデルが正解となる3つのバイヤープロファイル。

主権または規制対応エンタープライズ

タスク: 金融、防衛、医療向けのオンプレミス GPT-4 クラスアシスタント。成果: データが境界を出ず、知識ベンチマークでフロンティアのクローズドモデルと一貫して同等なオープンモデルは 405B のみ

合成データを構築する研究所

タスク: 小型モデル向けの高品質トレーニングコーパスと評判ラベルを生成。成果: 405B をティーチャーとして使用すると、70B 蒸留より測定可能な優れた合成データが生成され、トレーニング時間の支出を正当化

マルチテナント API オペレーター

タスク: 1 つのライセンスで多数の顧客に Llama 3.1 エンドポイントを提供。成果: 8x H100 の設備投資を数千の座席に分散し、スケールで GPT-4 API より良いトークン単位の経済性を実現

Llama 3.1 405B vs 最も近い競合

このモデルが勝つ場面、負ける場面。

vs Llama 3.3 70B

70B は一般的なベンチマークで品質差の大部分を埋め、指示追従では明確に上回り(IFEval 92.1 対 88.6)、数学でも同様です(MATH 77.0 対 73.9)。単一の 8x A100 または 4x H100 ノードで動作し、トークンあたりのコストは約 4.5 倍安くなります。MMLU-Pro(73.4 対 68.9)、広義の MMLU、または HumanEval における 405B の優位が特に必要でない限り、70B を選んでください。

vs DeepSeek V3 671B

DeepSeek V3 は 37B 有効パラメータの 671B MoE。より高いヘッドラインベンチマーク、MoE によって同等の提供コスト、しかしより複雑なデプロイと DeepSeek 独自条件のライセンス。405B はデンスなのでオペレーション上よりシンプル。

vs GPT-4 / Claude API

クローズド API は設備投資ゼロで 100 万トークンあたり $2〜$15 のコスト。405B は持続的な 1 日 2 億〜5 億トークン以上でより安くなり、さらにオンプレミスコントロールが得られる。それ以下の量では API が優位。

Pineido による Llama 3.1 405B エージェントセットアップ方法

3週間スプリント。

  1. 1日目

    ハードウェア監査。NVLink 付き 8x H100 80GB SXM を確認、FP8 量子化計画に署名、vLLM デプロイトポロジーを設計(TP=8、単一ノード)。

  2. 4日目

    連続バッチングで vLLM を起動し、リバースプロキシの背後に OpenAI 互換エンドポイントを配置し、KV キャッシュを平均 32K コンテキスト向けにチューニングし、ベースライン tok/s ベンチマークを記録。

  3. 8日目

    ハイブリッドルーティング用に 405B の隣に Llama 3.3 70B レプリカを設置。LiteLLM ルーターのルール: 推論重視と合成タスクには 405B、ツール呼び出しと短コンテキストのイテレーションには 70B。

  4. 12日目

    LangGraph + 採用エージェント(コードには Aider、リサーチには GPT Researcher)を LiteLLM ルーターに接続。LangSmith トレーシングを稼働し、ノードごとのトークン予算を適用。

  5. 16日目

    凍結されたクライアントタスクスイートでの評価ハーネスを実行。通過率、レイテンシー P50 と P99、タスクあたりのコストをプロダクション SLA として確定。

  6. 21日目

    プロダクション移行。SSO、監査ログ、保持ポリシー、前面に設置したリダクションレイヤー。製品ドキュメントに「Built with Llama」帰属を記載。

Llama 3.1 405B の14日間デプロイ方法

固定料金。

1日目

ワークロードの経済性を検証。現在のトークン量を約 $300K〜$500K の 8x H100 設備投資と比較し、コミットする前に 405B が評価セットで Llama 3.3 70B を上回ることを確認。

2〜5日目

8 GPU ノードを調達またはレンタル。Neocloud(Lambda、Crusoe、RunPod)から 8x H100 を $20〜30/時でリースするか、12〜16 週のリードタイムで DGX H200 を注文。

第2週

FP8 で vLLM または TensorRT-LLM を使用してデプロイ。8 GPU でテンソル並列を設定し、連続バッチングを有効にし、実際のプロンプト分布でスループットを検証。

第3〜4週

オブザーバビリティとフォールバックを構築。tok/s、キュー深度、KV キャッシュ使用率の Prometheus メトリクスを接続。405B を必要としない 90% のトラフィック向けフォールバックとして Llama 3.3 70B を設定。

最初の打ち合わせで聞きたいこと

Llama 3.3 70B より 405B を選ぶべきですか?

ほぼ選びません。405B は広範な知識で本物だが狭い優位を保ち、MMLU-Pro は 73.4 対 68.9、HumanEval は 89.0 対 88.4 です。一方で 70B は指示追従(IFEval 92.1 対 88.6)と数学(MATH 77.0 対 73.9)で実際に勝ち、GPQA Diamond では約 50.5 で同点です。その知識上の優位が 4.5 倍のコスト増に見合うときだけ 405B を選んでください。ほとんどの本番作業では Llama 3.3 70B が正解です。

405B を動かすための最低ハードウェアは何ですか?

現実的には、INT4 量子化の 8x A100 80GB です。プールされた 640GB の VRAM が得られ、243GB の INT4 モデルが KV cache の余地を残して収まり、毎秒 8 から 15 トークンで動作します。本格的な本番サービングの下限は FP8 の 8x H100 80GB(約 486GB)で、品質を保つネイティブ FP8 tensor core を備えた唯一のティアです。それより小さいものは研究用のおもちゃであり、本番ではありません。

クラウド GPU か自社購入か?

1日あたりの継続推論が 8 時間未満ならレンタルです。8x H100 ノードは Lambda や Crusoe などの neocloud で GPU 時間あたり約 $2 から $4、AWS p5.48xlarge は 2025 年の値下げ後、オンデマンドで 1 時間あたり約 $33 から $55、1 年リザーブなら GPU 時間あたり $2 を十分に下回ります。1日 16 時間を超えるなら、DGX H200(約 $350K から $500K)の設備投資はオンデマンドクラウドに対して 12 から 18 か月で回収できますが、Hopper の供給は 2025 年末に再び逼迫したため、自社マシンを前提に計画する前に納期を確認してください。ハイブリッド(リザーブドクラウド + バースト)は変動負荷で折衷します。

FP8 量子化は品質を損ないますか?

ごくわずかです。Meta と NVIDIA はいずれも、MMLU の回復が約 99.9 パーセント、HumanEval pass@1 が BF16 と同等以上を維持し、低下は 0.5 ポイントを大きく下回るという FP8 ベンチマークを公開しています。Meta は self-attention 層と最初および最後の transformer ブロックの量子化を省くことで品質を守ります。405B にとって FP8 は妥協ではなく本番のデフォルトです。

本当に 128K コンテキストを使えますか?

はい、ただし注意点があります。リコールは 64K〜96K まで強力ですが、その後は長尾で劣化します。KV キャッシュの追加 VRAM(完全な 128K で約 60GB)を確保し、リトリーバル重視の作業では生の長コンテキストよりも RAG を検討してください。

セルフホスト Llama 3.1 405B に対して Aider セッションを実行するのに実際いくらかかりますか?

まずクラスターコスト: 8x H100 80GB の AWS p5.48xlarge はオンデマンドで 1 時間約 $98、または 1 年予約で約 $50。毎秒 7〜8 トークンのリクエストで、典型的な Aider セッションは 30K〜80K トークンを消費します。それはデコード 60〜180 秒とプリフィル 8〜15 秒。セッションあたりの計算コストはオンデマンド価格で $1.50〜$4.50、予約で $0.80〜$2.40 に着地します。この計算は Bedrock での混合 $2.40/百万に対して月約 5000 万トークン以上でのみ成立します。

405B dense パラメータ数

30分のスコーピングコールをご予約ください。Llama 3.1 405B とエージェントスタックが最適かどうか、ご契約前にお伝えします。

固定料金。

1 日目に正確なモデル、ハードウェア、エージェントスタック、コスト計算、コンプライアンス姿勢をご確認いただけます。

あなたが手にするもの

  1. 0日目(今週): 30分スコーピングコール。ハードウェアショートリスト、モデル選択、エージェントスタック提案、コスト試算を金曜日までにお届け
  2. 1日目: ワークロードの経済性を検証。現在のトークン量を約 $300K〜$500K の 8x H100 設備投資と比較し、コミットする前に 405B が評価セットで Llama 3.3 70B を上回ることを確認

著者創業者・Imaginator

Pineido, 拠点: Strumica, North Macedonia, は、国内外の企業向けにウェブサイト、オンラインショップ、ウェブ・モバイルアプリ、業務の自動化、AI を開発するソフトウェア会社です。30 日間のスプリントを固定価格で納品し、コードはお客様のものになります。

公開日 更新日