LangGraph
チェックポイント・リプレイ・ヒューマンインザループを備えたプロダクションステートフルエージェントオーケストレーション。Pineido標準。
モデルとハードウェアを選定する際に重要なスペックです。
70B(dense)
128Kトークン
Llama 3.3 Community
2024年12月6日
2023年12月
英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語
使用可能48GB(モデル42GB+KVキャッシュ)
140GB
18〜25
60〜90(vLLMバッチ処理)
70〜100
決定がなされたときに部屋にいた人々からのフィードバック。
I used to spend every Sunday reconciling contractor invoices. Now they match automatically. I got my weekends back.
We were losing two or three same-day calls a week because nobody could check tech availability fast enough. That stopped on day one of the new system.
They managed to get our VPs to agree on a direction without it turning into a fight. That alone was worth it.
3段階、実際のSKU、実際のスループット数値。
スループット:18〜25トークン/秒。最適用途:8〜15人規模の事務所、単一ユーザー処理、起草・Q&A。
スループット:60〜100トークン/秒。最適用途:25〜50人規模の事務所、vLLM連続バッチ処理、RAGプロダクション。
スループット:300〜500トークン/秒。最適用途:100名超の同時ユーザー、マルチテナントデプロイ。
GGUF、AWQ、FP8、INT4。
MacおよびシングルユーザーにはQ4_K_M、GPUサービングにはAWQ INT4、HopperおよびBlackwellにはFP8
Q4_K_MはFP16と比較してMMLL-Proで2〜4%低下します。AWQはvLLMでFP16に近い品質を持ちながら約2倍のスループットを実現します。FP8はH100、H200、B200でネイティブ対応し、品質損失約1%で最もクリーンなメモリフットプリントです。
ファイルサイズ:42GB。
ファイルサイズ:40GB。
ファイルサイズ:70GB。
ファイルサイズ:140GB。
vLLMの--tool-call-parser llama3_jsonと--enable-auto-tool-choiceによるネイティブツールコール。
強く推奨。aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instructで実行。Aiderのdiff-editフォーマットは保守的であり、Llama 3.3 70Bはほとんどのリファクタリングで差分を正確に適用します。diff適用成功率は約85%(GPT-5クラスモデルの95%と比較)。Python、JavaScript、TypeScript、Goに最適。
OpenAI互換プロバイダーとして設定し、ベースURLをvLLMエンドポイントに、モデルIDを登録済みIDに設定します。PlanおよびActモードはどちらも動作します。Llama 3.3 70BはClineタスクで確認要求が多くなる場合があるため、自動承認の閾値を慎重に設定してください。ローカル専用パスにより、プロンプトはサードパーティプロセッサを通過しません(Cursorでは保証不可)。
config.yamlにprovider: openai、apiBaseをvLLM /v1に設定し、capabilities: [tool_use]を追加します。チャットと編集のロールは良好に動作します。Q4_K_MでのTabオートコンプリートは使用可能ですが、Continueのオートコンプリートモデルロールには小型の高速モデルとの組み合わせが適しています。最適な用途はマルチファイル編集とチャットです。
コンテナベースエージェント。LLM_BASE_URLをvLLMエンドポイント、LLM_MODELを登録済みIDに設定します。Llama 3.3 70Bは非推論モデルであり、エージェントの軌跡でRLトレーニングを受けたことがないため、デフォルトのOpenHandsスキャフォールド内で任意のbashやPythonを実行すると迷走します。独立したSWE-bench Liteの実測値は、ツールセットを少数のファイル操作に絞り明示的なスキーマを固定しない限り低い一桁台にとどまります。DeepSeek V3.2やQwen3-Coderにはその必要がありません。リポジトリQ&Aや限定タスクには適していますが、無制限の自律ループには不向きです。
Clineのフォーク。マルチモード(Code、Architect、Ask、Debug)対応。同じOpenAI互換設定。Roo CodeのdiffアプライパーサーはClineよりやや寛容で、Llama 3.3 70Bのマルチハンク編集に有効です。Architectモードはモデルが最も苦手な計画ステップをオフロードするため、最も有効な組み合わせです。
エンタープライズセルフホスト版CodyはcodyのJSONでOpenAI互換エンドポイントをサポートします。バイヤーがコード検索のためにセルフホスト版Sourcegraphをすでに運用している場合に有効です。Llama 3.3 70BはCodyのリポジトリ対応チャットに対応しています。ツールコールサポートはClineより限定的です。
BlockのオープンソースApache 2.0エージェント。OpenAI互換プロバイダーとして設定します。GooseのMCPネイティブアーキテクチャはLlama 3.3 70Bのブラウザ、ファイルシステム、シェルツールと良好に連携します。Claude Codeとのパフォーマンス差は現実のもの(Goose+Sonnetは約45%、Claude Code+Sonnetは約73%のSWE-bench)であるため、限定タスクに使用してください。
このモデルとエージェントスタックが実際の作業を実現する用途。
128Kコンテキストにより200〜300ページの合成を要約なしに処理可能。
OPENAI_BASE_URLをvLLMエンドポイントに設定し、OPENAI_API_KEYに任意の値、FAST_LLM_MODELおよびSMART_LLM_MODELを登録済みIDに設定します。通常の同時接続でソース5〜10件のレポートに4〜7分かかります。Web検索にはTavilyまたはSerpAPIキーが引き続き必要です。
セルフホストDocker。プロバイダーをGeneric OpenAIに設定し、ベースURLをvLLM、モデル名をIDに設定します。LanceDB内蔵のワークスペースベースRAG。@agentモードはWebサーチ、ドキュメント要約、SQLエージェントをサポートします。Pineido スプリントで技術者以外のバイヤーに最適なチャットUIです。
PineidoスプリントのデフォルトチャットUI。OpenAI ConnectionをvLLM /v1に設定します。組み込みのWebサーチツール、ネイティブRAGによるドキュメントアップロード、ファンクションコール、ユーザーごとのモデルルーティングを備えています。LlamaのツールフォーマットはOpenAI互換(Hermes ChatML XMLと異なり)であるため、Llama 3.3 70Bはそのまま動作します。
AG2のGroupChatパターンはOpenAI互換設定でLlama 3.3 70Bと連携します。トークンコストに注意:4エージェントで5ラウンドのディベートはLLMコールが20回以上になります。リアルタイムよりオフラインの品質重視ワークフローに適しています。AutoGenは2026年のプロダクションデプロイではLangGraphに主役を譲っています。
役割ベースのクルー(リサーチャー+ライター+批評者)。エージェント設定のllmはlitellm openai_compatible経由でvLLMエンドポイントを使用します。デフォルトはシーケンシャル処理で、Llama 3.3 70Bの計画の弱点に適しています。ゼロから動くマルチエージェントデモへの最短ルートです(2〜3日)。
プロダクションリサーチワークフローのPineido標準。チェックポイント・タイムトラベル・ネイティブヒューマンインザループを備えたグラフベースのステートマシン。Llama 3.3 70BをlangChain-openai経由でbase_urlオーバーライドしてチャットモデルとして組み込みます。トレーシングにはLangSmithを組み合わせます。
クラス最高のリトリーバル。LlamaIndexクエリエンジンで取り込みとインデックス作成を行い、LangGraphエージェント内でツールとして公開します。フレームワークオーバーヘッドは約6ms(LangGraphの約14msと比較)でセルフホスト時に差が出ます。ハイブリッド検索・リランキング・引用トラッキングが第一級機能です。
このモデルとリサーチエージェントスタックがチームに実際に役立つレポートを生み出す用途。
ワークフロー形態でフレームワークを選択。
チェックポイント・リプレイ・ヒューマンインザループを備えたプロダクションステートフルエージェントオーケストレーション。Pineido標準。
シーケンシャルな役割ベースチーム(リサーチャー+ライター+批評者)。デモまでが最速。
コード実行を伴うマルチエージェントGroupChat会話。トークンコストに注意。
プロンプトとfew-shotサンプルをプログラム的にコンパイル。最適化レイヤーとしてLangGraphと組み合わせます。
構造化出力検証を持つ型安全エージェント。コード品質を重視するチームに最適。
ディープドキュメントインデックス、ハイブリッド検索、引用トラッキングを備えたRAG優先エージェント。
Qwen専用だが任意のOpenAI互換バックエンドを受け付けます。MCP・コードインタープリタ・RAGを同梱。
このモデルが正解となるバイヤー像3タイプ。
タスク:契約書起草、準備書面要約、証拠開示レビュー。成果:年間$26KのHarveyシート費用を代替。Llama 3.3 70B on Mac Studio M3 Ultraで弁護士・依頼人間の特権を保持したまま処理し、サードパーティ処理なし。
タスク:診察記録の口述入力、HIPAA準拠下での臨床Q&A。成果:PHIをオンプレミスに隔離。サードパーティBAAなし。監査ログはHIPAAセキュリティルールを同一ハードウェアで満たす。
タスク:税務ワークペーパー分析、K-1抽出、契約書起草。成果:GLBA Safeguards Rule WISPをビルドと同時に納品。財務文書でGPTクラスの品質。ペシート型SaaSビルなし。
このモデルが勝る点、劣る点。
Llama 3.3 70BはMMLL-Proの一般英語推論でQwen3 32Bを5〜7ポイント上回ります。Qwen3 32Bは多言語対応(119言語対8言語)と数学・コーディングで優位。
GPT-4oはMMLU-Pro(Llama 3.3 70Bは68.9)と純粋なコーディングで依然リードしています。Llama 3.3 70Bは一般タスク(要約・起草・抽出・分類)で差を縮め、命令追従ではGPT-4oを上回り、そのIFEval 92.1はGPT-4oの84.6を超えます。MATH、MGSM 91.6、BFCLツールユースでも互角です。重要な差は難しい推論であって、日常のビジネス業務ではありません。
DeepSeek V3.2 671B MoEは難しい推論とコードで優位。Llama 3.3 70Bはサービングの簡潔さ(70B denseと671B MoEの差)と25人規模の事務所が調達可能なハードウェアで優位。
4日目:vLLMがツールコールを有効にしてモデルをサービング。
vLLMがLlama 3.3 70Bを--enable-auto-tool-choice --tool-call-parser llama3_json --max-model-len 131072でサービング。H100 FP8で約400トークン/秒。BlackwellのNVFP4は5〜8%の精度低下と引き換えにメモリを節約。
エディタエージェントをローカル/v1エンドポイントに接続。Aiderは--openai-api-base経由、ClineはOpenAI互換プロバイダー、Continue.devはconfig.yamlでprovider: openai。30〜50ページのセットアップランブックを開発チームへ。
Open WebUI+AnythingLLM本稼働。ファンクションコールとドキュメントコーパスへのRAGが稼働。ワークスペースがチームごとの機密文書セットを分離。
プロダクションエージェントワークフロー向けにLangGraphとCrewAIをインストール。3つのサンプルワークフロー(リサーチレポート・コードレビュー・インテークトリアージ)を納品。LangSmithトレーシングを有効化。
自律マルチステップタスク向けにOpenHandsまたはRoo Codeエージェントスタックを本稼働。PlanおよびActモードを実際のリポジトリ3タスクでデモ。
スループット数値・精度スポットチェック・ランブック・エージェントインベントリを含むエビデンスパックを納品。
固定料金。
実際のクライアントプロンプトでモデルベンチマークを実施。ハードウェアに基づきAWQとGGUFを選択。Llama 3 Community License確認書に署名。
vLLM(GPU)またはOllama(Mac)で量子化・サービング。OpenAI互換APIを接続。SSOと監査ログを前段に配置。
BGE-M3エンベディングとQdrantを使って社内文書にRAGを適用。RBAC・保存ポリシー・PII/PHI難読化レイヤーを設定。
ペネトレーションテスト合格。エビデンスパック納品。プロダクション移行。製品ドキュメントに「Built with Llama」帰属表示を追加。
できます。Llama 3.3 Community Licenseは月間アクティブユーザー7億人まで商用利用を許可しています。すべてのSMBおよびほとんどのエンタープライズはその上限を大きく下回ります。帰属表示が必要です。製品ドキュメントに「Built with Llama」を記載してください。合成データ生成と蒸留は明示的に許可されています。
$7,499のMac Studio M3 Ultra 256GBがQ4_K_Mでデコードレート18〜25トークン/秒で動作します。8〜15ユーザーの要約・起草・Q&Aを行う企業にはプロダクション品質です。それ以下のティアはデモ環境であり、プロダクションスタックではありません。注:M4 Ultraは存在しません。Appleはその世代をスキップしており、M3 Ultraが現在の最上位チップです。
バイヤーの95%には70Bが正解です。405BにはH100またはH200が4〜8枚必要であり、ほとんどのタスクで10%未満の改善にとどまります。405Bの優位性は最難度の推論(複雑な数学・マルチステップエージェント)でのみ現れます。一般的なビジネス業務では、70Bがハードウェアコスト10分の1で適切な選択肢です。
サービングの簡潔さとハードウェアの到達可能性です。Qwen3 235BはQ4で132〜143GBが必要(Mac Studio M3 Ultra 256GBの領域またはマルチGPU)。Llama 3.3 70Bは$7,499のMac Studioにゆとりを持って収まります。Qwen3 235Bは生の品質で優位です。Llama 3.3 70Bはデプロイし、スタッフを訓練し、監査しなければならない企業には優位です。
使えます。Aiderのdiff-editフォーマットはLlama 3.3 70Bで良好に動作します。aider --openai-api-base http://your-vllm:8000/v1 --openai-api-key dummy --model openai/meta-llama/Llama-3.3-70B-Instructで接続してください。diff適用成功率は標準的なリファクタリングで約85%(GPT-5クラスモデルの95%と比較)。フロンティア推論を必要としないリファクタリング作業の90%において、Llama 3.3 70Bが適切な選択です。Pineidoはスプリント6日目にAiderを設定します。
Clineです。Cursorはクローズドソースであり、カスタムモデルを設定した場合でもプロンプトはバックエンド経由でルーティングされます。Clineはオープンソースで完全にクライアントサイドで動作し、vLLMエンドポイントに直接接続します。CursorのPlan and Act UXと同等でありながら、プロンプトパスにサードパーティプロセッサが存在しません。HIPAAおよびGDPR準拠、厳格な顧客NDA締結済みのバイヤーに必須の選択です。
70B dense パラメータ数
固定料金。
1日目に正確なモデル・ハードウェア・エージェントスタック・コスト計算・コンプライアンスポジションをご確認いただけます。
著者Kostadin Stamboliev創業者・Imaginator
Pineido, 拠点: Strumica, North Macedonia, は、国内外の企業向けにウェブサイト、オンラインショップ、ウェブ・モバイルアプリ、業務の自動化、AI を開発するソフトウェア会社です。30 日間のスプリントを固定価格で納品し、コードはお客様のものになります。
公開日 更新日