DeepSeek V3.2 をローカルに導入するには？

• 4-bit 最小VRAM408 GB · 8K
• パラメータ数671B
• アクティブ37B
• 最大コンテキスト160K

アーキテクチャ

MoE

エキスパートオフロード

VRAM 13 GB + RAM 396 GB

ライセンス

MIT

発売日

2025年12月1日

提供元

DeepSeek

Hugging Face リポジトリ

deepseek-ai/DeepSeek-V3.2

GGUF リポジトリ

unsloth/DeepSeek-V3.2-GGUF

NVFP4 リポジトリ（Blackwell）

nvidia/DeepSeek-V3.2-NVFP4

MLX リポジトリ（Apple）

mlx-community/DeepSeek-V3.2-4bit

レイヤー数

61

隠れ層次元

7,168

KV ヘッド数

128

ヘッド次元

192

詳しい計算ルールはデータの作り方ページをご覧ください。

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
A100 80GB PCIe1 枚 80 GB	8 枚	価格なし	640 GB	48.7	2,400 W
RTX PRO 60001 枚 96 GB	8 枚	価格なし	768 GB	45.9	4,800 W
Instinct MI2101 枚 64 GB	8 枚	価格なし	512 GB	42.7	2,400 W
RTX PRO 5000 72GB1 枚 72 GB	8 枚	価格なし	576 GB	36.4	2,400 W
DGX Spark 128GB1 台 128 GB	4 台	価格なし	512 GB	8.6	960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   推論エンジンの選び方

   ローカルで動かすなら llama.cpp が第一候補です。2026 年 5 月末に V3.2 対応（DSA スパースアテンションを含む）がマージされ、8 月にはモデル内蔵の MTP による投機的デコードにも対応しました。unsloth が 1-bit から BF16 までの GGUF を一通りそろえています。vLLM の公式レシピで検証されているのは H100 と H200 だけです。

2. 2

   既成のチャットテンプレートがない

   公式は一般的な Jinja のチャットテンプレートではなく、Python のエンコード用スクリプトを提供しており、ツール呼び出しの形式も従来と異なります。llama.cpp には 2026 年 4 月から V3.2 専用のパーサーがあります。クライアントを自作する場合は、公式の encoding ディレクトリにあるスクリプトに従ってプロンプトを組み立ててください。新たに追加された developer ロールは検索エージェント専用です。

3. 3

   サンプリングパラメータと Speciale 版

   公式がローカル実行向けに推奨しているのは temperature 1.0、top_p 0.95 です。同じ構造の V3.2-Speciale もありますが、こちらは深い推論専用でツール呼び出しに対応していないため、エージェント用途には使わないでください。

4. 4

   量子化とコンテキスト

   オリジナルの重みが FP8 なので、8-bit（約 713 GB）はほぼオリジナルと同等です。アテンション構造がコンテキストに対して非常に省メモリで、4-bit で 8K から 160K に広げても増えるのは約 11 GB だけです。重みが収まれば、ほぼコンテキストをフルに使えます。

llama-server -hf unsloth/DeepSeek-V3.2-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/DeepSeek-V3.2-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve deepseek-ai/DeepSeek-V3.2 \
  --trust-remote-code \
  --kernel-config.enable_flashinfer_autotune=False \
  --tensor-parallel-size 8 \
  --tokenizer-mode deepseek_v32 \
  --tool-call-parser deepseek_v32 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v3

mlx_lm.server --model mlx-community/DeepSeek-V3.2-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
DeepSeek R1 Qwen3 8BDense	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14BDense	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32BDense	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

DeepSeek について