DeepSeek V4 Pro をローカルに導入するには？

• 4-bit 最小VRAM851 GB · 8K
• パラメータ数1,600B
• アクティブ49B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 16 GB + RAM 837 GB

ライセンス

MIT

発売日

2026年8月13日

提供元

DeepSeek

Hugging Face リポジトリ

deepseek-ai/DeepSeek-V4-Pro-0813

GGUF リポジトリ

unsloth/DeepSeek-V4-Pro-0813-GGUF

NVFP4 リポジトリ（Blackwell）

nvidia/DeepSeek-V4-Pro-0813-NVFP4

リビジョン

0813

レイヤー数

61

隠れ層次元

7,168

KV ヘッド数

1

ヘッド次元

512

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Mac Studio M3 Ultra 512GB1 台 512 GB	2 台	価格なし	1,024 GB	21.6	960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   量子化は 2 種類だけ

   公式の重みでは、エキスパートはもともと 4-bit 形式（FP4）で、残りは FP8 です（ダウンロードは約 893 GB で、DSpark のドラフトモジュールを含む）。そのため 4-bit（約 850 GB）と 8-bit（約 873 GB）の差は 20 GB 余りしかありません。メインメモリにこの 20 GB 余りの余裕を作れるなら、そのまま 8-bit を使いましょう。

2. 2

   推論エンジンの対応状況

   llama.cpp のメインラインに 2026 年 6 月末にマージされた V4 対応は Pro にも適用され、unsloth の GGUF はこれ向けのものです。vLLM のレシピで検証されているのはすべてデータセンター向けカード（H200、B200、GB200、B300、GB300、MI355X）で、MI300X と MI325X は非対応とされています。

3. 3

   思考は max を既定にしない

   思考の段階とサンプリングパラメータは V4 Flash と同じです（temperature 1.0、エージェント用途では top_p 0.95）。公式のエージェント向けスコアは max で測定されており、high と max ではどちらも最大出力を 384K まで確保するよう推奨されています。しかし 4-bit のエキスパートオフロードで約 22 tokens/s として計算すると、384K を出し切るには約 5 時間かかります。普段使いなら low か high のほうが現実的です。

4. 4

   1M コンテキストでもメモリはほとんど増えない

   アテンション構造によってコンテキストが非常に小さく圧縮されます。4-bit で 32K から 1M に広げても約 8.1 GB 増えるだけで、850 GB の重みに比べれば無視できる量です。コンテキストをフルに使う場合も、メモリを別途見積もる必要はありません。

llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:UD-Q4_K_XL -c 8192 \
  -ngl 99 --cpu-moe

vllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --tensor-parallel-size 8 \
  --max-model-len 800000 \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 512 \
  --no-enable-flashinfer-autotune \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}' \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
DeepSeek R1 Qwen3 8BDense	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14BDense	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32BDense	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB

DeepSeek について