DeepSeek V4 Flash をローカルに導入するには？

• 4-bit 最小VRAM157 GB · 8K
• パラメータ数284B
• アクティブ13B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 6 GB + RAM 152 GB

ライセンス

MIT

発売日

2026年7月31日

提供元

DeepSeek

Hugging Face リポジトリ

deepseek-ai/DeepSeek-V4-Flash-0731

GGUF リポジトリ

unsloth/DeepSeek-V4-Flash-0731-GGUF

NVFP4 リポジトリ（Blackwell）

nvidia/DeepSeek-V4-Flash-0731-NVFP4

リビジョン

0731

レイヤー数

43

隠れ層次元

4,096

KV ヘッド数

1

ヘッド次元

512

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB	価格なし	62.3	1M

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Radeon RX 7900 XTX1 枚 24 GB	8 枚	¥2,349,200	192 GB	69.1	2,840 W
Arc Pro B701 枚 32 GB	8 枚	¥2,774,496	256 GB	49.7	1,840 W
GeForce RTX 30901 枚 24 GB	8 枚	¥3,255,376	192 GB	67.9	2,800 W
RTX A60001 枚 48 GB	4 枚	¥6,046,284	192 GB	59.1	1,200 W
GeForce RTX 40901 枚 24 GB	8 枚	¥6,897,088	192 GB	71.4	3,600 W
GeForce RTX 50901 枚 32 GB	8 枚	¥11,199,920	256 GB	100.7	4,600 W
A100 80GB PCIe1 枚 80 GB	4 枚	価格なし	320 GB	104.7	1,200 W
RTX PRO 60001 枚 96 GB	2 枚	価格なし	192 GB	100.7	1,200 W
Instinct MI2101 枚 64 GB	4 枚	価格なし	256 GB	95.9	1,200 W
RTX PRO 5000 72GB1 枚 72 GB	4 枚	価格なし	288 GB	85.6	1,200 W
GeForce RTX 4090 48GB1 枚 48 GB	4 枚	価格なし	192 GB	71.4	1,800 W
Tesla V100 32GB1 枚 32 GB	8 枚	価格なし	256 GB	66.1	2,000 W
DGX Spark 128GB1 台 128 GB	2 台	価格なし	256 GB	25.6	480 W

詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   量子化は 8-bit が使えるなら 8-bit

   unsloth の分析によると、公式の重みの 96% を占めるエキスパートはもともと 4-bit 形式（MXFP4）で、残りは FP8 と BF16 です。そのため 4-bit 量子化はほぼ劣化がなく、8-bit は実質的に劣化しません。しかも 8-bit は 4-bit より約 7 GB 多いだけです（161.9 GB 対 155.1 GB）。本当に劣化を伴う圧縮になるのは 2-bit と 3-bit で、メモリが足りないときだけ使います。

2. 2

   llama.cpp は DSpark も含めて対応済み

   llama.cpp には 2026 年 6 月末に V4 対応がマージされ、7 月には DSpark による投機的デコード（小さなドラフトモデルが先の文字を予測し、それを大きなモデルが検証する仕組み）も加わりました。ドラフトモデルは別ファイルの Q8_0 GGUF で約 10 GB 余分に使いますが、unsloth によると生成速度は最大で約 2 倍になります。vLLM で 0731 版を動かすには 0.25.0 以上が必要です。

3. 3

   3 段階の思考強度

   0731 版の思考には low、high、max の 3 段階があり、unsloth によると既定は high です。llama.cpp で思考をオフにするには --chat-template-kwargs '{"enable_thinking":false}' を使います。high と max では、公式は最大出力を 384K まで確保するよう推奨しています。多く聞こえますが、コンテキストのキャッシュは小さく、4-bit で 32K から 256K に広げても約 1.2 GB 増えるだけなので、コンテキストを十分に確保しても VRAM はほとんど消費しません。

4. 4

   公式のサンプリングパラメータ

   temperature 1.0 で、top_p はエージェント用途なら 0.95、それ以外は 1.0 です。unsloth の llama.cpp 例では、さらに --min-p 0.01 を加えています。

llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL \
  -c 8192 -ngl 99 --cpu-moe

vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --tensor-parallel-size 8 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --reasoning-config '{"reasoning_parser":"deepseek_v4","reasoning_start_str":"","reasoning_end_str":""}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
DeepSeek R1 Qwen3 8BDense	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14BDense	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32BDense	32.8B	32.8B	19.9 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

DeepSeek について