DeepSeek V4 Flash 如何本地部署？

• 4-bit 最低顯示記憶體157 GB · 8K
• 參數量284B
• 激活參數13B
• 上下文上限1M

架構

MoE

專家卸載

6 GB 顯存 + 152 GB 記憶體

授權

MIT

發布日期

2026年7月31日

廠商

DeepSeek

Hugging Face 倉庫

deepseek-ai/DeepSeek-V4-Flash-0731

GGUF 倉庫

unsloth/DeepSeek-V4-Flash-0731-GGUF

NVFP4 倉庫（Blackwell）

nvidia/DeepSeek-V4-Flash-0731-NVFP4

小版本

0731

層數

43

隱藏維度

4,096

KV 頭

1

頭維度

512

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整機 · 512 GB	NT$573,1654 筆掛單	62.3	1M

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Tesla V100 32GB單卡 32 GB	8 張	NT$163,831	256 GB	66.1	2,000 W
Radeon RX 7900 XTX單卡 24 GB	8 張	NT$222,108	192 GB	69.1	2,840 W
GeForce RTX 3090單卡 24 GB	8 張	NT$331,563	192 GB	67.9	2,800 W
Instinct MI210單卡 64 GB	4 張	NT$360,799	256 GB	95.9	1,200 W
DGX Spark 128GB單台 128 GB	2 台	NT$419,330	256 GB	25.6	480 W
Arc Pro B70單卡 32 GB	8 張	NT$512,909	256 GB	49.7	1,840 W
RTX A6000單卡 48 GB	4 張	NT$624,119	192 GB	59.1	1,200 W
GeForce RTX 4090單卡 24 GB	8 張	NT$975,186	192 GB	71.4	3,600 W
RTX PRO 5000 72GB單卡 72 GB	4 張	NT$1,150,719	288 GB	85.6	1,200 W
RTX PRO 6000單卡 96 GB	2 張	NT$1,218,982	192 GB	100.7	1,200 W
GeForce RTX 5090單卡 32 GB	8 張	NT$2,028,347	256 GB	100.7	4,600 W
A100 80GB PCIe單卡 80 GB	4 張	NT$2,730,520	320 GB	104.7	1,200 W
GeForce RTX 4090 48GB單卡 48 GB	4 張	暫無	192 GB	71.4	1,800 W

詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   量化：能用 8-bit 就用

   根據 unsloth 的分析，官方權重中佔 96% 的專家本來就是 4-bit 格式（MXFP4），其餘是 FP8 和 BF16，所以 4-bit 量化近乎無損、8-bit 基本上無損，而 8-bit 只比 4-bit 多約 7 GB（161.9 對 155.1 GB）。2-bit、3-bit 才是真正的有損壓縮，只有記憶體不夠時才用。

2. 2

   llama.cpp 已支援，包含 DSpark

   llama.cpp 在 2026 年 6 月底合併了 V4 支援，7 月又加入 DSpark 推測解碼（先用一個小型草稿模型猜後面的字，再由大模型核對）：草稿模型是獨立的一個 Q8_0 GGUF，會多佔約 10 GB，unsloth 表示生成速度最多可快約一倍。vLLM 跑 0731 版需要 0.25.0 以上。

3. 3

   三檔思考強度

   0731 版的思考分成 low、high、max 三檔，unsloth 表示預設是 high；在 llama.cpp 裡關閉思考用 --chat-template-kwargs '{"enable_thinking":false}'。high 和 max 檔官方建議最大輸出預留到 384K，聽起來很多，但它的上下文快取很小：4-bit 下從 32K 開到 256K 只多約 1.2 GB，上下文留得再足也幾乎不佔顯示記憶體。

4. 4

   官方取樣參數

   temperature 1.0；跑 Agent 時 top_p 0.95，其他情境用 1.0。unsloth 的 llama.cpp 範例另外加了 --min-p 0.01。

llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL \
  -c 8192 -ngl 99 --cpu-moe

vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --tensor-parallel-size 8 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --reasoning-config '{"reasoning_parser":"deepseek_v4","reasoning_start_str":"","reasoning_end_str":""}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

關於 DeepSeek