DeepSeek V4 Flash 如何本地部署？

• 4-bit 最低显存157 GB · 8K
• 参数量284B
• 激活参数13B
• 上下文上限1M

架构

MoE

专家卸载

6 GB 显存 + 152 GB 内存

许可证

MIT

发布日期

2026年7月31日

厂商

DeepSeek

Hugging Face 仓库

deepseek-ai/DeepSeek-V4-Flash-0731

GGUF 仓库

unsloth/DeepSeek-V4-Flash-0731-GGUF

NVFP4 仓库（Blackwell）

nvidia/DeepSeek-V4-Flash-0731-NVFP4

小版本

0731

层数

43

隐藏维度

4,096

KV 头

1

头维度

512

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整机 · 512 GB	¥117,5504 条挂单	62.3	1M

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Tesla V100 32GB单卡 32 GB	8 张	¥33,600	256 GB	66.1	2,000 W
Radeon RX 7900 XTX单卡 24 GB	8 张	¥45,552	192 GB	69.1	2,840 W
GeForce RTX 3090单卡 24 GB	8 张	¥68,000	192 GB	67.9	2,800 W
Instinct MI210单卡 64 GB	4 张	¥73,996	256 GB	95.9	1,200 W
DGX Spark 128GB单台 128 GB	2 台	¥86,000	256 GB	25.6	480 W
Arc Pro B70单卡 32 GB	8 张	¥105,192	256 GB	49.7	1,840 W
RTX A6000单卡 48 GB	4 张	¥128,000	192 GB	59.1	1,200 W
GeForce RTX 4090单卡 24 GB	8 张	¥200,000	192 GB	71.4	3,600 W
RTX PRO 5000 72GB单卡 72 GB	4 张	¥236,000	288 GB	85.6	1,200 W
RTX PRO 6000单卡 96 GB	2 张	¥250,000	192 GB	100.7	1,200 W
GeForce RTX 5090单卡 32 GB	8 张	¥415,992	256 GB	100.7	4,600 W
A100 80GB PCIe单卡 80 GB	4 张	¥560,000	320 GB	104.7	1,200 W
GeForce RTX 4090 48GB单卡 48 GB	4 张	暂无	192 GB	71.4	1,800 W

详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   量化：能上 8-bit 就上

   按 unsloth 的分析，官方权重里占 96% 的专家本来就是 4-bit 格式（MXFP4），其余是 FP8 和 BF16，所以 4-bit 量化近乎无损、8-bit 基本无损，而 8-bit 只比 4-bit 多约 7 GB（161.9 对 155.1 GB）。2-bit、3-bit 才是真正的有损压缩，只在内存不够时用。

2. 2

   llama.cpp 已支持，含 DSpark

   llama.cpp 在 2026 年 6 月底合入 V4 支持，7 月又加了 DSpark 投机解码（用一个小草稿模型先猜后面的字，再由大模型核对）：草稿模型是单独的一个 Q8_0 GGUF，多占约 10 GB，unsloth 称生成最多快约一倍。vLLM 跑 0731 版要 0.25.0 以上。

3. 3

   三档思考强度

   0731 版的思考有 low、high、max 三档，unsloth 说默认是 high；在 llama.cpp 里关掉思考用 --chat-template-kwargs '{"enable_thinking":false}'。high 和 max 档官方建议最大输出留到 384K，听着很多，但它的上下文缓存很小：4-bit 下从 32K 开到 256K 只多约 1.2 GB，留足上下文几乎不占显存。

4. 4

   官方采样参数

   temperature 1.0；跑 Agent 时 top_p 0.95，其他场景 1.0。unsloth 的 llama.cpp 示例另加了 --min-p 0.01。

llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL -c 8192

llama-server -hf unsloth/DeepSeek-V4-Flash-0731-GGUF:UD-Q4_K_XL \
  -c 8192 -ngl 99 --cpu-moe

vllm serve deepseek-ai/DeepSeek-V4-Flash-0731 \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --tensor-parallel-size 8 \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --reasoning-config '{"reasoning_parser":"deepseek_v4","reasoning_start_str":"","reasoning_end_str":""}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

关于 DeepSeek