DeepSeek V4 Pro 如何本地部署？

DeepSeek V4 Pro 是 DeepSeek 目前最大的开源模型，1.6T 参数，4-bit 约 851 GB，连 8 张 96GB 的卡都放不下。个人能走的路有两条：大内存服务器加一张显卡、把专家放进内存，约 22 tokens/s；或者两台 512GB 的 Mac Studio 联机，按容量装得下 4-bit。它比 V4 Flash 强在知识面，官方公布的基座模型知识问答测试（SimpleQA-Verified）是 55.2 对 30.1。

DeepSeek V4 Pro 模型信息

4-bit 最低显存851 GB · 8K
参数量1,600B
激活参数49B
上下文上限1M

架构: MoE
专家卸载: 16 GB 显存 + 837 GB 内存
许可证: MIT
发布日期: 2026年8月13日
厂商: DeepSeek
Hugging Face 仓库: deepseek-ai/DeepSeek-V4-Pro-0813
GGUF 仓库: unsloth/DeepSeek-V4-Pro-0813-GGUF
NVFP4 仓库（Blackwell）: nvidia/DeepSeek-V4-Pro-0813-NVFP4
小版本: 0813
层数: 61
隐藏维度: 7,168
KV 头: 1
头维度: 512

DeepSeek V4 Pro 本地部署需要多少显存？

量化	权重体积GB	32K 上下文GB	128K 上下文GB	256K 上下文GB	1M 上下文（最大）GB
1-bit	403.2估	404.5	405.3	406.4	412.6
2-bit	638.4估	639.7	640.5	641.6	647.8
3-bit	823.2估	824.5	825.3	826.4	832.6
4-bit	849.7GGUF	851	851.8	852.9	859.1
5-bit	—	—	—	—	—
8-bit	873.4GGUF	874.7	875.5	876.6	882.8
BF16/FP16	3,360估	3,361.3	3,362.1	3,363.2	3,369.4

详细计算规则可在数据方法页查看。

单卡能跑 DeepSeek V4 Pro 吗？

不能，没有哪张卡或哪台机器接近它的体积：1.6T 参数的 4-bit 加 32K 上下文约 851 GB，512GB 的 Mac Studio 也只装得下六成。而且 unsloth 只出了 4-bit 和 8-bit 两种文件，两者大小差不多（它的专家原本就是 4-bit），没有更小的现成档位可退。单台机器能走的路只有一条：服务器插满 768GB 内存，加一张 RTX PRO 6000，把大部分专家放进内存，4-bit 每秒约 22 个 token，换 8-bit 也差不多快。不想装服务器，就得两台 512GB 的 Mac Studio 联机。

多卡跑 DeepSeek V4 Pro 要几张显卡？

显卡组合都装不下 4-bit：8 张 96GB 的 RTX PRO 6000 合计 768GB，离 4-bit 要的约 851 GB 还差一截；按参数量估算，2-bit 能塞进这 8 张卡，每秒约 53 个 token，但这一档目前没有现成的量化文件。按容量，两台 512GB 的 Mac Studio M3 Ultra 用雷电 5 线联机装得下 4-bit，估算每秒约 22 个 token，8-bit 也是两台、速度几乎一样，不过 Mac 上的分布式推理软件能不能跑这个新结构，要先确认。真要用显卡跑 4-bit，得用 H200、B200 这类 8 卡数据中心服务器，vLLM 官方验证的也只有这类硬件和 AMD 的 MI355X。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	27.7	960 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	52.6	4,800 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	21.6	960 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	21	960 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

用整机跑 DeepSeek V4 Pro 要什么配置？

实际可行的方案是一台 12 通道 DDR5 服务器加一张 RTX PRO 6000，4-bit 约 22 tokens/s。4-bit 的专家全放内存约需 837 GB，比插满 12 条 64GB 的 768 GB 还多，所以页面上的方案把 6 层专家留在显卡上，其余放进内存。换成 8-bit 也约 22 tokens/s，几乎一样快，因为它只比 4-bit 大约 3%。

4 × Tesla V100 32GB + E5 双路 8 卡机

低价

出字速度6t/s

内存带宽137GB/s

显卡: 4 × Tesla V100 32GB8 / 61 层专家放进 128 GB 显存; ¥16,800
内存: 768 GB DDR4-213324 条 × 32 GB; ¥23,976
CPU: 2 × Intel Xeon E5-2680 v4共 28 核 56 线程 · 8 通道; ¥160
准系统: Supermicro SYS-4028GR-TR8 个显卡位 · 24 个内存插槽; ¥4,000
电源: 自带 4 × 1,600 W 电源; 含在准系统里

整机参考价¥44,936

4 × GeForce RTX 5090 + EPYC 双路 DDR5

旗舰

出字速度27.5t/s

内存带宽922GB/s

显卡: 4 × GeForce RTX 50908 / 61 层专家放进 128 GB 显存; ¥207,996
内存: 768 GB DDR5-480024 条 × 32 GB; ¥156,000
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
主板: Gigabyte MZ73-LM024 个内存插槽; ¥8,699
电源: 2 × 海韵 PRIME PX-22004,400 W; ¥7,998

整机参考价¥405,183

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

超大模型

出字速度41t/s

内存带宽922GB/s

显卡: 8 × RTX PRO 600058 / 61 层专家放进 768 GB 显存; ¥1,000,000
内存: 384 GB DDR5-480024 条 × 16 GB; ¥84,000
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
准系统: ASUS ESC8000A-E128 个显卡位 · 24 个内存插槽; ¥34,000
电源: 自带 4 × 3,000 W 电源; 含在准系统里

整机参考价¥1,142,490

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 DeepSeek V4 Pro 要注意什么？

量化只有两档
官方权重里，专家本来就是 4-bit 格式（FP4），其余是 FP8（下载约 893 GB，含 DSpark 草稿模块），所以 4-bit（约 850 GB）和 8-bit（约 873 GB）只差二十多 GB。内存能多留出这二十多 GB，就直接用 8-bit。
框架支持
llama.cpp 主线 2026 年 6 月底合入的 V4 支持同样覆盖 Pro，unsloth 的 GGUF 就是给它用的。vLLM 配方验证过的都是数据中心卡（H200、B200、GB200、B300、GB300 和 MI355X），MI300X、MI325X 标为不支持。
思考档位别默认开 max
思考档位和采样参数与 V4 Flash 相同（temperature 1.0，Agent 场景 top_p 0.95）。官方的 Agent 成绩是在 max 档测的，high 和 max 档都建议把最大输出留到 384K；可按 4-bit 专家卸载约 22 tokens/s 算，真写满 384K 要约 5 小时，日常用 low 或 high 档更实际。
1M 上下文几乎不占内存
它的注意力结构把上下文压缩得很小：4-bit 下从 32K 开到 1M 只多约 8.1 GB，相对 850 GB 的权重可以忽略，开满上下文不用另算内存。

启动命令

llama.cpp

NVIDIA
AMD
Mac
CPU

全部放进显存

终端

llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:UD-Q4_K_XL -c 8192

专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 837 GB）。

终端

llama-server -hf unsloth/DeepSeek-V4-Pro-0813-GGUF:UD-Q4_K_XL -c 8192 \
  -ngl 99 --cpu-moe

vLLM

Linux
NVIDIA

运行前请按部署指南准备适配的运行环境与硬件。

终端

vllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \
  --trust-remote-code \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --enable-expert-parallel \
  --tensor-parallel-size 8 \
  --max-model-len 800000 \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 512 \
  --no-enable-flashinfer-autotune \
  --compilation-config '{"mode": 0, "cudagraph_mode": "FULL_DECODE_ONLY"}' \
  --tokenizer-mode deepseek_v4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

Ollama

Windows
macOS
Linux

Ollama 只有云端版 deepseek-v4-pro:cloud，在 Ollama 的服务器上跑，不在你自己的机器上运行。

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

DeepSeek 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek R1 Distill Qwen 32B稠密	32.8B	32.8B	19.9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB

关于 DeepSeek

DeepSeek V4 Pro 如何本地部署？

DeepSeek V4 Pro 模型信息

DeepSeek V4 Pro 本地部署需要多少显存？

单卡能跑 DeepSeek V4 Pro 吗？

多卡跑 DeepSeek V4 Pro 要几张显卡？

用整机跑 DeepSeek V4 Pro 要什么配置？

Tesla V100 32GB + E5 双路 8 卡机

GeForce RTX 5090 + EPYC 双路 DDR5

4 × RTX PRO 6000 + EPYC 双路 DDR5

4 × Tesla V100 32GB + E5 双路 8 卡机

4 × GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

8 × Tesla V100 32GB + E5 双路 8 卡机

GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

本地部署 DeepSeek V4 Pro 要注意什么？

量化只有两档

框架支持

思考档位别默认开 max

1M 上下文几乎不占内存

启动命令

llama.cpp

vLLM

Ollama

DeepSeek 家族的其他模型