Tesla V100 32GB + E5 双路 DDR4
低价出字速度10.1t/s
内存带宽137GB/s
整机参考价¥13,523
DeepSeek V3.2 如何本地部署？
DeepSeek V3.2 是 DeepSeek 2025 年 12 月发布的 671B MoE，4-bit 也要约 405 GB，任何一张显卡或 128GB 的整机都装不下。家里要跑它，要么凑多卡、多台机器，要么用大内存服务器把专家放进内存；单机里只有 512GB 的 Mac Studio 按容量放得下 4-bit。新部署更建议看体积不到它四成的 V4 Flash。
DeepSeek V3.2 模型信息
- 4-bit 最低显存408 GB · 8K
- 参数量671B
- 激活参数37B
- 上下文上限160K
- 架构
- MoE
- 专家卸载
- 13 GB 显存 + 396 GB 内存
- 许可证
- MIT
- 发布日期
- 2025年12月1日
- 厂商
- DeepSeek
- Hugging Face 仓库
- deepseek-ai/DeepSeek-V3.2
- GGUF 仓库
- unsloth/DeepSeek-V3.2-GGUF
- NVFP4 仓库（Blackwell）
- nvidia/DeepSeek-V3.2-NVFP4
- MLX 仓库（Apple）
- mlx-community/DeepSeek-V3.2-4bit
- 层数
- 61
- 隐藏维度
- 7,168
- KV 头
- 128
- 头维度
- 192
DeepSeek V3.2 本地部署需要多少显存？
| 量化 | 权重体积GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文GB | 160K 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 199.3GGUF | 200.9 | 202.7 | 209.6 | 211.9 |
| 2-bit | 246.6GGUF | 248.2 | 250 | 256.9 | 259.2 |
| 3-bit | 321GGUF | 322.6 | 324.4 | 331.3 | 333.6 |
| 4-bit | 405.4GGUF | 407 | 408.8 | 415.7 | 418 |
| 5-bit | 476.2GGUF | 477.8 | 479.6 | 486.5 | 488.8 |
| 8-bit | 713.3GGUF | 714.9 | 716.7 | 723.6 | 725.9 |
| BF16/FP16 | 1,342.3GGUF | 1,343.9 | 1,345.7 | 1,352.6 | 1,354.9 |
详细计算规则可在数据方法页查看。
单卡能跑 DeepSeek V3.2 吗？
单卡跑不了，128GB 的整机也不行：4-bit 加 8K 上下文约 407 GB，压到 1-bit 还要约 201 GB。在家跑它有三条路。门槛最低的是大内存服务器加一张显卡，把每次只用到一小部分的专家权重放进内存；其次是凑 4 张以上的 96GB 卡；再就是 512GB 的 Mac Studio M3 Ultra，唯一能把 4-bit 整个装下的单台机器，不过已经贴着 macOS 默认留给显卡的四分之三内存。只是想在本地用 DeepSeek 的话，体积不到它四成的 V4 Flash 容易得多。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥117,5504 条挂单 | 37.3 | 160K |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥117,5504 条挂单 | 24.5 | 160K |
只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。
多卡跑 DeepSeek V3.2 要几张显卡？
最少要 4 张 72GB 以上的卡，只够跑 2-bit，4 张 96GB 的 RTX PRO 6000 每秒约 65 个 token。4-bit 要翻倍到 8 张，每秒约 46 个；8 张 48GB 的 RTX A6000 只能跑 2-bit。4 台 DGX Spark 联机装得下 4-bit，但每台的内存带宽有限，每秒不到 10 个，只适合不赶时间的用法。动手前先确认软件支持：vLLM 官方只在 H100、H200 上验证过它，它那套只挑部分上下文来算的新注意力机制，在这些卡上能不能跑通还不好说。
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Instinct MI210单卡 64 GB | 8 张 | ¥147,992 | 512 GB | 60.9 | 2,400 W |
 DGX Spark 128GB单台 128 GB | 4 台 | ¥172,000 | 512 GB | 13.3 | 960 W |
| RTX PRO 5000 72GB单卡 72 GB | 4 张 | ¥236,000 | 288 GB | 52.7 | 1,200 W |
| RTX A6000单卡 48 GB | 8 张 | ¥256,000 | 384 GB | 33.7 | 2,400 W |
| RTX PRO 6000单卡 96 GB | 4 张 | ¥500,000 | 384 GB | 64.9 | 2,400 W |
| A100 80GB PCIe单卡 80 GB | 4 张 | ¥560,000 | 320 GB | 68.4 | 1,200 W |
| GeForce RTX 4090 48GB单卡 48 GB | 8 张 | 暂无 | 384 GB | 42.1 | 3,600 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Instinct MI210单卡 64 GB | 8 张 | ¥147,992 | 512 GB | 42.7 | 2,400 W |
| DGX Spark 128GB单台 128 GB | 4 台 | ¥172,000 | 512 GB | 8.6 | 960 W |
| RTX PRO 5000 72GB单卡 72 GB | 8 张 | ¥472,000 | 576 GB | 36.4 | 2,400 W |
| RTX PRO 6000单卡 96 GB | 8 张 | ¥1,000,000 | 768 GB | 45.9 | 4,800 W |
| A100 80GB PCIe单卡 80 GB | 8 张 | ¥1,120,000 | 640 GB | 48.7 | 2,400 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB单台 512 GB | 2 台 | ¥235,100 | 1,024 GB | 14.5 | 960 W |
| RTX PRO 6000单卡 96 GB | 8 张 | ¥1,000,000 | 768 GB | 29.3 | 4,800 W |
Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。
用整机跑 DeepSeek V3.2 要什么配置？
显存不够，就把专家放进内存，用一张显卡加大内存服务器来跑。4-bit 下 12 通道 DDR5 服务器加一张 RTX PRO 6000 约 26 tokens/s，专家全放内存时约需 396 GB 内存；2-bit 下 8 通道 DDR4 的二手服务器加一张 RTX 3090 约 14 tokens/s。这条路用 llama.cpp（2026 年 5 月起支持 V3.2）加 unsloth 的 GGUF，页面上带 --cpu-moe 的命令就是把专家全放进内存。
GeForce RTX 3090 + EPYC 双路 DDR4
性价比出字速度20.3t/s
内存带宽341GB/s
整机参考价¥32,179
GeForce RTX 5090 + EPYC 双路 DDR5
旗舰出字速度44.7t/s
内存带宽922GB/s
整机参考价¥172,388
2 × RTX PRO 6000 + EPYC 双路 DDR5
超大模型出字速度60.8t/s
内存带宽922GB/s
整机参考价¥370,787
2 × Tesla V100 32GB + E5 双路 8 卡机
低价出字速度6.4t/s
内存带宽137GB/s
- 电源
- 自带 4 × 1,600 W 电源
- 含在准系统里
整机参考价¥23,000
GeForce RTX 3090 + EPYC 双路 DDR4
性价比出字速度12.6t/s
内存带宽341GB/s
整机参考价¥43,619
2 × GeForce RTX 5090 + EPYC 双路 DDR5
旗舰出字速度30.1t/s
内存带宽922GB/s
整机参考价¥225,186
4 × RTX PRO 6000 + EPYC 双路 DDR5
超大模型出字速度47.2t/s
内存带宽922GB/s
整机参考价¥625,187
Tesla V100 32GB + E5 双路 8 卡机
低价出字速度3.4t/s
内存带宽137GB/s
- 电源
- 自带 4 × 1,600 W 电源
- 含在准系统里
整机参考价¥32,336
GeForce RTX 5090 + EPYC 双路 DDR5
旗舰出字速度17.4t/s
内存带宽922GB/s
整机参考价¥244,388
4 × RTX PRO 6000 + EPYC 双路 DDR5
超大模型出字速度22.6t/s
内存带宽922GB/s
整机参考价¥625,187
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
本地部署 DeepSeek V3.2 要注意什么？
用什么框架
本地跑首选 llama.cpp：2026 年 5 月底合入 V3.2 支持（包括 DSA 稀疏注意力），8 月又支持了模型自带的 MTP 投机解码，unsloth 有从 1-bit 到 BF16 的整套 GGUF。vLLM 官方配方只验证过 H100 和 H200。
没有现成的对话模板
官方没给常见的 Jinja 对话模板，而是一套 Python 编码脚本，工具调用的格式也和以前不同。llama.cpp 从 2026 年 4 月起有专门的 V3.2 解析器；自己写客户端时，照官方 encoding 目录里的脚本拼提示词。新增的 developer 角色只用于搜索 Agent。
采样参数与 Speciale 版
官方本地部署建议
temperature1.0、top_p0.95。另有一个同结构的 V3.2-Speciale，只做深度推理，不支持工具调用，别拿它跑 Agent。量化和上下文
原版权重就是 FP8，所以 8-bit（约 713 GB）基本等于原版。它的注意力结构很省上下文：4-bit 下从 8K 开到 160K 只多约 11 GB，装得下权重，基本就能开满上下文。
启动命令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放进显存
llama-server -hf unsloth/DeepSeek-V3.2-GGUF:Q4_K_M -c 8192专家卸载
显存不够时加 --cpu-moe，把路由专家放进内存（约需 396 GB）。
llama-server -hf unsloth/DeepSeek-V3.2-GGUF:Q4_K_M -c 8192 -ngl 99 \ --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve deepseek-ai/DeepSeek-V3.2 \ --trust-remote-code \ --kernel-config.enable_flashinfer_autotune=False \ --tensor-parallel-size 8 \ --tokenizer-mode deepseek_v32 \ --tool-call-parser deepseek_v32 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v3
MLX
- Apple 芯片
Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。
mlx_lm.server --model mlx-community/DeepSeek-V3.2-4bitOllama
- Windows
- macOS
- Linux
Ollama 库暂无官方标签。
量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
DeepSeek 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| DeepSeek R1 Qwen3 8B稠密 | 8.2B | 8.2B | 5 GB |
| DeepSeek R1 Distill Qwen 14B稠密 | 14.8B | 14.8B | 9 GB |
| DeepSeek R1 Distill Qwen 32B稠密 | 32.8B | 32.8B | 19.9 GB |
| DeepSeek V4 FlashMoE | 284B | 13B | 155.1 GB |
| DeepSeek V4.1 FlashMoE | 763B | 8 / 16B | 444.7 GB |
| DeepSeek V4 ProMoE | 1,600B | 49B | 849.7 GB |