DeepSeek R1 Distill Qwen 32B 如何本地部署？

DeepSeek R1 Distill Qwen 32B 是第一批 R1 蒸馏模型里最大的 Qwen 版，24GB 显卡能装下它的 4-bit，但上下文只剩约 17K。它由 Qwen2.5 32B 微调而来，发布时官方称多项测试超过 OpenAI o1-mini；不过放到今天，同尺寸的 Qwen3.8 27B 跑分高得多，长上下文也更省显存。

DeepSeek R1 Distill Qwen 32B 模型信息

4-bit 最低显存24 GB · 8K
参数量32.8B
上下文上限128K

架构: 稠密
许可证: MIT
发布日期: 2025年1月20日
厂商: DeepSeek
Hugging Face 仓库: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
GGUF 仓库: bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF
MLX 仓库（Apple）: mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit
Ollama 标签: deepseek-r1:32b
层数: 64
隐藏维度: 5,120
KV 头: 8
头维度: 128

DeepSeek R1 Distill Qwen 32B 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	128K 上下文（最大）GB
1-bit	8.3估	11.5	17.9	43.7
2-bit	13.1GGUF	16.3	22.8	48.5
3-bit	17.9GGUF	21.1	27.6	53.3
4-bit	19.9GGUF	23.1	29.6	55.3
5-bit	23.3GGUF	26.5	33	58.7
8-bit	34.8GGUF	38	44.5	70.2
BF16/FP16	65.5GGUF	68.7	75.2	100.9

详细计算规则可在数据方法页查看。

单卡能跑 DeepSeek R1 Distill Qwen 32B 吗？

24GB 显卡跑得动 4-bit，只是上下文很紧。4-bit 权重约 20 GB，放进 RTX 3090、RTX 4090 这类卡后只剩约 17K 上下文，推理题想得一长就没地方了；在 llama.cpp 里把上下文占的显存压到一半，能挤到 32K 左右。要彻底放开，32GB 的 RTX 5090 能开到约 49K，速度也快近一倍，48GB 以上的卡才开得满。16GB 卡只能退到 2-bit，不建议。128GB 统一内存整机装得下 8-bit，可这是稠密模型，每出一个字都要把全部权重读一遍，每秒只有个位数。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	45.6	11K
Tesla V100 32GB32 GB	¥4,2004 条挂单	45.6	75K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	23.5	11K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	48.5	43K
GeForce RTX 309024 GB	¥8,50013 条挂单	47.4	43K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	13.6	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	50.7	43K
RTX A600048 GB	¥32,0007 条挂单	39.3	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	14.5	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	31.8	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	60.9	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	85.5	75K
RTX PRO 600096 GB	¥125,0006 条挂单	85.5	128K

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	31.5	49K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	33.5	17K
GeForce RTX 309024 GB	¥8,50013 条挂单	32.7	17K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	9.2	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	35.1	17K
RTX A600048 GB	¥32,0007 条挂单	27	113K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	9.9	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	21.8	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	42.3	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	60.1	49K
RTX PRO 600096 GB	¥125,0006 条挂单	60.1	128K

设备	价格	速度 t/s	最大上下文
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	5.4	128K
RTX A600048 GB	¥32,0007 条挂单	16.1	58K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	5.8	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	12.9	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	25.3	128K
RTX PRO 600096 GB	¥125,0006 条挂单	36.4	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 DeepSeek R1 Distill Qwen 32B 要注意什么？

24GB 卡怎么多挤点上下文
4-bit 下每多 1K 上下文约多占 0.27 GB（从 8K 到 32K 多了 6.5 GB）。llama.cpp 可以用 -ctk q8_0 -ctv q8_0 把上下文缓存压到约一半，按本站的显存算法推算，24GB 卡上的上下文能从约 17K 放宽到约 32K。别往 5-bit 上加：5-bit 加 8K 就要 26.5 GB，24GB 卡装不下。
用法和 14B 蒸馏版一样
仓库默认 temperature 0.6、top_p 0.95，官方要求 temperature 别超出 0.5 到 0.7；不用系统提示词；偶尔会跳过思考，建议强制输出以「<think>」开头。细节见 14B 蒸馏版。
官方 vLLM 示例是两卡 32K
模型卡给的 vLLM 命令是两张卡、32K 上下文（--tensor-parallel-size 2 --max-model-len 32768），但那是按原版 BF16 权重来的，约 66 GB，两张 24GB 卡也放不下。消费卡上还是用 GGUF 的 4-bit；Ollama 标签是 deepseek-r1:32b，下载约 20 GB。

启动命令

Ollama

Windows
macOS
Linux

终端

ollama run deepseek-r1:32b

llama.cpp

NVIDIA
AMD
Mac
CPU

终端

llama-server -hf bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M \
  -c 8192

vLLM

Linux
NVIDIA
AMD

终端

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

MLX

Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端

mlx_lm.server --model mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

DeepSeek 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密	8.2B	8.2B	5 GB
DeepSeek R1 Distill Qwen 14B稠密	14.8B	14.8B	9 GB
DeepSeek V4 FlashMoE	284B	13B	155.1 GB
DeepSeek V3.2MoE	671B	37B	405.4 GB
DeepSeek V4.1 FlashMoE	763B	8 / 16B	444.7 GB
DeepSeek V4 ProMoE	1,600B	49B	849.7 GB

关于 DeepSeek