Qwen3 32B 如何本地部署？

Qwen3 32B 是 2025 年 4 月 Qwen3 系列里最大的稠密模型，有思考和不思考两种模式。24GB 显卡能装下它的 4-bit（8K 约 23 GB），但上下文很吃显存，RTX 3090 上只能开到约 18K，思考稍长就会顶满。新部署我们建议换成 Qwen3.8 27B：同样占一张 24GB 卡，上下文能开到约 122K。

Qwen3 32B 模型信息

4-bit 最低显存24 GB · 8K
参数量32.8B
上下文上限40K

架构: 稠密
许可证: Apache-2.0
发布日期: 2025年4月27日
厂商: Alibaba
Hugging Face 仓库: Qwen/Qwen3-32B
GGUF 仓库: Qwen/Qwen3-32B-GGUF
NVFP4 仓库（Blackwell）: nvidia/Qwen3-32B-NVFP4
MLX 仓库（Apple）: Qwen/Qwen3-32B-MLX-4bit
Ollama 标签: qwen3:32b
层数: 64
隐藏维度: 5,120
KV 头: 8
头维度: 128

Qwen3 32B 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	40K 上下文（最大）GB
1-bit	8.3GGUF	11.5	18	20.1
2-bit	12.8GGUF	16	22.5	24.6
3-bit	16.4GGUF	19.6	26.1	28.2
4-bit	19.8GGUF	23	29.5	31.6
5-bit	23.2GGUF	26.4	32.9	35
8-bit	34.8GGUF	38	44.5	46.6
BF16/FP16	65.5GGUF	68.7	75.2	77.3

详细计算规则可在数据方法页查看。

单卡能跑 Qwen3 32B 吗？

能，一张 24GB 显卡就跑得动 4-bit，只是上下文开不大。4-bit 加 8K 上下文约 23 GB，RTX 3090、4090 这类卡装下之后，上下文最多只能开到 18K 左右：它每一层都要记住完整的上下文，开得越长，额外占的显存越多，思考模式一段长推理就可能把余量用完。想开满 40K 的上限，得换 32GB 的 RTX 5090，4-bit 每秒约 60 个 token。16GB 的卡只能退到 2-bit，不推荐。新部署的话，同样一张 24GB 卡跑 Qwen3.8 27B，上下文宽裕得多。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	46.6	12K
Tesla V100 32GB32 GB	¥4,2004 条挂单	46.6	40K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	24	12K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	49.5	40K
GeForce RTX 309024 GB	¥8,50013 条挂单	48.3	40K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	13.9	40K
GeForce RTX 409024 GB	¥25,0006 条挂单	51.7	40K
RTX A600048 GB	¥32,0007 条挂单	40.1	40K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	14.8	40K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	32.4	40K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	62.1	40K
GeForce RTX 509032 GB	¥51,99914 条挂单	87.1	40K
RTX PRO 600096 GB	¥125,0006 条挂单	87.1	40K

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	31.6	40K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	33.6	18K
GeForce RTX 309024 GB	¥8,50013 条挂单	32.8	18K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	9.3	40K
GeForce RTX 409024 GB	¥25,0006 条挂单	35.2	18K
RTX A600048 GB	¥32,0007 条挂单	27.2	40K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	9.9	40K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	21.9	40K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	42.5	40K
GeForce RTX 509032 GB	¥51,99914 条挂单	60.3	40K
RTX PRO 600096 GB	¥125,0006 条挂单	60.3	40K

设备	价格	速度 t/s	最大上下文
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	5.4	40K
RTX A600048 GB	¥32,0007 条挂单	16.1	40K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	5.8	40K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	12.9	40K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	25.3	40K
RTX PRO 600096 GB	¥125,0006 条挂单	36.4	40K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 Qwen3 32B 要注意什么？

上下文为什么这么吃显存
它 64 层都要存完整的上下文缓存，上下文每多 1K 约多 0.27 GB：4-bit 从 8K 开到 32K，显存从约 23.0 GB 涨到 29.5 GB，开满 40K 要 31.6 GB。Qwen3.5 以后的 27B 改成每 4 层只有 1 层看完整上下文，同样从 8K 开到 32K 只多约 1.6 GB，这就是新模型在 24GB 卡上能开长上下文的原因。
24GB 卡上的取舍
思考内容也占上下文，日常问答在提问里加 /no_think 关掉思考，能省下不少空间。实在要更长，就降到 3-bit（8K 约 19.6 GB），按本站公式估算，24GB 卡能开到约 30K。
思考输出要留够长度
官方建议多数问题给 32,768 token 的输出长度，竞赛级难题给 38,912；按 4-bit 算，这要 RTX 5090 或 48GB 的卡才放得下。采样参数和 Qwen3 8B 相同：思考模式 temperature 0.6、top_p 0.95、top_k 20，不思考模式 0.7、0.8、20。
用什么框架
Qwen 官方仓库提供 GGUF，Ollama 标签是 qwen3:32b；vLLM 要 0.8.5、SGLang 要 0.4.6.post1 以上。

启动命令

Ollama

Windows
macOS
Linux

终端

ollama run qwen3:32b

llama.cpp

NVIDIA
AMD
Mac
CPU

终端

llama-server -hf Qwen/Qwen3-32B-GGUF:Q4_K_M -c 8192

vLLM

Linux
NVIDIA
AMD

原版权重

终端

vllm serve Qwen/Qwen3-32B

NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。

终端

vllm serve nvidia/Qwen3-32B-NVFP4

MLX

Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端

mlx_lm.server --model Qwen/Qwen3-32B-MLX-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Qwen 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

关于 Qwen