本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Qwen3 32B 如何本地部署？

Qwen3 32B 是 2025 年 4 月推出的 Qwen3 系列中最大的稠密模型，有思考與不思考兩種模式。24GB 顯示卡放得下它的 4-bit（8K 約 23 GB），但上下文很吃顯示記憶體，在 RTX 3090 上只能開到約 18K，思考稍微長一點就會塞滿。新部署我們建議改用 Qwen3.8 27B：同樣只佔一張 24GB 的卡，上下文卻能開到約 122K。

Qwen3 32B 模型資訊

  • 4-bit 最低顯示記憶體24 GB · 8K
  • 參數量32.8B
  • 上下文上限40K
架構
稠密
授權
Apache-2.0
發布日期
2025年4月27日
廠商
Alibaba
Hugging Face 倉庫
Qwen/Qwen3-32B
GGUF 倉庫
Qwen/Qwen3-32B-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Qwen3-32B-NVFP4
MLX 倉庫（Apple）
Qwen/Qwen3-32B-MLX-4bit
Ollama 標籤
qwen3:32b
層數
64
隱藏維度
5,120
KV 頭
8
頭維度
128

Qwen3 32B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB40K 上下文（最大）GB
1-bit8.3GGUF11.51820.1
2-bit12.8GGUF1622.524.6
3-bit16.4GGUF19.626.128.2
4-bit19.8GGUF2329.531.6
5-bit23.2GGUF26.432.935
8-bit34.8GGUF3844.546.6
BF16/FP1665.5GGUF68.775.277.3

詳細計算規則可在資料方法頁查看。

單卡能跑 Qwen3 32B 嗎？

可以，一張 24GB 顯示卡就跑得動 4-bit，只是上下文開不大。4-bit 加 8K 上下文約 23 GB，RTX 3090、4090 這類卡放進去之後，上下文最多只能開到 18K 左右：它每一層都要記住完整的上下文，開得越長，額外占用的顯示記憶體越多，思考模式一段長推理就可能把餘裕吃光。想開滿 40K 的上限，得換 32GB 的 RTX 5090，4-bit 每秒約 60 個 token。16GB 的卡只能退到 2-bit，不建議。如果是新部署，同樣一張 24GB 卡改跑 Qwen3.8 27B，上下文寬裕得多。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 32GB32 GBNT$20,4794 筆掛單31.640K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單33.618K
GeForce RTX 309024 GBNT$41,44513 筆掛單32.818K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單9.340K
GeForce RTX 409024 GBNT$121,8986 筆掛單35.218K
RTX A600048 GBNT$156,0307 筆掛單27.240K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單9.940K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單21.940K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單42.540K
GeForce RTX 509032 GBNT$253,54314 筆掛單60.340K
RTX PRO 600096 GBNT$609,4916 筆掛單60.340K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Qwen3 32B 要注意什麼？

  1. 上下文為什麼這麼吃顯示記憶體

    它的 64 層都要存完整的上下文快取，上下文每多 1K 約多 0.27 GB：4-bit 從 8K 開到 32K，顯示記憶體用量從約 23.0 GB 漲到 29.5 GB，開滿 40K 則要 31.6 GB。Qwen3.5 之後的 27B 改成每 4 層只有 1 層看完整上下文，同樣從 8K 開到 32K 只多約 1.6 GB，這就是新模型能在 24GB 的卡上開長上下文的原因。

  2. 24GB 卡上的取捨

    思考內容也會佔用上下文，日常問答在提問裡加上 /no_think 關閉思考，可以省下不少空間。真的需要更長，就降到 3-bit（8K 約 19.6 GB），依本站公式估算，24GB 的卡能開到約 30K。

  3. 思考輸出要預留足夠長度

    官方建議多數問題給 32,768 token 的輸出長度，競賽級難題給 38,912；以 4-bit 計算，這需要 RTX 5090 或 48GB 的卡才放得下。取樣參數和 Qwen3 8B 相同：思考模式 temperature 0.6、top_p 0.95、top_k 20，不思考模式 0.7、0.8、20。

  4. 用哪個框架

    Qwen 官方儲存庫有提供 GGUF，Ollama 標籤是 qwen3:32b；vLLM 要 0.8.5、SGLang 要 0.4.6.post1 以上。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run qwen3:32b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf Qwen/Qwen3-32B-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve Qwen/Qwen3-32B
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve nvidia/Qwen3-32B-NVFP4

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model Qwen/Qwen3-32B-MLX-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Qwen 家族的其他模型

模型總參數激活參數4-bit 模型大小
Qwen3 8B稠密8.2B8.2B5 GB
Qwen3.5 9B稠密9.7B9.7B5.7 GB
Qwen3.6 27B稠密27.8B27.8B16.8 GB
Qwen3.8 27B稠密27.8B27.8B16.5 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 Flash NextMoE176B6B111.3 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

關於 Qwen