本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

DeepSeek R1 Distill Qwen 32B 如何本地部署？

DeepSeek R1 Distill Qwen 32B 是第一批 R1 蒸餾模型中最大的 Qwen 版本，24GB 顯示卡放得下它的 4-bit，但上下文只剩約 17K。它是由 Qwen2.5 32B 微調而來，發布時官方宣稱多項測試勝過 OpenAI o1-mini；不過以現在的眼光來看，同尺寸的 Qwen3.8 27B 跑分高出許多，長上下文也更省顯示記憶體。

DeepSeek R1 Distill Qwen 32B 模型資訊

  • 4-bit 最低顯示記憶體24 GB · 8K
  • 參數量32.8B
  • 上下文上限128K
架構
稠密
授權
MIT
發布日期
2025年1月20日
廠商
DeepSeek
Hugging Face 倉庫
deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
GGUF 倉庫
bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF
MLX 倉庫（Apple）
mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit
Ollama 標籤
deepseek-r1:32b
層數
64
隱藏維度
5,120
KV 頭
8
頭維度
128

DeepSeek R1 Distill Qwen 32B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit8.3估11.517.943.7
2-bit13.1GGUF16.322.848.5
3-bit17.9GGUF21.127.653.3
4-bit19.9GGUF23.129.655.3
5-bit23.3GGUF26.53358.7
8-bit34.8GGUF3844.570.2
BF16/FP1665.5GGUF68.775.2100.9

詳細計算規則可在資料方法頁查看。

單卡能跑 DeepSeek R1 Distill Qwen 32B 嗎？

24GB 的顯示卡跑得動 4-bit，只是上下文很緊。4-bit 權重約 20 GB，放進 RTX 3090、RTX 4090 這類卡之後，上下文只剩約 17K，推理題一想久就沒空間了；在 llama.cpp 裡把上下文占用的顯示記憶體壓到一半，可以擠到 32K 左右。想完全放開，32GB 的 RTX 5090 能開到約 49K，速度也快將近一倍，48GB 以上的卡才開得滿。16GB 的卡只能退到 2-bit，不建議。128GB 統一記憶體的整機放得下 8-bit，但這是稠密模型，每產生一個字都要把全部權重讀一遍，每秒只有個位數。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 32GB32 GBNT$20,4794 筆掛單31.549K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單33.517K
GeForce RTX 309024 GBNT$41,44513 筆掛單32.717K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單9.2128K
GeForce RTX 409024 GBNT$121,8986 筆掛單35.117K
RTX A600048 GBNT$156,0307 筆掛單27113K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單9.9128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單21.8128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單42.3128K
GeForce RTX 509032 GBNT$253,54314 筆掛單60.149K
RTX PRO 600096 GBNT$609,4916 筆掛單60.1128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 DeepSeek R1 Distill Qwen 32B 要注意什麼？

  1. 24GB 的卡怎麼多擠出一點上下文

    4-bit 下每多 1K 上下文約多佔 0.27 GB（從 8K 到 32K 多了 6.5 GB）。llama.cpp 可以用 -ctk q8_0 -ctv q8_0 把上下文快取壓到大約一半；依本站的顯示記憶體算法推估，24GB 卡上的上下文可以從約 17K 放寬到約 32K。不要反過來往 5-bit 加：5-bit 加 8K 就要 26.5 GB，24GB 的卡放不下。

  2. 用法和 14B 蒸餾版相同

    儲存庫預設 temperature 0.6、top_p 0.95，官方要求 temperature 不要超出 0.5 到 0.7；不使用系統提示詞；偶爾會略過思考，建議強制輸出以「<think>」開頭。細節請見 14B 蒸餾版。

  3. 官方 vLLM 範例是雙卡 32K

    模型卡上的 vLLM 指令是兩張卡、32K 上下文（--tensor-parallel-size 2 --max-model-len 32768），但那是以原版 BF16 權重計算，約 66 GB，兩張 24GB 的卡也放不下。消費級顯示卡還是用 GGUF 的 4-bit；Ollama 標籤是 deepseek-r1:32b，下載約 20 GB。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run deepseek-r1:32b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

DeepSeek 家族的其他模型

模型總參數激活參數4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密8.2B8.2B5 GB
DeepSeek R1 Distill Qwen 14B稠密14.8B14.8B9 GB
DeepSeek V4 FlashMoE284B13B155.1 GB
DeepSeek V3.2MoE671B37B405.4 GB
DeepSeek V4.1 FlashMoE763B8 / 16B444.7 GB
DeepSeek V4 ProMoE1,600B49B849.7 GB

關於 DeepSeek