本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

DeepSeek R1 Distill Qwen 14B 如何本地部署？

DeepSeek R1 Distill Qwen 14B 是 DeepSeek 在 2025 年 1 月以 R1 產生的樣本訓練出來的 14B 推理模型。它以 Qwen2.5 14B 為基礎，每次回答前都會先思考；4-bit 搭配 8K 上下文約 11.7 GB，一張 12GB 顯示卡就放得下。不過思考過程很吃上下文，16GB 的卡最多只能開到約 35K。同尺寸現在已經有更強的新模型，新部署建議先考慮 R1 Qwen3 8B 或 Gemma 4 12B。

DeepSeek R1 Distill Qwen 14B 模型資訊

  • 4-bit 最低顯示記憶體12 GB · 8K
  • 參數量14.8B
  • 上下文上限128K
架構
稠密
授權
MIT
發布日期
2025年1月20日
廠商
DeepSeek
Hugging Face 倉庫
deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
GGUF 倉庫
bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF
MLX 倉庫（Apple）
mlx-community/DeepSeek-R1-Distill-Qwen-14B-4bit
Ollama 標籤
deepseek-r1:14b
層數
48
隱藏維度
5,120
KV 頭
8
頭維度
128

DeepSeek R1 Distill Qwen 14B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit3.7估6.411.230.6
2-bit6.5GGUF9.21433.3
3-bit8.6GGUF11.316.135.4
4-bit9GGUF11.716.535.8
5-bit10.5GGUF13.21837.3
8-bit15.7GGUF18.423.242.5
BF16/FP1629.5GGUF32.23756.3

詳細計算規則可在資料方法頁查看。

單卡能跑 DeepSeek R1 Distill Qwen 14B 嗎？

12GB 的顯示卡就能跑，但卡有多大，決定了它能想多久。4-bit 權重只有 9 GB，真正占空間的是上下文：它用的是一般的注意力結構，上下文開得越長，額外占用的顯示記憶體就越多，開滿 128K 時，這部分比權重本身還大一倍多。因此 16GB 的卡（例如 RTX 5060 Ti 16GB）跑 4-bit 最多開到約 35K，做長推理題會很緊；24GB 的卡能開到約 77K，在 RTX 3090 上也很流暢。3-bit 騰不出多少空間；8-bit 只會讓上下文更短，顯示記憶體還是留給上下文比較有用。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單64.235K
Tesla V100 32GB32 GBNT$20,4794 筆掛單64.2120K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單33.435K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單6877K
GeForce RTX 309024 GBNT$41,44513 筆掛單66.577K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單19.5128K
GeForce RTX 409024 GBNT$121,8986 筆掛單71.177K
RTX A600048 GBNT$156,0307 筆掛單55.5128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單20.8128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單45.1128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單84.8128K
GeForce RTX 509032 GBNT$253,54314 筆掛單117.3120K
RTX PRO 600096 GBNT$609,4916 筆掛單117.3128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 DeepSeek R1 Distill Qwen 14B 要注意什麼？

  1. 依官方要求寫提示詞

    官方給了三點建議：temperature 設在 0.5 到 0.7 之間（建議 0.6），設太高容易無限重複或前後不連貫；不要用系統提示詞，所有要求都寫進使用者訊息裡；解數學題時，在提示詞裡加上「Please reason step by step, and put your final answer within \boxed{}」。

  2. 它偶爾會略過思考

    R1 系列偶爾會輸出一個空的思考區塊就直接作答，表現會因此變差。官方建議強制每次輸出都以「<think>」加換行開頭。0528 之後的版本（例如 R1 Qwen3 8B）已經不需要這個步驟。

  3. 卡住它的是上下文，不是權重

    它採用一般的注意力結構，上下文越長，存放上下文的 KV 快取就跟著線性變大：4-bit 下從 8K 開到 128K 要多出約 24.1 GB，是權重本身的兩倍多。所以在 16GB 的卡上，真正的限制是上下文長度；跑長篇推理題之前，先算好要預留多少空間。

  4. 用哪個框架

    它就是 Qwen2.5 的架構，llama.cpp、Ollama、vLLM、SGLang 都能直接支援；Ollama 標籤是 deepseek-r1:14b（4-bit，下載約 9 GB）。官方表示對設定檔和分詞器做過小幅修改，部署時請使用 DeepSeek 儲存庫裡的檔案。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run deepseek-r1:14b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/DeepSeek-R1-Distill-Qwen-14B-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

DeepSeek 家族的其他模型

模型總參數激活參數4-bit 模型大小
DeepSeek R1 Qwen3 8B稠密8.2B8.2B5 GB
DeepSeek R1 Distill Qwen 32B稠密32.8B32.8B19.9 GB
DeepSeek V4 FlashMoE284B13B155.1 GB
DeepSeek V3.2MoE671B37B405.4 GB
DeepSeek V4.1 FlashMoE763B8 / 16B444.7 GB
DeepSeek V4 ProMoE1,600B49B849.7 GB

關於 DeepSeek