本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

DeepSeek R1 Qwen3 8B 如何本地部署？

DeepSeek R1 Qwen3 8B 是用 R1-0528 的思考過程訓練出來的 Qwen3 8B，在 Ollama 直接執行 deepseek-r1 下載的就是它。4-bit 加 8K 上下文約 7.3 GB，8GB 顯示卡就能跑；數學題比原版 Qwen3 8B 強上一截，代價是每次都得先輸出一段思考。現在新部署比較推薦思考模式可開可關的 Qwen3.5 9B。

DeepSeek R1 Qwen3 8B 模型資訊

  • 4-bit 最低顯示記憶體8 GB · 8K
  • 參數量8.2B
  • 上下文上限128K
架構
稠密
授權
MIT
發布日期
2025年5月29日
廠商
DeepSeek
Hugging Face 倉庫
deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
GGUF 倉庫
unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF
MLX 倉庫（Apple）
mlx-community/DeepSeek-R1-0528-Qwen3-8B-4bit
Ollama 標籤
deepseek-r1:8b
小版本
0528
層數
36
隱藏維度
4,096
KV 頭
8
頭維度
128

DeepSeek R1 Qwen3 8B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit2.4GGUF4.78.322.8
2-bit3.5GGUF5.89.423.9
3-bit4.3GGUF6.610.224.7
4-bit5GGUF7.310.925.4
5-bit5.9GGUF8.211.826.3
8-bit8.7GGUF1114.629.1
BF16/FP1616.4GGUF18.722.336.8

詳細計算規則可在資料方法頁查看。

單卡能跑 DeepSeek R1 Qwen3 8B 嗎？

可以，幾乎任何獨立顯示卡都行，4-bit 連 8GB 的卡都放得下。真正要算的是上下文：它每次回答前都會先寫一長段思考，遇到難題，思考可以長達幾萬個 token，所以上下文至少要預留 32K，否則想到一半就會被截斷。照這個標準，16GB 的卡（例如 RTX 5060 Ti 16GB）可以直接用 8-bit，留足 32K 也放得下，品質接近原版；24GB 的卡跑 8-bit 能開到約 105K，RTX 3090 上每秒約 70 個 token。12GB 的卡就用 4-bit。2-bit 省不了多少空間，不值得。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單105.273K
Tesla V100 32GB32 GBNT$20,4794 筆掛單105.2128K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單56.673K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單111.1128K
GeForce RTX 309024 GBNT$41,44513 筆掛單108.8128K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單33.5128K
GeForce RTX 409024 GBNT$121,8986 筆掛單115.8128K
RTX A600048 GBNT$156,0307 筆掛單91.8128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單35.6128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單75.3128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單136.3128K
GeForce RTX 509032 GBNT$253,54314 筆掛單182.8128K
RTX PRO 600096 GBNT$609,4916 筆掛單182.8128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 DeepSeek R1 Qwen3 8B 要注意什麼？

  1. 它不是完整版 R1

    名字裡雖然有 R1，但它和 671B 的完整版 R1 是兩回事：架構和 Qwen3 8B 完全一樣，只是用 R1-0528 的思考過程對 Qwen3 8B 做了後訓練。官方特別提醒，它的分詞器設定沿用 R1-0528，自行部署或轉換格式時，設定檔要從 DeepSeek 的儲存庫取得，不能拿 Qwen3 原版的來替代。

  2. 量化選哪一檔

    顯示記憶體夠就用 8-bit：權重 8.7 GB，16GB 的卡加上 32K 上下文約 14.6 GB，放得下。12GB 的卡就用 4-bit（32K 約 10.9 GB）。2-bit 只比 4-bit 小 1.5 GB，對 8B 模型來說，省下這點空間並不值得。

  3. 官方建議的設定

    官方網頁和 App 用 temperature 0.6，評測時用 top_p 0.95。和 2025 年 1 月的 14B、32B 蒸餾版不同，0528 版支援系統提示詞，也不必再手動在輸出開頭補上思考標記。

  4. 別用預設上下文跑難題

    預設上下文通常太短，思考一拉長就會被截斷：Ollama 依顯示記憶體決定預設值，24GB 以下只有 4K，24 到 48GB 是 32K；頁面上的 llama-server 指令開的是 8K（-c 8192）。解數學題、程式題時，llama-server 要把 -c 調到 32768 以上；Ollama 則用 OLLAMA_CONTEXT_LENGTH 環境變數或 /set parameter num_ctx 調大。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run deepseek-r1:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve deepseek-ai/DeepSeek-R1-0528-Qwen3-8B

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/DeepSeek-R1-0528-Qwen3-8B-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

DeepSeek 家族的其他模型

模型總參數激活參數4-bit 模型大小
DeepSeek R1 Distill Qwen 14B稠密14.8B14.8B9 GB
DeepSeek R1 Distill Qwen 32B稠密32.8B32.8B19.9 GB
DeepSeek V4 FlashMoE284B13B155.1 GB
DeepSeek V3.2MoE671B37B405.4 GB
DeepSeek V4.1 FlashMoE763B8 / 16B444.7 GB
DeepSeek V4 ProMoE1,600B49B849.7 GB

關於 DeepSeek