本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Qwen3 8B 如何本地部署？

Qwen3 8B 是 Qwen 在 2025 年 4 月發布的 8B 稠密模型，可以在提問裡用 /think、/no_think 逐輪切換思考。預留足夠的 40K 上下文時，4-bit 約 12.1 GB，一張 12GB 顯示卡剛好。新部署我們建議直接用 Qwen3.5 9B：顯示記憶體需求基本相同，上下文卻從 40K 增加到 256K，還能看圖和影片。

Qwen3 8B 模型資訊

  • 4-bit 最低顯示記憶體8 GB · 8K
  • 參數量8.2B
  • 上下文上限40K
架構
稠密
授權
Apache-2.0
發布日期
2025年4月27日
廠商
Alibaba
Hugging Face 倉庫
Qwen/Qwen3-8B
GGUF 倉庫
Qwen/Qwen3-8B-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Qwen3-8B-NVFP4
MLX 倉庫（Apple）
Qwen/Qwen3-8B-MLX-4bit
Ollama 標籤
qwen3:8b
層數
36
隱藏維度
4,096
KV 頭
8
頭維度
128

Qwen3 8B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB40K 上下文（最大）GB
1-bit2.4GGUF4.78.39.5
2-bit3.5GGUF5.89.410.6
3-bit4.3GGUF6.610.211.4
4-bit5GGUF7.310.912.1
5-bit5.9GGUF8.211.813
8-bit8.7GGUF1114.615.8
BF16/FP1616.4GGUF18.722.323.5

詳細計算規則可在資料方法頁查看。

單卡能跑 Qwen3 8B 嗎？

跑得動，門檻是 12GB 顯示卡，但要以開滿 40K 上下文來估算。它在思考模式下會先寫一大段推理，官方建議替回答保留 32K，只按 8K 上下文估顯示記憶體會不夠用；4-bit 開滿 40K 時，12GB 顯示卡剛好放得下。16GB 的卡更適合用 8-bit，開滿上下文也放得下，回答品質更接近原版，RTX 5060 Ti 16GB 上每秒約 35 個 token；24GB 的 RTX 3090 跑 8-bit 快一倍。如果是新部署，顯示記憶體需求相近、上下文長得多的 Qwen3.5 9B 更值得先試。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單105.240K
Tesla V100 32GB32 GBNT$20,4794 筆掛單105.240K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單56.640K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單111.140K
GeForce RTX 309024 GBNT$41,44513 筆掛單108.840K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單33.540K
GeForce RTX 409024 GBNT$121,8986 筆掛單115.840K
RTX A600048 GBNT$156,0307 筆掛單91.840K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單35.640K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單75.340K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單136.340K
GeForce RTX 509032 GBNT$253,54314 筆掛單182.840K
RTX PRO 600096 GBNT$609,4916 筆掛單182.840K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Qwen3 8B 要注意什麼？

  1. 思考開關

    預設開啟思考，有兩種關閉方式：enable_thinking=False 是硬開關，完全不輸出思考；也可以在提問裡加上 /think 或 /no_think 逐輪切換。後面這種軟開關，從 Qwen3.5 起官方就不再支援了。

  2. 官方建議的取樣參數

    思考模式：temperature 0.6、top_p 0.95、top_k 20、min_p 0，官方強調別用貪婪解碼（每次都選機率最高的字），否則容易無限重複。非思考模式：temperature 0.7、top_p 0.8、top_k 20、min_p 0。

  3. 上下文超過 32K 怎麼辦

    它原生只有 32K，用 YaRN 可以擴展到 131K。但官方提醒，開源框架裡的 YaRN 是固定比例的，會拖累短文本的表現，只有在確實要處理長文時才開啟；llama-server 直接加上 rope 縮放參數即可，改設定檔的話則要重新產生 GGUF。

  4. 量化選哪一檔

    Qwen 官方儲存庫直接提供 GGUF，Ollama 標籤是 qwen3:8b。4-bit 約 5.0 GB、8-bit 約 8.7 GB，只差 3.7 GB，顯示記憶體夠就用 8-bit。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run qwen3:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf Qwen/Qwen3-8B-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve Qwen/Qwen3-8B
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve nvidia/Qwen3-8B-NVFP4

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model Qwen/Qwen3-8B-MLX-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Qwen 家族的其他模型

模型總參數激活參數4-bit 模型大小
Qwen3.5 9B稠密9.7B9.7B5.7 GB
Qwen3.6 27B稠密27.8B27.8B16.8 GB
Qwen3.8 27B稠密27.8B27.8B16.5 GB
Qwen3 32B稠密32.8B32.8B19.8 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 Flash NextMoE176B6B111.3 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

關於 Qwen