本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Qwen3.8 27B 如何本地部署？

Qwen3.8 27B 是 Qwen 2026 年 8 月發布的 27B 稠密模型，能看圖也能看影片，是現在用單張顯示卡跑 Qwen 稠密模型的首選。一張 24GB 顯示卡就能跑它的 4-bit，約 40 tokens/s，上下文能開到約 122K；它每 4 層只有 1 層看完整上下文，所以長上下文不太佔顯示記憶體。

Qwen3.8 27B 模型資訊

  • 4-bit 最低顯示記憶體19 GB · 8K
  • 參數量27.8B
  • 上下文上限256K
架構
稠密
授權
Apache-2.0
發布日期
2026年8月14日
廠商
Alibaba
Hugging Face 倉庫
Qwen/Qwen3.8-27B
GGUF 倉庫
unsloth/Qwen3.8-27B-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Qwen3.8-27B-NVFP4
MLX 倉庫（Apple）
mlx-community/Qwen3.8-27B-4bit
Ollama 標籤
qwen3.8:27b
層數
64
隱藏維度
5,120
KV 頭
4
頭維度
256

Qwen3.8 27B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit6.7GGUF8.39.916.425
2-bit9.8GGUF11.41319.528.1
3-bit13.1GGUF14.716.322.831.4
4-bit16.5GGUF18.119.726.234.8
5-bit19.8GGUF21.42329.538.1
8-bit29GGUF30.632.238.747.3
BF16/FP1654.7GGUF56.357.964.473

詳細計算規則可在資料方法頁查看。

單卡能跑 Qwen3.8 27B 嗎？

最合適的起點是 24GB 顯示卡，16GB 也擠得進去。24GB 卡跑 4-bit 每秒約 40 個 token，上下文能開到約 122K；32GB 的 RTX 5090 快將近一倍。16GB 卡能跑，靠的是 Unsloth 壓到約 10 GB 的 2-bit，Tesla V100 這類卡整個放得下，回答品質會打點折扣。它預設把之前每一輪的思考都留在對話裡，聊得越久上下文漲得越快。128GB 統一記憶體的整機放得下 8-bit，但頻寬低，稠密模型每生成一步都要讀完整份權重，4-bit 每秒也只有約 12 個 token。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 32GB32 GBNT$20,4794 筆掛單38.9250K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單41.4122K
GeForce RTX 309024 GBNT$41,44513 筆掛單40.4122K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單11.5256K
GeForce RTX 409024 GBNT$121,8986 筆掛單43.3122K
RTX A600048 GBNT$156,0307 筆掛單33.5256K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單12.3256K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單27256K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單52.1256K
GeForce RTX 509032 GBNT$253,54314 筆掛單73.5250K
RTX PRO 600096 GBNT$609,4916 筆掛單73.5256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Qwen3.8 27B 要注意什麼？

  1. 思考深度三檔

    思考深度用 reasoning_effort 設定，分成 xhigh（預設）、medium、low 三檔。官方提醒，在多輪 Agent 任務中調低不一定比較快：每輪想得不夠，反而容易失敗重試。llama.cpp 用 --chat-template-kwargs 傳入 reasoning_effort。

  2. 思考內容預設保留

    3.8 預設會把之前每一輪的思考也留在上下文裡，多輪對話的上下文漲得很快。好在它的上下文快取很省，4-bit 從 8K 開到 128K 只多約 8.1 GB；如果只想保留最新一輪的思考，就把 preserve_thinking 設成 false。

  3. 官方建議的取樣參數

    思考模式：temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0。非思考模式：temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5。

  4. 量化和格式

    GGUF 用 Unsloth 的 Dynamic 3.0 版，4-bit 約 16.5 GB；Ollama 標籤是 qwen3.8:27b。RTX 50 系列和 DGX Spark 可以用 vLLM 跑 Unsloth 的 NVFP4 版，Unsloth 表示比 BF16 快約 1.5 倍；官方另有 FP8 版。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run qwen3.8:27b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve Qwen/Qwen3.8-27B
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve nvidia/Qwen3.8-27B-NVFP4

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/Qwen3.8-27B-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Qwen 家族的其他模型

模型總參數激活參數4-bit 模型大小
Qwen3 8B稠密8.2B8.2B5 GB
Qwen3.5 9B稠密9.7B9.7B5.7 GB
Qwen3.6 27B稠密27.8B27.8B16.8 GB
Qwen3 32B稠密32.8B32.8B19.8 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 Flash NextMoE176B6B111.3 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

關於 Qwen