Qwen3.6 27B 如何本地部署？

• 4-bit 最低顯示記憶體19 GB · 8K
• 參數量27.8B
• 上下文上限256K

架構

稠密

授權

Apache-2.0

發布日期

2026年4月22日

廠商

Alibaba

Hugging Face 倉庫

Qwen/Qwen3.6-27B

GGUF 倉庫

unsloth/Qwen3.6-27B-GGUF

NVFP4 倉庫（Blackwell）

nvidia/Qwen3.6-27B-NVFP4

MLX 倉庫（Apple）

mlx-community/Qwen3.6-27B-4bit

Ollama 標籤

qwen3.6:27b

層數

64

隱藏維度

5,120

KV 頭

4

頭維度

256

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	38.3	245K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	40.7	117K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	39.7	117K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	11.3	256K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	42.6	117K
RTX A600048 GB	NT$156,0307 筆掛單	32.9	256K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	12.1	256K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	26.6	256K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	51.2	256K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	72.3	245K
RTX PRO 600096 GB	NT$609,4916 筆掛單	72.3	256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

1. 1

   和 3.8 27B 差在哪裡

   兩者架構完全相同，差別都在訓練和用法上：3.8 寫程式和長流程 Agent 任務更強，新增了 reasoning_effort 來調整思考深度，「保留思考」也預設開啟。3.6 預設只保留最近一輪的思考，要在 chat_template_kwargs 裡設定 preserve_thinking 才會全部保留。

2. 2

   取樣參數

   和 3.8 27B 相同：思考模式 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0，不思考模式 0.7、0.8、20、1.5。3.6 另外給了一套寫前端這類精確程式碼用的參數，temperature 降到 0.6。

3. 3

   框架版本和已知問題

   官方建議 vLLM 0.19.0、SGLang 0.5.10 以上。Unsloth 提醒 llama.cpp 別用 CUDA 13.2 編譯的版本，可能會輸出亂碼；上下文開得太小也會出現亂碼，官方建議至少預留 128K 給思考。Ollama 標籤是 qwen3.6:27b。

4. 4

   MTP 推測解碼

   llama.cpp 已經支援它的 MTP 推測解碼，用 Unsloth 的 MTP 版 GGUF 即可，Unsloth 表示生成速度能快 1.4 到 2.2 倍，只多佔約 1 GB。本站的速度是以不開 MTP 估算的。

ollama run qwen3.6:27b

llama-server -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3.6-27B

vllm serve nvidia/Qwen3.6-27B-NVFP4

mlx_vlm.server --model mlx-community/Qwen3.6-27B-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

關於 Qwen