GeForce RTX 5070 + 家用 DDR5
家用生成速度133t/s
記憶體頻寬96GB/s
整機參考價NT$58,098
Qwen3.6 35B A3B 如何本地部署？
Qwen3.6 35B A3B 是 Qwen 2026 年 4 月發布的 MoE，總參數約 36B，但每個字只動用 3B，所以跑得很快。一張 24GB 顯示卡放得下它的 4-bit，在 RTX 3090 上約 135 tokens/s，是同一張卡跑 27B 稠密模型的三倍多。它能看圖和影片；顯示記憶體不夠時，還能把一部分專家放進系統記憶體來跑。
Qwen3.6 35B A3B 模型資訊
- 4-bit 最低顯示記憶體24 GB · 8K
- 參數量36B
- 激活參數3B
- 上下文上限256K
- 架構
- MoE
- 專家卸載
- 4 GB 顯存 + 21 GB 記憶體
- 授權
- Apache-2.0
- 發布日期
- 2026年4月16日
- 廠商
- Alibaba
- Hugging Face 倉庫
- Qwen/Qwen3.6-35B-A3B
- GGUF 倉庫
- unsloth/Qwen3.6-35B-A3B-GGUF
- NVFP4 倉庫（Blackwell）
- nvidia/Qwen3.6-35B-A3B-NVFP4
- MLX 倉庫（Apple）
- mlx-community/Qwen3.6-35B-A3B-4bit
- Ollama 標籤
- qwen3.6:35b-a3b
- 層數
- 40
- 隱藏維度
- 2,048
- KV 頭
- 2
- 頭維度
- 256
Qwen3.6 35B A3B 本地部署需要多少顯示記憶體？
| 量化 | 權重體積GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 10GGUF | 11.2 | 11.7 | 13.8 | 16.4 |
| 2-bit | 12.3GGUF | 13.5 | 14 | 16.1 | 18.7 |
| 3-bit | 16.8GGUF | 18 | 18.5 | 20.6 | 23.2 |
| 4-bit | 22.1GGUF | 23.3 | 23.8 | 25.9 | 28.5 |
| 5-bit | 26.5GGUF | 27.7 | 28.2 | 30.3 | 32.9 |
| 8-bit | 36.9GGUF | 38.1 | 38.6 | 40.7 | 43.3 |
| BF16/FP16 | 69.4GGUF | 70.6 | 71.1 | 73.2 | 75.8 |
詳細計算規則可在資料方法頁查看。
單卡能跑 Qwen3.6 35B A3B 嗎？
可以，而且很快。它生成每個 token 只動用約 3B 參數，所以 24GB 卡放進 4-bit 後每秒約 135 個 token。真正卡關的是體積：4-bit 剛好壓在 24GB 的邊緣，16GB 的卡放不下，只能整個改用 2-bit，或者保留 4-bit、把一部分專家放進系統記憶體跑。32GB 的 RTX 5090 能把 256K 上下文開滿。128GB 統一記憶體的整機跑它也很順，8-bit 每秒仍有約 50 個 token：每一步要讀的資料很少，整機頻寬低的弱點不明顯。
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
 Tesla V100 16GB16 GB | NT$6,0955 筆掛單 | 158.6 | 181K |
| Tesla V100 32GB32 GB | NT$20,4794 筆掛單 | 158.6 | 256K |
| GeForce RTX 5060 Ti 16GB16 GB | NT$25,23314 筆掛單 | 126.1 | 181K |
| Radeon RX 7900 XTX24 GB | NT$27,76412 筆掛單 | 161.1 | 256K |
| GeForce RTX 309024 GB | NT$41,44513 筆掛單 | 160.1 | 256K |
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,64316 筆掛單 | 96.6 | 256K |
| GeForce RTX 409024 GB | NT$121,8986 筆掛單 | 163 | 256K |
| RTX A600048 GB | NT$156,0307 筆掛單 | 151.9 | 256K |
| DGX Spark 128GB整機 · 128 GB | NT$209,66541 筆掛單 | 100 | 256K |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$222,80110 筆掛單 | 141.7 | 256K |
| Mac Studio M5 Ultra 96GB整機 · 96 GB | NT$224,29315 筆掛單 | 170.2 | 256K |
| GeForce RTX 509032 GB | NT$253,54314 筆掛單 | 181.6 | 256K |
| RTX PRO 600096 GB | NT$609,4916 筆掛單 | 181.6 | 256K |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Tesla V100 32GB32 GB | NT$20,4794 筆掛單 | 133.5 | 256K |
| Radeon RX 7900 XTX24 GB | NT$27,76412 筆掛單 | 136.7 | 123K |
| GeForce RTX 309024 GB | NT$41,44513 筆掛單 | 135.4 | 123K |
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,64316 筆掛單 | 68.9 | 256K |
| GeForce RTX 409024 GB | NT$121,8986 筆掛單 | 139 | 123K |
| RTX A600048 GB | NT$156,0307 筆掛單 | 125.4 | 256K |
| DGX Spark 128GB整機 · 128 GB | NT$209,66541 筆掛單 | 71.9 | 256K |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$222,80110 筆掛單 | 113.7 | 256K |
| Mac Studio M5 Ultra 96GB整機 · 96 GB | NT$224,29315 筆掛單 | 148.3 | 256K |
| GeForce RTX 509032 GB | NT$253,54314 筆掛單 | 163.9 | 256K |
| RTX PRO 600096 GB | NT$609,4916 筆掛單 | 163.9 | 256K |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,64316 筆掛單 | 48.1 | 256K |
| RTX A600048 GB | NT$156,0307 筆掛單 | 99.3 | 256K |
| DGX Spark 128GB整機 · 128 GB | NT$209,66541 筆掛單 | 50.5 | 256K |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$222,80110 筆掛單 | 87.6 | 256K |
| Mac Studio M5 Ultra 96GB整機 · 96 GB | NT$224,29315 筆掛單 | 124.1 | 256K |
| RTX PRO 600096 GB | NT$609,4916 筆掛單 | 142.8 | 256K |
只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。
用整機跑 Qwen3.6 35B A3B 要什麼配置？
16GB 顯示卡想跑 4-bit，就把一部分專家放進系統記憶體：一張 16GB 的 Tesla V100 放下 40 層中 26 層的專家，其餘放進記憶體，雙通道 DDR4 桌機約 76 tokens/s，DDR5 約 96。8-bit 下，8 通道 DDR4 的二手伺服器配 RTX 3090 約 84 tokens/s。在 llama.cpp 裡，--n-cpu-moe N 會把前 N 層的專家放進記憶體，--cpu-moe 則是全部放進記憶體。
GeForce RTX 5070 + 家用 DDR5
家用生成速度76.7t/s
記憶體頻寬96GB/s
整機參考價NT$58,098
2 × GeForce RTX 5070 + 家用 DDR5
家用生成速度60.6t/s
記憶體頻寬96GB/s
整機參考價NT$89,977
Tesla V100 32GB + E5 雙路 DDR4
低價生成速度90.2t/s
記憶體頻寬137GB/s
整機參考價NT$48,971
GeForce RTX 3090 + EPYC 單路 DDR4
性價比生成速度83.5t/s
記憶體頻寬171GB/s
整機參考價NT$117,603
GeForce RTX 5090 + EPYC 單路 DDR5
旗艦生成速度135.8t/s
記憶體頻寬461GB/s
整機參考價NT$553,564
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
本地部署 Qwen3.6 35B A3B 要注意什麼？
取樣參數和 27B 不同
思考模式的通用任務，官方建議
temperature1.0、top_p0.95、top_k20、presence_penalty1.5（同代的 27B 這裡是 0）；寫程式用temperature0.6、presence_penalty0；不思考模式 0.7、0.8、20，presence_penalty1.5。量化選哪一檔
它每個字只讀取 3B 參數，所以量化檔位對速度的影響比稠密模型小，但對體積的影響一樣大。24GB 的卡用 4-bit（約 22.1 GB）；48GB 以上的卡或統一記憶體整機，可以直接用 8-bit（約 36.9 GB），在 RTX A6000 上仍有約 99 tokens/s。
MTP 還能再快一截
llama.cpp 已經支援 MTP 推測解碼，MTP 版 GGUF 只多佔約 1 GB。Unsloth 表示這個模型開啟 MTP 後，在一張「RTX 6000」上約 240 tokens/s，但沒寫是哪一代的卡、哪個量化檔；這是 Unsloth 的數字，本站的速度沒有把 MTP 算進去。Ollama 標籤是 qwen3.6:35b-a3b。
思考要預留足夠的上下文
官方建議上下文至少預留 128K 來保住思考能力。24GB 的卡上 4-bit 最多約 123K，略低於這個建議；要留足的話，就降到 3-bit（128K 約 20.6 GB），或改用 32GB 的卡。
啟動指令
Ollama
- Windows
- macOS
- Linux
ollama run qwen3.6:35b-a3bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放進顯示記憶體
llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_M -c 8192專家卸載
顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 21 GB）。
llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_M -c 8192 -ngl 99 \ --cpu-moe
vLLM
- Linux
- NVIDIA
- AMD
原版權重
vllm serve Qwen/Qwen3.6-35B-A3BNVFP4 · Blackwell
Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。
vllm serve nvidia/Qwen3.6-35B-A3B-NVFP4MLX
- Apple 晶片
能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。
mlx_vlm.server --model mlx-community/Qwen3.6-35B-A3B-4bit量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
Qwen 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| Qwen3 8B稠密 | 8.2B | 8.2B | 5 GB |
| Qwen3.5 9B稠密 | 9.7B | 9.7B | 5.7 GB |
| Qwen3.6 27B稠密 | 27.8B | 27.8B | 16.8 GB |
| Qwen3.8 27B稠密 | 27.8B | 27.8B | 16.5 GB |
| Qwen3 32B稠密 | 32.8B | 32.8B | 19.8 GB |
| Qwen3.8 Flash NextMoE | 176B | 6B | 111.3 GB |
| Qwen3.8 2.4T A95BMoE | 2,446B | 95B | 1,310.9 GB |