Qwen3.6 35B A3B 如何本地部署？

VRAMGlass 編輯部 · 更新於 2026年9月10日

Qwen3.6 35B A3B 是 MoE 模型，總參數 36B，每 token 啟用 3B。Q4 量化整機放顯存需要 22GB；把專家放進系統記憶體後只需 4GB 顯存 + 19GB 記憶體。目前最便宜能跑的顯示卡是 Tesla V100 32GB，約 NT$35,903，預估 138.7 tokens/s。卸載模式下最便宜能跑的顯示卡是 Tesla V100 16GB，預估 54 tokens/s。

Qwen3.6 35B A3B 版本資訊

發布日期2026年4月15日

Hugging Face 倉庫Qwen/Qwen3.6-35B-A3B

小版本—

授權Apache-2.0

架構MoE

GGUF 倉庫unsloth/Qwen3.6-35B-A3B-GGUF

Ollama 標籤—

Q4 最低記憶體22 GB · Q4_K_M · 8K

專家卸載4 GB 顯存 + 19 GB 記憶體

參數量36B

MoE3B

層數40

隱藏維度2,048

KV 頭2

頭維度256

上下文上限256K

廠商Alibaba

Qwen3.6 35B A3B 本地部署需要多少顯示記憶體？

MoE：總參數 36B 全部要常駐記憶體，速度按每 token 啟用的 3B 計算。

量化	權重體積GB	8K 總記憶體GB	32K 總記憶體GB	128K 總記憶體GB
1-bit	10GGUF	10.1	11.9	19.4
2-bit	12.3GGUF	15	16.9	24.4
3-bit	16.8GGUF	18.9	20.7	28.2
4-bit	22.1GGUF	21.7	23.5	31
5-bit	26.5GGUF	25.9	27.8	35.3
8-bit	36.9GGUF	38.9	40.8	48.3
FP16	69.4GGUF	71.9	73.8	81.3

總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 256K 上下文上限的檔位寫「—」。各檔取倉庫裡該位元數的任一檔案，優先 unsloth 動態量化，所以同一檔不同模型對應的檔名可能不同。

什麼顯示卡能跑 Qwen3.6 35B A3B？

AmazonJP

裝置	顯存GB	價	預估 t/s	建議上下文
Tesla V100 32GB	32	NT$35,9033 筆掛單	138.7	128K
Arc Pro B60	24	NT$36,6353 筆掛單	72.2	32K
Radeon RX 7900 XTX	24	NT$54,6829 筆掛單	121.8	32K
Arc Pro B70	32	NT$65,2603 筆掛單	87.8	128K
Radeon AI PRO R9700	32	NT$70,6046 筆掛單	96.9	128K
GeForce RTX 3090	24	NT$79,3119 筆掛單	141.1	32K
Ryzen AI Max+ 395 128GB	128	NT$123,1346 筆掛單	50.5	128K
RTX PRO 4000 Blackwell	24	NT$124,4815 筆掛單	120.5	32K
GeForce RTX 4090	24	NT$154,3509 筆掛單	145.6	32K
GeForce RTX 5090	32	NT$235,6699 筆掛單	178.2	128K
DGX Spark 128GB	128	NT$258,7793 筆掛單	68.6	128K
GeForce RTX 2080 Ti 22GB	22	—暫無掛單	115.1	8K
GeForce RTX 5090 D V2	24	—暫無掛單	162.6	32K
Arc Pro B65	32	—暫無掛單	87.8	128K
GeForce RTX 4080 SUPER 32GB	32	—暫無掛單	126.2	128K
GeForce RTX 5090 D	32	—暫無掛單	178.2	128K
Instinct MI100	32	—暫無掛單	137.1	128K
Instinct MI50 32GB	32	—暫無掛單	125.8	128K
Radeon PRO W7800	32	—暫無掛單	90.7	128K
RTX PRO 4500 Blackwell	32	—暫無掛單	138.4	128K
A100 40GB PCIe	40	—暫無掛單	170.7	128K
CMP 170HX 40GB	40	—暫無掛單	170.9	128K
GeForce RTX 4090 48GB	48	—暫無掛單	145.6	128K
Radeon PRO W7900	48	—暫無掛單	115.2	128K
RTX PRO 5000 Blackwell 48GB	48	—暫無掛單	162.6	128K
CMP 170HX 64GB	64	—暫無掛單	168.5	128K
Instinct MI210	64	—暫無掛單	154.6	128K
RTX PRO 5000 Blackwell 72GB	72	—暫無掛單	162.6	128K
RTX PRO 6000D	84	—暫無掛單	171.2	128K
RTX PRO 6000 Blackwell	96	—暫無掛單	178.2	128K
Mac Studio M4 Max 128GB	128	—暫無掛單	93.2	128K
Mac Studio M5 Max 128GB	128	—暫無掛單	100.1	128K
MacBook Pro M4 Max 128GB	128	—暫無掛單	93.2	128K
MacBook Pro M5 Max 128GB	128	—暫無掛單	100.1	128K
Mac Studio M3 Ultra 512GB	512	—暫無掛單	117.8	128K

判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。

Qwen3.6 35B A3B 混合推論推薦顯示卡

AmazonJP

專家權重放系統記憶體，需要 ≥ 19 GB 記憶體；顯存只放注意力層、共享專家和 KV cache，Q4 下最低 4 GB。速度受記憶體頻寬限制（按 70 GB/s 估算），比整機放顯存慢得多。

裝置	顯存GB	價	需記憶體GB	預估 t/s
Tesla V100 16GB	16	NT$20,739	19	53.7
Radeon RX 9070 XT	16	NT$27,835	19	48.1
GeForce RTX 5060 Ti 16GB	16	NT$29,091	19	47.9
GeForce RTX 5070	12	NT$30,079	19	51.6
Radeon RX 7800 XT	16	NT$30,405	19	47.8
Radeon RX 7900 XT	20	NT$39,134	19	50.2
Radeon RX 6950 XT	16	NT$44,183	19	47
GeForce RTX 5070 Ti	16	NT$49,601	19	53.7
GeForce RTX 5080	16	NT$58,772	19	54.1
GeForce RTX 4080	16	NT$68,830	19	52.1

用 Ollama / llama.cpp / vLLM 本地部署 Qwen3.6 35B A3B

Ollama

Ollama 庫暫無官方標籤。

llama.cpp

llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。

llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。

vllm serve Qwen/Qwen3.6-35B-A3B

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

常見問題

Qwen3.6 35B A3B 需要多少記憶體？

在 Q4_K_M 量化、8K 上下文下 Qwen3.6 35B A3B 約需 22GB 記憶體，留到 28GB 更穩。

哪張顯示卡最便宜能跑 Qwen3.6 35B A3B？

Tesla V100 32GB，32GB 記憶體，目前中位價約 NT$35,903，預估 138.7 tokens/s。

Qwen3.6 35B A3B 能用 Ollama 跑嗎？

暫時不行，Ollama 庫還沒有它的官方標籤；可以用 llama.cpp 載入 GGUF。