Qwen3.5 9B 如何本地部署？

• 4-bit 最低顯示記憶體8 GB · 8K
• 參數量9.7B
• 上下文上限256K

架構

稠密

授權

Apache-2.0

發布日期

2026年3月2日

廠商

Alibaba

Hugging Face 倉庫

Qwen/Qwen3.5-9B

GGUF 倉庫

unsloth/Qwen3.5-9B-GGUF

MLX 倉庫（Apple）

mlx-community/Qwen3.5-9B-4bit

Ollama 標籤

qwen3.5:9b

層數

32

隱藏維度

4,096

KV 頭

4

頭維度

256

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	NT$6,0955 筆掛單	101.5	256K
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	101.5	256K
GeForce RTX 5060 Ti 16GB16 GB	NT$25,23314 筆掛單	54.4	256K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	107.2	256K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	105	256K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	32.1	256K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	111.8	256K
RTX A600048 GB	NT$156,0307 筆掛單	88.5	256K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	34.2	256K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	72.5	256K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	131.7	256K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	177.1	256K
RTX PRO 600096 GB	NT$609,4916 筆掛單	177.1	256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

1. 1

   思考模式預設開啟

   官方範本預設會先思考，並建議上下文至少預留 128K 才能保住思考能力；好在 4-bit 下 128K 也才約 11.1 GB。Qwen3 的 /think、/no_think 開關已不再支援，要關閉思考得在請求裡傳入 enable_thinking=false。要注意的是，Unsloth 的說明寫著 9B 及更小的型號預設不思考，和官方範本不一致；用 llama.cpp 時以實際輸出為準，要開啟思考就加上 --chat-template-kwargs '{"enable_thinking":true}'。

2. 2

   官方建議的取樣參數

   思考模式的通用任務：temperature 1.0、top_p 0.95、top_k 20、presence_penalty 1.5；寫程式時改成 temperature 0.6、presence_penalty 0。非思考模式：temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5。

3. 3

   Ollama 用官方模型庫

   Ollama 直接下載 qwen3.5:9b 即可，支援圖片輸入。Unsloth 提醒，第三方 GGUF 的看圖部分是獨立的 mmproj 檔案，匯入 Ollama 會跑不起來，這種檔案請用 llama.cpp。

4. 4

   vLLM 的兩個開關

   只處理文字時加上 --language-model-only，略過視覺部分，把顯示記憶體留給上下文。模型還內建 MTP 多 token 預測頭，vLLM 和 SGLang 可以開啟推測解碼來加速；本站的速度沒有把這部分算進去。

ollama run qwen3.5:9b

llama-server -hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3.5-9B

mlx_vlm.server --model mlx-community/Qwen3.5-9B-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

關於 Qwen