Qwen3.5 9B 如何本地部署？

• 4-bit 最低显存8 GB · 8K
• 参数量9.7B
• 上下文上限256K

架构

稠密

许可证

Apache-2.0

发布日期

2026年3月2日

厂商

Alibaba

Hugging Face 仓库

Qwen/Qwen3.5-9B

GGUF 仓库

unsloth/Qwen3.5-9B-GGUF

MLX 仓库（Apple）

mlx-community/Qwen3.5-9B-4bit

Ollama 标签

qwen3.5:9b

层数

32

隐藏维度

4,096

KV 头

4

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	101.5	256K
Tesla V100 32GB32 GB	¥4,2004 条挂单	101.5	256K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	54.4	256K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	107.2	256K
GeForce RTX 309024 GB	¥8,50013 条挂单	105	256K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	32.1	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	111.8	256K
RTX A600048 GB	¥32,0007 条挂单	88.5	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	34.2	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	72.5	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	131.7	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	177.1	256K
RTX PRO 600096 GB	¥125,0006 条挂单	177.1	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   思考模式默认开

   官方模板默认先思考，并建议上下文至少留 128K 才能保住思考能力；好在 4-bit 下 128K 也才约 11.1 GB。Qwen3 的 /think、/no_think 开关不再支持，要关思考得在请求里传 enable_thinking=false。注意 Unsloth 的说明写着 9B 及更小的型号默认不思考，和官方模板不一致；用 llama.cpp 时以实际输出为准，要开思考就加 --chat-template-kwargs '{"enable_thinking":true}'。

2. 2

   官方推荐的采样参数

   思考模式通用任务：temperature 1.0、top_p 0.95、top_k 20、presence_penalty 1.5；写代码改成 temperature 0.6、presence_penalty 0。非思考模式：temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5。

3. 3

   Ollama 用官方库

   Ollama 直接拉 qwen3.5:9b，支持图片输入。Unsloth 提醒，第三方 GGUF 的看图部分是单独的 mmproj 文件，导入 Ollama 跑不起来，这种文件请用 llama.cpp。

4. 4

   vLLM 的两个开关

   只处理文字时加 --language-model-only，跳过视觉部分，把显存留给上下文。模型还自带 MTP 多 token 预测头，vLLM 和 SGLang 可以开投机解码提速；本站的速度没有算这部分。

ollama run qwen3.5:9b

llama-server -hf unsloth/Qwen3.5-9B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3.5-9B

mlx_vlm.server --model mlx-community/Qwen3.5-9B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

关于 Qwen