Qwen3.6 35B A3B 如何本地部署？

• 4-bit 最低显存24 GB · 8K
• 参数量36B
• 激活参数3B
• 上下文上限256K

架构

MoE

专家卸载

4 GB 显存 + 21 GB 内存

许可证

Apache-2.0

发布日期

2026年4月16日

厂商

Alibaba

Hugging Face 仓库

Qwen/Qwen3.6-35B-A3B

GGUF 仓库

unsloth/Qwen3.6-35B-A3B-GGUF

NVFP4 仓库（Blackwell）

nvidia/Qwen3.6-35B-A3B-NVFP4

MLX 仓库（Apple）

mlx-community/Qwen3.6-35B-A3B-4bit

Ollama 标签

qwen3.6:35b-a3b

层数

40

隐藏维度

2,048

KV 头

2

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	133.5	256K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	136.7	123K
GeForce RTX 309024 GB	¥8,50013 条挂单	135.4	123K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	68.9	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	139	123K
RTX A600048 GB	¥32,0007 条挂单	125.4	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	71.9	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	113.7	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	148.3	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	163.9	256K
RTX PRO 600096 GB	¥125,0006 条挂单	163.9	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   采样参数和 27B 不同

   思考模式的通用任务，官方建议 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 1.5（同代的 27B 这里是 0）；写代码用 temperature 0.6、presence_penalty 0；不思考模式 0.7、0.8、20，presence_penalty 1.5。

2. 2

   量化选哪一档

   它每个字只读 3B 参数，所以量化档对速度的影响比稠密模型小，但对体积的影响一样大。24GB 卡用 4-bit（约 22.1 GB）；48GB 以上的卡或统一内存整机，可以直接上 8-bit（约 36.9 GB），RTX A6000 上仍有约 99 tokens/s。

3. 3

   MTP 能再快一截

   llama.cpp 已经支持 MTP 投机解码，MTP 版 GGUF 只多占约 1 GB。Unsloth 称这个模型开 MTP 后，在一张「RTX 6000」上约 240 tokens/s，但没写是哪一代卡、哪个量化档；这是 Unsloth 的数字，本站的速度没有算 MTP。Ollama 标签是 qwen3.6:35b-a3b。

4. 4

   思考要留够上下文

   官方建议上下文至少留 128K 来保住思考能力。24GB 卡上 4-bit 最多约 123K，略低于这个建议；要留足的话，就降到 3-bit（128K 约 20.6 GB），或者换 32GB 的卡。

ollama run qwen3.6:35b-a3b

llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve Qwen/Qwen3.6-35B-A3B

vllm serve nvidia/Qwen3.6-35B-A3B-NVFP4

mlx_vlm.server --model mlx-community/Qwen3.6-35B-A3B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

关于 Qwen