Qwen3.6 27B 如何本地部署？

• 4-bit 最低显存19 GB · 8K
• 参数量27.8B
• 上下文上限256K

架构

稠密

许可证

Apache-2.0

发布日期

2026年4月22日

厂商

Alibaba

Hugging Face 仓库

Qwen/Qwen3.6-27B

GGUF 仓库

unsloth/Qwen3.6-27B-GGUF

NVFP4 仓库（Blackwell）

nvidia/Qwen3.6-27B-NVFP4

MLX 仓库（Apple）

mlx-community/Qwen3.6-27B-4bit

Ollama 标签

qwen3.6:27b

层数

64

隐藏维度

5,120

KV 头

4

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	38.3	245K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	40.7	117K
GeForce RTX 309024 GB	¥8,50013 条挂单	39.7	117K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	11.3	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	42.6	117K
RTX A600048 GB	¥32,0007 条挂单	32.9	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	12.1	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	26.6	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	51.2	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	72.3	245K
RTX PRO 600096 GB	¥125,0006 条挂单	72.3	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   和 3.8 27B 差在哪

   两者结构完全相同，差别都在训练和用法上：3.8 写代码和长流程智能体任务更强，新增了 reasoning_effort 来调思考深度，「保留思考」也默认打开。3.6 默认只保留最近一轮的思考，要在 chat_template_kwargs 里设 preserve_thinking 才会全部保留。

2. 2

   采样参数

   和 3.8 27B 相同：思考模式 temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0，不思考模式 0.7、0.8、20、1.5。3.6 另给了一套写前端这类精确代码用的参数，temperature 降到 0.6。

3. 3

   框架版本和已知问题

   官方建议 vLLM 0.19.0、SGLang 0.5.10 以上。Unsloth 提醒 llama.cpp 别用 CUDA 13.2 编译的版本，可能输出乱码；上下文开得太小也会出乱码，官方建议至少留 128K 给思考。Ollama 标签是 qwen3.6:27b。

4. 4

   MTP 投机解码

   llama.cpp 已经支持它的 MTP 投机解码，用 Unsloth 的 MTP 版 GGUF 就行，Unsloth 称生成能快 1.4 到 2.2 倍，只多占约 1 GB。本站的速度按不开 MTP 估算。

ollama run qwen3.6:27b

llama-server -hf unsloth/Qwen3.6-27B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3.6-27B

vllm serve nvidia/Qwen3.6-27B-NVFP4

mlx_vlm.server --model mlx-community/Qwen3.6-27B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

关于 Qwen