Qwen3.8 27B 如何本地部署？

• 4-bit 最低显存19 GB · 8K
• 参数量27.8B
• 上下文上限256K

架构

稠密

许可证

Apache-2.0

发布日期

2026年8月14日

厂商

Alibaba

Hugging Face 仓库

Qwen/Qwen3.8-27B

GGUF 仓库

unsloth/Qwen3.8-27B-GGUF

NVFP4 仓库（Blackwell）

nvidia/Qwen3.8-27B-NVFP4

MLX 仓库（Apple）

mlx-community/Qwen3.8-27B-4bit

Ollama 标签

qwen3.8:27b

层数

64

隐藏维度

5,120

KV 头

4

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	38.9	250K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	41.4	122K
GeForce RTX 309024 GB	¥8,50013 条挂单	40.4	122K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	11.5	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	43.3	122K
RTX A600048 GB	¥32,0007 条挂单	33.5	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	12.3	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	27	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	52.1	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	73.5	250K
RTX PRO 600096 GB	¥125,0006 条挂单	73.5	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   思考深度三档

   思考深度用 reasoning_effort 设，分 xhigh（默认）、medium、low 三档。官方提醒，多轮智能体任务里调低不一定更快：每轮想得不够，反而容易失败重试。llama.cpp 用 --chat-template-kwargs 传 reasoning_effort。

2. 2

   思考内容默认保留

   3.8 默认把之前每轮的思考也留在上下文里，多轮对话的上下文涨得快。好在它的上下文缓存很省，4-bit 从 8K 开到 128K 只多约 8.1 GB；只想保留最新一轮的思考，就把 preserve_thinking 设成 false。

3. 3

   官方推荐的采样参数

   思考模式：temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0。非思考模式：temperature 0.7、top_p 0.8、top_k 20、presence_penalty 1.5。

4. 4

   量化和格式

   GGUF 用 Unsloth 的 Dynamic 3.0 版，4-bit 约 16.5 GB；Ollama 标签是 qwen3.8:27b。RTX 50 系和 DGX Spark 可以用 vLLM 跑 Unsloth 的 NVFP4 版，Unsloth 称比 BF16 快约 1.5 倍；官方另有 FP8 版。

ollama run qwen3.8:27b

llama-server -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3.8-27B

vllm serve nvidia/Qwen3.8-27B-NVFP4

mlx_vlm.server --model mlx-community/Qwen3.8-27B-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Qwen3 8B稠密	8.2B	8.2B	5 GB
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

关于 Qwen