Qwen3 8B 如何本地部署？

• 4-bit 最低显存8 GB · 8K
• 参数量8.2B
• 上下文上限40K

架构

稠密

许可证

Apache-2.0

发布日期

2025年4月27日

厂商

Alibaba

Hugging Face 仓库

Qwen/Qwen3-8B

GGUF 仓库

Qwen/Qwen3-8B-GGUF

NVFP4 仓库（Blackwell）

nvidia/Qwen3-8B-NVFP4

MLX 仓库（Apple）

Qwen/Qwen3-8B-MLX-4bit

Ollama 标签

qwen3:8b

层数

36

隐藏维度

4,096

KV 头

8

头维度

128

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	105.2	40K
Tesla V100 32GB32 GB	¥4,2004 条挂单	105.2	40K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	56.6	40K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	111.1	40K
GeForce RTX 309024 GB	¥8,50013 条挂单	108.8	40K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	33.5	40K
GeForce RTX 409024 GB	¥25,0006 条挂单	115.8	40K
RTX A600048 GB	¥32,0007 条挂单	91.8	40K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	35.6	40K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	75.3	40K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	136.3	40K
GeForce RTX 509032 GB	¥51,99914 条挂单	182.8	40K
RTX PRO 600096 GB	¥125,0006 条挂单	182.8	40K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   思考开关

   默认开着思考，有两种关法：enable_thinking=False 是硬开关，彻底不输出思考；也可以在提问里加 /think 或 /no_think 逐轮切换。后一种软开关从 Qwen3.5 起官方就不再支持了。

2. 2

   官方推荐的采样参数

   思考模式：temperature 0.6、top_p 0.95、top_k 20、min_p 0，官方强调别用贪心解码（每次都选概率最高的字），否则容易无限重复。非思考模式：temperature 0.7、top_p 0.8、top_k 20、min_p 0。

3. 3

   上下文超过 32K 怎么办

   它原生只有 32K，用 YaRN 可以扩到 131K。但官方提醒，开源框架里的 YaRN 是固定比例的，会拖累短文本的效果，只在确实要处理长文时才开；llama-server 直接加 rope 缩放参数就行，改配置文件的话要重新生成 GGUF。

4. 4

   量化选哪一档

   Qwen 官方仓库直接提供 GGUF，Ollama 标签是 qwen3:8b。4-bit 约 5.0 GB、8-bit 约 8.7 GB，只差 3.7 GB，显存够就用 8-bit。

ollama run qwen3:8b

llama-server -hf Qwen/Qwen3-8B-GGUF:Q4_K_M -c 8192

vllm serve Qwen/Qwen3-8B

vllm serve nvidia/Qwen3-8B-NVFP4

mlx_lm.server --model Qwen/Qwen3-8B-MLX-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Qwen3.5 9B稠密	9.7B	9.7B	5.7 GB
Qwen3.6 27B稠密	27.8B	27.8B	16.8 GB
Qwen3.8 27B稠密	27.8B	27.8B	16.5 GB
Qwen3 32B稠密	32.8B	32.8B	19.8 GB
Qwen3.6 35B A3BMoE	36B	3B	22.1 GB
Qwen3.8 Flash NextMoE	176B	6B	111.3 GB
Qwen3.8 2.4T A95BMoE	2,446B	95B	1,310.9 GB

关于 Qwen