本地部署 Qwen 需要什么显卡？各版本显存需求一览
Qwen 目前有 8 个能本地部署的版本，最小的 Qwen3 8B 在 4-bit 量化下需要 8GB 显存；最大的 Qwen3.8 2.4T A95B 是 MoE 模型，用专家卸载时需要 29GB 显存加约 1,286GB 内存。最便宜能跑起来的设备是 Tesla V100 16GB，约 ¥1,415。
| 版本 | 发布日期 | 上下文 | 许可证 | ||
|---|---|---|---|---|---|
| Qwen3.8 Flash NextMoE | 2026年8月26日 | 176B | 6B | 256K | Qwen Community License 1.0 |
| Qwen3.8 27B稠密 | 2026年8月14日 | 27.8B | 27.8B | 256K | Apache-2.0 |
| Qwen3.8 2.4T A95BMoE | 2026年8月12日 | 2,446B | 95B | 256K | Qwen3.8-Max License |
| Qwen3.6 27B稠密 | 2026年4月22日 | 27.8B | 27.8B | 256K | Apache-2.0 |
| Qwen3.6 35B A3BMoE | 2026年4月16日 | 36B | 3B | 256K | Apache-2.0 |
| Qwen3.5 9B稠密 | 2026年3月2日 | 9.7B | 9.7B | 256K | Apache-2.0 |
| Qwen3 32B稠密 | 2025年4月27日 | 32.8B | 32.8B | 40K | Apache-2.0 |
| Qwen3 8B稠密 | 2025年4月27日 | 8.2B | 8.2B | 40K | Apache-2.0 |
关于 Qwen
Qwen（通义千问）是阿里巴巴的大模型系列（阿里巴巴 1999 年创立于杭州）。Qwen 2023 年推出，同年 8 月开源 Qwen-7B 并允许商用，此后以开放权重为主，尺寸从 1B 以下一直覆盖到万亿参数，稠密模型和 MoE 都有。据 Hugging Face 2026 年夏季报告，基于 Qwen 的衍生模型有 151,448 个，是各家里最多的。
近两年有几个转折。2025 年 4 月的 Qwen3 改用 Apache 2.0 许可证，可以在思考和不思考之间切换；同年 9 月的 Qwen3-Next 换成线性注意力（Gated DeltaNet）加门控注意力的混合结构，2026 年 2 月的 Qwen3.5 沿用这套结构，并改成原生多模态。2025 年底起，旗舰版本一度不再开放权重（比如 Qwen3.7-Max 只提供 API），中小尺寸继续开源；2026 年 8 月的 Qwen3.8 2.4T A95B 重新开放了旗舰权重，但改用附带商用条件的自定义许可证。
- 厂商Alibaba
- 收录版本8
- 参数量8.2B – 2,446B
- 最新版本Qwen3.8 Flash Next
Qwen 各版本 2-bit 量化需要多少显存？
2-bit 也叫 Q2 精度，常见的 GGUF 文件有 Q2_K、UD-Q2_K_XL，体积最小、质量损失也最明显，适合显存紧张时先把模型跑起来。下表每一行是 Qwen 的一个版本，每一列是一种上下文长度，格子里是用 Q2 精度部署时需要的总显存（权重 + KV cache + 1.1GB 运行开销）。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 78.9GGUF | 80.8 | 83.2 | 86.4 | — |
| Qwen3.8 27B27.8B | 9.8GGUF | 13 | 19.5 | 28.1 | — |
| Qwen3.8 2.4T A95B2,446B（激活 95B） | 730.7GGUF | 734.9 | 744.1 | 756.5 | — |
| Qwen3.6 27B27.8B | 11.8GGUF | 15 | 21.5 | 30.1 | — |
| Qwen3.6 35B A3B36B（激活 3B） | 12.3GGUF | 14 | 16.1 | 18.7 | — |
| Qwen3.5 9B9.7B | 4.1GGUF | 6.2 | 9.5 | 13.8 | — |
| Qwen3 32B32.8B | 12.8GGUF | 22.5 | — | — | — |
| Qwen3 8B8.2B | 3.5GGUF | 9.4 | — | — | — |
Qwen 各版本 4-bit 量化需要多少显存？
4-bit 也叫 Q4 精度，对应最常用的 Q4_K_M 文件，体积和质量比较平衡，是本地部署的默认选择。下表每一行是 Qwen 的一个版本，每一列是一种上下文长度，格子里是用 Q4 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 111.3GGUF | 113.2 | 115.6 | 118.8 | — |
| Qwen3.8 27B27.8B | 16.5GGUF | 19.7 | 26.2 | 34.8 | — |
| Qwen3.8 2.4T A95B2,446B（激活 95B） | 1,310.9GGUF | 1,315.1 | 1,324.3 | 1,336.7 | — |
| Qwen3.6 27B27.8B | 16.8GGUF | 20 | 26.5 | 35.1 | — |
| Qwen3.6 35B A3B36B（激活 3B） | 22.1GGUF | 23.8 | 25.9 | 28.5 | — |
| Qwen3.5 9B9.7B | 5.7GGUF | 7.8 | 11.1 | 15.4 | — |
| Qwen3 32B32.8B | 19.8GGUF | 29.5 | — | — | — |
| Qwen3 8B8.2B | 5GGUF | 10.9 | — | — | — |
Qwen 各版本 8-bit 量化需要多少显存？
8-bit 也叫 Q8 精度，对应 Q8_0 文件，质量最接近原版，体积也最大。下表每一行是 Qwen 的一个版本，每一列是一种上下文长度，格子里是用 Q8 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Qwen3.8 Flash Next176B（激活 6B） | 188.2GGUF | 190.1 | 192.5 | 195.7 | — |
| Qwen3.8 27B27.8B | 29GGUF | 32.2 | 38.7 | 47.3 | — |
| Qwen3.8 2.4T A95B2,446B（激活 95B） | 2,600.2GGUF | 2,604.4 | 2,613.6 | 2,626 | — |
| Qwen3.6 27B27.8B | 28.6GGUF | 31.8 | 38.3 | 46.9 | — |
| Qwen3.6 35B A3B36B（激活 3B） | 36.9GGUF | 38.6 | 40.7 | 43.3 | — |
| Qwen3.5 9B9.7B | 9.5GGUF | 11.6 | 14.9 | 19.2 | — |
| Qwen3 32B32.8B | 34.8GGUF | 44.5 | — | — | — |
| Qwen3 8B8.2B | 8.7GGUF | 14.6 | — | — | — |
常见问题
Qwen 开源吗？可以免费商用吗？
大部分版本可以：Qwen3 8B、Qwen3 32B、Qwen3.5 9B、Qwen3.6 27B、Qwen3.6 35B A3B 和 Qwen3.8 27B 都是 Apache 2.0，可以商用、微调、再分发，条件是附上许可证、保留版权声明、改过的文件注明修改。例外有两个，都附带商用条件。Qwen3.8 Flash Next 用 Qwen Community License 1.0：用在月活超过 1 亿或月收入超过门槛的商业产品里，要在界面上显著标出模型名；公司（含关联方）经营模型即服务，或者做以 AI 编程、办公为主的独立助手产品，不论规模，商用前都要另向 Qwen 申请许可。Qwen3.8 2.4T A95B 用 Qwen3.8-Max License，署名要求一样，但另签许可只针对这两类业务里、连续 12 个月收入超过门槛的公司。两份许可证都写明，只在内部使用、不把模型能力提供给第三方的，不受另签许可这一条约束。
Qwen 能用 Ollama 跑吗？
除了 2.4T 的旗舰，都有官方标签：qwen3:8b、qwen3:32b、qwen3.5:9b、qwen3.6:27b、qwen3.6:35b-a3b 和 qwen3.8:27b。Qwen3.8 Flash Next 的库没有 latest 标签，必须写全，比如 qwen3.8-flash-next:125b-a6b-q4_K_M；Ollama 按 125B 命名，没算另外 51B 的查找表，本站写的 176B 包含这部分。Qwen3.8 2.4T A95B 在 Ollama 上既没有本地版也没有云端版，要用 llama.cpp 加 unsloth 的 GGUF，或者用 vLLM 跑官方权重。
