本地部署 gpt-oss 需要什么显卡？各版本显存需求一览
gpt-oss 目前有 3 个能本地部署的版本，最小的 gpt-oss 20B 在 4-bit 量化下需要 13GB 显存；最大的 gpt-oss 120B 是 MoE 模型，用专家卸载时需要 4GB 显存加约 62GB 内存。最便宜能跑起来的设备是 Tesla V100 16GB，约 ¥1,415。
| 版本 | 发布日期 | 上下文 | 许可证 | ||
|---|---|---|---|---|---|
| gpt-oss Safeguard 20BMoE | 2025年10月29日 | 20.9B | 3.6B | 128K | Apache-2.0 |
| gpt-oss 120BMoE | 2025年8月5日 | 116.8B | 5.1B | 128K | Apache-2.0 |
| gpt-oss 20BMoE | 2025年8月5日 | 20.9B | 3.6B | 128K | Apache-2.0 |
关于 gpt-oss
gpt-oss 是 OpenAI 的开放权重语言模型系列。OpenAI 2015 年成立于美国旧金山，做出了 GPT 系列和 ChatGPT；2025 年 8 月 5 日发布的 gpt-oss，是它自 2019 年的 GPT-2 之后第一次公开语言模型的权重，定位是可以自己部署、面向推理和智能体任务的开放模型。据 ATOM Report 截至 2026 年 5 月的统计，gpt-oss 20B 是 Hugging Face 上 10B 到 50B 参数段下载量最高的模型。
首批两款是 gpt-oss 120B（117B 参数、每个字用 5.1B）和 gpt-oss 20B（21B 参数、每个字用 3.6B），都是 MoE。它们的注意力层交替只看最近 128 个 token 和看全文，上下文 128K；专家权重在后训练阶段就做成了 4-bit 的 MXFP4 格式。两款都是推理模型，推理强度分低、中、高三档，要配合 OpenAI 的 harmony 对话格式使用。2025 年 10 月，OpenAI 又和 ROOST 等机构合作，发布了基于 gpt-oss 微调的内容审核模型 gpt-oss Safeguard（120B、20B）。全系列都是 Apache 2.0 许可，可以商用。
- 厂商OpenAI
- 收录版本3
- 参数量20.9B – 116.8B
- 最新版本gpt-oss Safeguard 20B
- 许可证
- Apache-2.0
- Hugging Face 组织
- openai
gpt-oss 各版本 2-bit 量化需要多少显存？
2-bit 也叫 Q2 精度，常见的 GGUF 文件有 Q2_K、UD-Q2_K_XL，体积最小、质量损失也最明显，适合显存紧张时先把模型跑起来。下表每一行是 gpt-oss 的一个版本，每一列是一种上下文长度，格子里是用 Q2 精度部署时需要的总显存（权重 + KV cache + 1.1GB 运行开销）。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| gpt-oss Safeguard 20B20.9B（激活 3.6B） | 8.3估 | 10.2 | 12.6 | — | — |
| gpt-oss 120B116.8B（激活 5.1B） | 46.6估 | 48.9 | 52.5 | — | — |
| gpt-oss 20B20.9B（激活 3.6B） | 8.3估 | 10.2 | 12.6 | — | — |
gpt-oss 各版本 4-bit 量化需要多少显存？
4-bit 也叫 Q4 精度，对应最常用的 Q4_K_M 文件，体积和质量比较平衡，是本地部署的默认选择。下表每一行是 gpt-oss 的一个版本，每一列是一种上下文长度，格子里是用 Q4 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| gpt-oss Safeguard 20B20.9B（激活 3.6B） | 11.6GGUF | 13.5 | 15.9 | — | — |
| gpt-oss 120B116.8B（激活 5.1B） | 62.8GGUF | 65.1 | 68.7 | — | — |
| gpt-oss 20B20.9B（激活 3.6B） | 11.6GGUF | 13.5 | 15.9 | — | — |
gpt-oss 各版本 8-bit 量化需要多少显存？
8-bit 也叫 Q8 精度，对应 Q8_0 文件，质量最接近原版，体积也最大。下表每一行是 gpt-oss 的一个版本，每一列是一种上下文长度，格子里是用 Q8 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| gpt-oss Safeguard 20B20.9B（激活 3.6B） | 12.1GGUF | 14 | 16.4 | — | — |
| gpt-oss 120B116.8B（激活 5.1B） | 63.4GGUF | 65.7 | 69.3 | — | — |
| gpt-oss 20B20.9B（激活 3.6B） | 12.1GGUF | 14 | 16.4 | — | — |
常见问题
gpt-oss 开源吗？可以免费商用吗？
可以。gpt-oss 20B、gpt-oss 120B 和 gpt-oss Safeguard 20B 都是 Apache 2.0 许可，可以商用、微调、再分发，条件是附上许可证、保留版权声明、改过的文件注明修改。每个仓库另附一份很短的使用政策，只要求遵守适用法律，没有月活门槛，也没有单列的禁止用途清单。Safeguard 是在 gpt-oss 基础上做的内容审核模型，许可证和 gpt-oss 一样。
gpt-oss 能用 Ollama 跑吗？
能。gpt-oss 的标签是 gpt-oss:20b 和 gpt-oss:120b，是 OpenAI 和 Ollama 合作上架的。Safeguard 在单独的库里，标签是 gpt-oss-safeguard:20b，另有本站没收录的 gpt-oss-safeguard:120b。带 -cloud 的 gpt-oss:20b-cloud 和 gpt-oss:120b-cloud 跑在 Ollama 的服务器上，不是本地运行。
