本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

gpt-oss Safeguard 20B 如何本地部署？

gpt-oss Safeguard 20B 不是聊天模型，是 OpenAI 在 gpt-oss 20B 上微调的内容审核模型。你把内容政策写进提示，它先推理、再判断一段内容是否违规，适合拿来过滤大模型的输入输出、给内容打标签；安全以外的用途，OpenAI 建议直接用 gpt-oss。显存需求和 gpt-oss 20B 一样，4-bit 加 8K 约 13 GB。

gpt-oss Safeguard 20B 模型信息

  • 4-bit 最低显存13 GB · 8K
  • 参数量20.9B
  • 激活参数3.6B
  • 上下文上限128K
架构
MoE
专家卸载
3 GB 显存 + 11 GB 内存
许可证
Apache-2.0
发布日期
2025年10月29日
厂商
OpenAI
Hugging Face 仓库
openai/gpt-oss-safeguard-20b
GGUF 仓库
unsloth/gpt-oss-safeguard-20b-GGUF
MLX 仓库（Apple）
lmstudio-community/gpt-oss-safeguard-20b-MLX-MXFP4
Ollama 标签
gpt-oss-safeguard:20b
层数
24
隐藏维度
2,880
KV 头
8
头维度
64

gpt-oss Safeguard 20B 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit5.3估6.57.29.6
2-bit8.3估9.610.212.6
3-bit11.5GGUF12.813.415.8
4-bit11.6GGUF12.913.515.9
5-bit11.7GGUF1313.616
8-bit12.1GGUF13.41416.4
BF16/FP1613.8GGUF15.115.718.1

详细计算规则可在数据方法页查看。

单卡能跑 gpt-oss Safeguard 20B 吗？

能，做内容审核用不着大显卡：16GB 足够，12GB 也勉强装得下。它是 gpt-oss 20B 的微调版，显存需求一样，4-bit 加 8K 上下文约 13 GB。审核的上下文通常很短：OpenAI 建议政策写 400 到 600 个 token，加上待审的内容，8K 一般就够，所以 12GB 的 RTX 3060 这类卡也能塞下，只是几乎没有余量，同时接显示器的话可能就不够了；政策写得很长时，再换 16GB 卡把上下文开大。RTX 5060 Ti 16GB 上每秒约 93 个 token，不过每条判定都要先输出一段推理，推理档位越高，单条出结果越慢。

闲鱼
设备价格速度 t/s最大上下文
Tesla V100 16GB16 GB¥1,2505 条挂单129.2128K
Tesla V100 32GB32 GB¥4,2004 条挂单129.2128K
GeForce RTX 5060 Ti 16GB16 GB¥5,17514 条挂单92.5128K
Radeon RX 7900 XTX24 GB¥5,69412 条挂单132.5128K
GeForce RTX 309024 GB¥8,50013 条挂单131.2128K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单65128K
GeForce RTX 409024 GB¥25,0006 条挂单134.9128K
RTX A600048 GB¥32,0007 条挂单121128K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单67.9128K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单109.2128K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单144.4128K
GeForce RTX 509032 GB¥51,99914 条挂单160.6128K
RTX PRO 600096 GB¥125,0006 条挂单160.6128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

用整机跑 gpt-oss Safeguard 20B 要什么配置？

闲鱼

GeForce RTX 5070 + 家用 DDR5

家用
出字速度84.3t/s
内存带宽96GB/s
显卡
GeForce RTX 507020 / 24 层专家放进 12 GB 显存
¥6,538
内存
32 GB DDR5-60002 条 × 16 GB
¥2,926
CPU
AMD Ryzen 7 77008 核 16 线程 · 2 通道
¥850
主板
Gigabyte B650 EAGLE AX4 个内存插槽
¥602
电源
海盗船 RM750e750 W
¥999
整机参考价¥11,915

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 gpt-oss Safeguard 20B 要注意什么？

  1. 政策写在系统提示里

    把政策放进系统消息，并在里面写上 Reasoning: low、medium 或 high；不写时默认 medium。OpenAI 的指南说，政策长度在 400 到 600 个 token 效果最好，长到约 1 万个 token 也还能给出合理结果。

  2. 让输出能被程序解析

    可以让它只回一个字符 0 或 1，也可以要求输出 JSON，带上是否违规、违规类别、对应条款、置信度和理由。接进自动审核流程时，用 0/1 或固定字段的 JSON 最省事。

  3. 什么情况别用它

    OpenAI 在指南里写明：如果手上有几千条标注数据，训练一个传统分类器，延迟更低、更省算力，效果也可能更好。它适合政策经常改、来不及攒标注数据的场景，改政策只要改提示词，不用重新训练。

  4. 部署

    对话格式同样是 harmony。Ollama 官方库有 gpt-oss-safeguard:20b，vLLM 用 vllm serve openai/gpt-oss-safeguard-20b，llama.cpp 有 Unsloth 打包的 GGUF。它输出的推理过程是给开发者和审核人员看的，官方不建议展示给普通用户。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run gpt-oss-safeguard:20b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放进显存
终端
llama-server -hf unsloth/gpt-oss-safeguard-20b-GGUF:Q4_K_M -c 8192
专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 11 GB）。

终端
llama-server -hf unsloth/gpt-oss-safeguard-20b-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
终端
vllm serve openai/gpt-oss-safeguard-20b

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model lmstudio-community/gpt-oss-safeguard-20b-MLX-MXFP4

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

gpt-oss 家族的其他模型

模型总参数激活参数4-bit 模型大小
gpt-oss 20BMoE20.9B3.6B11.6 GB
gpt-oss 120BMoE116.8B5.1B62.8 GB

关于 gpt-oss