本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

gpt-oss Safeguard 20B 如何本地部署？

gpt-oss Safeguard 20B 不是聊天模型，而是 OpenAI 以 gpt-oss 20B 微調而成的內容審核模型。你把內容政策寫進提示詞，它會先推理，再判斷一段內容是否違規，適合用來過濾大模型的輸入與輸出、替內容加上標籤；安全以外的用途，OpenAI 建議直接用 gpt-oss。顯示記憶體需求和 gpt-oss 20B 一樣，4-bit 加 8K 約 13 GB。

gpt-oss Safeguard 20B 模型資訊

  • 4-bit 最低顯示記憶體13 GB · 8K
  • 參數量20.9B
  • 激活參數3.6B
  • 上下文上限128K
架構
MoE
專家卸載
3 GB 顯存 + 11 GB 記憶體
授權
Apache-2.0
發布日期
2025年10月29日
廠商
OpenAI
Hugging Face 倉庫
openai/gpt-oss-safeguard-20b
GGUF 倉庫
unsloth/gpt-oss-safeguard-20b-GGUF
MLX 倉庫（Apple）
lmstudio-community/gpt-oss-safeguard-20b-MLX-MXFP4
Ollama 標籤
gpt-oss-safeguard:20b
層數
24
隱藏維度
2,880
KV 頭
8
頭維度
64

gpt-oss Safeguard 20B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit5.3估6.57.29.6
2-bit8.3估9.610.212.6
3-bit11.5GGUF12.813.415.8
4-bit11.6GGUF12.913.515.9
5-bit11.7GGUF1313.616
8-bit12.1GGUF13.41416.4
BF16/FP1613.8GGUF15.115.718.1

詳細計算規則可在資料方法頁查看。

單卡能跑 gpt-oss Safeguard 20B 嗎？

可以，做內容審核用不著大顯示卡：16GB 足夠，12GB 也勉強放得下。它是 gpt-oss 20B 的微調版，顯示記憶體需求一樣，4-bit 加 8K 上下文約 13 GB。審核的上下文通常很短：OpenAI 建議政策寫 400 到 600 個 token，加上待審內容，8K 一般就夠，所以 12GB 的 RTX 3060 這類卡也塞得下，只是幾乎沒有餘裕，同時接螢幕的話可能就不夠了；政策寫得很長時，再換 16GB 卡把上下文開大。RTX 5060 Ti 16GB 上每秒約 93 個 token，不過每一筆判定都要先輸出一段推理，推理檔位越高，單筆出結果越慢。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單129.2128K
Tesla V100 32GB32 GBNT$20,4794 筆掛單129.2128K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單92.5128K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單132.5128K
GeForce RTX 309024 GBNT$41,44513 筆掛單131.2128K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單65128K
GeForce RTX 409024 GBNT$121,8986 筆掛單134.9128K
RTX A600048 GBNT$156,0307 筆掛單121128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單67.9128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單109.2128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單144.4128K
GeForce RTX 509032 GBNT$253,54314 筆掛單160.6128K
RTX PRO 600096 GBNT$609,4916 筆掛單160.6128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

用整機跑 gpt-oss Safeguard 20B 要什麼配置？

閒魚

GeForce RTX 5070 + 家用 DDR5

家用
生成速度84.3t/s
記憶體頻寬96GB/s
顯示卡
GeForce RTX 507020 / 24 層專家放進 12 GB 顯示記憶體
NT$31,879
記憶體
32 GB DDR5-60002 條 × 16 GB
NT$14,267
CPU
AMD Ryzen 7 77008 核 16 執行緒 · 2 通道
NT$4,145
主機板
Gigabyte B650 EAGLE AX4 個記憶體插槽
NT$2,936
電源
海盜船 RM750e750 W
NT$4,871
整機參考價NT$58,098

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 gpt-oss Safeguard 20B 要注意什麼？

  1. 政策寫在系統提示詞裡

    把政策放進系統訊息，並在裡面寫上 Reasoning: low、medium 或 high；沒寫的話預設是 medium。OpenAI 的指南指出，政策長度在 400 到 600 個 token 時效果最好，長到約 1 萬個 token 也還能給出合理的結果。

  2. 讓輸出能被程式解析

    可以讓它只回一個字元 0 或 1，也可以要求輸出 JSON，包含是否違規、違規類別、對應條款、信心分數和理由。接進自動審核流程時，用 0/1 或固定欄位的 JSON 最省事。

  3. 什麼情況別用它

    OpenAI 在指南中寫明：如果手上有幾千筆標註資料，訓練一個傳統分類器，延遲更低、更省算力，效果也可能更好。它適合政策經常變動、來不及累積標註資料的情境：改政策只要改提示詞，不必重新訓練。

  4. 部署

    對話格式同樣是 harmony。Ollama 官方模型庫有 gpt-oss-safeguard:20b，vLLM 用 vllm serve openai/gpt-oss-safeguard-20b，llama.cpp 則有 Unsloth 打包的 GGUF。它輸出的推理過程是給開發者和審核人員看的，官方不建議顯示給一般使用者。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run gpt-oss-safeguard:20b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放進顯示記憶體
終端機
llama-server -hf unsloth/gpt-oss-safeguard-20b-GGUF:Q4_K_M -c 8192
專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 11 GB）。

終端機
llama-server -hf unsloth/gpt-oss-safeguard-20b-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve openai/gpt-oss-safeguard-20b

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model lmstudio-community/gpt-oss-safeguard-20b-MLX-MXFP4

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

gpt-oss 家族的其他模型

模型總參數激活參數4-bit 模型大小
gpt-oss 20BMoE20.9B3.6B11.6 GB
gpt-oss 120BMoE116.8B5.1B62.8 GB

關於 gpt-oss