本地部署 gpt-oss 需要什麼顯示卡？各版本記憶體需求一覽
gpt-oss 目前有 3 個能本地部署的版本，最小的 gpt-oss 20B 在 4-bit 量化下需要 13GB 顯示記憶體；最大的 gpt-oss 120B 是 MoE 模型，用專家卸載時需要 4GB 顯示記憶體加約 62GB 系統記憶體。最便宜能跑起來的裝置是 Tesla V100 16GB，約 NT$6,899。
| 版本 | 發布日期 | 上下文 | 授權 | ||
|---|---|---|---|---|---|
| gpt-oss Safeguard 20BMoE | 2025年10月29日 | 20.9B | 3.6B | 128K | Apache-2.0 |
| gpt-oss 120BMoE | 2025年8月5日 | 116.8B | 5.1B | 128K | Apache-2.0 |
| gpt-oss 20BMoE | 2025年8月5日 | 20.9B | 3.6B | 128K | Apache-2.0 |
關於 gpt-oss
gpt-oss 是 OpenAI 推出的開放權重語言模型系列。OpenAI 2015 年在美國舊金山成立，打造了 GPT 系列與 ChatGPT；2025 年 8 月 5 日發表的 gpt-oss，是 OpenAI 繼 2019 年的 GPT-2 之後，第一次公開語言模型權重，定位是可以自行部署、針對推理與 AI 代理任務的開放模型。根據 ATOM Report 截至 2026 年 5 月的統計，gpt-oss 20B 是 Hugging Face 上 10B 到 50B 參數級距中下載量最高的模型。
首批推出兩款：gpt-oss 120B（117B 參數，每個字動用 5.1B）和 gpt-oss 20B（21B 參數，每個字動用 3.6B），都是 MoE 架構。它們的注意力層交替採用兩種方式，一種只看最近 128 個 token，另一種看完整內容，上下文 128K；專家權重在後訓練階段就已經做成 4-bit 的 MXFP4 格式。兩款都是推理模型，推理強度分成低、中、高三檔，需要搭配 OpenAI 的 harmony 對話格式使用。2025 年 10 月，OpenAI 再與 ROOST 等機構合作，推出以 gpt-oss 微調而成的內容審核模型 gpt-oss Safeguard（120B、20B）。整個系列都採用 Apache 2.0 授權，可以商用。
- 廠商OpenAI
- 收錄版本3
- 參數量20.9B – 116.8B
- 最新版本gpt-oss Safeguard 20B
- 授權
- Apache-2.0
- Hugging Face 組織
- openai
gpt-oss 各版本 2-bit 量化需要多少顯示記憶體？
2-bit 也叫 Q2 精度，常見的 GGUF 檔案有 Q2_K、UD-Q2_K_XL，體積最小、品質損失也最明顯，適合顯示記憶體吃緊時先把模型跑起來。下表每一列是 gpt-oss 的一個版本，每一欄是一種上下文長度，格子裡是用 Q2 精度部署時需要的總顯示記憶體（權重 + KV cache + 1.1GB 執行開銷）。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| gpt-oss Safeguard 20B20.9B（啟用 3.6B） | 8.3估 | 10.2 | 12.6 | — | — |
| gpt-oss 120B116.8B（啟用 5.1B） | 46.6估 | 48.9 | 52.5 | — | — |
| gpt-oss 20B20.9B（啟用 3.6B） | 8.3估 | 10.2 | 12.6 | — | — |
gpt-oss 各版本 4-bit 量化需要多少顯示記憶體？
4-bit 也叫 Q4 精度，對應最常用的 Q4_K_M 檔案，體積和品質比較平衡，是本地部署的預設選擇。下表每一列是 gpt-oss 的一個版本，每一欄是一種上下文長度，格子裡是用 Q4 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| gpt-oss Safeguard 20B20.9B（啟用 3.6B） | 11.6GGUF | 13.5 | 15.9 | — | — |
| gpt-oss 120B116.8B（啟用 5.1B） | 62.8GGUF | 65.1 | 68.7 | — | — |
| gpt-oss 20B20.9B（啟用 3.6B） | 11.6GGUF | 13.5 | 15.9 | — | — |
gpt-oss 各版本 8-bit 量化需要多少顯示記憶體？
8-bit 也叫 Q8 精度，對應 Q8_0 檔案，品質最接近原版，體積也最大。下表每一列是 gpt-oss 的一個版本，每一欄是一種上下文長度，格子裡是用 Q8 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| gpt-oss Safeguard 20B20.9B（啟用 3.6B） | 12.1GGUF | 14 | 16.4 | — | — |
| gpt-oss 120B116.8B（啟用 5.1B） | 63.4GGUF | 65.7 | 69.3 | — | — |
| gpt-oss 20B20.9B（啟用 3.6B） | 12.1GGUF | 14 | 16.4 | — | — |
常見問題
gpt-oss 是開源的嗎？可以免費商用嗎？
可以。gpt-oss 20B、gpt-oss 120B 和 gpt-oss Safeguard 20B 都採用 Apache 2.0 授權，能商用、微調和再散布，條件是隨附授權條款、保留著作權聲明，並在改動過的檔案中註明修改。每個儲存庫另外附了一份很簡短的使用政策，只要求遵守適用法律，既沒有每月活躍用戶的門檻，也沒有另外列出禁止用途清單。Safeguard 是以 gpt-oss 為基礎打造的內容審核模型，授權條款和 gpt-oss 相同。
gpt-oss 可以用 Ollama 執行嗎？
可以。gpt-oss 的標籤是 gpt-oss:20b 和 gpt-oss:120b，由 OpenAI 與 Ollama 合作上架。Safeguard 放在另一個獨立的模型庫，標籤是 gpt-oss-safeguard:20b，另外還有本站未收錄的 gpt-oss-safeguard:120b。名稱帶 -cloud 的 gpt-oss:20b-cloud 和 gpt-oss:120b-cloud 是在 Ollama 的伺服器上執行，並不是在本機跑。
