本地部署 gpt-oss 需要什麼顯示卡?各版本記憶體需求一覽
gpt-oss 目前有 3 個能本地部署的版本,最小的 gpt-oss 20B 在 Q4 量化下需要 4GB 記憶體,最大的 gpt-oss 120B 需要 4GB。最便宜能跑起來的裝置是 GeForce RTX 2080 Ti,二手約 NT$7,897。
gpt-oss 各版本的記憶體需求
共 3 個版本| 版本 | 發布日期 | 上下文 | ||||
|---|---|---|---|---|---|---|
| gpt-oss 20BMoE | 20.9B(啟用 3.6B) | 2025年8月4日 | 128K | 4另需 12 GB 記憶體 | GeForce RTX 2080 TiNT$7,897 · 11 GB · 專家卸載 | 6,448,506 |
| gpt-oss Safeguard 20BMoE | 20.9B(啟用 3.6B) | 2025年9月18日 | 128K | 4另需 12 GB 記憶體 | GeForce RTX 2080 TiNT$7,897 · 11 GB · 專家卸載 | 78,266 |
| gpt-oss 120BMoE | 116.8B(啟用 5.1B) | 2025年8月4日 | 128K | 4另需 65 GB 記憶體 | GeForce RTX 2080 TiNT$7,897 · 11 GB · 專家卸載 | 5,259,501 |
最低記憶體 = Q4_K_M 權重 + 8K 上下文 KV cache + 1GB 執行開銷,向上取整;最便宜能跑的裝置依目前價格基準的二手中位價升序,取第一台裝得下的。
關於 gpt-oss
gpt-oss 由 OpenAI 發布,授權為 Apache-2.0。本頁收錄 3 個版本,參數量從 20.9B 到 116.8B,結構參數與量化體積每週從 Hugging Face 同步。
廠商OpenAI
授權Apache-2.0
Hugging Face 組織openai