本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

gpt-oss 120B 如何本地部署？

gpt-oss 120B 是 OpenAI 開放權重的大型 MoE，有 116.8B 參數，但每個字只動用 5.1B，所以在大記憶體機器上跑得很快。4-bit 加 8K 約 64 GB，128GB 的整機可以整個放下，約 52 到 54 tokens/s；就算只有一張一般的顯示卡，把專家放進系統記憶體也跑得動。官方表示一張 80GB 的 H100 就夠。

gpt-oss 120B 模型資訊

  • 4-bit 最低顯示記憶體65 GB · 8K
  • 參數量116.8B
  • 激活參數5.1B
  • 上下文上限128K
架構
MoE
專家卸載
4 GB 顯存 + 62 GB 記憶體
授權
Apache-2.0
發布日期
2025年8月5日
廠商
OpenAI
Hugging Face 倉庫
openai/gpt-oss-120b
GGUF 倉庫
unsloth/gpt-oss-120b-GGUF
MLX 倉庫（Apple）
mlx-community/gpt-oss-120b-MXFP4-Q8
Ollama 標籤
gpt-oss:120b
層數
36
隱藏維度
2,880
KV 頭
8
頭維度
64

gpt-oss 120B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit29.4估30.831.735.4
2-bit46.6估4848.952.5
3-bit62.6GGUF6464.968.5
4-bit62.8GGUF64.265.168.7
5-bit62.9GGUF64.365.268.8
8-bit63.4GGUF64.865.769.3
BF16/FP1665.4GGUF66.867.771.3

詳細計算規則可在資料方法頁查看。

單卡能跑 gpt-oss 120B 嗎？

消費級顯示卡都不行，要專業卡、資料中心卡或大記憶體整機。RTX PRO 6000 放進 4-bit 後上下文還能開滿，每秒約 147 個 token；80GB 的 A100、72GB 的 RTX PRO 5000 也都放得下。別指望靠降低量化塞進小卡：它出廠就是 4-bit 格式，2-bit 到 8-bit 的檔案大小幾乎一樣，48GB 的 RTX A6000 照樣放不下。整機方面，96GB 的 Mac Studio M5 Ultra 每秒約 129 個 token，128GB 的 DGX Spark 約 54 個；它每個 token 只用約 5B 參數，要讀的資料少，頻寬不高也跑得順。

閒魚
裝置價格速度 t/s最大上下文
Instinct MI21064 GBNT$90,20011 筆掛單142.8128K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單51.5128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單54128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單92.2128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單128.7128K
RTX PRO 5000 72GB72 GBNT$287,68023 筆掛單133.2128K
Mac Studio M3 Ultra 512GB整機 · 512 GBNT$573,1654 筆掛單107.5128K
RTX PRO 600096 GBNT$609,4916 筆掛單147128K
A100 80GB PCIe80 GBNT$682,6303 筆掛單150.4128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

多卡跑 gpt-oss 120B 要幾張顯示卡？

兩張 48GB 的 RTX A6000 就夠，4-bit 每秒約 97 個 token。24GB 的卡要 4 張：模型加 32K 上下文約 65 GB，兩張 24GB 合起來放不下，4 張 RTX 3090 每秒約 107 個 token；32GB 的 RTX 5090 同樣要 4 張起跳。降到 2-bit 也省不了卡，因為各檔檔案差不多大。另外，vLLM 的 gpt-oss 配方目前註明支援的是 H100、B200、MI300 這類資料中心卡，消費級顯示卡和 A6000 的支援還在進行中，在這些卡上用 llama.cpp 按層分卡比較穩妥。

閒魚
裝置需要幾張總價總顯示記憶體速度 t/s總功耗
Tesla V100 32GB單卡 32 GB4 張NT$81,916128 GB104.91,000 W
Radeon RX 7900 XTX單卡 24 GB4 張NT$111,05496 GB108.31,420 W
GeForce RTX 3090單卡 24 GB4 張NT$165,78296 GB1071,400 W
Instinct MI210單卡 64 GB2 張NT$180,400128 GB136600 W
Arc Pro B70單卡 32 GB4 張NT$256,454128 GB84.4920 W
RTX A6000單卡 48 GB2 張NT$312,05996 GB96.5600 W
GeForce RTX 4090單卡 24 GB4 張NT$487,59396 GB110.91,800 W
GeForce RTX 5090單卡 32 GB4 張NT$1,014,174128 GB140.32,300 W
GeForce RTX 4090 48GB單卡 48 GB2 張暫無96 GB110.9900 W

詳細計算規則可在資料方法頁查看。

用整機跑 gpt-oss 120B 要什麼配置？

這個模型每個字只動用 5.1B 參數，需要從記憶體讀取的專家資料很少，所以把專家放進系統記憶體是它最實用的跑法。4-bit 下，一張 16GB 的 Tesla V100 配雙通道 DDR5 桌機約 36 tokens/s，DDR4 約 21；8 通道 DDR4 的二手伺服器配 RTX 3090 約 59。在 llama.cpp 裡，--cpu-moe 會把全部專家放進記憶體，--n-cpu-moe N 只放前 N 層；顯示記憶體有餘裕就把 N 調小，速度會更快。

閒魚

GeForce RTX 5070 + 家用 DDR5

家用
生成速度32.6t/s
記憶體頻寬96GB/s
顯示卡
GeForce RTX 50705 / 36 層專家放進 12 GB 顯示記憶體
NT$31,879
記憶體
64 GB DDR5-60002 條 × 32 GB
NT$27,334
CPU
AMD Ryzen 7 77008 核 16 執行緒 · 2 通道
NT$4,145
主機板
Gigabyte B650 EAGLE AX4 個記憶體插槽
NT$2,936
電源
海盜船 RM750e750 W
NT$4,871
整機參考價NT$71,165

Tesla V100 32GB + E5 雙路 DDR4

低價
生成速度51.1t/s
記憶體頻寬137GB/s
顯示卡
Tesla V100 32GB18 / 36 層專家放進 32 GB 顯示記憶體
NT$20,479
記憶體
128 GB DDR4-21338 條 × 16 GB
NT$16,968
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 執行緒 · 8 通道
NT$780
主機板
Supermicro X10DRi16 個記憶體插槽
NT$5,873
電源
海盜船 RM750e750 W
NT$4,871
整機參考價NT$48,971

2 × GeForce RTX 3090 + EPYC 單路 DDR4

性價比
生成速度83.9t/s
記憶體頻寬171GB/s
顯示卡
2 × GeForce RTX 309027 / 36 層專家放進 48 GB 顯示記憶體
NT$82,891
記憶體
128 GB DDR4-26668 條 × 16 GB
NT$26,915
CPU
AMD EPYC 753232 核 64 執行緒 · 8 通道
NT$8,483
主機板
Supermicro H12SSL-i8 個記憶體插槽
NT$35,889
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$162,950

GeForce RTX 5090 + EPYC 單路 DDR5

旗艦
生成速度111.6t/s
記憶體頻寬461GB/s
顯示卡
GeForce RTX 509018 / 36 層專家放進 32 GB 顯示記憶體
NT$253,543
記憶體
192 GB DDR5-480012 條 × 16 GB
NT$204,789
CPU
AMD EPYC 935432 核 64 執行緒 · 12 通道
NT$59,706
主機板
Supermicro H13SSL-N12 個記憶體插槽
NT$26,754
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$553,564

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 gpt-oss 120B 要注意什麼？

  1. 直接用原版精度

    它的專家原本就是 4-bit 格式（MXFP4），所以各檔 GGUF 的體積幾乎一樣，連 FP16 那一檔也只有約 65 GB，和原版相同。沒必要為了省兩三 GB 而降檔。Unsloth 建議顯示記憶體加系統記憶體合計至少 66 GB，速度才能達到每秒 6 個 token 以上。

  2. 中文偏弱，程式和推理強

    Qwen 在 Qwen3.5 9B 的模型卡裡拿 gpt-oss 120B 當對照：中文綜合測試 C-Eval 只有 76.2，還不如 9B 的 Qwen3.5（88.2）；但寫程式的 LiveCodeBench v6 是 82.7，在那張比較表中最高。以中文為主的用途，部署前先拿自己的任務試試看。

  3. 思考強度和工具

    和 20B 一樣分成 low、medium、high 三檔，寫在系統提示詞裡（例如「Reasoning: high」）。它在訓練時就帶有瀏覽器和 Python 工具呼叫，vLLM 加上 --tool-call-parser openai --enable-auto-tool-choice 就能接上函式呼叫。取樣參數和 20B 相同，都是 temperature 1.0、top_p 1.0。

  4. 放得下就能開滿 128K

    開滿 128K 只比 8K 多約 4.5 GB（4-bit 下 68.7 對 64.2 GB），所以放得下它的裝置都能直接開到 128K，不必在量化和上下文之間取捨。原因在於它有一半的層只看最近 128 個 token，這些層的快取不會隨上下文變長。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run gpt-oss:120b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放進顯示記憶體
終端機
llama-server -hf unsloth/gpt-oss-120b-GGUF:Q4_K_M -c 8192
專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 62 GB）。

終端機
llama-server -hf unsloth/gpt-oss-120b-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve openai/gpt-oss-120b

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/gpt-oss-120b-MXFP4-Q8

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

gpt-oss 家族的其他模型

模型總參數激活參數4-bit 模型大小
gpt-oss 20BMoE20.9B3.6B11.6 GB
gpt-oss Safeguard 20BMoE20.9B3.6B11.6 GB

關於 gpt-oss