本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

gpt-oss 120B 如何本地部署？

gpt-oss 120B 是 OpenAI 开放权重的大号 MoE，116.8B 参数，但每个字只用 5.1B，所以在大内存机器上跑得很快。4-bit 加 8K 约 64 GB，128GB 的整机能整个装下，约 52 到 54 tokens/s；只有一张普通显卡的话，把专家放进内存也跑得动。官方说一张 80GB 的 H100 就够。

gpt-oss 120B 模型信息

  • 4-bit 最低显存65 GB · 8K
  • 参数量116.8B
  • 激活参数5.1B
  • 上下文上限128K
架构
MoE
专家卸载
4 GB 显存 + 62 GB 内存
许可证
Apache-2.0
发布日期
2025年8月5日
厂商
OpenAI
Hugging Face 仓库
openai/gpt-oss-120b
GGUF 仓库
unsloth/gpt-oss-120b-GGUF
MLX 仓库（Apple）
mlx-community/gpt-oss-120b-MXFP4-Q8
Ollama 标签
gpt-oss:120b
层数
36
隐藏维度
2,880
KV 头
8
头维度
64

gpt-oss 120B 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit29.4估30.831.735.4
2-bit46.6估4848.952.5
3-bit62.6GGUF6464.968.5
4-bit62.8GGUF64.265.168.7
5-bit62.9GGUF64.365.268.8
8-bit63.4GGUF64.865.769.3
BF16/FP1665.4GGUF66.867.771.3

详细计算规则可在数据方法页查看。

单卡能跑 gpt-oss 120B 吗？

消费卡都不行，要专业卡、数据中心卡或大内存整机。RTX PRO 6000 装下 4-bit 后上下文还能开满，每秒约 147 个 token；80GB 的 A100、72GB 的 RTX PRO 5000 也都装得下。别指望靠降量化塞进小卡：它出厂就是 4-bit 格式，2-bit 到 8-bit 的文件大小几乎一样，48GB 的 RTX A6000 照样装不下。整机里，96GB 的 Mac Studio M5 Ultra 每秒约 129 个 token，128GB 的 DGX Spark 约 54；它每个 token 只用约 5B 参数，要读的数据少，带宽不高也跑得顺。

闲鱼
设备价格速度 t/s最大上下文
Instinct MI21064 GB¥18,49911 条挂单142.8128K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单51.5128K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单54128K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单92.2128K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单128.7128K
RTX PRO 5000 72GB72 GB¥59,00023 条挂单133.2128K
Mac Studio M3 Ultra 512GB整机 · 512 GB¥117,5504 条挂单107.5128K
RTX PRO 600096 GB¥125,0006 条挂单147128K
A100 80GB PCIe80 GB¥140,0003 条挂单150.4128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

多卡跑 gpt-oss 120B 要几张显卡？

两张 48GB 的 RTX A6000 就够，4-bit 每秒约 97 个 token。24GB 的卡要 4 张：模型加 32K 上下文约 65 GB，两张 24GB 合起来装不下，4 张 RTX 3090 每秒约 107 个 token；32GB 的 RTX 5090 同样是 4 张起步。降到 2-bit 也省不了卡，因为各档文件差不多大。另外，vLLM 的 gpt-oss 配方目前写明支持的是 H100、B200、MI300 这类数据中心卡，消费卡和 A6000 的支持还在推进，在这些卡上用 llama.cpp 按层分卡更稳妥。

闲鱼
设备需要几张总价总显存速度 t/s总功耗
Tesla V100 32GB单卡 32 GB4 张¥16,800128 GB104.91,000 W
Radeon RX 7900 XTX单卡 24 GB4 张¥22,77696 GB108.31,420 W
GeForce RTX 3090单卡 24 GB4 张¥34,00096 GB1071,400 W
Instinct MI210单卡 64 GB2 张¥36,998128 GB136600 W
Arc Pro B70单卡 32 GB4 张¥52,596128 GB84.4920 W
RTX A6000单卡 48 GB2 张¥64,00096 GB96.5600 W
GeForce RTX 4090单卡 24 GB4 张¥100,00096 GB110.91,800 W
GeForce RTX 5090单卡 32 GB4 张¥207,996128 GB140.32,300 W
GeForce RTX 4090 48GB单卡 48 GB2 张暂无96 GB110.9900 W

详细计算规则可在数据方法页查看。

用整机跑 gpt-oss 120B 要什么配置？

这个模型每个字只用 5.1B 参数，要从内存读的专家数据很少，所以把专家放进内存是它最实用的跑法。4-bit 下，一张 16GB 的 Tesla V100 配双通道 DDR5 台式机约 36 tokens/s，DDR4 约 21；8 通道 DDR4 的二手服务器配 RTX 3090 约 59。llama.cpp 里，--cpu-moe 把全部专家放进内存，--n-cpu-moe N 只放前 N 层；显存有富余就把 N 调小，速度会更快。

闲鱼

GeForce RTX 5070 + 家用 DDR5

家用
出字速度32.6t/s
内存带宽96GB/s
显卡
GeForce RTX 50705 / 36 层专家放进 12 GB 显存
¥6,538
内存
64 GB DDR5-60002 条 × 32 GB
¥5,606
CPU
AMD Ryzen 7 77008 核 16 线程 · 2 通道
¥850
主板
Gigabyte B650 EAGLE AX4 个内存插槽
¥602
电源
海盗船 RM750e750 W
¥999
整机参考价¥14,595

Tesla V100 32GB + E5 双路 DDR4

低价
出字速度51.1t/s
内存带宽137GB/s
显卡
Tesla V100 32GB18 / 36 层专家放进 32 GB 显存
¥4,200
内存
128 GB DDR4-21338 条 × 16 GB
¥3,480
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 线程 · 8 通道
¥160
主板
Supermicro X10DRi16 个内存插槽
¥1,204
电源
海盗船 RM750e750 W
¥999
整机参考价¥10,043

2 × GeForce RTX 3090 + EPYC 单路 DDR4

性价比
出字速度83.9t/s
内存带宽171GB/s
显卡
2 × GeForce RTX 309027 / 36 层专家放进 48 GB 显存
¥17,000
内存
128 GB DDR4-26668 条 × 16 GB
¥5,520
CPU
AMD EPYC 753232 核 64 线程 · 8 通道
¥1,740
主板
Supermicro H12SSL-i8 个内存插槽
¥7,360
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥33,419

GeForce RTX 5090 + EPYC 单路 DDR5

旗舰
出字速度111.6t/s
内存带宽461GB/s
显卡
GeForce RTX 509018 / 36 层专家放进 32 GB 显存
¥51,999
内存
192 GB DDR5-480012 条 × 16 GB
¥42,000
CPU
AMD EPYC 935432 核 64 线程 · 12 通道
¥12,245
主板
Supermicro H13SSL-N12 个内存插槽
¥5,487
电源
海盗船 RM1200x SHIFT1,200 W
¥1,799
整机参考价¥113,530

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 gpt-oss 120B 要注意什么？

  1. 直接用原版精度

    它的专家原本就是 4-bit 格式（MXFP4），所以各档 GGUF 体积几乎一样，连 FP16 那一档也只有约 65 GB，和原版一样。没有必要为了省两三 GB 降档。Unsloth 建议显存加内存合计至少 66 GB，速度才能到每秒 6 个 token 以上。

  2. 中文偏弱，代码和推理强

    Qwen 在 Qwen3.5 9B 的模型卡里拿 gpt-oss 120B 做对照：中文综合测试 C-Eval 只有 76.2，还不如 9B 的 Qwen3.5（88.2）；但写代码的 LiveCodeBench v6 是 82.7，在那张对比表里最高。以中文为主的用途，部署前先拿自己的任务试一试。

  3. 思考强度和工具

    和 20B 一样分 low、medium、high 三档，写在系统提示里（比如「Reasoning: high」）。它训练时就带浏览器和 Python 工具调用，vLLM 加 --tool-call-parser openai --enable-auto-tool-choice 就能接函数调用。采样参数和 20B 相同，都是 temperature 1.0、top_p 1.0。

  4. 装得下就能开满 128K

    开满 128K 只比 8K 多约 4.5 GB（4-bit 下 68.7 对 64.2 GB），所以能装下它的设备都能直接开到 128K，不用在量化和上下文之间取舍。原因是它一半的层只看最近 128 个 token，这些层的缓存不随上下文变长。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run gpt-oss:120b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放进显存
终端
llama-server -hf unsloth/gpt-oss-120b-GGUF:Q4_K_M -c 8192
专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 62 GB）。

终端
llama-server -hf unsloth/gpt-oss-120b-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
终端
vllm serve openai/gpt-oss-120b

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model mlx-community/gpt-oss-120b-MXFP4-Q8

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

gpt-oss 家族的其他模型

模型总参数激活参数4-bit 模型大小
gpt-oss 20BMoE20.9B3.6B11.6 GB
gpt-oss Safeguard 20BMoE20.9B3.6B11.6 GB

关于 gpt-oss