gpt-oss 20B 如何本地部署？

• 4-bit 最低显存13 GB · 8K
• 参数量20.9B
• 激活参数3.6B
• 上下文上限128K

架构

MoE

专家卸载

3 GB 显存 + 11 GB 内存

许可证

Apache-2.0

发布日期

2025年8月5日

厂商

OpenAI

Hugging Face 仓库

openai/gpt-oss-20b

GGUF 仓库

unsloth/gpt-oss-20b-GGUF

MLX 仓库（Apple）

mlx-community/gpt-oss-20b-MXFP4-Q8

Ollama 标签

gpt-oss:20b

层数

24

隐藏维度

2,880

KV 头

8

头维度

64

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	129.2	128K
Tesla V100 32GB32 GB	¥4,2004 条挂单	129.2	128K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	92.5	128K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	132.5	128K
GeForce RTX 309024 GB	¥8,50013 条挂单	131.2	128K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	65	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	134.9	128K
RTX A600048 GB	¥32,0007 条挂单	121	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	67.9	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	109.2	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	144.4	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	160.6	128K
RTX PRO 600096 GB	¥125,0006 条挂单	160.6	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   各档量化体积几乎一样

   它的专家部分始终是 4-bit 格式（MXFP4，每个参数约 4.25 bit），所以 GGUF 从 3-bit 到 8-bit 都在 11.5 到 12.1 GB 之间，FP16 那一档也只有 13.8 GB。显存够就直接用 8-bit 或 FP16。表里 1-bit、2-bit 两行（5.3、8.3 GB）是按参数量估的，并没有这么小的文件，单卡表里 2-bit 那几行的速度也是按这个体积估出来的；实际的 2-bit 文件和 3-bit 差不多大，Unsloth 说低档位只压了注意力等少数层，效果和原版几乎一样。

2. 2

   必须用 harmony 格式

   OpenAI 说它只用 harmony 格式训练过，换别的对话格式就不能正常工作。Ollama 和 llama.cpp（加 --jinja，用模型自带的模板）会自动套用；最容易出错的是自己拼提示词，或者用了不认识这个模板的前端。vLLM 里接工具调用要加 --tool-call-parser openai --enable-auto-tool-choice。

3. 3

   思考强度和采样参数

   思考强度分 low、medium、high 三档，在系统提示里写「Reasoning: high」就行；llama.cpp 也能用 --chat-template-kwargs 传 reasoning_effort 设默认值。low 回答快，high 想得更久、输出的 token 更多。OpenAI 建议 temperature 1.0、top_p 1.0。

4. 4

   长上下文几乎不加显存

   24 层里有一半只看最近 128 个 token，这些层的缓存不随上下文变长；原生 4K 的上下文是用 YaRN 扩到 128K 的。所以从 8K 拉到 128K，4-bit 的显存只从 12.9 GB 涨到 15.9 GB。

ollama run gpt-oss:20b

llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve openai/gpt-oss-20b

mlx_lm.server --model mlx-community/gpt-oss-20b-MXFP4-Q8

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

关于 gpt-oss