gpt-oss 120B をローカルに導入するには？

VRAMGlass 編集部 · 2026年9月10日更新

gpt-oss 120B は総パラメータ 116.8B、1 トークンあたり 5.1B が有効になる MoE モデルです。Q4 で全量を VRAM に置くには 67GB 必要ですが、エキスパートをシステム RAM に置けば VRAM 4GB + RAM 65GB で動きます。現在最も安く動かせるのは Ryzen AI Max+ 395 128GB（で約 ¥600,971）で、推定 34.6 tokens/s です。オフロード構成で最も安く動かせるのは Tesla V100 16GB で、推定 21 tokens/s です。

gpt-oss 120B のバージョン情報

発売日2025年8月4日

Hugging Face リポジトリopenai/gpt-oss-120b

リビジョン—

ライセンスApache-2.0

アーキテクチャMoE

GGUF リポジトリunsloth/gpt-oss-120b-GGUF

Ollama タグgpt-oss:120b

Q4 最小VRAM67 GB · Q4_K_M · 8K

エキスパートオフロードVRAM 4 GB + RAM 65 GB

パラメータ数116.8B

MoE5.1B

レイヤー数36

隠れ層次元2,880

KV ヘッド数8

ヘッド次元64

最大コンテキスト128K

提供元OpenAI

gpt-oss 120B のローカル実行に必要なVRAMは？

MoE：総パラメータ 116.8B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 5.1B で決まります。

量子化	重みサイズGB	8K 時の合計GB	32K 時の合計GB	128K 時の合計GB
1-bit	27.4推定	29	30.7	37.4
2-bit	43.4推定	45	46.7	53.4
3-bit	62.6GGUF	57.5	59.2	66
4-bit	62.8GGUF	66.7	68.4	75.1
5-bit	62.9GGUF	80.4	82.1	88.8
8-bit	63.4GGUF	122.7	124.4	131.1
FP16	65.4GGUF	230.1	231.7	238.5

合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 128K を超えるコンテキストは「—」と表示します。各段はリポジトリにあるそのビット幅のファイルを使い、unsloth 動的量子化を優先するため、ファイル名はモデルごとに異なります。

gpt-oss 120B を動かせるGPUは？

AmazonJP

デバイス	VRAMGB	価格	推定 t/s	推奨コンテキスト
Ryzen AI Max+ 395 128GB	128	¥600,9716 件の出品	34.6	128K
DGX Spark 128GB	128	¥1,262,9983 件の出品	48.3	128K
RTX PRO 5000 Blackwell 72GB	72	—出品なし	135.3	32K
RTX PRO 6000D	84	—出品なし	144.8	128K
RTX PRO 6000 Blackwell	96	—出品なし	152.9	128K
Mac Studio M4 Max 128GB	128	—出品なし	68.4	128K
Mac Studio M5 Max 128GB	128	—出品なし	74.4	128K
MacBook Pro M4 Max 128GB	128	—出品なし	68.4	128K
MacBook Pro M5 Max 128GB	128	—出品なし	74.4	128K
Mac Studio M3 Ultra 512GB	512	—出品なし	90.3	128K

判定基準：重み + KV キャッシュ + 実行時オーバーヘッド ≤ 利用可能メモリ、1 枚構成。MoE モデルの「オフロード」はエキスパート重みをシステム RAM に置けば動作することを示し（VRAM にはアテンション層と KV キャッシュのみ）、その速度は RAM 帯域幅 70 GB/s を前提に推定。コンテキスト列は収まる最大段階です。

gpt-oss 120B のCPU・GPU併用推論におすすめのGPU

AmazonJP

エキスパート重みはシステム RAM に置き（65 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 4 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。

デバイス	VRAMGB	価格	必要 RAMGB	推定 t/s
Tesla V100 16GB	16	¥101,219	65	21
Radeon RX 9070 XT	16	¥135,853	65	20.2
GeForce RTX 5060 Ti 16GB	16	¥141,980	65	20.2
GeForce RTX 5070	12	¥146,804	65	20.7
Radeon RX 7800 XT	16	¥148,396	65	20.2
Tesla V100 32GB	32	¥175,227	65	21
Arc Pro B60	24	¥178,800	65	19.4
Radeon RX 7900 XT	20	¥191,000	65	20.5
Radeon RX 6950 XT	16	¥215,642	65	20.1
GeForce RTX 5070 Ti	16	¥242,081	65	20.9
Radeon RX 7900 XTX	24	¥266,880	65	20.7
GeForce RTX 5080	16	¥286,844	65	21
Arc Pro B70	32	¥318,510	65	20
GeForce RTX 4080	16	¥335,932	65	20.8
Radeon AI PRO R9700	32	¥344,592	65	20.2
GeForce RTX 3090	24	¥387,087	65	21
RTX PRO 4000 Blackwell	24	¥607,542	65	20.7
GeForce RTX 4090	24	¥753,324	65	21
GeForce RTX 5090	32	¥1,150,208	65	21.4
GeForce RTX 2080 Ti 22GB	22	—	65	20.6
GeForce RTX 5090 D V2	24	—	65	21.2
Arc Pro B65	32	—	65	20
GeForce RTX 4080 SUPER 32GB	32	—	65	20.8
GeForce RTX 5090 D	32	—	65	21.4
Instinct MI100	32	—	65	20.9
Instinct MI50 32GB	32	—	65	20.8
Radeon PRO W7800	32	—	65	20.1
RTX PRO 4500 Blackwell	32	—	65	20.9
A100 40GB PCIe	40	—	65	21.3
CMP 170HX 40GB	40	—	65	21.3
GeForce RTX 4090 48GB	48	—	65	21
Radeon PRO W7900	48	—	65	20.6
RTX PRO 5000 Blackwell 48GB	48	—	65	21.2
CMP 170HX 64GB	64	—	65	21.3
Instinct MI210	64	—	65	21.1

Ollama / llama.cpp / vLLM で gpt-oss 120B をローカルに導入する

Ollama

Ollama は 1 コマンドで取得して起動します。量子化は公式タグに従います。

ollama run gpt-oss:120b

llama.cpp

llama.cpp は Hugging Face から GGUF を直接取得します。-c はコンテキスト長です。

llama-server -hf unsloth/gpt-oss-120b-GGUF:Q4_K_M -c 8192

vLLM

vLLM は元の精度の重みを読み込むため、GGUF よりはるかに多くのメモリ（通常は複数枚）が必要です。

vllm serve openai/gpt-oss-120b

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。データ方法

よくある質問

gpt-oss 120B にはどれくらいのVRAMが必要ですか？

Q4_K_M・8K コンテキストでは gpt-oss 120B に約 67GB のVRAMが必要で、84GB あれば余裕があります。

gpt-oss 120B を動かせる最も安いGPUは？

Ryzen AI Max+ 395 128GB です。VRAM 128GB、現在の中央値は約 ¥600,971、推定 34.6 tokens/s。

gpt-oss 120B は Ollama で動かせますか？

はい。ollama run gpt-oss:120b で動きます。