gpt-oss 20B をローカルに導入するには？

• 4-bit 最小VRAM13 GB · 8K
• パラメータ数20.9B
• アクティブ3.6B
• 最大コンテキスト128K

アーキテクチャ

MoE

エキスパートオフロード

VRAM 3 GB + RAM 11 GB

ライセンス

Apache-2.0

発売日

2025年8月5日

提供元

OpenAI

Hugging Face リポジトリ

openai/gpt-oss-20b

GGUF リポジトリ

unsloth/gpt-oss-20b-GGUF

MLX リポジトリ（Apple）

mlx-community/gpt-oss-20b-MXFP4-Q8

Ollama タグ

gpt-oss:20b

レイヤー数

24

隠れ層次元

2,880

KV ヘッド数

8

ヘッド次元

64

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Tesla V100 16GB16 GB	¥116,6274 件の出品	129.2	128K
GeForce RTX 5060 Ti 16GB16 GB	¥156,40029 件の出品	92.5	128K
Radeon RX 7900 XTX24 GB	¥293,6506 件の出品	132.5	128K
GeForce RTX 309024 GB	¥406,9228 件の出品	131.2	128K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB	¥688,8588 件の出品	65	128K
GeForce RTX 409024 GB	¥862,1369 件の出品	134.9	128K
GeForce RTX 509032 GB	¥1,399,9909 件の出品	160.6	128K
RTX A600048 GB	¥1,511,5715 件の出品	121	128K
RTX PRO 600096 GB	価格なし	160.6	128K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB	価格なし	144.4	128K
Tesla V100 32GB32 GB	価格なし	129.2	128K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB	価格なし	109.2	128K
DGX Spark 128GBマシン全体 · 128 GB	価格なし	67.9	128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   どの量子化もサイズはほぼ同じ

   エキスパート部分は常に 4-bit 形式（MXFP4、1 パラメータあたり約 4.25 bit）なので、GGUF は 3-bit から 8-bit まですべて 11.5〜12.1 GB に収まり、FP16 でも 13.8 GB しかありません。VRAM が足りるなら、そのまま 8-bit か FP16 を使いましょう。表の 1-bit と 2-bit の 2 行（5.3 GB、8.3 GB）はパラメータ数からの推定値で、そこまで小さいファイルは存在しません。単体 GPU の表にある 2-bit の行の速度も、このサイズから推定したものです。実際の 2-bit ファイルは 3-bit とほぼ同じ大きさで、Unsloth によると低い段階で圧縮しているのはアテンションなど一部の層だけなので、品質はオリジナルとほとんど変わりません。

2. 2

   harmony 形式が必須

   OpenAI によると harmony 形式だけで学習しているため、ほかの会話フォーマットでは正しく動きません。Ollama と llama.cpp（--jinja を付けてモデル内蔵のテンプレートを使う場合）は自動で適用します。いちばん間違えやすいのは、プロンプトを自分で組み立てる場合や、このテンプレートを認識しないフロントエンドを使う場合です。vLLM でツール呼び出しを使うには --tool-call-parser openai --enable-auto-tool-choice を付けます。

3. 3

   思考の強度とサンプリングパラメータ

   思考の強度は low、medium、high の 3 段階で、システムプロンプトに「Reasoning: high」のように書くだけです。llama.cpp なら --chat-template-kwargs で reasoning_effort を渡して既定値を設定することもできます。low は回答が速く、high はより長く考えて出力トークンも増えます。OpenAI の推奨は temperature 1.0、top_p 1.0 です。

4. 4

   長いコンテキストでも VRAM はほとんど増えない

   24 層の半分は直近 128 トークンしか見ないため、これらの層のキャッシュはコンテキストが長くなっても増えません。ネイティブの 4K コンテキストは YaRN で 128K に拡張されています。そのため 8K から 128K に広げても、4-bit の VRAM 使用量は 12.9 GB から 15.9 GB に増えるだけです。

ollama run gpt-oss:20b

llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve openai/gpt-oss-20b

mlx_lm.server --model mlx-community/gpt-oss-20b-MXFP4-Q8

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

gpt-oss について