Gemma 4 31B をローカルに導入するには?
Gemma 4 31B は、Gemma 4 で最大かつ最もスコアの高い Dense モデルです。公開時、Google は Arena AI のテキストランキングでオープンモデル中 3 位だと発表しました。24GB の GPU で 4-bit が約 36 tokens/s で動きますが、コンテキストは最大約 66K までです。256K をフルに使うには 48GB の VRAM が必要です。画像は扱えますが、音声は扱えません。
Gemma 4 31B のモデル情報
- 4-bit 最小VRAM21 GB · 8K
- パラメータ数30.7B
- 最大コンテキスト256K
- アーキテクチャ
- Dense
- ライセンス
- Apache-2.0
- 発売日
- 2026年4月2日
- 提供元
- Google DeepMind
- Hugging Face リポジトリ
- google/gemma-4-31B-it
- GGUF リポジトリ
- unsloth/gemma-4-31B-it-GGUF
- NVFP4 リポジトリ(Blackwell)
- nvidia/Gemma-4-31B-IT-NVFP4
- MLX リポジトリ(Apple)
- mlx-community/gemma-4-31b-it-4bit
- Ollama タグ
- gemma4:31b
- レイヤー数
- 60
- 隠れ層次元
- 5,376
- KV ヘッド数
- 16
- ヘッド次元
- 256
Gemma 4 31B のローカル実行に必要なVRAMは?
| 量子化 | 重みサイズGB | 8K コンテキストGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキスト(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 7.7推定 | 10.3 | 12.3 | 20.4 | 31.1 |
| 2-bit | 11.8GGUF | 14.4 | 16.4 | 24.5 | 35.2 |
| 3-bit | 15.4GGUF | 18 | 20 | 28.1 | 38.8 |
| 4-bit | 18.3GGUF | 20.9 | 22.9 | 31 | 41.7 |
| 5-bit | 21.7GGUF | 24.3 | 26.3 | 34.4 | 45.1 |
| 8-bit | 32.6GGUF | 35.2 | 37.2 | 45.3 | 56 |
| BF16/FP16 | 61.4GGUF | 64 | 66 | 74.1 | 84.8 |
詳しい計算ルールはデータの作り方ページをご覧ください。
Gemma 4 31B は GPU 1 枚で動く?
24GB カード 1 枚で 4-bit が動きます。ただし弱点はコンテキストです。RTX 3090、4090、RX 7900 XTX に 4-bit を載せるとコンテキストに回せる VRAM が少なく、約 66K が上限で、速度は 30 tokens/s 台後半です。長い文書の読解こそ同じファミリーの小さいモデルにはっきり勝る点なのに、そこを生かしきれません。コンテキストを延ばしたいなら 32GB の RTX 5090 で約 168K まで広がり、速度もかなり上がります。256K をフルに使うには 48GB 以上のカードが必要です。16GB カードでは 2-bit しか使えません。128GB ユニファイドメモリのマシンにも収まりますが、Dense モデルは 1 トークンごとに全重みを読むため、4-bit で 10 tokens/s 前後にとどまります。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| ¥116,6274 件の出品 | 51.1 | 41K | |
| ¥156,40029 件の出品 | 26.4 | 41K | |
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 54.2 | 143K |
| ¥406,9228 件の出品 | 53 | 143K | |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 15.3 | 256K |
| ¥862,1369 件の出品 | 56.7 | 143K | |
| ¥1,399,9909 件の出品 | 95 | 246K | |
| ¥1,511,5715 件の出品 | 44.1 | 256K | |
| 価格なし | 95 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 68 | 256K |
| 価格なし | 51.1 | 246K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 35.7 | 256K |
| 価格なし | 16.3 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Radeon RX 7900 XTX24 GB | ¥293,6506 件の出品 | 36.7 | 66K |
| ¥406,9228 件の出品 | 35.8 | 66K | |
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 10.2 | 256K |
| ¥862,1369 件の出品 | 38.4 | 66K | |
| ¥1,399,9909 件の出品 | 65.5 | 168K | |
| ¥1,511,5715 件の出品 | 29.6 | 256K | |
| 価格なし | 65.5 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 46.3 | 256K |
| 価格なし | 34.5 | 168K | |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 23.9 | 256K |
| 価格なし | 10.8 | 256K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥688,8588 件の出品 | 5.8 | 256K |
| ¥1,511,5715 件の出品 | 17.2 | 202K | |
| 価格なし | 39 | 256K | |
| Mac Studio M5 Ultra 96GBマシン全体 · 96 GB | 価格なし | 27.2 | 256K |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 13.8 | 256K |
| 価格なし | 6.2 | 256K |
よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。
Gemma 4 31B をローカルで動かす前に知っておきたいこと
24GB カードでの VRAM の割り振り
4-bit の重みは 18.3 GB で、コンテキストを 8K から 128K に広げるとさらに約 10.1 GB 必要になるため、24GB カードでは 128K まで届きません。もっと長いコンテキストが必要なら、3-bit(重み 15.4 GB)に落とすか、llama.cpp で
-ctk q8_0-ctv q8_0を使ってコンテキストのキャッシュを圧縮します。5-bit は避けましょう。24GB カードでは最大約 25K までしか広げられません。長文が得意
Google のモデルカードにある 128K の長文マルチニードル検索テスト(MRCR v2)では、31B が 66.4% なのに対し、26B A4B と 12B はどちらも 44% 前後にとどまります。長い文書や大きなコードベースを読ませるなら 31B を選びましょう。
エージェント用途にもこちら
同じモデルカードのツール呼び出しテスト Tau2 では、31B が 76.9%、26B A4B が 68.2% で、ほかの多くのテストより差が開いています。システムプロンプトと関数呼び出しにもネイティブで対応しています。
推論エンジン
Ollama のタグは gemma4:31b です。Google によると、公開当日の時点で vLLM、llama.cpp、MLX、SGLang、LM Studio が対応済みでした。Mac では MLX と llama.cpp のどちらでも動かせます。
起動コマンド
Ollama
- Windows
- macOS
- Linux
ollama run gemma4:31bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
llama-server -hf unsloth/gemma-4-31B-it-GGUF:Q4_K_M -c 8192
vLLM
- Linux
- NVIDIA
- AMD
vllm serve google/gemma-4-31B-itBlackwell 世代の GPU(RTX 50 シリーズ、RTX PRO 6000、B200)は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。
vllm serve nvidia/Gemma-4-31B-IT-NVFP4MLX
- Apple シリコン
画像を扱うモデルは mlx-vlm で動かします。Mac で pip install mlx-vlm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得してサーバーを起動します。
mlx_vlm.server --model mlx-community/gemma-4-31b-it-4bitファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
Gemma ファミリーのほかのモデル
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| 8B | 8B | 5 GB | |
| 12B | 12B | 7.1 GB | |
| 25.2B | 3.8B | 16.9 GB |