Gemma 4 12B をローカルに導入するには？

VRAMGlass 編集部 · 2026年9月10日更新

Gemma 4 12B は 12B パラメータの Dense モデルです。Q4 量子化では最低 11GB、8K コンテキストなら 16GB のVRAMを推奨します。現在最も安く動かせるのは Tesla V100 16GB（で約 ¥101,219）で、推定 71.4 tokens/s です。

Gemma 4 12B のバージョン情報

発売日2026年5月23日

Hugging Face リポジトリgoogle/gemma-4-12B-it

リビジョン—

ライセンスApache-2.0

アーキテクチャDense

GGUF リポジトリunsloth/gemma-4-12b-it-GGUF

Ollama タグ—

Q4 最小VRAM11 GB · Q4_K_M · 8K

パラメータ数12B

レイヤー数48

隠れ層次元3,840

KV ヘッド数8

ヘッド次元256

最大コンテキスト256K

提供元Google DeepMind

Gemma 4 12B のローカル実行に必要なVRAMは？

量子化	重みサイズGB	8K 時の合計GB	32K 時の合計GB	128K 時の合計GB
1-bit	2.8推定	6.8	15.8	51.8
2-bit	4.7GGUF	8.4	17.4	53.4
3-bit	6GGUF	9.7	18.7	54.7
4-bit	7.1GGUF	10.7	19.7	55.7
5-bit	8.4GGUF	12.1	21.1	57.1
8-bit	12.7GGUF	16.4	25.4	61.4
FP16	23.8GGUF	27.4	36.4	72.4

合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 256K を超えるコンテキストは「—」と表示します。各段はリポジトリにあるそのビット幅のファイルを使い、unsloth 動的量子化を優先するため、ファイル名はモデルごとに異なります。

Gemma 4 12B を動かせるGPUは？

AmazonJP

デバイス	VRAMGB	価格	推定 t/s	推奨コンテキスト
Tesla V100 16GB	16	¥101,2194 件の出品	71.4	8K
Radeon RX 9070 XT	16	¥135,8538 件の出品	37.3	8K
GeForce RTX 5060 Ti 16GB	16	¥141,9809 件の出品	36.6	8K
GeForce RTX 5070	12	¥146,80410 件の出品	54.1	8K
Radeon RX 7800 XT	16	¥148,39610 件の出品	36.4	8K
Tesla V100 32GB	32	¥175,2273 件の出品	71.4	32K
Arc Pro B60	24	¥178,8003 件の出品	24.2	32K
Radeon RX 7900 XT	20	¥191,0009 件の出品	46.3	32K
Radeon RX 6950 XT	16	¥215,6424 件の出品	33.7	8K
GeForce RTX 5070 Ti	16	¥242,08110 件の出品	71.1	8K
Radeon RX 7900 XTX	24	¥266,8809 件の出品	55.2	32K
GeForce RTX 5080	16	¥286,8444 件の出品	75.9	8K
Arc Pro B70	32	¥318,5103 件の出品	32.1	32K
GeForce RTX 4080	16	¥335,9328 件の出品	57.6	8K
Radeon AI PRO R9700	32	¥344,5926 件の出品	37.3	32K
GeForce RTX 3090	24	¥387,0879 件の出品	74.1	32K
Ryzen AI Max+ 395 128GB	128	¥600,9716 件の出品	15.2	128K
RTX PRO 4000 Blackwell	24	¥607,5425 件の出品	54.1	32K
GeForce RTX 4090	24	¥753,3249 件の出品	79.4	32K
GeForce RTX 5090	32	¥1,150,2089 件の出品	134.6	32K
DGX Spark 128GB	128	¥1,262,9983 件の出品	22.6	128K
GeForce RTX 2080 Ti 22GB	22	—出品なし	49.8	32K
GeForce RTX 5090 D V2	24	—出品なし	103.7	32K
Arc Pro B65	32	—出品なし	32.1	32K
GeForce RTX 4080 SUPER 32GB	32	—出品なし	59	32K
GeForce RTX 5090 D	32	—出品なし	134.6	32K
Instinct MI100	32	—出品なし	69.7	32K
Instinct MI50 32GB	32	—出品なし	58.7	32K
Radeon PRO W7800	32	—出品なし	33.7	32K
RTX PRO 4500 Blackwell	32	—出品なし	71.1	32K
A100 40GB PCIe	40	—出品なし	118.5	32K
CMP 170HX 40GB	40	—出品なし	118.8	32K
GeForce RTX 4090 48GB	48	—出品なし	79.4	32K
Radeon PRO W7900	48	—出品なし	49.9	32K
RTX PRO 5000 Blackwell 48GB	48	—出品なし	103.7	32K
CMP 170HX 64GB	64	—出品なし	114.2	128K
Instinct MI210	64	—出品なし	91.3	128K
RTX PRO 5000 Blackwell 72GB	72	—出品なし	103.7	128K
RTX PRO 6000D	84	—出品なし	119.4	128K
RTX PRO 6000 Blackwell	96	—出品なし	134.6	128K
Mac Studio M4 Max 128GB	128	—出品なし	35.1	128K
Mac Studio M5 Max 128GB	128	—出品なし	39.3	128K
MacBook Pro M4 Max 128GB	128	—出品なし	35.1	128K
MacBook Pro M5 Max 128GB	128	—出品なし	39.3	128K
Mac Studio M3 Ultra 512GB	512	—出品なし	51.9	128K

判定基準：重み + KV キャッシュ + 実行時オーバーヘッド ≤ 利用可能メモリ、1 枚構成。MoE モデルの「オフロード」はエキスパート重みをシステム RAM に置けば動作することを示し（VRAM にはアテンション層と KV キャッシュのみ）、その速度は RAM 帯域幅 70 GB/s を前提に推定。コンテキスト列は収まる最大段階です。

Ollama / llama.cpp / vLLM で Gemma 4 12B をローカルに導入する

Ollama

Ollama ライブラリに公式タグはまだありません。

llama.cpp

llama.cpp は Hugging Face から GGUF を直接取得します。-c はコンテキスト長です。

llama-server -hf unsloth/gemma-4-12b-it-GGUF:Q4_K_M -c 8192

vLLM

vLLM は元の精度の重みを読み込むため、GGUF よりはるかに多くのメモリ（通常は複数枚）が必要です。

vllm serve google/gemma-4-12B-it

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。データ方法

よくある質問

Gemma 4 12B にはどれくらいのVRAMが必要ですか？

Q4_K_M・8K コンテキストでは Gemma 4 12B に約 11GB のVRAMが必要で、16GB あれば余裕があります。

Gemma 4 12B を動かせる最も安いGPUは？

Tesla V100 16GB です。VRAM 16GB、現在の中央値は約 ¥101,219、推定 71.4 tokens/s。

Gemma 4 12B は Ollama で動かせますか？

まだできません。Ollama ライブラリに公式タグがないため、llama.cpp で GGUF を読み込んでください。