当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Gemma 4 12B をローカルに導入するには？

Gemma 4 12B は、Google が 2026 年 6 月に追加で公開した、画像と音声を入力できる 12B の Dense モデルです。4-bit なら 12GB の GPU で動き、256K コンテキストをフルに使っても約 12.8 GB なので、16GB の GPU なら余裕があります。特徴は独立したビジョン・音声エンコーダーを持たず、画像と音声を直接本体に入力する点です。公式によると、スコアは 26B の MoE に迫る一方、メモリ使用量は半分未満です。

Gemma 4 12B のモデル情報

  • 4-bit 最小VRAM9 GB · 8K
  • パラメータ数12B
  • 最大コンテキスト256K
アーキテクチャ
Dense
ライセンス
Apache-2.0
発売日
2026年6月3日
提供元
Google DeepMind
Hugging Face リポジトリ
google/gemma-4-12B-it
GGUF リポジトリ
unsloth/gemma-4-12b-it-GGUF
NVFP4 リポジトリ（Blackwell）
RedHatAI/gemma-4-12B-it-NVFP4
MLX リポジトリ（Apple）
mlx-community/gemma-4-12B-it-4bit
Ollama タグ
gemma4:12b
レイヤー数
48
隠れ層次元
3,840
KV ヘッド数
8
ヘッド次元
256

Gemma 4 12B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキストGB256K コンテキスト（最大）GB
1-bit3推定4.656.68.7
2-bit4.7GGUF6.26.68.310.4
3-bit6GGUF7.57.99.611.7
4-bit7.1GGUF8.6910.712.8
5-bit8.4GGUF9.910.31214.1
8-bit12.7GGUF14.214.616.318.4
BF16/FP1623.8GGUF25.325.727.429.5

詳しい計算ルールはデータの作り方ページをご覧ください。

Gemma 4 12B は GPU 1 枚で動く？

12GB の GPU があれば十分動きます。大半の層は直近 1024 トークンしか見ないため、コンテキストを延ばしても VRAM はあまり増えず、4-bit で 8K から 256K に広げても約 4 GB 増えるだけです。そのため 12GB の RTX 3060 でも 4-bit なら 256K をフルに使え、約 36 tokens/s 出ます。16GB カードなら、オリジナルに近い 8-bit を選ぶのがおすすめです。コンテキストは十分長く取れますが、RTX 5060 Ti 16GB では約 26 tokens/s と 4-bit よりだいぶ遅くなります。24GB カードなら余裕ですが、同じファミリーの MoE 26B A4B も載り、1 トークンで読むパラメータが少ないぶんかえって速いので、先にそちらを試す価値があります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Tesla V100 16GB16 GB¥116,6274 件の出品83.2256K
GeForce RTX 5060 Ti 16GB16 GB¥156,40029 件の出品44256K
Radeon RX 7900 XTX24 GB¥293,6506 件の出品88256K
GeForce RTX 309024 GB¥406,9228 件の出品86.1256K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品25.8256K
GeForce RTX 409024 GB¥862,1369 件の出品91.9256K
GeForce RTX 509032 GB¥1,399,9909 件の出品148.5256K
RTX A600048 GB¥1,511,5715 件の出品72.2256K
RTX PRO 600096 GB価格なし148.5256K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし108.9256K
Tesla V100 32GB32 GB価格なし83.2256K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし58.9256K
DGX Spark 128GBマシン全体 · 128 GB価格なし27.5256K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Gemma 4 12B をローカルで動かす前に知っておきたいこと

  1. エンコーダーがないと何が違うのか

    ほかのマルチモーダルモデルは、まず独立したエンコーダーで画像や音声をベクトルに変換し、それを言語モデルに渡します。Gemma 4 12B はこの工程を省いています。画像は簡単な射影を 1 回かけるだけで本体に送られ、音声はテキストと同じ次元へ直接射影され、すべてが同じデコーダーを通ります。公式によると、これで遅延が小さくなり、モデル全体を一度にファインチューニングすることもできます。音声は同じく最長 30 秒です。

  2. 量子化の選び方

    12GB カードなら 4-bit（重み 7.1 GB）か 5-bit（8.4 GB）、16GB カードなら 8-bit（12.7 GB）を使います。FP16 のオリジナルは 8K で 25.3 GB と 8-bit の 2 倍になり、コンテキストをあまり広げられません。それなら 8-bit にして長いコンテキストを使うほうが得策です。

  3. 思考の切り替えと複数ターンの会話

    システムプロンプトの先頭に <|think|> を加えると思考がオンになります。オフにしても空の思考ブロックは出力されるので、パース時に取り除いてください。複数ターンの会話では、前のターンの思考を履歴に戻さず、最終回答だけを残します。ただしツール呼び出しのターンは例外です。公式はすべての用途で temperature 1.0、top_p 0.95、top_k 64 を使っています。

  4. 長いコンテキストでもメモリが増えにくい理由

    大半の層は直近 1024 トークンしか見ず、コンテキスト全体を見るのは一部の層だけです。そのためコンテキストが長くなっても VRAM の消費はゆっくりとしか増えず、4-bit で 8K から 256K に広げても約 4.2 GB 増えるだけです。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run gemma4:12b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf unsloth/gemma-4-12b-it-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
オリジナルの重み
ターミナル
vllm serve google/gemma-4-12B-it
NVFP4 · Blackwell

Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。

ターミナル
vllm serve RedHatAI/gemma-4-12B-it-NVFP4

MLX

  • Apple シリコン

画像を扱うモデルは mlx-vlm で動かします。Mac で pip install mlx-vlm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得してサーバーを起動します。

ターミナル
mlx_vlm.server --model mlx-community/gemma-4-12B-it-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Gemma ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Gemma 4 E4BDense8B8B5 GB
Gemma 4 26B A4BMoE25.2B3.8B16.9 GB
Gemma 4 31BDense30.7B30.7B18.3 GB

Gemma について