Gemma 4 12B 如何本地部署？

• 4-bit 最低显存9 GB · 8K
• 参数量12B
• 上下文上限256K

架构

稠密

许可证

Apache-2.0

发布日期

2026年6月3日

厂商

Google DeepMind

Hugging Face 仓库

google/gemma-4-12B-it

GGUF 仓库

unsloth/gemma-4-12b-it-GGUF

NVFP4 仓库（Blackwell）

RedHatAI/gemma-4-12B-it-NVFP4

MLX 仓库（Apple）

mlx-community/gemma-4-12B-it-4bit

Ollama 标签

gemma4:12b

层数

48

隐藏维度

3,840

KV 头

8

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	83.2	256K
Tesla V100 32GB32 GB	¥4,2004 条挂单	83.2	256K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	44	256K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	88	256K
GeForce RTX 309024 GB	¥8,50013 条挂单	86.1	256K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	25.8	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	91.9	256K
RTX A600048 GB	¥32,0007 条挂单	72.2	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	27.5	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	58.9	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	108.9	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	148.5	256K
RTX PRO 600096 GB	¥125,0006 条挂单	148.5	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   没有编码器意味着什么

   别的多模态模型先用一个单独的编码器把图片、声音转成向量，再交给语言模型；Gemma 4 12B 省掉了这一步：图片只做一次简单的投影就送进主干，音频直接投到和文字相同的维度，所有内容都走同一个解码器。官方说这样延迟更低，整个模型也能一次微调。音频同样最长 30 秒。

2. 2

   量化怎么选

   12GB 卡用 4-bit（权重 7.1 GB）或 5-bit（8.4 GB），16GB 卡用 8-bit（12.7 GB）。FP16 原版加 8K 就要 25.3 GB，是 8-bit 的两倍，上下文开不了多长，不如用 8-bit 开长上下文。

3. 3

   思考开关和多轮对话

   在系统提示词开头加 <|think|> 就开启思考；关掉时它仍会输出一个空的思考块，解析时要过滤掉。多轮对话里不要把上一轮的思考放回历史，只留最终回答，工具调用那几轮例外。官方所有场景统一用 temperature 1.0、top_p 0.95、top_k 64。

4. 4

   长上下文为什么省

   它大部分层只看最近 1024 个 token，只有少数几层看完整上下文，所以上下文变长时显存涨得很慢：4-bit 下从 8K 开到 256K 只多约 4.2 GB。

ollama run gemma4:12b

llama-server -hf unsloth/gemma-4-12b-it-GGUF:Q4_K_M -c 8192

vllm serve google/gemma-4-12B-it

vllm serve RedHatAI/gemma-4-12B-it-NVFP4

mlx_vlm.server --model mlx-community/gemma-4-12B-it-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Gemma 4 E4B稠密	8B	8B	5 GB
Gemma 4 26B A4BMoE	25.2B	3.8B	16.9 GB
Gemma 4 31B稠密	30.7B	30.7B	18.3 GB

关于 Gemma