本地部署 Gemma 需要什么显卡？各版本显存需求一览
Gemma 目前有 4 个能本地部署的版本，最小的 Gemma 4 E4B 在 4-bit 量化下需要 7GB 显存，最大的 Gemma 4 31B 需要 21GB。最便宜能跑起来的设备是 Tesla V100 16GB，约 ¥1,415。
| 版本 | 发布日期 | 上下文 | 许可证 | ||
|---|---|---|---|---|---|
| Gemma 4 12B稠密 | 2026年6月3日 | 12B | 12B | 256K | Apache-2.0 |
| Gemma 4 31B稠密 | 2026年4月2日 | 30.7B | 30.7B | 256K | Apache-2.0 |
| Gemma 4 26B A4BMoE | 2026年4月2日 | 25.2B | 3.8B | 256K | Apache-2.0 |
| Gemma 4 E4B稠密 | 2026年4月2日 | 8B | 8B | 128K | Apache-2.0 |
关于 Gemma
Gemma 是 Google DeepMind 的开放权重模型系列，官方说它和 Gemini 用的是同样的研究和技术，定位是能在笔记本、台式机这类个人设备上跑的轻量模型。第一代 2024 年 2 月发布，只有 2B、7B 两个尺寸；据 Google 统计，截至 2026 年 4 月 Gemma 累计下载超过 4 亿次，社区做的衍生版本超过 10 万个。Google DeepMind 由 DeepMind 和 Google Brain 在 2023 年 4 月合并而成，总部在伦敦。
之后每一代都有明显变化：Gemma 2（2024 年 6 月）交替使用只看附近内容的滑动窗口注意力和看全文的全局注意力；Gemma 3（2025 年 3 月，1B 到 27B）加入看图能力，上下文扩到 128K；Gemma 3n（2025 年 6 月）专为手机这类端侧设备设计。2026 年 4 月的 Gemma 4 有 E2B、E4B、26B A4B（MoE）和 31B 四款，6 月又补了 12B，最长上下文 256K，内置推理模式。许可证也在 Gemma 4 这一代变了：之前用 Google 自己的 Gemma 使用条款，允许商用，但附带禁止用途政策；Gemma 4 起改用 Apache 2.0。
- 厂商Google DeepMind
- 收录版本4
- 参数量8B – 30.7B
- 最新版本Gemma 4 12B
- 许可证
- Apache-2.0
- Hugging Face 组织
Gemma 各版本 2-bit 量化需要多少显存？
2-bit 也叫 Q2 精度，常见的 GGUF 文件有 Q2_K、UD-Q2_K_XL，体积最小、质量损失也最明显，适合显存紧张时先把模型跑起来。下表每一行是 Gemma 的一个版本，每一列是一种上下文长度，格子里是用 Q2 精度部署时需要的总显存（权重 + KV cache + 1.1GB 运行开销）。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Gemma 4 12B12B | 4.7GGUF | 6.6 | 8.3 | 10.4 | — |
| Gemma 4 31B30.7B | 11.8GGUF | 16.4 | 24.5 | 35.2 | — |
| Gemma 4 26B A4B25.2B（激活 3.8B） | 10.5GGUF | 12.5 | 14.5 | 17.2 | — |
| Gemma 4 E4B8B | 3.8GGUF | 5.4 | 7 | — | — |
Gemma 各版本 4-bit 量化需要多少显存？
4-bit 也叫 Q4 精度，对应最常用的 Q4_K_M 文件，体积和质量比较平衡，是本地部署的默认选择。下表每一行是 Gemma 的一个版本，每一列是一种上下文长度，格子里是用 Q4 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Gemma 4 12B12B | 7.1GGUF | 9 | 10.7 | 12.8 | — |
| Gemma 4 31B30.7B | 18.3GGUF | 22.9 | 31 | 41.7 | — |
| Gemma 4 26B A4B25.2B（激活 3.8B） | 16.9GGUF | 18.9 | 20.9 | 23.6 | — |
| Gemma 4 E4B8B | 5GGUF | 6.6 | 8.2 | — | — |
Gemma 各版本 8-bit 量化需要多少显存？
8-bit 也叫 Q8 精度，对应 Q8_0 文件，质量最接近原版，体积也最大。下表每一行是 Gemma 的一个版本，每一列是一种上下文长度，格子里是用 Q8 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Gemma 4 12B12B | 12.7GGUF | 14.6 | 16.3 | 18.4 | — |
| Gemma 4 31B30.7B | 32.6GGUF | 37.2 | 45.3 | 56 | — |
| Gemma 4 26B A4B25.2B（激活 3.8B） | 26.9GGUF | 28.9 | 30.9 | 33.6 | — |
| Gemma 4 E4B8B | 8.2GGUF | 9.8 | 11.4 | — | — |
常见问题
Gemma 开源吗？可以免费商用吗？
Gemma 4 可以：E4B、12B、26B A4B 和 31B 四个版本都是 Apache 2.0 许可，可以商用、微调、再分发，条件是附上许可证、保留版权和归属声明、改过的文件注明修改。Gemma 3 及更早的版本不一样，用的是 Google 自己的 Gemma 使用条款，附带禁止用途政策；条款页面已经注明，Gemma 4 改看 Apache 2.0。所以看到「Gemma 许可证有额外限制」的说法，先确认说的是哪一代。
Gemma 能用 Ollama 跑吗？
能，四个版本都有官方标签：gemma4:e4b、gemma4:12b、gemma4:26b（就是 26B A4B 这个 MoE 版，也能写成 gemma4:26b-a4b）和 gemma4:31b；不带标签直接 ollama run gemma4，拉的是 E4B。每个尺寸另有按精度分的标签，比如 gemma4:31b-it-q8_0、gemma4:31b-it-bf16。带 cloud 的 gemma4:cloud 和 gemma4:31b-cloud 跑在 Ollama 的服务器上，不占本地显卡。
