本地部署 Gemma 需要什麼顯示卡？各版本記憶體需求一覽
Gemma 目前有 4 個能本地部署的版本，最小的 Gemma 4 E4B 在 4-bit 量化下需要 7GB 顯示記憶體，最大的 Gemma 4 31B 需要 21GB。最便宜能跑起來的裝置是 Tesla V100 16GB，約 NT$6,899。
| 版本 | 發布日期 | 上下文 | 授權 | ||
|---|---|---|---|---|---|
| Gemma 4 12B稠密 | 2026年6月3日 | 12B | 12B | 256K | Apache-2.0 |
| Gemma 4 31B稠密 | 2026年4月2日 | 30.7B | 30.7B | 256K | Apache-2.0 |
| Gemma 4 26B A4BMoE | 2026年4月2日 | 25.2B | 3.8B | 256K | Apache-2.0 |
| Gemma 4 E4B稠密 | 2026年4月2日 | 8B | 8B | 128K | Apache-2.0 |
關於 Gemma
Gemma 是 Google DeepMind 推出的開放權重模型系列。官方表示它和 Gemini 出自相同的研究與技術，定位是能在筆電、桌機這類個人裝置上執行的輕量模型。第一代在 2024 年 2 月發表，只有 2B、7B 兩種尺寸；根據 Google 統計，到 2026 年 4 月為止，Gemma 累計下載次數超過 4 億，社群打造的衍生版本超過 10 萬個。Google DeepMind 是 DeepMind 與 Google Brain 在 2023 年 4 月合併而成，總部設在倫敦。
之後每一代都有明顯的變化：Gemma 2（2024 年 6 月）輪流使用只看鄰近內容的滑動視窗注意力，以及看完整內容的全域注意力；Gemma 3（2025 年 3 月，1B 到 27B）加入看圖能力，上下文擴大到 128K；Gemma 3n（2025 年 6 月）則是專為手機這類裝置端設備打造。2026 年 4 月的 Gemma 4 有 E2B、E4B、26B A4B（MoE）和 31B 四款，6 月再補上 12B，最長上下文 256K，並內建推理模式。授權也在 Gemma 4 這一代改變了：先前採用 Google 自訂的 Gemma 使用條款，雖然允許商用，但附有禁止用途政策；從 Gemma 4 開始改用 Apache 2.0。
- 廠商Google DeepMind
- 收錄版本4
- 參數量8B – 30.7B
- 最新版本Gemma 4 12B
- 授權
- Apache-2.0
- Hugging Face 組織
Gemma 各版本 2-bit 量化需要多少顯示記憶體？
2-bit 也叫 Q2 精度，常見的 GGUF 檔案有 Q2_K、UD-Q2_K_XL，體積最小、品質損失也最明顯，適合顯示記憶體吃緊時先把模型跑起來。下表每一列是 Gemma 的一個版本，每一欄是一種上下文長度，格子裡是用 Q2 精度部署時需要的總顯示記憶體（權重 + KV cache + 1.1GB 執行開銷）。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Gemma 4 12B12B | 4.7GGUF | 6.6 | 8.3 | 10.4 | — |
| Gemma 4 31B30.7B | 11.8GGUF | 16.4 | 24.5 | 35.2 | — |
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 10.5GGUF | 12.5 | 14.5 | 17.2 | — |
| Gemma 4 E4B8B | 3.8GGUF | 5.4 | 7 | — | — |
Gemma 各版本 4-bit 量化需要多少顯示記憶體？
4-bit 也叫 Q4 精度，對應最常用的 Q4_K_M 檔案，體積和品質比較平衡，是本地部署的預設選擇。下表每一列是 Gemma 的一個版本，每一欄是一種上下文長度，格子裡是用 Q4 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Gemma 4 12B12B | 7.1GGUF | 9 | 10.7 | 12.8 | — |
| Gemma 4 31B30.7B | 18.3GGUF | 22.9 | 31 | 41.7 | — |
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 16.9GGUF | 18.9 | 20.9 | 23.6 | — |
| Gemma 4 E4B8B | 5GGUF | 6.6 | 8.2 | — | — |
Gemma 各版本 8-bit 量化需要多少顯示記憶體？
8-bit 也叫 Q8 精度，對應 Q8_0 檔案，品質最接近原版，體積也最大。下表每一列是 Gemma 的一個版本，每一欄是一種上下文長度，格子裡是用 Q8 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Gemma 4 12B12B | 12.7GGUF | 14.6 | 16.3 | 18.4 | — |
| Gemma 4 31B30.7B | 32.6GGUF | 37.2 | 45.3 | 56 | — |
| Gemma 4 26B A4B25.2B（啟用 3.8B） | 26.9GGUF | 28.9 | 30.9 | 33.6 | — |
| Gemma 4 E4B8B | 8.2GGUF | 9.8 | 11.4 | — | — |
常見問題
Gemma 是開源的嗎？可以免費商用嗎？
Gemma 4 可以。E4B、12B、26B A4B 和 31B 這四個版本都採用 Apache 2.0 授權，能商用、微調和再散布，條件是隨附授權條款、保留著作權與歸屬聲明，並在改動過的檔案中註明修改。Gemma 3 和更早的版本則不同，適用的是 Google 自訂的 Gemma 使用條款，另外附有禁止用途政策；條款頁面也已註明，Gemma 4 改以 Apache 2.0 為準。因此看到「Gemma 授權有額外限制」這類說法時，先確認講的是哪一代。
Gemma 可以用 Ollama 執行嗎？
可以，四個版本都有官方標籤：gemma4:e4b、gemma4:12b、gemma4:26b（也就是 26B A4B 這個 MoE 版本，寫成 gemma4:26b-a4b 也行）和 gemma4:31b；如果不加標籤、直接下 ollama run gemma4，下載的會是 E4B。每個尺寸還有依精度區分的標籤，例如 gemma4:31b-it-q8_0、gemma4:31b-it-bf16。名稱帶 cloud 的 gemma4:cloud 和 gemma4:31b-cloud 是在 Ollama 的伺服器上執行，不會用到本機的顯示卡。
