Gemma 4 31B 如何本地部署？

Gemma 4 31B 是 Gemma 4 中最大、跑分最高的稠密模型，Google 發布時表示它在 Arena AI 文字榜的開源模型中排名第三。24GB 顯示卡跑得動它的 4-bit，約 36 tokens/s，但上下文最多只有約 66K；要開滿 256K 得有 48GB 顯示記憶體。它能看圖，但不能聽音訊。

Gemma 4 31B 模型資訊

4-bit 最低顯示記憶體21 GB · 8K
參數量30.7B
上下文上限256K

架構: 稠密
授權: Apache-2.0
發布日期: 2026年4月2日
廠商: Google DeepMind
Hugging Face 倉庫: google/gemma-4-31B-it
GGUF 倉庫: unsloth/gemma-4-31B-it-GGUF
NVFP4 倉庫（Blackwell）: nvidia/Gemma-4-31B-IT-NVFP4
MLX 倉庫（Apple）: mlx-community/gemma-4-31b-it-4bit
Ollama 標籤: gemma4:31b
層數: 60
隱藏維度: 5,376
KV 頭: 16
頭維度: 256

Gemma 4 31B 本地部署需要多少顯示記憶體？

量化	權重體積GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	7.7估	10.3	12.3	20.4	31.1
2-bit	11.8GGUF	14.4	16.4	24.5	35.2
3-bit	15.4GGUF	18	20	28.1	38.8
4-bit	18.3GGUF	20.9	22.9	31	41.7
5-bit	21.7GGUF	24.3	26.3	34.4	45.1
8-bit	32.6GGUF	35.2	37.2	45.3	56
BF16/FP16	61.4GGUF	64	66	74.1	84.8

詳細計算規則可在資料方法頁查看。

單卡能跑 Gemma 4 31B 嗎？

跑得動，24GB 的顯示卡就放得下 4-bit，弱點在上下文。RTX 3090、4090、RX 7900 XTX 放下 4-bit 之後，留給上下文的顯示記憶體不多，最多開到約 66K，每秒三十多個 token；偏偏讀長文件正是它明顯勝過同家族小型號的地方。想把上下文開長，換成 32GB 的 RTX 5090，能開到約 168K，速度也快得多；48GB 以上的卡才能開滿 256K。16GB 的卡只能退到 2-bit。128GB 統一記憶體的整機雖然放得下，但稠密模型每產生一個字都要把全部權重讀一遍，4-bit 每秒只有 10 個左右。

裝置	價格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	NT$6,0955 筆掛單	51.1	41K
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	51.1	246K
GeForce RTX 5060 Ti 16GB16 GB	NT$25,23314 筆掛單	26.4	41K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	54.2	143K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	53	143K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	15.3	256K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	56.7	143K
RTX A600048 GB	NT$156,0307 筆掛單	44.1	256K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	16.3	256K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	35.7	256K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	68	256K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	95	246K
RTX PRO 600096 GB	NT$609,4916 筆掛單	95	256K

裝置	價格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	34.5	168K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	36.7	66K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	35.8	66K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	10.2	256K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	38.4	66K
RTX A600048 GB	NT$156,0307 筆掛單	29.6	256K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	10.8	256K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	23.9	256K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	46.3	256K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	65.5	168K
RTX PRO 600096 GB	NT$609,4916 筆掛單	65.5	256K

裝置	價格	速度 t/s	最大上下文
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	5.8	256K
RTX A600048 GB	NT$156,0307 筆掛單	17.2	202K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	6.2	256K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	13.8	256K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	27.2	256K
RTX PRO 600096 GB	NT$609,4916 筆掛單	39	256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Gemma 4 31B 要注意什麼？

24GB 的卡怎麼分配顯示記憶體
4-bit 權重 18.3 GB，上下文從 8K 開到 128K 還要再多約 10.1 GB，所以 24GB 的卡開不到 128K。要更長的上下文，可以降到 3-bit（權重 15.4 GB），或在 llama.cpp 裡用 -ctk q8_0 -ctv q8_0 把上下文快取壓小。別用 5-bit，在 24GB 的卡上最多只能開到約 25K。
長文是它的強項
在 Google 模型卡的 128K 長文多針檢索測試（MRCR v2）中，31B 是 66.4%，26B A4B 和 12B 都只有 44% 左右。要讀長文件、大型程式碼庫，就選 31B。
做 Agent 也該選它
同一張模型卡上，Tau2 工具呼叫測試 31B 是 76.9%，26B A4B 是 68.2%，差距比多數測試都大。它也原生支援系統提示詞和函式呼叫。
框架
Ollama 標籤是 gemma4:31b。Google 表示首發當天 vLLM、llama.cpp、MLX、SGLang、LM Studio 就都已支援；在 Mac 上用 MLX 或 llama.cpp 都可以。

啟動指令

Ollama

Windows
macOS
Linux

終端機

ollama run gemma4:31b

llama.cpp

NVIDIA
AMD
Mac
CPU

終端機

llama-server -hf unsloth/gemma-4-31B-it-GGUF:Q4_K_M -c 8192

vLLM

Linux
NVIDIA
AMD

原版權重

終端機

vllm serve google/gemma-4-31B-it

NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機

vllm serve nvidia/Gemma-4-31B-IT-NVFP4

MLX

Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機

mlx_vlm.server --model mlx-community/gemma-4-31b-it-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

Gemma 家族的其他模型

模型	總參數	激活參數	4-bit 模型大小
Gemma 4 E4B稠密	8B	8B	5 GB
Gemma 4 12B稠密	12B	12B	7.1 GB
Gemma 4 26B A4BMoE	25.2B	3.8B	16.9 GB

關於 Gemma