Gemma 4 31B 如何本地部署？

Gemma 4 31B 是 Gemma 4 里最大、跑分最高的稠密模型，Google 发布时称它在 Arena AI 文本榜的开源模型里排第三。24GB 显卡能跑它的 4-bit，约 36 tokens/s，但上下文最多只有约 66K；要开满 256K 得有 48GB 显存。它能看图，不能听音频。

Gemma 4 31B 模型信息

4-bit 最低显存21 GB · 8K
参数量30.7B
上下文上限256K

架构: 稠密
许可证: Apache-2.0
发布日期: 2026年4月2日
厂商: Google DeepMind
Hugging Face 仓库: google/gemma-4-31B-it
GGUF 仓库: unsloth/gemma-4-31B-it-GGUF
NVFP4 仓库（Blackwell）: nvidia/Gemma-4-31B-IT-NVFP4
MLX 仓库（Apple）: mlx-community/gemma-4-31b-it-4bit
Ollama 标签: gemma4:31b
层数: 60
隐藏维度: 5,376
KV 头: 16
头维度: 256

Gemma 4 31B 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	7.7估	10.3	12.3	20.4	31.1
2-bit	11.8GGUF	14.4	16.4	24.5	35.2
3-bit	15.4GGUF	18	20	28.1	38.8
4-bit	18.3GGUF	20.9	22.9	31	41.7
5-bit	21.7GGUF	24.3	26.3	34.4	45.1
8-bit	32.6GGUF	35.2	37.2	45.3	56
BF16/FP16	61.4GGUF	64	66	74.1	84.8

详细计算规则可在数据方法页查看。

单卡能跑 Gemma 4 31B 吗？

能跑，24GB 显卡就装得下 4-bit，短板在上下文。RTX 3090、4090、RX 7900 XTX 装下 4-bit 之后，剩给上下文的显存不多，最多开到约 66K，每秒三十多个 token；偏偏读长文档正是它明显强过同家族小型号的地方。想把上下文开长，换 32GB 的 RTX 5090，能开到约 168K，速度也快得多；48GB 以上的卡才能开满 256K。16GB 卡只能退到 2-bit。128GB 统一内存的整机装得下，但稠密模型每出一个字都要把全部权重读一遍，4-bit 每秒只有 10 个左右。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	51.1	41K
Tesla V100 32GB32 GB	¥4,2004 条挂单	51.1	246K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	26.4	41K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	54.2	143K
GeForce RTX 309024 GB	¥8,50013 条挂单	53	143K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	15.3	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	56.7	143K
RTX A600048 GB	¥32,0007 条挂单	44.1	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	16.3	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	35.7	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	68	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	95	246K
RTX PRO 600096 GB	¥125,0006 条挂单	95	256K

设备	价格	速度 t/s	最大上下文
Tesla V100 32GB32 GB	¥4,2004 条挂单	34.5	168K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	36.7	66K
GeForce RTX 309024 GB	¥8,50013 条挂单	35.8	66K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	10.2	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	38.4	66K
RTX A600048 GB	¥32,0007 条挂单	29.6	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	10.8	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	23.9	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	46.3	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	65.5	168K
RTX PRO 600096 GB	¥125,0006 条挂单	65.5	256K

设备	价格	速度 t/s	最大上下文
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	5.8	256K
RTX A600048 GB	¥32,0007 条挂单	17.2	202K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	6.2	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	13.8	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	27.2	256K
RTX PRO 600096 GB	¥125,0006 条挂单	39	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 Gemma 4 31B 要注意什么？

24GB 卡怎么分显存
4-bit 权重 18.3 GB，上下文从 8K 开到 128K 还要多约 10.1 GB，所以 24GB 卡开不到 128K。要更长的上下文，可以降到 3-bit（权重 15.4 GB），或者在 llama.cpp 里用 -ctk q8_0 -ctv q8_0 把上下文缓存压小。别上 5-bit，在 24GB 卡上最多只能开到约 25K。
长文是它的强项
在 Google 模型卡的 128K 长文多针检索测试（MRCR v2）里，31B 是 66.4%，26B A4B 和 12B 都只有 44% 左右。要读长文档、长代码库，就选 31B。
做 Agent 也该选它
同一张模型卡上，Tau2 工具调用测试 31B 是 76.9%，26B A4B 是 68.2%，差距比多数测试大。它也原生支持系统提示词和函数调用。
框架
Ollama 标签是 gemma4:31b。Google 称首发当天 vLLM、llama.cpp、MLX、SGLang、LM Studio 都已支持；Mac 上用 MLX 或 llama.cpp 都行。

启动命令

Ollama

Windows
macOS
Linux

终端

ollama run gemma4:31b

llama.cpp

NVIDIA
AMD
Mac
CPU

终端

llama-server -hf unsloth/gemma-4-31B-it-GGUF:Q4_K_M -c 8192

vLLM

Linux
NVIDIA
AMD

原版权重

终端

vllm serve google/gemma-4-31B-it

NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。

终端

vllm serve nvidia/Gemma-4-31B-IT-NVFP4

MLX

Apple 芯片

能看图的模型用 mlx-vlm：Mac 上先 pip install mlx-vlm，这条命令会从 Hugging Face 下载 MLX 权重并启动服务。

终端

mlx_vlm.server --model mlx-community/gemma-4-31b-it-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Gemma 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Gemma 4 E4B稠密	8B	8B	5 GB
Gemma 4 12B稠密	12B	12B	7.1 GB
Gemma 4 26B A4BMoE	25.2B	3.8B	16.9 GB

关于 Gemma