Gemma 4 E4B 如何本地部署？

• 4-bit 最低显存7 GB · 8K
• 参数量8B
• 上下文上限128K

架构

稠密

许可证

Apache-2.0

发布日期

2026年4月2日

厂商

Google DeepMind

Hugging Face 仓库

google/gemma-4-E4B-it

GGUF 仓库

unsloth/gemma-4-E4B-it-GGUF

NVFP4 仓库（Blackwell）

unsloth/gemma-4-E4B-it-NVFP4

MLX 仓库（Apple）

mlx-community/gemma-4-e4b-it-4bit

Ollama 标签

gemma4:e4b

层数

42

隐藏维度

2,560

KV 头

2

头维度

256

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	114.2	128K
Tesla V100 32GB32 GB	¥4,2004 条挂单	114.2	128K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	61.8	128K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	120.5	128K
GeForce RTX 309024 GB	¥8,50013 条挂单	118	128K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	36.7	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	125.5	128K
RTX A600048 GB	¥32,0007 条挂单	99.8	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	39	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	82.1	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	147.3	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	196.3	128K
RTX PRO 600096 GB	¥125,0006 条挂单	196.3	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   E4B 的「E」

   E4B 的每一层都有自己的一张嵌入表，这些表很大，但生成时只是查表、每个字只用到其中几行，真正参与计算的只有约 4.5B，所以官方叫它「有效 4B」。本站的显存和速度都按 8B 估算，实际生成可能比表里的速度快一些。

2. 2

   思考默认关闭

   思考默认是关的，在系统提示词开头加 <|think|> 才会开启（Transformers 里对应 enable_thinking=True，llama.cpp 的对话模板也会替你处理）。关掉思考时它直接给答案，不像 12B 以上的型号还会输出一个空的思考块。官方采样参数各用途通用：temperature 1.0、top_p 0.95、top_k 64。

3. 3

   图片和音频怎么喂

   图片放在文字前面，音频放在文字后面；音频最长 30 秒，视频按每秒 1 帧、最长 60 秒。图片可以选用多少个 token 来表示（70 到 1120 几档）：做 OCR、读小字用高档，分类和看视频用低档。llama.cpp 从 2026 年 4 月 12 日起支持 Gemma 4 的音频输入。

4. 4

   能力边界

   它的知识和常识不错：Google 模型卡里，E4B 的 MMLU Pro 是 69.4，略高于上一代 Gemma 3 27B 不开思考时的 67.6。但难推理题明显不如大一档的模型，GPQA Diamond 只有 58.6，12B 是 78.8。它更适合语音转写、看图问答和笔记本上的轻量助手。

ollama run gemma4:e4b

llama-server -hf unsloth/gemma-4-E4B-it-GGUF:Q4_K_M -c 8192

vllm serve google/gemma-4-E4B-it

vllm serve unsloth/gemma-4-E4B-it-NVFP4

mlx_vlm.server --model mlx-community/gemma-4-e4b-it-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Gemma 4 12B稠密	12B	12B	7.1 GB
Gemma 4 26B A4BMoE	25.2B	3.8B	16.9 GB
Gemma 4 31B稠密	30.7B	30.7B	18.3 GB

关于 Gemma