Gemma 4 E4B 如何本地部署？

• 4-bit 最低顯示記憶體7 GB · 8K
• 參數量8B
• 上下文上限128K

架構

稠密

授權

Apache-2.0

發布日期

2026年4月2日

廠商

Google DeepMind

Hugging Face 倉庫

google/gemma-4-E4B-it

GGUF 倉庫

unsloth/gemma-4-E4B-it-GGUF

NVFP4 倉庫（Blackwell）

unsloth/gemma-4-E4B-it-NVFP4

MLX 倉庫（Apple）

mlx-community/gemma-4-e4b-it-4bit

Ollama 標籤

gemma4:e4b

層數

42

隱藏維度

2,560

KV 頭

2

頭維度

256

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	NT$6,0955 筆掛單	114.2	128K
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	114.2	128K
GeForce RTX 5060 Ti 16GB16 GB	NT$25,23314 筆掛單	61.8	128K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	120.5	128K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	118	128K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	36.7	128K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	125.5	128K
RTX A600048 GB	NT$156,0307 筆掛單	99.8	128K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	39	128K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	82.1	128K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	147.3	128K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	196.3	128K
RTX PRO 600096 GB	NT$609,4916 筆掛單	196.3	128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

1. 1

   E4B 的「E」

   E4B 的每一層都有自己的一張嵌入表，這些表很大，但生成時只是查表，每個字只會用到其中幾列，實際參與運算的只有約 4.5B，所以官方稱它為「有效 4B」。本站的顯示記憶體和速度都以 8B 估算，實際生成速度可能比表中的數字快一些。

2. 2

   思考預設關閉

   思考預設是關閉的，要在系統提示詞開頭加上 <|think|> 才會開啟（在 Transformers 裡對應 enable_thinking=True，llama.cpp 的對話範本也會幫你處理）。關閉思考時它會直接給答案，不像 12B 以上的型號還會輸出一個空的思考區塊。官方的取樣參數適用所有用途：temperature 1.0、top_p 0.95、top_k 64。

3. 3

   圖片和音訊怎麼餵

   圖片放在文字前面，音訊放在文字後面；音訊最長 30 秒，影片以每秒 1 格、最長 60 秒處理。圖片可以選擇用多少個 token 來表示（70 到 1120 分成幾檔）：做 OCR、辨識小字用高檔，分類和看影片用低檔。llama.cpp 從 2026 年 4 月 12 日起支援 Gemma 4 的音訊輸入。

4. 4

   能力邊界

   它的知識和常識表現不錯：在 Google 模型卡上，E4B 的 MMLU Pro 是 69.4，略高於上一代 Gemma 3 27B 不開思考時的 67.6。但碰到困難的推理題，就明顯不如大一級的模型：GPQA Diamond 只有 58.6，12B 則是 78.8。它比較適合語音轉文字、看圖問答，以及在筆電上當輕量助理。

ollama run gemma4:e4b

llama-server -hf unsloth/gemma-4-E4B-it-GGUF:Q4_K_M -c 8192

vllm serve google/gemma-4-E4B-it

vllm serve unsloth/gemma-4-E4B-it-NVFP4

mlx_vlm.server --model mlx-community/gemma-4-e4b-it-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Gemma 4 12B稠密	12B	12B	7.1 GB
Gemma 4 26B A4BMoE	25.2B	3.8B	16.9 GB
Gemma 4 31B稠密	30.7B	30.7B	18.3 GB

關於 Gemma