本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Gemma 4 26B A4B 如何本地部署？

Gemma 4 26B A4B 是 Gemma 4 中唯一的 MoE，每個字只動用 3.8B 參數，速度接近 4B 小模型，跑分卻逼近 31B 的稠密版。在 Google 的模型卡上，它多數測試只比 31B 低 1 到 3 分。4-bit 加 8K 約 18.4 GB，最適合 24GB 顯示卡；16GB 的卡要降到 2-bit，或是把少量專家放進系統記憶體。

Gemma 4 26B A4B 模型資訊

  • 4-bit 最低顯示記憶體19 GB · 8K
  • 參數量25.2B
  • 激活參數3.8B
  • 上下文上限256K
架構
MoE
專家卸載
5 GB 顯存 + 16 GB 記憶體
授權
Apache-2.0
發布日期
2026年4月2日
廠商
Google DeepMind
Hugging Face 倉庫
google/gemma-4-26B-A4B-it
GGUF 倉庫
unsloth/gemma-4-26B-A4B-it-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Gemma-4-26B-A4B-NVFP4
MLX 倉庫（Apple）
mlx-community/gemma-4-26b-a4b-it-4bit
Ollama 標籤
gemma4:26b
層數
30
隱藏維度
2,816
KV 頭
8
頭維度
256

Gemma 4 26B A4B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit6.4估7.88.310.313
2-bit10.5GGUF1212.514.517.2
3-bit12.9GGUF14.414.916.919.6
4-bit16.9GGUF18.418.920.923.6
5-bit21.2GGUF22.723.225.227.9
8-bit26.9GGUF28.428.930.933.6
BF16/FP1650.5GGUF5252.554.557.2

詳細計算規則可在資料方法頁查看。

單卡能跑 Gemma 4 26B A4B 嗎？

可以，24GB 的顯示卡跑它剛剛好：4-bit 開滿 256K 上下文約 23.6 GB，RTX 3090、4090、RX 7900 XTX 都剛好塞得下。它每產生一個字只讀取 3.8B 參數，RTX 3090 上每秒約 118 個 token，幾乎感覺不到等待。16GB 的卡放不下 4-bit，可以退到 3-bit 或 2-bit，速度一樣快；不想降檔，就把幾層專家放進系統記憶體。32GB 的 RTX 5090 可以直接上 8-bit。128GB 統一記憶體的整機跑它也很順，DGX Spark 上 4-bit 每秒五十多個，因為要讀的參數少，記憶體頻寬低的短處就不明顯了。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 32GB32 GBNT$20,4794 筆掛單115.5256K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單118.8256K
GeForce RTX 309024 GBNT$41,44513 筆掛單117.5256K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單53.7256K
GeForce RTX 409024 GBNT$121,8986 筆掛單121.4256K
RTX A600048 GBNT$156,0307 筆掛單107256K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單56.3256K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單95.2256K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單131.6256K
GeForce RTX 509032 GBNT$253,54314 筆掛單149.5256K
RTX PRO 600096 GBNT$609,4916 筆掛單149.5256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

用整機跑 Gemma 4 26B A4B 要什麼配置？

16GB 的卡如果不想降到 2-bit，可以只把少數幾層的專家放進系統記憶體：4-bit 下，DDR4 桌機加一張 16GB 的 V100 約 79 tokens/s，DDR5 約 94，30 層中仍有 25 層專家留在顯示記憶體（llama.cpp 參數 --n-cpu-moe 5）。顯示卡頁面上 16GB 卡那一格寫的是約 32 到 39 tokens/s，那是專家全部放進記憶體的估算（也就是頁面上 --cpu-moe 指令的跑法）；只卸載 5 層可以快上一倍多。8-bit 下，8 通道 DDR4 伺服器加 RTX 3090 約 81 tokens/s。

閒魚

GeForce RTX 5070 + 家用 DDR5

家用
生成速度66.3t/s
記憶體頻寬96GB/s
顯示卡
GeForce RTX 507017 / 30 層專家放進 12 GB 顯示記憶體
NT$31,879
記憶體
32 GB DDR5-60002 條 × 16 GB
NT$14,267
CPU
AMD Ryzen 7 77008 核 16 執行緒 · 2 通道
NT$4,145
主機板
Gigabyte B650 EAGLE AX4 個記憶體插槽
NT$2,936
電源
海盜船 RM750e750 W
NT$4,871
整機參考價NT$58,098

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 Gemma 4 26B A4B 要注意什麼？

  1. 量化怎麼選

    24GB 的卡用 4-bit（權重 16.9 GB），或是 5-bit（8K 約 22.7 GB，上下文會短一些）；8-bit 加 8K 約 28.4 GB，需要 32GB 的卡。因為每個字只讀取 3.8B 參數，8-bit 在 RTX 5090 上仍有約 128 tokens/s。

  2. 能看圖，不能聽音訊

    26B A4B 和 31B 內建一個約 5.5 億參數的視覺編碼器，能看圖片和影片畫格，但不支援音訊；本站寫的 25.2B 依模型卡的算法，不含這個編碼器。要聽音訊得改用 E4B 或 12B。

  3. 首發第一週的修正

    llama.cpp 在 2026 年 4 月 2 日首發當天就支援了 Gemma 4，但之後一週內又陸續修正了分詞器、對話範本等好幾個問題；4 月上旬轉換的 GGUF、編譯的 llama.cpp 都建議更新。Ollama 標籤是 gemma4:26b，思考開關和取樣參數與 Gemma 4 12B 相同。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run gemma4:26b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放進顯示記憶體
終端機
llama-server -hf unsloth/gemma-4-26B-A4B-it-GGUF:Q4_K_M -c 8192
專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 16 GB）。

終端機
llama-server -hf unsloth/gemma-4-26B-A4B-it-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve google/gemma-4-26B-A4B-it
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve nvidia/Gemma-4-26B-A4B-NVFP4

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/gemma-4-26b-a4b-it-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Gemma 家族的其他模型

模型總參數激活參數4-bit 模型大小
Gemma 4 E4B稠密8B8B5 GB
Gemma 4 12B稠密12B12B7.1 GB
Gemma 4 31B稠密30.7B30.7B18.3 GB

關於 Gemma