本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Gemma 4 12B 如何本地部署？

Gemma 4 12B 是 Google 2026 年 6 月追加推出的 12B 稠密模型，能看圖、也能聽音訊。4-bit 版用 12GB 顯示卡就跑得動。開滿 256K 上下文也只要約 12.8 GB，16GB 顯示卡綽綽有餘。它的特別之處在於沒有獨立的視覺、音訊編碼器，圖片和聲音直接送進主幹；官方表示它的跑分接近 26B 的 MoE，記憶體用量卻不到一半。

Gemma 4 12B 模型資訊

  • 4-bit 最低顯示記憶體9 GB · 8K
  • 參數量12B
  • 上下文上限256K
架構
稠密
授權
Apache-2.0
發布日期
2026年6月3日
廠商
Google DeepMind
Hugging Face 倉庫
google/gemma-4-12B-it
GGUF 倉庫
unsloth/gemma-4-12b-it-GGUF
NVFP4 倉庫（Blackwell）
RedHatAI/gemma-4-12B-it-NVFP4
MLX 倉庫（Apple）
mlx-community/gemma-4-12B-it-4bit
Ollama 標籤
gemma4:12b
層數
48
隱藏維度
3,840
KV 頭
8
頭維度
256

Gemma 4 12B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit3估4.656.68.7
2-bit4.7GGUF6.26.68.310.4
3-bit6GGUF7.57.99.611.7
4-bit7.1GGUF8.6910.712.8
5-bit8.4GGUF9.910.31214.1
8-bit12.7GGUF14.214.616.318.4
BF16/FP1623.8GGUF25.325.727.429.5

詳細計算規則可在資料方法頁查看。

單卡能跑 Gemma 4 12B 嗎？

一張 12GB 的顯示卡就夠。它大部分的層只看最近約 1000 個 token，上下文拉長時顯示記憶體漲得很慢，4-bit 從 8K 開到 256K 只多約 4 GB，所以 12GB 的 RTX 3060 用 4-bit 就能開滿上下文，每秒約 36 個 token。16GB 的卡更值得上 8-bit，品質更接近原版，上下文照樣能開得很長，只是 RTX 5060 Ti 16GB 上每秒約 26 個，比 4-bit 慢一截。24GB 的卡跑它綽綽有餘，不過這種卡也放得下同家族的 MoE 26B A4B，它每個字讀取的參數更少，反而更快，值得先試試。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單83.2256K
Tesla V100 32GB32 GBNT$20,4794 筆掛單83.2256K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單44256K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單88256K
GeForce RTX 309024 GBNT$41,44513 筆掛單86.1256K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單25.8256K
GeForce RTX 409024 GBNT$121,8986 筆掛單91.9256K
RTX A600048 GBNT$156,0307 筆掛單72.2256K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單27.5256K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單58.9256K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單108.9256K
GeForce RTX 509032 GBNT$253,54314 筆掛單148.5256K
RTX PRO 600096 GBNT$609,4916 筆掛單148.5256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Gemma 4 12B 要注意什麼？

  1. 沒有編碼器代表什麼

    其他多模態模型會先用一個獨立的編碼器把圖片、聲音轉成向量，再交給語言模型；Gemma 4 12B 省掉了這一步：圖片只做一次簡單的投影就送進主幹，音訊則直接投影到和文字相同的維度，所有內容都走同一個解碼器。官方表示這樣延遲更低，整個模型也能一次完成微調。音訊同樣最長 30 秒。

  2. 量化怎麼選

    12GB 的卡用 4-bit（權重 7.1 GB）或 5-bit（8.4 GB），16GB 的卡用 8-bit（12.7 GB）。FP16 原版加 8K 就要 25.3 GB，是 8-bit 的兩倍，上下文開不了多長，倒不如用 8-bit 開長上下文。

  3. 思考開關和多輪對話

    在系統提示詞開頭加上 <|think|> 就會開啟思考；關閉時它仍會輸出一個空的思考區塊，解析時要過濾掉。多輪對話中不要把上一輪的思考放回歷史紀錄，只保留最終回答，工具呼叫的那幾輪例外。官方在所有情境下統一使用 temperature 1.0、top_p 0.95、top_k 64。

  4. 長上下文為什麼省

    它大部分的層只看最近 1024 個 token，只有少數幾層會看完整上下文，所以上下文拉長時，顯示記憶體增加得很慢：4-bit 下從 8K 開到 256K 只多約 4.2 GB。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run gemma4:12b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf unsloth/gemma-4-12b-it-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve google/gemma-4-12B-it
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve RedHatAI/gemma-4-12B-it-NVFP4

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/gemma-4-12B-it-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Gemma 家族的其他模型

模型總參數激活參數4-bit 模型大小
Gemma 4 E4B稠密8B8B5 GB
Gemma 4 26B A4BMoE25.2B3.8B16.9 GB
Gemma 4 31B稠密30.7B30.7B18.3 GB

關於 Gemma