本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

Gemma 4 26B A4B 如何本地部署？

Gemma 4 26B A4B 是 Gemma 4 里唯一的 MoE，每个字只用 3.8B 参数，速度接近 4B 小模型，跑分却接近 31B 的稠密版。Google 模型卡上，它多数测试只比 31B 低 1 到 3 分。4-bit 加 8K 约 18.4 GB，24GB 显卡最合适；16GB 卡要降到 2-bit，或者把少量专家放进内存。

Gemma 4 26B A4B 模型信息

  • 4-bit 最低显存19 GB · 8K
  • 参数量25.2B
  • 激活参数3.8B
  • 上下文上限256K
架构
MoE
专家卸载
5 GB 显存 + 16 GB 内存
许可证
Apache-2.0
发布日期
2026年4月2日
厂商
Google DeepMind
Hugging Face 仓库
google/gemma-4-26B-A4B-it
GGUF 仓库
unsloth/gemma-4-26B-A4B-it-GGUF
NVFP4 仓库（Blackwell）
nvidia/Gemma-4-26B-A4B-NVFP4
MLX 仓库（Apple）
mlx-community/gemma-4-26b-a4b-it-4bit
Ollama 标签
gemma4:26b
层数
30
隐藏维度
2,816
KV 头
8
头维度
256

Gemma 4 26B A4B 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit6.4估7.88.310.313
2-bit10.5GGUF1212.514.517.2
3-bit12.9GGUF14.414.916.919.6
4-bit16.9GGUF18.418.920.923.6
5-bit21.2GGUF22.723.225.227.9
8-bit26.9GGUF28.428.930.933.6
BF16/FP1650.5GGUF5252.554.557.2

详细计算规则可在数据方法页查看。

单卡能跑 Gemma 4 26B A4B 吗？

能，24GB 显卡跑它正合适：4-bit 开满 256K 上下文约 23.6 GB，RTX 3090、4090、RX 7900 XTX 都刚好塞得下。它每出一个字只读 3.8B 参数，RTX 3090 上每秒约 118 个 token，几乎感觉不到等待。16GB 卡装不下 4-bit，可以退到 3-bit 或 2-bit，速度照样快；不想降档，就把几层专家放进内存。32GB 的 RTX 5090 能直接上 8-bit。128GB 统一内存的整机跑它也很顺，DGX Spark 上 4-bit 每秒五十多个，因为要读的参数少，内存带宽低的短板就不明显了。

闲鱼
设备价格速度 t/s最大上下文
Tesla V100 32GB32 GB¥4,2004 条挂单115.5256K
Radeon RX 7900 XTX24 GB¥5,69412 条挂单118.8256K
GeForce RTX 309024 GB¥8,50013 条挂单117.5256K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单53.7256K
GeForce RTX 409024 GB¥25,0006 条挂单121.4256K
RTX A600048 GB¥32,0007 条挂单107256K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单56.3256K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单95.2256K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单131.6256K
GeForce RTX 509032 GB¥51,99914 条挂单149.5256K
RTX PRO 600096 GB¥125,0006 条挂单149.5256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

用整机跑 Gemma 4 26B A4B 要什么配置？

16GB 卡不想降到 2-bit 的话，可以只把少数几层的专家放进内存：4-bit 下，DDR4 台式机加一张 16GB 的 V100 约 79 tokens/s，DDR5 约 94，30 层里仍有 25 层专家留在显存（llama.cpp 参数 --n-cpu-moe 5）。显卡页上 16GB 卡这一格写的是约 32 到 39 tokens/s，那是专家全放内存的估算（页面上 --cpu-moe 命令的跑法）；只卸 5 层能快一倍多。8-bit 下 8 通道 DDR4 服务器加 RTX 3090 约 81 tokens/s。

闲鱼

GeForce RTX 5070 + 家用 DDR5

家用
出字速度66.3t/s
内存带宽96GB/s
显卡
GeForce RTX 507017 / 30 层专家放进 12 GB 显存
¥6,538
内存
32 GB DDR5-60002 条 × 16 GB
¥2,926
CPU
AMD Ryzen 7 77008 核 16 线程 · 2 通道
¥850
主板
Gigabyte B650 EAGLE AX4 个内存插槽
¥602
电源
海盗船 RM750e750 W
¥999
整机参考价¥11,915

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 Gemma 4 26B A4B 要注意什么？

  1. 量化怎么选

    24GB 卡用 4-bit（权重 16.9 GB），或者 5-bit（8K 约 22.7 GB，上下文会短一些）；8-bit 加 8K 约 28.4 GB，要 32GB 卡。因为每个字只读 3.8B 参数，8-bit 在 RTX 5090 上仍有约 128 tokens/s。

  2. 能看图，不能听音频

    26B A4B 和 31B 带一个约 5.5 亿参数的视觉编码器，能看图和视频帧，但不支持音频；本站写的 25.2B 按模型卡口径，不含这个编码器。要听音频得换 E4B 或 12B。

  3. 首发一周的修复

    llama.cpp 在 2026 年 4 月 2 日首发当天就支持了 Gemma 4，但之后一周内又修了分词器、对话模板等好几处问题；4 月上旬转换的 GGUF、编译的 llama.cpp 都建议更新。Ollama 标签是 gemma4:26b，思考开关和采样参数与 Gemma 4 12B 相同。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run gemma4:26b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放进显存
终端
llama-server -hf unsloth/gemma-4-26B-A4B-it-GGUF:Q4_K_M -c 8192
专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 16 GB）。

终端
llama-server -hf unsloth/gemma-4-26B-A4B-it-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
原版权重
终端
vllm serve google/gemma-4-26B-A4B-it
NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。

终端
vllm serve nvidia/Gemma-4-26B-A4B-NVFP4

MLX

  • Apple 芯片

能看图的模型用 mlx-vlm：Mac 上先 pip install mlx-vlm，这条命令会从 Hugging Face 下载 MLX 权重并启动服务。

终端
mlx_vlm.server --model mlx-community/gemma-4-26b-a4b-it-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

Gemma 家族的其他模型

模型总参数激活参数4-bit 模型大小
Gemma 4 E4B稠密8B8B5 GB
Gemma 4 12B稠密12B12B7.1 GB
Gemma 4 31B稠密30.7B30.7B18.3 GB

关于 Gemma