GeForce RTX 5070 + 家用 DDR5
家用出字速度22.4t/s
内存带宽96GB/s
整机参考价¥14,595
Llama 4 Scout 17B 16E 如何本地部署？
Llama 4 Scout 是 Meta 2025 年 4 月发布的多模态 MoE，108.6B 参数、每个字用 17B，能看图。官方说它支持 1,000 万 token 的上下文，但真开满要 500 GB 以上，本地实际能开的是几十万到一百多万。4-bit 加 32K 约 69 GB，96GB 的 RTX PRO 6000 或 128GB 统一内存的整机能整个装下。
Llama 4 Scout 17B 16E 模型信息
- 4-bit 最低显存69 GB · 8K
- 参数量108.6B
- 激活参数17B
- 上下文上限10M
- 架构
- MoE
- 专家卸载
- 11 GB 显存 + 59 GB 内存
- 发布日期
- 2025年4月5日
- 厂商
- Meta AI
- Hugging Face 仓库
- meta-llama/Llama-4-Scout-17B-16E-Instruct
- NVFP4 仓库（Blackwell）
- nvidia/Llama-4-Scout-17B-16E-Instruct-NVFP4
- MLX 仓库（Apple）
- mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit
- Ollama 标签
- llama4:scout
- 层数
- 48
- 隐藏维度
- 5,120
- KV 头
- 8
- 头维度
- 128
Llama 4 Scout 17B 16E 本地部署需要多少显存？
| 量化 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 10M 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 35GGUF | 38.9 | 43.7 | 50.2 | 552.7 |
| 2-bit | 42.4GGUF | 46.3 | 51.1 | 57.6 | 560.1 |
| 3-bit | 49GGUF | 52.9 | 57.7 | 64.2 | 566.7 |
| 4-bit | 65.4GGUF | 69.3 | 74.1 | 80.6 | 583.1 |
| 5-bit | 76.5GGUF | 80.4 | 85.2 | 91.7 | 594.2 |
| 8-bit | 114.5GGUF | 118.4 | 123.2 | 129.7 | 632.2 |
| BF16/FP16 | 215.6GGUF | 219.5 | 224.3 | 230.8 | 733.3 |
详细计算规则可在数据方法页查看。
单卡能跑 Llama 4 Scout 17B 16E 吗？
消费卡单卡都不行，4-bit 要专业卡或数据中心卡。RTX PRO 6000、80GB 的 A100 和 72GB 的 RTX PRO 5000 都能整个装下 4-bit，上下文也开得长；64GB 的 MI210 刚好塞进，上下文只剩两万左右。48GB 的 RTX A6000 只能退到 2-bit，32GB 的 RTX 5090 连 2-bit 都放不下。好在装得下就跑得快：它每个字只调用一小部分专家，实际只读约 17B 参数，RTX PRO 6000 上每秒约 79 个 token。统一内存的整机也放得下 4-bit，96GB 的 Mac Studio M5 Ultra 每秒约 61 个，128GB 的 DGX Spark 这类整机也有十几个，远比同样大小的稠密模型快。只有 24GB 卡，就把专家放进主机内存来跑。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Instinct MI21064 GB | ¥18,49911 条挂单 | 94.2 | 477K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 23.5 | 1.8M |
 DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 24.9 | 1.8M |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 48.8 | 1.8M |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 79.5 | 1.1M |
| RTX PRO 5000 72GB72 GB | ¥59,00023 条挂单 | 84 | 648K |
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥117,5504 条挂单 | 60.5 | 9.8M |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 99 | 1.1M |
| A100 80GB PCIe80 GB | ¥140,0003 条挂单 | 103 | 818K |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Instinct MI21064 GB | ¥18,49911 条挂单 | 74.2 | 20K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 16.4 | 1.4M |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 17.4 | 1.4M |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 35.6 | 1.4M |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 61 | 703K |
| RTX PRO 5000 72GB72 GB | ¥59,00023 条挂单 | 64.9 | 191K |
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥117,5504 条挂单 | 44.9 | 9.4M |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 78.6 | 703K |
| A100 80GB PCIe80 GB | ¥140,0003 条挂单 | 82.4 | 361K |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 10 | 410K |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 10.6 | 410K |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 22.5 | 410K |
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥117,5504 条挂单 | 29 | 8.4M |
只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Tesla V100 32GB单卡 32 GB | 2 张 | ¥8,400 | 64 GB | 61.3 | 500 W |
| Radeon RX 7900 XTX单卡 24 GB | 4 张 | ¥22,776 | 96 GB | 64.1 | 1,420 W |
 Arc Pro B70单卡 32 GB | 2 张 | ¥26,298 | 64 GB | 45.7 | 460 W |
| GeForce RTX 3090单卡 24 GB | 4 张 | ¥34,000 | 96 GB | 63 | 1,400 W |
| GeForce RTX 4090单卡 24 GB | 4 张 | ¥100,000 | 96 GB | 66.4 | 1,800 W |
| GeForce RTX 5090单卡 32 GB | 2 张 | ¥103,998 | 64 GB | 94.9 | 1,150 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Tesla V100 32GB单卡 32 GB | 4 张 | ¥16,800 | 128 GB | 46.4 | 1,000 W |
| Radeon RX 7900 XTX单卡 24 GB | 4 张 | ¥22,776 | 96 GB | 48.8 | 1,420 W |
| GeForce RTX 3090单卡 24 GB | 4 张 | ¥34,000 | 96 GB | 47.9 | 1,400 W |
| Instinct MI210单卡 64 GB | 2 张 | ¥36,998 | 128 GB | 71.7 | 600 W |
| Arc Pro B70单卡 32 GB | 4 张 | ¥52,596 | 128 GB | 33.8 | 920 W |
| RTX A6000单卡 48 GB | 2 张 | ¥64,000 | 96 GB | 40.9 | 600 W |
| GeForce RTX 4090单卡 24 GB | 4 张 | ¥100,000 | 96 GB | 50.7 | 1,800 W |
| GeForce RTX 5090单卡 32 GB | 4 张 | ¥207,996 | 128 GB | 76 | 2,300 W |
| GeForce RTX 4090 48GB单卡 48 GB | 2 张 | 暂无 | 96 GB | 50.7 | 900 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Tesla V100 32GB单卡 32 GB | 4 张 | ¥16,800 | 128 GB | 30.6 | 1,000 W |
| Instinct MI210单卡 64 GB | 2 张 | ¥36,998 | 128 GB | 49.8 | 600 W |
| Radeon RX 7900 XTX单卡 24 GB | 8 张 | ¥45,552 | 192 GB | 32.3 | 2,840 W |
| Arc Pro B70单卡 32 GB | 4 张 | ¥52,596 | 128 GB | 21.7 | 920 W |
| GeForce RTX 3090单卡 24 GB | 8 张 | ¥68,000 | 192 GB | 31.7 | 2,800 W |
| RTX PRO 5000 72GB单卡 72 GB | 2 张 | ¥118,000 | 144 GB | 42.7 | 600 W |
| RTX A6000单卡 48 GB | 4 张 | ¥128,000 | 192 GB | 26.7 | 1,200 W |
| GeForce RTX 4090单卡 24 GB | 8 张 | ¥200,000 | 192 GB | 33.7 | 3,600 W |
| GeForce RTX 5090单卡 32 GB | 4 张 | ¥207,996 | 128 GB | 53.3 | 2,300 W |
| RTX PRO 6000单卡 96 GB | 2 张 | ¥250,000 | 192 GB | 53.3 | 1,200 W |
| A100 80GB PCIe单卡 80 GB | 2 张 | ¥280,000 | 160 GB | 56.5 | 600 W |
| GeForce RTX 4090 48GB单卡 48 GB | 4 张 | 暂无 | 192 GB | 33.7 | 1,800 W |
详细计算规则可在数据方法页查看。
用整机跑 Llama 4 Scout 17B 16E 要什么配置？
它每个字只走 16 个路由专家里的 1 个，再加 1 个共享专家，所以把专家放进内存也跑得动。4-bit 下，8 通道 DDR4 的二手服务器配 RTX 3090 约 26 tokens/s，双通道 DDR5 台式机配 16GB 显卡约 16，DDR4 台式机不到 10；降到 2-bit，DDR5 台式机能到约 26。
Tesla V100 32GB + E5 双路 DDR4
低价出字速度42.3t/s
内存带宽137GB/s
整机参考价¥10,043
GeForce RTX 3090 + EPYC 单路 DDR4
性价比出字速度42.5t/s
内存带宽171GB/s
整机参考价¥24,119
GeForce RTX 5090 + EPYC 单路 DDR5
旗舰出字速度85t/s
内存带宽461GB/s
整机参考价¥113,530
2 × GeForce RTX 5070 + 家用 DDR5
家用出字速度16.5t/s
内存带宽96GB/s
整机参考价¥21,133
2 × Tesla V100 32GB + E5 双路 DDR4
低价出字速度44.7t/s
内存带宽137GB/s
整机参考价¥15,043
GeForce RTX 3090 + EPYC 单路 DDR4
性价比出字速度26.2t/s
内存带宽171GB/s
整机参考价¥24,119
GeForce RTX 5090 + EPYC 单路 DDR5
旗舰出字速度56.6t/s
内存带宽461GB/s
整机参考价¥113,530
2 × GeForce RTX 5070 + 家用 DDR5
家用出字速度8.8t/s
内存带宽96GB/s
整机参考价¥26,739
Tesla V100 32GB + E5 双路 DDR4
低价出字速度11t/s
内存带宽137GB/s
整机参考价¥10,043
GeForce RTX 3090 + EPYC 单路 DDR4
性价比出字速度14.4t/s
内存带宽171GB/s
整机参考价¥24,119
GeForce RTX 5090 + EPYC 单路 DDR5
旗舰出字速度33.1t/s
内存带宽461GB/s
整机参考价¥113,530
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
本地部署 Llama 4 Scout 17B 16E 要注意什么？
看图怎么开
Ollama 的 llama4:scout 直接支持图片输入。llama.cpp 要连同看图用的 mmproj 文件一起加载，用 ggml-org 打包的 GGUF 时，
-hf会一并下载。Meta 测过的是一次最多 5 张图。长上下文为什么比 70B 省
它每 4 层里有 3 层只在 8K 的小段内做注意力，只有 1 层看全文，所以 4-bit 从 32K 拉到 256K 只多约 11 GB。Meta 的长文测试 MTOB（拿半本到整本书做翻译）里，Llama 3.3 70B 因为上下文只有 128K 没有成绩，Scout 有。
量化与框架
Meta 只发布了 BF16 权重，官方说配合即时 int4 量化能放进一张 H100；vLLM 配方另列了 NVIDIA 的 FP8 版。家用就用 GGUF：4-bit 约 65 GB，3-bit 约 49 GB。采样默认值没变，仍是
temperature0.6、top_p0.9。语言和许可证
官方支持 12 种语言，不含中文。Llama 4 的使用政策还规定，住在欧盟的个人和主要营业地在欧盟的公司，不能获得多模态模型的使用授权（只是使用相关产品的终端用户不受限），Scout 就是多模态模型。
启动命令
Ollama
- Windows
- macOS
- Linux
ollama run llama4:scoutllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放进显存
llama-server -hf unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF:Q4_K_M \ -c 8192
专家卸载
显存不够时加 --cpu-moe，把路由专家放进内存（约需 59 GB）。
llama-server -hf unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF:Q4_K_M \ -c 8192 -ngl 99 --cpu-moe
vLLM
- Linux
- NVIDIA
- AMD
原版权重
vllm serve meta-llama/Llama-4-Scout-17B-16E-InstructNVFP4 · Blackwell
Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。多卡加 --tensor-parallel-size 张数。
vllm serve nvidia/Llama-4-Scout-17B-16E-Instruct-NVFP4MLX
- Apple 芯片
能看图的模型用 mlx-vlm：Mac 上先 pip install mlx-vlm，这条命令会从 Hugging Face 下载 MLX 权重并启动服务。
mlx_vlm.server --model mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
Meta 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| Llama 3.2 3B稠密 | 3.2B | 3.2B | 2 GB |
| Llama 3.1 8B稠密 | 8B | 8B | 4.9 GB |
| Llama 3.3 70B稠密 | 70.6B | 70.6B | 42.5 GB |
| Muse Spark OpenMoE | 816B | 42B | 505.5 GB |