本地部署 Llama 需要什么显卡？各版本显存需求一览
Llama 目前有 4 个能本地部署的版本，最小的 Llama 3.2 3B 在 Q4 量化下需要 4GB 显存，最大的 Llama 4 Scout 17B 16E 需要 10GB。最便宜能跑起来的设备是 Tesla V100 16GB，约 ¥4,432。
Llama 各版本的显存需求
AmazonJP
| 版本 | 发布日期 | 上下文 | |||
|---|---|---|---|---|---|
| Llama 3.2 3B稠密 | 3.2B | 2024年9月18日 | 128K | 4 | Tesla V100 16GB¥4,432 · 16 GB |
| Llama 3.1 8B稠密 | 8B | 2024年7月18日 | 128K | 7 | Tesla V100 16GB¥4,432 · 16 GB |
| Llama 3.3 70B稠密 | 70.6B | 2024年11月26日 | 128K | 43 | Ryzen AI Max+ 395 128GB¥26,315 · 128 GB |
| Llama 4 Scout 17B 16EMoE | 108.6B（激活 17B） | 2025年4月2日 | 10M | 10另需 55 GB 内存 | Tesla V100 16GB¥4,432 · 16 GB · 专家卸载 |
最低显存 = Q4_K_M 权重 + 8K 上下文 KV cache + 1GB 运行开销，向上取整；最便宜能跑的设备按当前价格基准的中位价升序，取第一台装得下的。
关于 Llama
Llama 由 Meta AI 发布，许可证为 Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License。本页收录 4 个版本，参数量从 3.2B 到 108.6B，结构参数与量化体积依据 Hugging Face 等来源核验后更新。
厂商Meta AI
许可证Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License
Hugging Face 组织meta-llama