本地部署 Meta 需要什么显卡?各版本显存需求一览
Meta 目前有 5 个能本地部署的版本,最小的 Llama 3.2 3B 在 4-bit 量化下需要 5GB 显存;最大的 Muse Spark Open 是 MoE 模型,用专家卸载时需要 14GB 显存加约 495GB 内存。最便宜能跑起来的设备是 Tesla V100 16GB,约 ¥1,415。
| 版本 | 发布日期 | 上下文 | 许可证 | ||
|---|---|---|---|---|---|
| 2026年10月15日 | 816B | 42B | 1M | Muse Model License | |
| 2025年4月5日 | 108.6B | 17B | 10M | Llama 4 Community License | |
| 2024年12月6日 | 70.6B | 70.6B | 128K | Llama 3.3 Community License | |
| 2024年9月25日 | 3.2B | 3.2B | 128K | Llama 3.2 Community License | |
| 2024年7月23日 | 8B | 8B | 128K | Llama 3.1 Community License |
关于 Meta
Meta 的开放权重模型分两条线:2023 年起的 Llama,和 2026 年起的 Muse。Meta 总部在美国加州门洛帕克,Llama 出自它 2013 年成立的 AI 研究团队 FAIR,Muse Spark Open 的模型卡署名是 Meta 超级智能实验室(Meta Superintelligence Labs)。
第一代 LLaMA 在 2023 年 2 月发布,只以非商业许可向研究者开放;同年 7 月的 Llama 2 起允许商用。之后的主要版本是:Llama 3(2024 年 4 月);Llama 3.1(2024 年 7 月),新增 405B,上下文扩到 128K;Llama 3.2(2024 年 9 月),加入 1B、3B 小模型和 11B、90B 视觉模型;Llama 3.3 70B(2024 年 12 月);Llama 4(2025 年 4 月),这个系列第一次用 MoE、第一次原生支持多模态。Meta 称 Llama 累计下载量在 2025 年 3 月突破了 10 亿次。Llama 用的是 Meta 自己的社区许可证,允许商用,但月活超过 7 亿的产品要另外申请授权,开源促进会(OSI)认为它不符合开源的定义。
截至 2026 年 10 月,Llama 4 之后没有新的 Llama 版本,Meta 转向了 Muse:4 月推出闭源的 Muse Spark,8 月以 Apache 2.0 发布开放权重的 Muse Glimmer,10 月 15 日又放出 Muse Spark 的开放权重版 Muse Spark Open,816B 参数的 MoE,能读图片、视频和音频。它用 Meta 新的 Muse Model License,可以商用,但对外提供模型 API、年营收超过 2000 万美元的公司要先和 Meta 另签协议。
- 厂商Meta AI
- 收录版本5
- 参数量3.2B – 816B
- 最新版本Muse Spark Open
- 许可证
- Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License / Muse Model License
- 官方主页
- ai.meta.com
- Hugging Face 组织
- meta-llama
Meta 各版本 2-bit 量化需要多少显存?
2-bit 也叫 Q2 精度,常见的 GGUF 文件有 Q2_K、UD-Q2_K_XL,体积最小、质量损失也最明显,适合显存紧张时先把模型跑起来。下表每一行是 Meta 的一个版本,每一列是一种上下文长度,格子里是用 Q2 精度部署时需要的总显存(权重 + KV cache + 1.1GB 运行开销)。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 311.2GGUF | 314.8 | 321.2 | 329.8 | 381.4 | |
| 42.4GGUF | 46.3 | 51.1 | 57.6 | 96.2 | |
| 27.4GGUF | 39.2 | 71.4 | — | — | |
| 1.3估 | 6.1 | 17.4 | — | — | |
| 3.7GGUF | 9.1 | 22 | — | — |
Meta 各版本 4-bit 量化需要多少显存?
4-bit 也叫 Q4 精度,对应最常用的 Q4_K_M 文件,体积和质量比较平衡,是本地部署的默认选择。下表每一行是 Meta 的一个版本,每一列是一种上下文长度,格子里是用 Q4 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 505.5GGUF | 509.1 | 515.5 | 524.1 | 575.7 | |
| 65.4GGUF | 69.3 | 74.1 | 80.6 | 119.2 | |
| 42.5GGUF | 54.3 | 86.5 | — | — | |
| 2GGUF | 6.8 | 18.1 | — | — | |
| 4.9GGUF | 10.3 | 23.2 | — | — |
Meta 各版本 8-bit 量化需要多少显存?
8-bit 也叫 Q8 精度,对应 Q8_0 文件,质量最接近原版,体积也最大。下表每一行是 Meta 的一个版本,每一列是一种上下文长度,格子里是用 Q8 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 871.7GGUF | 875.3 | 881.7 | 890.3 | 941.9 | |
| 114.5GGUF | 118.4 | 123.2 | 129.7 | 168.3 | |
| 75GGUF | 86.8 | 119 | — | — | |
| 3.4GGUF | 8.2 | 19.5 | — | — | |
| 8.5GGUF | 13.9 | 26.8 | — | — |
常见问题
Llama 和 Muse 开源吗?可以免费商用吗?
本站收录的这几个都可以商用,但许可证都是 Meta 自己写的,不是 MIT 或 Apache 这类。Llama 用的是社区许可证,4 个版本各对应一份,主要条款相同,有三条要遵守:按版本发布日算,上一个自然月月活超过 7 亿的产品,要另向 Meta 申请许可;分发模型或用它做的产品,要附上许可证,并显著标注「Built with Llama」;用 Llama 或它的输出训练、微调出的模型再发布时,名字要以「Llama」开头。此外还要遵守各版本的可接受使用政策,从 Ollama 等其他渠道下载也一样。Hugging Face 上的官方仓库要先填写联系信息、同意许可证,审核通过才能下载。Muse Spark Open 用的是另一份 Muse Model License,没有月活和命名要求,换成了产品里要标注「Built with Muse Spark Open」,对外提供模型 API、年营收超过 2000 万美元的公司要先和 Meta 另签协议。
Llama 能用 Ollama 跑吗?
能,四个 Llama 版本都有官方标签:llama3.2:3b、llama3.1:8b、llama3.3:70b 和 llama4:scout(也能写成 llama4:16x17b)。要指定精度就用完整标签,比如 llama3.3:70b-instruct-q8_0、llama4:17b-scout-16e-instruct-q8_0。Llama 4 Scout 在 Ollama 上能看图,Llama 3.x 这三个只能处理文字。Muse Spark Open 暂时还不行:Ollama 没有官方标签,llama.cpp 对它的支持也还没合进主线。
Llama 4 在欧盟能用吗?
要看身份。Llama 4 的可接受使用政策写明:对其中的多模态模型,住在欧盟的个人、主要营业地在欧盟的公司,不获得使用、复制、分发和修改的授权;Llama 4 Scout 是原生多模态模型,在这条范围内。这条不限制终端用户,欧盟用户照常可以用别人拿这类模型做好的产品或服务。本站收录的 Llama 3.2 3B、3.1 8B、3.3 70B 是纯文字模型,不受这条影响。Muse Spark Open 虽然也是多模态模型,但它的许可证没有这条地区限制,欧盟的个人和公司从 Meta 爱尔兰公司拿到同样的授权。