本地部署 Mistral 需要什么显卡？各版本显存需求一览
Mistral 目前有 5 个能本地部署的版本，最小的 Mistral 7B v0.3 在 4-bit 量化下需要 7GB 显存，最大的 Mistral Small 3.2 24B 需要 17GB。最便宜能跑起来的设备是 Tesla V100 16GB，约 ¥1,415。
| 版本 | 发布日期 | 上下文 | 许可证 | ||
|---|---|---|---|---|---|
| Ministral 3 14B稠密 | 2025年12月2日 | 13.5B | 13.5B | 256K | Apache-2.0 |
| Ministral 3 8B稠密 | 2025年12月2日 | 8.4B | 8.4B | 256K | Apache-2.0 |
| Mistral Small 3.2 24B稠密 | 2025年6月19日 | 24B | 24B | 128K | Apache-2.0 |
| Mistral Nemo稠密 | 2024年7月17日 | 12.3B | 12.3B | 128K | Apache-2.0 |
| Mistral 7B v0.3稠密 | 2024年5月22日 | 7.3B | 7.3B | 32K | Apache-2.0 |
关于 Mistral
Mistral 是法国 Mistral AI 的模型系列。公司 2023 年 4 月在巴黎成立，三位创始人来自谷歌 DeepMind 和 Meta；同年 9 月发布的第一个模型 Mistral 7B，就以 Apache 2.0 开放了权重。之后产品线从端侧小模型一直延伸到 MoE 旗舰，同时也有闭源的商用模型。
2023 年 12 月的 Mixtral 8x7B 是稀疏 MoE，Hugging Face 称它刷新了当时开放模型的最好成绩；2024 年 7 月，Mistral AI 和 NVIDIA 合作推出了 12B 的 Mistral Nemo。许可证中间有过反复：2024 年的 Codestral、Mistral Large 2 等改用限制商用的许可，2025 年 1 月发布 Mistral Small 3 时，官方表示通用模型重回 Apache 2.0。2025 年 12 月的 Mistral 3 系列包括 6750 亿参数（每个字用 410 亿）的 MoE 旗舰 Mistral Large 3，以及 3B、8B、14B 三个 Ministral 3，都能看图、都是 Apache 2.0；2026 年 3 月的 Mistral Small 4，把推理、看图和编程合进了一个 1190 亿参数的 MoE。
- 厂商Mistral AI
- 收录版本5
- 参数量7.3B – 24B
- 最新版本Ministral 3 8B
- 许可证
- Apache-2.0
- 官方主页
- mistral.ai
- Hugging Face 组织
- mistralai
Mistral 各版本 2-bit 量化需要多少显存？
2-bit 也叫 Q2 精度，常见的 GGUF 文件有 Q2_K、UD-Q2_K_XL，体积最小、质量损失也最明显，适合显存紧张时先把模型跑起来。下表每一行是 Mistral 的一个版本，每一列是一种上下文长度，格子里是用 Q2 精度部署时需要的总显存（权重 + KV cache + 1.1GB 运行开销）。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Ministral 3 14B13.5B | 5.5GGUF | 11.9 | 28 | 49.5 | — |
| Ministral 3 8B8.4B | 3.6GGUF | 9.2 | 22.9 | 41.2 | — |
| Mistral Small 3.2 24B24B | 9.5GGUF | 15.9 | 32 | — | — |
| Mistral Nemo12.3B | 5.4GGUF | 11.8 | 27.9 | — | — |
| Mistral 7B v0.37.3B | 2.5GGUF | 7.9 | — | — | — |
Mistral 各版本 4-bit 量化需要多少显存？
4-bit 也叫 Q4 精度，对应最常用的 Q4_K_M 文件，体积和质量比较平衡，是本地部署的默认选择。下表每一行是 Mistral 的一个版本，每一列是一种上下文长度，格子里是用 Q4 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Ministral 3 14B13.5B | 8.2GGUF | 14.6 | 30.7 | 52.2 | — |
| Ministral 3 8B8.4B | 5.2GGUF | 10.8 | 24.5 | 42.8 | — |
| Mistral Small 3.2 24B24B | 14.3GGUF | 20.7 | 36.8 | — | — |
| Mistral Nemo12.3B | 7.5GGUF | 13.9 | 30 | — | — |
| Mistral 7B v0.37.3B | 4.4GGUF | 9.8 | — | — | — |
Mistral 各版本 8-bit 量化需要多少显存？
8-bit 也叫 Q8 精度，对应 Q8_0 文件，质量最接近原版，体积也最大。下表每一行是 Mistral 的一个版本，每一列是一种上下文长度，格子里是用 Q8 精度部署时需要的总显存。
| 版本 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Ministral 3 14B13.5B | 14.4GGUF | 20.8 | 36.9 | 58.4 | — |
| Ministral 3 8B8.4B | 9GGUF | 14.6 | 28.3 | 46.6 | — |
| Mistral Small 3.2 24B24B | 25.1GGUF | 31.5 | 47.6 | — | — |
| Mistral Nemo12.3B | 13GGUF | 19.4 | 35.5 | — | — |
| Mistral 7B v0.37.3B | 7.7GGUF | 13.1 | — | — | — |
常见问题
Mistral 开源吗？可以免费商用吗？
可以。本站收录的 5 个版本（Mistral 7B v0.3、Mistral Nemo、Ministral 3 8B、Ministral 3 14B 和 Mistral Small 3.2 24B）都是 Apache 2.0 许可，可以商用、微调、再分发，条件是附上许可证、保留版权声明、改过的文件注明修改。容易混的是 2410 版的 Ministral 8B：它用 Mistral 研究许可证，只允许个人、科研这类非商业用途，商用要另向 Mistral 申请。2512 版的 Ministral 3 才是 Apache 2.0，下载时认准仓库名里的 Ministral-3。
Mistral 能用 Ollama 跑吗？
能，五个版本都有官方标签：mistral:7b（就是 v0.3）、mistral-nemo:12b、ministral-3:8b、ministral-3:14b 和 mistral-small3.2:24b。注意 mistral-small:24b 指向的是更早的 Mistral Small 3（2501 版），不是 3.2；3.2 在单独的 mistral-small3.2 库里，而且能看图。Ministral 3 要 Ollama 0.13.1 以上。
