本地部署 Mistral 需要什么显卡？各版本显存需求一览
Mistral 目前有 5 个能本地部署的版本，最小的 Mistral 7B v0.3 在 Q4 量化下需要 7GB 显存，最大的 Mistral Small 3.2 24B 需要 16GB。最便宜能跑起来的设备是 Tesla V100 16GB，约 ¥4,432。
Mistral 各版本的显存需求
AmazonJP
| 版本 | 发布日期 | 上下文 | |||
|---|---|---|---|---|---|
| Mistral 7B v0.3稠密 | 7.3B | 2024年5月22日 | 32K | 7 | Tesla V100 16GB¥4,432 · 16 GB |
| Ministral 3 8B稠密 | 8.9B | 2025年10月31日 | 256K | 8 | Tesla V100 16GB¥4,432 · 16 GB |
| Mistral Nemo稠密 | 12.3B | 2024年7月17日 | 128K | 10 | Tesla V100 16GB¥4,432 · 16 GB |
| Ministral 3 14B稠密 | 14B | 2025年10月31日 | 256K | 11 | Tesla V100 16GB¥4,432 · 16 GB |
| Mistral Small 3.2 24B稠密 | 24B | 2025年6月19日 | 128K | 16 | Tesla V100 16GB¥4,432 · 16 GB |
最低显存 = Q4_K_M 权重 + 8K 上下文 KV cache + 1GB 运行开销，向上取整；最便宜能跑的设备按当前价格基准的中位价升序，取第一台装得下的。
关于 Mistral
Mistral 由 Mistral AI 发布，许可证为 Apache-2.0。本页收录 5 个版本，参数量从 7.3B 到 24B，结构参数与量化体积依据 Hugging Face 等来源核验后更新。
厂商Mistral AI
许可证Apache-2.0
Hugging Face 组织mistralai