本地部署 Mistral 需要什麼顯示卡?各版本記憶體需求一覽
Mistral 目前有 5 個能本地部署的版本,最小的 Mistral 7B v0.3 在 Q4 量化下需要 7GB 記憶體,最大的 Mistral Small 3.2 24B 需要 16GB。最便宜能跑起來的裝置是 GeForce RTX 2080 Ti,二手約 NT$7,897。
Mistral 各版本的記憶體需求
共 5 個版本| 版本 | 發布日期 | 上下文 | ||||
|---|---|---|---|---|---|---|
| Mistral 7B v0.3稠密 | 7.3B | 2024年5月22日 | 32K | 7 | GeForce RTX 2080 TiNT$7,897 · 11 GB | 2,648,636 |
| Ministral 3 8B稠密 | 8.9B | 2025年10月31日 | 256K | 8 | GeForce RTX 2080 TiNT$7,897 · 11 GB | 142,610 |
| Mistral Nemo稠密 | 12.3B | 2024年7月17日 | 128K | 10 | GeForce RTX 2080 TiNT$7,897 · 11 GB | 358,821 |
| Ministral 3 14B稠密 | 14B | 2025年10月31日 | 256K | 11 | GeForce RTX 2080 TiNT$7,897 · 11 GB | 266,145 |
| Mistral Small 3.2 24B稠密 | 24B | 2025年6月19日 | 128K | 16 | Radeon RX 7800 XTNT$12,222 · 16 GB | 126,611 |
最低記憶體 = Q4_K_M 權重 + 8K 上下文 KV cache + 1GB 執行開銷,向上取整;最便宜能跑的裝置依目前價格基準的二手中位價升序,取第一台裝得下的。
關於 Mistral
Mistral 由 Mistral AI 發布,授權為 Apache-2.0。本頁收錄 5 個版本,參數量從 7.3B 到 24B,結構參數與量化體積每週從 Hugging Face 同步。
廠商Mistral AI
授權Apache-2.0
Hugging Face 組織mistralai