本地部署 Mistral 需要什麼顯示卡？各版本記憶體需求一覽
Mistral 目前有 5 個能本地部署的版本，最小的 Mistral 7B v0.3 在 4-bit 量化下需要 7GB 顯示記憶體，最大的 Mistral Small 3.2 24B 需要 17GB。最便宜能跑起來的裝置是 Tesla V100 16GB，約 NT$6,899。
| 版本 | 發布日期 | 上下文 | 授權 | ||
|---|---|---|---|---|---|
| Ministral 3 14B稠密 | 2025年12月2日 | 13.5B | 13.5B | 256K | Apache-2.0 |
| Ministral 3 8B稠密 | 2025年12月2日 | 8.4B | 8.4B | 256K | Apache-2.0 |
| Mistral Small 3.2 24B稠密 | 2025年6月19日 | 24B | 24B | 128K | Apache-2.0 |
| Mistral Nemo稠密 | 2024年7月17日 | 12.3B | 12.3B | 128K | Apache-2.0 |
| Mistral 7B v0.3稠密 | 2024年5月22日 | 7.3B | 7.3B | 32K | Apache-2.0 |
關於 Mistral
Mistral 是法國公司 Mistral AI 推出的模型系列。Mistral AI 2023 年 4 月在巴黎成立，三位創辦人出身 Google DeepMind 與 Meta；同年 9 月發表的第一個模型 Mistral 7B，一推出就以 Apache 2.0 公開權重。此後產品線從裝置端小模型一路延伸到 MoE 旗艦，同時也有閉源的商用模型。
2023 年 12 月的 Mixtral 8x7B 採用稀疏 MoE，Hugging Face 稱它刷新了當時開放模型的最佳成績；2024 年 7 月，Mistral AI 與 NVIDIA 合作推出 12B 的 Mistral Nemo。授權政策中途有過反覆：2024 年的 Codestral、Mistral Large 2 等模型改用限制商用的授權，到了 2025 年 1 月發表 Mistral Small 3 時，官方表示通用模型重回 Apache 2.0。2025 年 12 月的 Mistral 3 系列包含 6750 億參數（每個字動用 410 億）的 MoE 旗艦 Mistral Large 3，以及 3B、8B、14B 三款 Ministral 3，全都能看圖，也都採用 Apache 2.0；2026 年 3 月的 Mistral Small 4，則把推理、看圖和程式開發整合進一個 1190 億參數的 MoE 模型。
- 廠商Mistral AI
- 收錄版本5
- 參數量7.3B – 24B
- 最新版本Ministral 3 8B
- 授權
- Apache-2.0
- 官方首頁
- mistral.ai
- Hugging Face 組織
- mistralai
Mistral 各版本 2-bit 量化需要多少顯示記憶體？
2-bit 也叫 Q2 精度，常見的 GGUF 檔案有 Q2_K、UD-Q2_K_XL，體積最小、品質損失也最明顯，適合顯示記憶體吃緊時先把模型跑起來。下表每一列是 Mistral 的一個版本，每一欄是一種上下文長度，格子裡是用 Q2 精度部署時需要的總顯示記憶體（權重 + KV cache + 1.1GB 執行開銷）。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Ministral 3 14B13.5B | 5.5GGUF | 11.9 | 28 | 49.5 | — |
| Ministral 3 8B8.4B | 3.6GGUF | 9.2 | 22.9 | 41.2 | — |
| Mistral Small 3.2 24B24B | 9.5GGUF | 15.9 | 32 | — | — |
| Mistral Nemo12.3B | 5.4GGUF | 11.8 | 27.9 | — | — |
| Mistral 7B v0.37.3B | 2.5GGUF | 7.9 | — | — | — |
Mistral 各版本 4-bit 量化需要多少顯示記憶體？
4-bit 也叫 Q4 精度，對應最常用的 Q4_K_M 檔案，體積和品質比較平衡，是本地部署的預設選擇。下表每一列是 Mistral 的一個版本，每一欄是一種上下文長度，格子裡是用 Q4 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Ministral 3 14B13.5B | 8.2GGUF | 14.6 | 30.7 | 52.2 | — |
| Ministral 3 8B8.4B | 5.2GGUF | 10.8 | 24.5 | 42.8 | — |
| Mistral Small 3.2 24B24B | 14.3GGUF | 20.7 | 36.8 | — | — |
| Mistral Nemo12.3B | 7.5GGUF | 13.9 | 30 | — | — |
| Mistral 7B v0.37.3B | 4.4GGUF | 9.8 | — | — | — |
Mistral 各版本 8-bit 量化需要多少顯示記憶體？
8-bit 也叫 Q8 精度，對應 Q8_0 檔案，品質最接近原版，體積也最大。下表每一列是 Mistral 的一個版本，每一欄是一種上下文長度，格子裡是用 Q8 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Ministral 3 14B13.5B | 14.4GGUF | 20.8 | 36.9 | 58.4 | — |
| Ministral 3 8B8.4B | 9GGUF | 14.6 | 28.3 | 46.6 | — |
| Mistral Small 3.2 24B24B | 25.1GGUF | 31.5 | 47.6 | — | — |
| Mistral Nemo12.3B | 13GGUF | 19.4 | 35.5 | — | — |
| Mistral 7B v0.37.3B | 7.7GGUF | 13.1 | — | — | — |
常見問題
Mistral 是開源的嗎？可以免費商用嗎？
可以。本站收錄的 5 個版本（Mistral 7B v0.3、Mistral Nemo、Ministral 3 8B、Ministral 3 14B 和 Mistral Small 3.2 24B）都採用 Apache 2.0 授權，能商用、微調和再散布，條件是隨附授權條款、保留著作權聲明，並在改動過的檔案中註明修改。容易搞混的是 2410 版的 Ministral 8B：它採用 Mistral 研究授權條款，只允許個人使用、學術研究這類非商業用途，要商用必須另外向 Mistral 申請。2512 版的 Ministral 3 才是 Apache 2.0，下載時請認明儲存庫名稱裡有 Ministral-3。
Mistral 可以用 Ollama 執行嗎？
可以，五個版本都有官方標籤：mistral:7b（也就是 v0.3）、mistral-nemo:12b、ministral-3:8b、ministral-3:14b 和 mistral-small3.2:24b。要注意 mistral-small:24b 對應的是較早的 Mistral Small 3（2501 版），而不是 3.2；3.2 放在獨立的 mistral-small3.2 模型庫，而且可以看圖。Ministral 3 需要 Ollama 0.13.1 或更新版本。
