Ministral 3 8B 如何本地部署？
Ministral 3 8B 是 Mistral 3 系列能看图的 8B 小模型，Instruct 版直接回答、不先思考，Apache 2.0 许可。4-bit 加 8K 约 7.4 GB，8GB 显卡就能跑；但它的上下文很吃显存，开满 256K 要约 43 GB。
Ministral 3 8B 模型信息
- 4-bit 最低显存8 GB · 8K
- 参数量8.4B
- 上下文上限256K
- 架构
- 稠密
- 许可证
- Apache-2.0
- 发布日期
- 2025年12月2日
- 厂商
- Mistral AI
- Hugging Face 仓库
- mistralai/Ministral-3-8B-Instruct-2512
- MLX 仓库（Apple）
- mlx-community/Ministral-3-8B-Instruct-2512-4bit
- Ollama 标签
- ministral-3:8b
- 小版本
- 2512
- 层数
- 34
- 隐藏维度
- 4,096
- KV 头
- 8
- 头维度
- 128
Ministral 3 8B 本地部署需要多少显存？
| 量化 | 权重体积GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 2.4GGUF | 4.6 | 8 | 21.7 | 40 |
| 2-bit | 3.6GGUF | 5.8 | 9.2 | 22.9 | 41.2 |
| 3-bit | 4.4GGUF | 6.6 | 10 | 23.7 | 42 |
| 4-bit | 5.2GGUF | 7.4 | 10.8 | 24.5 | 42.8 |
| 5-bit | 6.1GGUF | 8.3 | 11.7 | 25.4 | 43.7 |
| 8-bit | 9GGUF | 11.2 | 14.6 | 28.3 | 46.6 |
| BF16/FP16 | 17GGUF | 19.2 | 22.6 | 36.3 | 54.6 |
详细计算规则可在数据方法页查看。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
 Tesla V100 16GB16 GB | ¥1,2505 条挂单 | 134.6 | 87K |
| Tesla V100 32GB32 GB | ¥4,2004 条挂单 | 134.6 | 208K |
| GeForce RTX 5060 Ti 16GB16 GB | ¥5,17514 条挂单 | 74 | 87K |
| Radeon RX 7900 XTX24 GB | ¥5,69412 条挂单 | 141.8 | 147K |
| GeForce RTX 309024 GB | ¥8,50013 条挂单 | 139 | 147K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 44.3 | 256K |
| GeForce RTX 409024 GB | ¥25,0006 条挂单 | 147.5 | 147K |
| RTX A600048 GB | ¥32,0007 条挂单 | 118.2 | 256K |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 47 | 256K |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 97.7 | 256K |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 172 | 256K |
| GeForce RTX 509032 GB | ¥51,99914 条挂单 | 225.9 | 208K |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 225.9 | 256K |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Tesla V100 16GB16 GB | ¥1,2505 条挂单 | 102.6 | 76K |
| Tesla V100 32GB32 GB | ¥4,2004 条挂单 | 102.6 | 196K |
| GeForce RTX 5060 Ti 16GB16 GB | ¥5,17514 条挂单 | 55 | 76K |
| Radeon RX 7900 XTX24 GB | ¥5,69412 条挂单 | 108.4 | 136K |
| GeForce RTX 309024 GB | ¥8,50013 条挂单 | 106.1 | 136K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 32.5 | 256K |
| GeForce RTX 409024 GB | ¥25,0006 条挂单 | 113 | 136K |
| RTX A600048 GB | ¥32,0007 条挂单 | 89.4 | 256K |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 34.6 | 256K |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 73.3 | 256K |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 133.1 | 256K |
| GeForce RTX 509032 GB | ¥51,99914 条挂单 | 178.8 | 196K |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 178.8 | 256K |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Tesla V100 16GB16 GB | ¥1,2505 条挂单 | 65.6 | 49K |
| Tesla V100 32GB32 GB | ¥4,2004 条挂单 | 65.6 | 170K |
| GeForce RTX 5060 Ti 16GB16 GB | ¥5,17514 条挂单 | 34.2 | 49K |
| Radeon RX 7900 XTX24 GB | ¥5,69412 条挂单 | 69.5 | 110K |
| GeForce RTX 309024 GB | ¥8,50013 条挂单 | 67.9 | 110K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 20 | 256K |
| GeForce RTX 409024 GB | ¥25,0006 条挂单 | 72.6 | 110K |
| RTX A600048 GB | ¥32,0007 条挂单 | 56.7 | 256K |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 21.2 | 256K |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 46.1 | 256K |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 86.6 | 256K |
| GeForce RTX 509032 GB | ¥51,99914 条挂单 | 119.6 | 170K |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 119.6 | 256K |
只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。
本地部署 Ministral 3 8B 要注意什么？
官方权重是 FP8
Hugging Face 上的 Instruct 版直接以 FP8 发布，官方称 12GB 显存就能装下，vLLM 要 0.12.0 以上。用 llama.cpp 就下 Mistral 官方的 GGUF 仓库，只有 Q4_K_M、Q5_K_M、Q8_0 和 BF16 四档；更低的档位要找 Unsloth 等第三方。
看图要多加载一个文件
它由 8.4B 的语言模型加一个 0.4B 的视觉部分组成，视觉部分在单独的 mmproj 文件里（BF16 版约 0.8 GB），llama.cpp 要一起加载才能看图；表里的显存只算了语言模型，看图要再加上这部分。官方建议图片长宽比接近 1:1，太细长的图先裁一下。
温度低于 0.1
官方建议日常和生产用
temperature低于 0.1，创作类再往上调。这比多数前端的默认值低得多，用 Ollama 或 Open WebUI 时记得改。Ollama 标签是 ministral-3:8b，要 0.13.1 以上的版本。256K 是怎么来的
它原生训练长度只有 16K，配置里已经用 YaRN 放大 16 倍到 256K，不用自己加参数。但 vLLM 默认会按 256K 分配显存，单卡跑记得用
--max-model-len调小。
启动命令
Ollama
- Windows
- macOS
- Linux
ollama run ministral-3:8bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
llama-server -hf mistralai/Ministral-3-8B-Instruct-2512-GGUF:Q4_K_M \ -c 8192
vLLM
- Linux
- NVIDIA
- AMD
vllm serve mistralai/Ministral-3-8B-Instruct-2512MLX
- Apple 芯片
能看图的模型用 mlx-vlm：Mac 上先 pip install mlx-vlm，这条命令会从 Hugging Face 下载 MLX 权重并启动服务。
mlx_vlm.server --model mlx-community/Ministral-3-8B-Instruct-2512-4bit量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
Mistral 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| Mistral 7B v0.3稠密 | 7.3B | 7.3B | 4.4 GB |
| Mistral Nemo稠密 | 12.3B | 12.3B | 7.5 GB |
| Ministral 3 14B稠密 | 13.5B | 13.5B | 8.2 GB |
| Mistral Small 3.2 24B稠密 | 24B | 24B | 14.3 GB |