Ministral 3 14B 如何本地部署？

Ministral 3 14B 是 Mistral 3 小模型里最大的一款，能看图，官方称表现接近 Small 3.2 24B。它的显存却少用约 6 GB：4-bit 加 8K 只要约 10.6 GB，16GB 显卡就能跑，还能留出 40K 以上的上下文。上下文上限 256K，Apache 2.0 许可。

Ministral 3 14B 模型信息

4-bit 最低显存11 GB · 8K
参数量13.5B
上下文上限256K

架构: 稠密
许可证: Apache-2.0
发布日期: 2025年12月2日
厂商: Mistral AI
Hugging Face 仓库: mistralai/Ministral-3-14B-Instruct-2512
GGUF 仓库: mistralai/Ministral-3-14B-Instruct-2512-GGUF
NVFP4 仓库（Blackwell）: RedHatAI/Ministral-3-14B-Instruct-2512-NVFP4
MLX 仓库（Apple）: mlx-community/Ministral-3-14B-Instruct-2512-4bit
Ollama 标签: ministral-3:14b
小版本: 2512
层数: 40
隐藏维度: 5,120
KV 头: 8
头维度: 128

Ministral 3 14B 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	3.7GGUF	6.1	10.1	26.2	47.7
2-bit	5.5GGUF	7.9	11.9	28	49.5
3-bit	6.9GGUF	9.3	13.3	29.4	50.9
4-bit	8.2GGUF	10.6	14.6	30.7	52.2
5-bit	9.6GGUF	12	16	32.1	53.6
8-bit	14.4GGUF	16.8	20.8	36.9	58.4
BF16/FP16	27GGUF	29.4	33.4	49.5	71

详细计算规则可在数据方法页查看。

单卡能跑 Ministral 3 14B 吗？

可以，16GB 显卡就够当主力：4-bit 加 32K 上下文约 14.6 GB，正好塞进 16GB。不过 16GB 也就到 4-bit 为止，8-bit 的模型本身就快占满整张卡。手上是 24GB 卡的话，更推荐 8-bit，Mistral 官方也说它发布的原版权重 24GB 显存就装得下；RTX 3090 上每秒约 45 个 token，上下文能开到 6 万左右。它标称 256K 上下文，开满约要 52 GB，只有 96GB 单卡和 128GB 统一内存整机放得下。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	96.9	63K
Tesla V100 32GB32 GB	¥4,2004 条挂单	96.9	165K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	51.7	63K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	102.4	114K
GeForce RTX 309024 GB	¥8,50013 条挂单	100.2	114K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	30.5	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	106.7	114K
RTX A600048 GB	¥32,0007 条挂单	84.3	256K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	32.4	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	69.1	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	126	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	170	165K
RTX PRO 600096 GB	¥125,0006 条挂单	170	256K

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	70.2	47K
Tesla V100 32GB32 GB	¥4,2004 条挂单	70.2	149K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	36.8	47K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	74.4	98K
GeForce RTX 309024 GB	¥8,50013 条挂单	72.8	98K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	21.5	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	77.7	98K
RTX A600048 GB	¥32,0007 条挂单	60.8	251K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	22.9	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	49.5	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	92.6	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	127.4	149K
RTX PRO 600096 GB	¥125,0006 条挂单	127.4	256K

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	43.1	10K
Tesla V100 32GB32 GB	¥4,2004 条挂单	43.1	112K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	22.1	10K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	45.7	61K
GeForce RTX 309024 GB	¥8,50013 条挂单	44.7	61K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	12.8	256K
GeForce RTX 409024 GB	¥25,0006 条挂单	47.9	61K
RTX A600048 GB	¥32,0007 条挂单	37.1	214K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	13.6	256K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	29.9	256K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	57.5	256K
GeForce RTX 509032 GB	¥51,99914 条挂单	80.9	112K
RTX PRO 600096 GB	¥125,0006 条挂单	80.9	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 Ministral 3 14B 要注意什么？

Instruct 还是 Reasoning
同尺寸有 Base、Instruct、Reasoning 三个版本，都能看图。Instruct 直接回答，以 FP8 发布；Reasoning 先思考再回答，以 BF16 发布，Mistral 称它在 AIME 2025 数学竞赛题上达到 85%。日常对话和工具调用用 Instruct，数学和代码难题换 Reasoning。
24GB 卡上用几 bit
GGUF 的 4-bit 约 8.2 GB、5-bit 约 9.6 GB、8-bit 约 14.4 GB。24GB 卡我们建议直接上 8-bit：加 32K 约 20.8 GB，RTX 3090 上约 45 tokens/s，上下文最长约 61K。官方也说，FP8 原版 24GB 显存就能装下。
部署参数
vLLM 要 0.12.0 以上，开工具调用要加 --enable-auto-tool-choice 和 --tool-call-parser mistral。采样建议和 8B 一样：temperature 低于 0.1，再给一段写清用途的系统提示词。Ollama 标签是 ministral-3:14b。
长上下文的代价
它用普通的注意力结构，上下文每多 1K 约多 0.17 GB 显存。到 128K 时，上下文缓存约 21 GB，是 4-bit 权重的两倍多；做长文档任务，先算上下文要多少，再选量化档。

启动命令

Ollama

Windows
macOS
Linux

终端

ollama run ministral-3:14b

llama.cpp

NVIDIA
AMD
Mac
CPU

终端

llama-server -hf mistralai/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_M \
  -c 8192

vLLM

Linux
NVIDIA
AMD

原版权重

终端

vllm serve mistralai/Ministral-3-14B-Instruct-2512

NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。

终端

vllm serve RedHatAI/Ministral-3-14B-Instruct-2512-NVFP4

MLX

Apple 芯片

能看图的模型用 mlx-vlm：Mac 上先 pip install mlx-vlm，这条命令会从 Hugging Face 下载 MLX 权重并启动服务。

终端

mlx_vlm.server --model mlx-community/Ministral-3-14B-Instruct-2512-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Mistral 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Mistral 7B v0.3稠密	7.3B	7.3B	4.4 GB
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Mistral Small 3.2 24B稠密	24B	24B	14.3 GB

关于 Mistral