Mistral Small 3.2 24B 如何本地部署？

• 4-bit 最低显存17 GB · 8K
• 参数量24B
• 上下文上限128K

架构

稠密

许可证

Apache-2.0

发布日期

2025年6月19日

厂商

Mistral AI

Hugging Face 仓库

mistralai/Mistral-Small-3.2-24B-Instruct-2506

GGUF 仓库

bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF

NVFP4 仓库（Blackwell）

RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4

MLX 仓库（Apple）

mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit

Ollama 标签

mistral-small3.2:24b

小版本

2506

层数

40

隐藏维度

5,120

KV 头

8

头维度

128

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	43.3	10K
Tesla V100 32GB32 GB	¥4,2004 条挂单	43.3	113K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	22.2	10K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	46	61K
GeForce RTX 309024 GB	¥8,50013 条挂单	45	61K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	12.9	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	48.2	61K
RTX A600048 GB	¥32,0007 条挂单	37.3	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	13.7	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	30.1	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	57.9	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	81.4	113K
RTX PRO 600096 GB	¥125,0006 条挂单	81.4	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   Ollama 标签别拉错

   Ollama 里的 mistral-small:24b 是早一版的 Small 3，只认文字、上下文 32K。Small 3.2 的标签是 mistral-small3.2:24b，支持图片、上下文 128K。

2. 2

   温度和系统提示词

   官方建议 temperature 0.15，而且一定要加系统提示词；当通用助手用的话，照搬模型仓库里的 SYSTEM_PROMPT.txt 就行。

3. 3

   框架和看图

   官方推荐 vLLM 0.9.1 以上；但原版 BF16 在显卡上要约 55 GB，单卡基本只能跑量化版。llama.cpp 看图要另外加载 mmproj 文件，bartowski 的 GGUF 仓库里有。

4. 4

   3.2 和 3.1 选哪个

   两者结构、体积一样，3.2 全面更好用：指令遵循测试 WildBench v2 从 55.6% 升到 65.3%，官方内测的无限重复输出从 2.11% 降到 1.29%，工具调用也更稳；看图的跑分有升有降，大体持平。没有理由再新部署 3.1。

5. 5

   下一代变成了大 MoE

   Mistral 在 2026 年 3 月发布的 Small 4 改成了 119B 参数的 MoE（每个字用 6B），单张 24GB 卡装不下。想在一张 24GB 卡上跑 Mistral 的稠密模型，Small 3.2 仍是最大的一档。

ollama run mistral-small3.2:24b

llama-server \
  -hf bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M \
  -c 8192

vllm serve mistralai/Mistral-Small-3.2-24B-Instruct-2506

vllm serve RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4

mlx_lm.server \
  --model mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Mistral 7B v0.3稠密	7.3B	7.3B	4.4 GB
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB

关于 Mistral