Mistral Small 3.2 24B 如何本地部署？

• 4-bit 最低顯示記憶體17 GB · 8K
• 參數量24B
• 上下文上限128K

架構

稠密

授權

Apache-2.0

發布日期

2025年6月19日

廠商

Mistral AI

Hugging Face 倉庫

mistralai/Mistral-Small-3.2-24B-Instruct-2506

GGUF 倉庫

bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF

NVFP4 倉庫（Blackwell）

RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4

MLX 倉庫（Apple）

mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit

Ollama 標籤

mistral-small3.2:24b

小版本

2506

層數

40

隱藏維度

5,120

KV 頭

8

頭維度

128

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	NT$6,0955 筆掛單	43.3	10K
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	43.3	113K
GeForce RTX 5060 Ti 16GB16 GB	NT$25,23314 筆掛單	22.2	10K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	46	61K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	45	61K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	12.9	128K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	48.2	61K
RTX A600048 GB	NT$156,0307 筆掛單	37.3	128K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	13.7	128K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	30.1	128K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	57.9	128K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	81.4	113K
RTX PRO 600096 GB	NT$609,4916 筆掛單	81.4	128K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

1. 1

   Ollama 標籤別抓錯

   Ollama 裡的 mistral-small:24b 是早一版的 Small 3，只認得文字、上下文 32K。Small 3.2 的標籤是 mistral-small3.2:24b，支援圖片、上下文 128K。

2. 2

   溫度和系統提示詞

   官方建議 temperature 0.15，而且一定要加系統提示詞；當通用助理使用的話，直接照用模型儲存庫裡的 SYSTEM_PROMPT.txt 就好。

3. 3

   框架和看圖

   官方推薦 vLLM 0.9.1 以上；但原版 BF16 在顯示卡上要約 55 GB，單卡基本上只能跑量化版。llama.cpp 看圖要另外載入 mmproj 檔案，bartowski 的 GGUF 儲存庫裡就有。

4. 4

   3.2 和 3.1 選哪個

   兩者架構、體積一樣，3.2 全面更好用：指令遵循測試 WildBench v2 從 55.6% 升到 65.3%，官方內測的無限重複輸出從 2.11% 降到 1.29%，工具呼叫也更穩定；看圖的跑分有升有降，大致持平。沒有理由再新部署 3.1。

5. 5

   下一代變成了大型 MoE

   Mistral 在 2026 年 3 月發布的 Small 4 改成了 119B 參數的 MoE（每個字動用 6B），單張 24GB 的卡放不下。想在一張 24GB 的卡上跑 Mistral 的稠密模型，Small 3.2 仍是最大的一檔。

ollama run mistral-small3.2:24b

llama-server \
  -hf bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M \
  -c 8192

vllm serve mistralai/Mistral-Small-3.2-24B-Instruct-2506

vllm serve RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4

mlx_lm.server \
  --model mlx-community/Mistral-Small-3.2-24B-Instruct-2506-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Mistral 7B v0.3稠密	7.3B	7.3B	4.4 GB
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB

關於 Mistral