Mistral Small 3.2 24B 如何本地部署？

VRAMGlass 編輯部 · 更新於 2026年9月10日

Mistral Small 3.2 24B 是 24B 參數的稠密模型。Q4 量化最低需要 16GB 記憶體，8K 上下文下建議 20GB。目前最便宜能跑的顯示卡是 Tesla V100 16GB，約 NT$9,598，預估 42.5 tokens/s。

Mistral Small 3.2 24B 版本資訊

發布日期2025年6月19日

Hugging Face 倉庫mistralai/Mistral-Small-3.2-24B-Instruct-2506

小版本2506

授權Apache-2.0

架構稠密

GGUF 倉庫bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF

Ollama 標籤mistral-small:24b

Q4 最低記憶體16 GB · Q4_K_M · 8K

參數量24B

層數40

隱藏維度5,120

KV 頭8

頭維度128

上下文上限128K

廠商Mistral AI

Mistral Small 3.2 24B 本地部署需要多少顯示記憶體？

量化	權重體積GB	8K 總記憶體GB	32K 總記憶體GB	128K 總記憶體GB
1-bit	5.6估	7.9	11.6	26.6
2-bit	9.5GGUF	11.2	14.9	29.9
3-bit	13GGUF	13.8	17.5	32.5
4-bit	14.3GGUF	15.6	19.4	34.4
5-bit	16.8GGUF	18.5	22.2	37.2
8-bit	25.1GGUF	27.1	30.9	45.9
FP16	47.2GGUF	49.2	53	68

總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 128K 上下文上限的檔位寫「—」。各檔取倉庫裡該位元數的任一檔案，優先 unsloth 動態量化，所以同一檔不同模型對應的檔名可能不同。

什麼顯示卡能跑 Mistral Small 3.2 24B？

eBay

裝置	顯存GB	價	預估 t/s	建議上下文
Tesla V100 16GB	16	NT$9,59834 筆掛單	42.5	8K
Radeon RX 6950 XT	16	NT$15,7359 筆掛單	19.8	8K
GeForce RTX 2080 Ti 22GB	22	NT$17,3403 筆掛單	29.4	32K
Radeon RX 7800 XT	16	NT$17,87524 筆掛單	21.4	8K
GeForce RTX 5060 Ti 16GB	16	NT$22,02912 筆掛單	21.5	8K
Radeon RX 7900 XT	20	NT$22,02924 筆掛單	27.3	32K
Tesla V100 32GB	32	NT$22,65923 筆掛單	42.5	32K
Instinct MI50 32GB	32	NT$24,1697 筆掛單	34.8	32K
Radeon RX 9070 XT	16	NT$25,01912 筆掛單	22	8K
Radeon RX 7900 XTX	24	NT$31,43925 筆掛單	32.7	32K
Instinct MI100	32	NT$31,4397 筆掛單	41.5	32K
GeForce RTX 5070 Ti	16	NT$37,76410 筆掛單	42.3	8K
GeForce RTX 4080	16	NT$39,74730 筆掛單	34.1	8K
GeForce RTX 3090	24	NT$48,77980 筆掛單	44.2	32K
GeForce RTX 5080	16	NT$56,64614 筆掛單	45.3	8K
RTX PRO 4000 Blackwell	24	NT$92,8373 筆掛單	32	32K
GeForce RTX 4090	24	NT$100,67340 筆掛單	47.4	32K
Radeon PRO W7900	48	NT$109,9883 筆掛單	29.5	128K
RTX PRO 4500 Blackwell	32	NT$135,3223 筆掛單	42.3	32K
A100 40GB PCIe	40	NT$154,17313 筆掛單	71.7	128K
Instinct MI210	64	NT$158,79911 筆掛單	54.7	128K
MacBook Pro M4 Max 128GB	128	NT$174,6283 筆掛單	20.6	128K
GeForce RTX 5090	32	NT$204,55612 筆掛單	81.9	32K
Mac Studio M4 Max 128GB	128	NT$206,0364 筆掛單	20.6	128K
MacBook Pro M5 Max 128GB	128	NT$228,1595 筆掛單	23.2	128K
RTX PRO 6000 Blackwell	96	NT$534,5224 筆掛單	81.9	128K
Mac Studio M3 Ultra 512GB	512	NT$692,34511 筆掛單	30.7	128K
Arc Pro B60	24	—暫無掛單	14.2	32K
GeForce RTX 5090 D V2	24	—暫無掛單	62.5	32K
Arc Pro B65	32	—暫無掛單	18.8	32K
Arc Pro B70	32	—暫無掛單	18.8	32K
GeForce RTX 4080 SUPER 32GB	32	—暫無掛單	35	32K
GeForce RTX 5090 D	32	—暫無掛單	81.9	32K
Radeon AI PRO R9700	32	—暫無掛單	22	32K
Radeon PRO W7800	32	—暫無掛單	19.8	32K
CMP 170HX 40GB	40	—暫無掛單	71.9	128K
GeForce RTX 4090 48GB	48	—暫無掛單	47.4	128K
RTX PRO 5000 Blackwell 48GB	48	—暫無掛單	62.5	128K
CMP 170HX 64GB	64	—暫無掛單	69	128K
RTX PRO 5000 Blackwell 72GB	72	—暫無掛單	62.5	128K
RTX PRO 6000D	84	—暫無掛單	72.3	128K
DGX Spark 128GB	128	—暫無掛單	13.2	128K
Mac Studio M5 Max 128GB	128	—暫無掛單	23.2	128K
Ryzen AI Max+ 395 128GB	128	—暫無掛單	8.9	128K

判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。

用 Ollama / llama.cpp / vLLM 本地部署 Mistral Small 3.2 24B

Ollama

Ollama 一行指令拉起，量化檔位由官方標籤決定。

ollama run mistral-small:24b

llama.cpp

llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。

llama-server -hf bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。

vllm serve mistralai/Mistral-Small-3.2-24B-Instruct-2506

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

常見問題

Mistral Small 3.2 24B 需要多少記憶體？

在 Q4_K_M 量化、8K 上下文下 Mistral Small 3.2 24B 約需 16GB 記憶體，留到 20GB 更穩。

哪張顯示卡最便宜能跑 Mistral Small 3.2 24B？

Tesla V100 16GB，16GB 記憶體，目前中位價約 NT$9,598，預估 42.5 tokens/s。

Mistral Small 3.2 24B 能用 Ollama 跑嗎？

能，指令是 ollama run mistral-small:24b。