收錄顯卡41價格追蹤3 天自 2026年9月3日近 24h 價格資料11,753 筆24h 降價最多Radeon RX 7900 XTX-5.6%24h 漲價最多A100 40GB PCIe+48.1%資料更新於 2026年9月5日

Mistral Small 3.2 24B 本地部署需要多少記憶體？

看能跑的裝置
VRAMGlass 編輯部 · 更新於 2026年9月5日

Mistral Small 3.2 24B 是 24B 參數的稠密模型。Q4 量化最低需要 16GB 記憶體，8K 上下文下建議 20GB。目前最便宜能跑的顯示卡是 Radeon RX 7800 XT，二手約 NT$12,222，預估 21.4 tokens/s。

Mistral Small 3.2 24B 版本資訊

發布日期2025年6月19日
Hugging Face 倉庫mistralai/Mistral-Small-3.2-24B-Instruct-2506
小版本2506
授權Apache-2.0
架構稠密
GGUF 倉庫bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF
Ollama 標籤mistral-small:24b
30 天下載126,611
Q4 最低記憶體16 GB · Q4_K_M · 8K
參數量24B
層數40
隱藏維度5,120
KV 頭8
頭維度128
上下文上限128K
廠商Mistral AI

Mistral Small 3.2 24B 各量化與上下文的記憶體需求

8K 總記憶體
量化權重體積GB8K 總記憶體GB32K 總記憶體GB128K 總記憶體GB
Q4_K_M14.3GGUF15.619.434.4
Q5_K_M16.8GGUF18.522.237.2
Q8_025.1GGUF27.130.945.9
FP1647.2GGUF49.25368

總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 128K 上下文上限的檔位寫「—」。

什麼顯示卡能跑 Mistral Small 3.2 24B？

Q4_K_M · 8K 上下文 · 依閒魚二手價升序
裝置顯存GB二手價預估 t/s建議上下文
Radeon RX 7800 XT16NT$12,22214 筆掛牌21.48K
Radeon RX 7900 XT20NT$18,79818 筆掛牌27.332K
Radeon RX 9070 XT16NT$24,58413 筆掛牌228K
Arc Pro B6024NT$24,9099 筆掛牌14.232K
Radeon RX 7900 XTX24NT$25,85418 筆掛牌32.732K
GeForce RTX 408016NT$35,67812 筆掛牌34.18K
GeForce RTX 309024NT$37,8368 筆掛牌44.232K
GeForce RTX 5070 Ti16NT$40,6324 筆掛牌42.38K
Arc Pro B7032NT$47,0027 筆掛牌18.832K
Radeon PRO W780032NT$47,4774 筆掛牌19.832K
CMP 170HX 40GB (改裝)40NT$50,7674 筆掛牌71.9128K
GeForce RTX 508016NT$54,0577 筆掛牌45.38K
Radeon AI PRO R970032NT$55,9383 筆掛牌2232K
CMP 170HX 64GB (改裝)64NT$60,4034 筆掛牌69128K
RTX PRO 4000 Blackwell24NT$74,27010 筆掛牌3232K
Instinct MI21064NT$86,96217 筆掛牌54.7128K
Radeon PRO W790048NT$103,4145 筆掛牌29.5128K
GeForce RTX 409024NT$107,1755 筆掛牌47.432K
GeForce RTX 5090 D V224NT$117,51616 筆掛牌62.532K
GeForce RTX 4090 48GB (改裝)48NT$119,8673 筆掛牌47.4128K
RTX PRO 4500 Blackwell32NT$121,5128 筆掛牌42.332K
GeForce RTX 5090 D32NT$145,2507 筆掛牌81.932K
A100 40GB PCIe40NT$180,9754 筆掛牌71.7128K
GeForce RTX 509032NT$186,8514 筆掛牌81.932K
RTX PRO 5000 Blackwell 48GB48NT$220,93111 筆掛牌62.5128K
RTX PRO 5000 Blackwell 72GB72NT$291,44011 筆掛牌62.5128K
RTX PRO 6000D84NT$329,04619 筆掛牌72.3128K
RTX PRO 6000 Blackwell96NT$557,02710 筆掛牌81.9128K
Tesla V100 16GB16—暫無掛牌42.58K
Arc Pro B6532—暫無掛牌18.832K
GeForce RTX 4080 SUPER 32GB (改裝)32—暫無掛牌3532K
Instinct MI10032—暫無掛牌41.532K
Tesla V100 32GB32—暫無掛牌42.532K
DGX Spark 128GB128—暫無掛牌13.2128K
Mac Studio M4 Max 128GB128—暫無掛牌20.6128K
Mac Studio M5 Max 128GB128—暫無掛牌23.2128K
MacBook Pro M4 Max 128GB128—暫無掛牌20.6128K
MacBook Pro M5 Max 128GB128—暫無掛牌23.2128K
Ryzen AI Max+ 395 128GB128—暫無掛牌8.9128K
Mac Studio M3 Ultra 512GB512—暫無掛牌30.7128K

判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。

用 Ollama / llama.cpp / vLLM 啟動 Mistral Small 3.2 24B

Ollama

Ollama 一行指令拉起，量化檔位由官方標籤決定。

ollama run mistral-small:24b
llama.cpp

llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。

llama-server -hf bartowski/mistralai_Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M -c 8192
vLLM

vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。

vllm serve mistralai/Mistral-Small-3.2-24B-Instruct-2506

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

常見問題

Mistral Small 3.2 24B 需要多少記憶體？

在 Q4_K_M 量化、8K 上下文下 Mistral Small 3.2 24B 約需 16GB 記憶體，留到 20GB 更穩。

哪張顯示卡最便宜能跑 Mistral Small 3.2 24B？

Radeon RX 7800 XT，16GB 記憶體，目前二手中位價約 NT$12,222，預估 21.4 tokens/s。

Mistral Small 3.2 24B 能用 Ollama 跑嗎？

能，指令是 ollama run mistral-small:24b。