本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Ministral 3 14B 如何本地部署？

Ministral 3 14B 是 Mistral 3 小模型中最大的一款，能看圖，官方表示表現接近 Small 3.2 24B。但它的顯示記憶體卻少用約 6 GB：4-bit 加 8K 只要約 10.6 GB，16GB 顯示卡就能跑，還能留出 40K 以上的上下文。上下文上限 256K，採用 Apache 2.0 授權。

Ministral 3 14B 模型資訊

  • 4-bit 最低顯示記憶體11 GB · 8K
  • 參數量13.5B
  • 上下文上限256K
架構
稠密
授權
Apache-2.0
發布日期
2025年12月2日
廠商
Mistral AI
Hugging Face 倉庫
mistralai/Ministral-3-14B-Instruct-2512
GGUF 倉庫
mistralai/Ministral-3-14B-Instruct-2512-GGUF
NVFP4 倉庫（Blackwell）
RedHatAI/Ministral-3-14B-Instruct-2512-NVFP4
MLX 倉庫（Apple）
mlx-community/Ministral-3-14B-Instruct-2512-4bit
Ollama 標籤
ministral-3:14b
小版本
2512
層數
40
隱藏維度
5,120
KV 頭
8
頭維度
128

Ministral 3 14B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit3.7GGUF6.110.126.247.7
2-bit5.5GGUF7.911.92849.5
3-bit6.9GGUF9.313.329.450.9
4-bit8.2GGUF10.614.630.752.2
5-bit9.6GGUF121632.153.6
8-bit14.4GGUF16.820.836.958.4
BF16/FP1627GGUF29.433.449.571

詳細計算規則可在資料方法頁查看。

單卡能跑 Ministral 3 14B 嗎？

跑得動，16GB 顯示卡就足以當主力：4-bit 加 32K 上下文約 14.6 GB，剛好塞進 16GB。不過 16GB 也就到 4-bit 為止，8-bit 光是模型本身就快把整張卡佔滿。手邊是 24GB 卡的話，更建議用 8-bit，Mistral 官方也表示它發布的原版權重 24GB 顯示記憶體就放得下；在 RTX 3090 上每秒約 45 個 token，上下文能開到 6 萬左右。它標稱 256K 上下文，開滿約需 52 GB，只有 96GB 的單卡和 128GB 統一記憶體整機放得下。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單70.247K
Tesla V100 32GB32 GBNT$20,4794 筆掛單70.2149K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單36.847K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單74.498K
GeForce RTX 309024 GBNT$41,44513 筆掛單72.898K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單21.5256K
GeForce RTX 409024 GBNT$121,8986 筆掛單77.798K
RTX A600048 GBNT$156,0307 筆掛單60.8251K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單22.9256K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單49.5256K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單92.6256K
GeForce RTX 509032 GBNT$253,54314 筆掛單127.4149K
RTX PRO 600096 GBNT$609,4916 筆掛單127.4256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Ministral 3 14B 要注意什麼？

  1. Instruct 還是 Reasoning

    同尺寸有 Base、Instruct、Reasoning 三個版本，都能看圖。Instruct 直接回答，以 FP8 發布；Reasoning 先思考再回答，以 BF16 發布，Mistral 表示它在 AIME 2025 數學競賽題上達到 85%。日常對話和工具呼叫用 Instruct，數學和程式難題就換 Reasoning。

  2. 24GB 的卡用幾 bit

    GGUF 的 4-bit 約 8.2 GB、5-bit 約 9.6 GB、8-bit 約 14.4 GB。24GB 的卡我們建議直接用 8-bit：加 32K 約 20.8 GB，在 RTX 3090 上約 45 tokens/s，上下文最長約 61K。官方也表示，FP8 原版用 24GB 顯示記憶體就放得下。

  3. 部署參數

    vLLM 要 0.12.0 以上，開啟工具呼叫要加上 --enable-auto-tool-choice 和 --tool-call-parser mistral。取樣建議和 8B 一樣：temperature 低於 0.1，再給一段寫清楚用途的系統提示詞。Ollama 標籤是 ministral-3:14b。

  4. 長上下文的代價

    它採用一般的注意力結構，上下文每多 1K 約多 0.17 GB 顯示記憶體。到 128K 時，上下文快取約 21 GB，是 4-bit 權重的兩倍多；處理長文件任務時，先算好上下文需要多少，再選量化檔。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run ministral-3:14b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf mistralai/Ministral-3-14B-Instruct-2512-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve mistralai/Ministral-3-14B-Instruct-2512
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。

終端機
vllm serve RedHatAI/Ministral-3-14B-Instruct-2512-NVFP4

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/Ministral-3-14B-Instruct-2512-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Mistral 家族的其他模型

模型總參數激活參數4-bit 模型大小
Mistral 7B v0.3稠密7.3B7.3B4.4 GB
Ministral 3 8B稠密8.4B8.4B5.2 GB
Mistral Nemo稠密12.3B12.3B7.5 GB
Mistral Small 3.2 24B稠密24B24B14.3 GB

關於 Mistral