本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Ministral 3 8B 如何本地部署？

Ministral 3 8B 是 Mistral 3 系列中能看圖的 8B 小模型，Instruct 版直接回答、不先思考，採用 Apache 2.0 授權。4-bit 加 8K 約 7.4 GB，8GB 顯示卡就能跑；但它的上下文很吃顯示記憶體，開滿 256K 要約 43 GB。

Ministral 3 8B 模型資訊

  • 4-bit 最低顯示記憶體8 GB · 8K
  • 參數量8.4B
  • 上下文上限256K
架構
稠密
授權
Apache-2.0
發布日期
2025年12月2日
廠商
Mistral AI
Hugging Face 倉庫
mistralai/Ministral-3-8B-Instruct-2512
GGUF 倉庫
mistralai/Ministral-3-8B-Instruct-2512-GGUF
MLX 倉庫（Apple）
mlx-community/Ministral-3-8B-Instruct-2512-4bit
Ollama 標籤
ministral-3:8b
小版本
2512
層數
34
隱藏維度
4,096
KV 頭
8
頭維度
128

Ministral 3 8B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文GB256K 上下文（最大）GB
1-bit2.4GGUF4.6821.740
2-bit3.6GGUF5.89.222.941.2
3-bit4.4GGUF6.61023.742
4-bit5.2GGUF7.410.824.542.8
5-bit6.1GGUF8.311.725.443.7
8-bit9GGUF11.214.628.346.6
BF16/FP1617GGUF19.222.636.354.6

詳細計算規則可在資料方法頁查看。

單卡能跑 Ministral 3 8B 嗎？

12GB 的顯示卡就跑得動：4-bit 加 32K 上下文約 10.8 GB，Mistral 官方也表示，它發布的原版權重用 12GB 顯示記憶體就放得下。要讀圖的話，還得替獨立存放的看圖部分再預留不到 1 GB。真正拉開各張卡差距的是上下文：它最長支援 256K，而上下文開得越長，額外要佔的顯示記憶體就越多。24GB 的 RTX 3090 用 8-bit 能開到約 110K，長度和速度應付多數長文件都沒問題；真要開滿，就得用 48GB 的 RTX A6000 或 128GB 統一記憶體的整機。

閒魚
裝置價格速度 t/s最大上下文
Tesla V100 16GB16 GBNT$6,0955 筆掛單102.676K
Tesla V100 32GB32 GBNT$20,4794 筆掛單102.6196K
GeForce RTX 5060 Ti 16GB16 GBNT$25,23314 筆掛單5576K
Radeon RX 7900 XTX24 GBNT$27,76412 筆掛單108.4136K
GeForce RTX 309024 GBNT$41,44513 筆掛單106.1136K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單32.5256K
GeForce RTX 409024 GBNT$121,8986 筆掛單113136K
RTX A600048 GBNT$156,0307 筆掛單89.4256K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單34.6256K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單73.3256K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單133.1256K
GeForce RTX 509032 GBNT$253,54314 筆掛單178.8196K
RTX PRO 600096 GBNT$609,4916 筆掛單178.8256K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

本地部署 Ministral 3 8B 要注意什麼？

  1. 官方權重是 FP8

    Hugging Face 上的 Instruct 版直接以 FP8 發布，官方表示 12GB 顯示記憶體就放得下，vLLM 要 0.12.0 以上。用 llama.cpp 的話就下載 Mistral 官方的 GGUF 儲存庫，只有 Q4_K_M、Q5_K_M、Q8_0 和 BF16 四檔；更低的檔位要找 Unsloth 等第三方。

  2. 看圖要多載入一個檔案

    它由 8.4B 的語言模型加上 0.4B 的視覺部分組成，視覺部分放在獨立的 mmproj 檔案裡（BF16 版約 0.8 GB），llama.cpp 要一起載入才能看圖；表中的顯示記憶體只計算了語言模型，看圖時要再加上這部分。官方建議圖片長寬比接近 1:1，太細長的圖先裁切一下。

  3. 溫度低於 0.1

    官方建議日常和正式環境使用 temperature 低於 0.1，創作類再往上調。這比多數前端的預設值低得多，用 Ollama 或 Open WebUI 時記得修改。Ollama 標籤是 ministral-3:8b，需要 0.13.1 以上的版本。

  4. 256K 是怎麼來的

    它原生的訓練長度只有 16K，設定檔裡已經用 YaRN 放大 16 倍到 256K，不必自己加參數。但 vLLM 預設會依 256K 分配顯示記憶體，用單卡跑時記得用 --max-model-len 調小。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run ministral-3:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf mistralai/Ministral-3-8B-Instruct-2512-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
終端機
vllm serve mistralai/Ministral-3-8B-Instruct-2512

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/Ministral-3-8B-Instruct-2512-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Mistral 家族的其他模型

模型總參數激活參數4-bit 模型大小
Mistral 7B v0.3稠密7.3B7.3B4.4 GB
Mistral Nemo稠密12.3B12.3B7.5 GB
Ministral 3 14B稠密13.5B13.5B8.2 GB
Mistral Small 3.2 24B稠密24B24B14.3 GB

關於 Mistral