Mistral Large 4 如何本地部署？

• 4-bit 最低顯示記憶體（8K 上下文）607 GB
• 參數量1,000B
• 激活參數52B
• 上下文上限1M

架構

MoE

專家卸載

16 GB 顯存 + 592 GB 記憶體

授權

Mistral Ecosystem Open-Weight License

發布日期

2026年10月29日

廠商

Mistral AI

Hugging Face 倉庫

mistralai/Mistral-Large-4-1T-A52B

GGUF 倉庫

unsloth/Mistral-Large-4-1T-A52B-GGUF

NVFP4 倉庫（Blackwell）

mistralai/Mistral-Large-4-1T-A52B-NVFP4

層數

72

隱藏維度

6,144

KV 頭

64

頭維度

128

詳細計算規則可在資料方法頁查看。

只列常見的顯示卡和整機，按價格從低到高排。

裝置	需要幾張	總價	總顯示記憶體	速度 t/s	總功耗
Mac Studio M3 Ultra 512GB單台 512 GB	2 台	NT$1,072,559	1,024 GB	17.7	960 W
A100 80GB PCIe單卡 80 GB	8 張	NT$4,212,271	640 GB	37.5	2,400 W
RTX PRO 6000單卡 96 GB	8 張	NT$4,953,319	768 GB	35.2	4,800 W

Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

1. 1

   llama.cpp 已經合併，但還沒有正式版

   llama.cpp 的支援在發布當天併入了主線（PR #31376），但到 10 月 29 日還沒有包含它的正式版，要從原始碼編譯最新程式碼才載入得了，Unsloth 也建議先用他們自己編好的版本。Ollama 只有不能在本機跑的雲端版（mistral-large-4:cloud）。vLLM 的支援也還沒進正式版和 nightly（PR #64534），官方配方要用 vllm/vllm-openai:mistral-large-4 這個專用映像檔。Apple 晶片上的 mlx-lm 支援同樣還在 PR 階段，不過 mlx-community 已經先上傳了只含文字部分的 2-bit 版。

2. 2

   內建草稿頭，出字快上一倍

   權重裡附帶一個 DSpark 草稿頭：3 層的小網路先猜接下來 3 個 token，再交給大模型一次核對，輸出和不開時一模一樣。Mistral 測得吞吐量最多高 1.9 倍，Unsloth 則說單人對話時出字約快一倍。llama.cpp 要另外載入約 2.2 GB 的草稿檔（-md dspark-Mistral-Large-4-1T-A52B-Q8_0.gguf --spec-type draft-dspark --spec-draft-n-max 3），vLLM 則加上 --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'。本站的速度估算是以不開草稿頭計算。

3. 3

   思考深淺可以調，但關不掉

   思考深度用 reasoning_effort 設定為 low、medium 或 high，預設是 high；官方建議複雜任務和代理用 high、日常用 medium、要快就用 low。依 ggml-org 的說明，思考無法完全關閉。三檔都建議 temperature 1.0、top_p 0.95。要看圖得另外載入約 3.4 GB 的投影檔（--mmproj mmproj-BF16.gguf），只用文字就不必下載。

4. 4

   授權和家族裡其他版本不一樣

   它採用 Mistral 新推出的 Mistral Ecosystem Open-Weight License，以 MIT 授權修改而來：可以免費商用、微調和再散布，條件是保留著作權聲明。多出來的一條是針對經營「模型即服務」業務的公司，也就是透過 API 或託管端點把模型開放給第三方、讓對方能實質控制輸入和參數的業者：這類公司要把它用在任何商業用途前，都得先和 Mistral 另簽商業授權。公司內部自用，或透過 Mistral 官方產品使用，則不受這條限制。本站收錄的其他 Mistral 版本都是 Apache 2.0，沒有這一條。

llama-server -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q4_K_XL \
  --jinja -c 8192

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --tensor-parallel-size 8 \
  --kv-cache-dtype fp8_ds_mla \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Mistral 7B v0.3稠密	7.3B	7.3B	4.4 GB
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB
Mistral Small 3.2 24B稠密	24B	24B	14.3 GB

關於 Mistral