Mistral Large 4 如何本地部署？

• 4-bit 最低显存（8K 上下文）607 GB
• 参数量1,000B
• 激活参数52B
• 上下文上限1M

架构

MoE

专家卸载

16 GB 显存 + 592 GB 内存

许可证

Mistral Ecosystem Open-Weight License

发布日期

2026年10月29日

厂商

Mistral AI

Hugging Face 仓库

mistralai/Mistral-Large-4-1T-A52B

GGUF 仓库

unsloth/Mistral-Large-4-1T-A52B-GGUF

NVFP4 仓库（Blackwell）

mistralai/Mistral-Large-4-1T-A52B-NVFP4

层数

72

隐藏维度

6,144

KV 头

64

头维度

128

详细计算规则可在数据方法页查看。

只列常见的显卡和整机，按价格从低到高排。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥219,998	1,024 GB	17.7	960 W
A100 80GB PCIe单卡 80 GB	8 张	¥864,000	640 GB	37.5	2,400 W
RTX PRO 6000单卡 96 GB	8 张	¥1,016,000	768 GB	35.2	4,800 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

1. 1

   llama.cpp 合并了，但还没有正式版

   llama.cpp 的支持在发布当天合进了主线（PR #31376），但 10 月 29 日还没有带它的正式版，要从源码编译最新代码才能加载，Unsloth 也建议先用他们自己编译的版本。Ollama 只有不能本地跑的云端版（mistral-large-4:cloud）。vLLM 的支持还没进正式版和 nightly（PR #64534），官方配方要用 vllm/vllm-openai:mistral-large-4 这个专用镜像。Apple 芯片上的 mlx-lm 支持也还在 PR 里，mlx-community 先传了一个只含文字部分的 2-bit 版。

2. 2

   自带草稿头，出字能快一倍

   权重里带着一个 DSpark 草稿头：3 层小网络先猜后面 3 个 token，再让大模型一次核对，输出和不开时完全一样。Mistral 测得吞吐最多高 1.9 倍，Unsloth 说单人对话出字快约一倍。llama.cpp 要另外加载约 2.2 GB 的草稿文件（-md dspark-Mistral-Large-4-1T-A52B-Q8_0.gguf --spec-type draft-dspark --spec-draft-n-max 3），vLLM 加 --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'。本站的速度估算按不开草稿头算。

3. 3

   思考深浅可调，但关不掉

   思考深度用 reasoning_effort 设成 low、medium 或 high，默认 high；官方建议复杂任务和智能体用 high，日常用 medium，要快就用 low。ggml-org 的说明里写了思考不能完全关掉。三档都建议 temperature 1.0、top_p 0.95。看图要另外加载约 3.4 GB 的投影文件（--mmproj mmproj-BF16.gguf），不看图可以不下。

4. 4

   许可证和家族里其他版本不一样

   它用 Mistral 新的 Mistral Ecosystem Open-Weight License，在 MIT 基础上改的：可以免费商用、微调、再分发，要保留版权声明。多出来的一条针对做「模型即服务」生意的公司，也就是把模型通过 API 或托管接口开给第三方、让对方能控制输入和参数的：这类公司拿它做任何商业用途前，都要先和 Mistral 另签商业许可。公司内部自用、通过 Mistral 官方产品使用不受这条限制。本站收录的其他 Mistral 版本都是 Apache 2.0，没有这条。

llama-server -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q4_K_XL \
  --jinja -c 8192

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --tensor-parallel-size 8 \
  --kv-cache-dtype fp8_ds_mla \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Mistral 7B v0.3稠密	7.3B	7.3B	4.4 GB
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB
Mistral Small 3.2 24B稠密	24B	24B	14.3 GB

关于 Mistral