Mistral Nemo 如何本地部署？

• 4-bit 最低显存10 GB · 8K
• 参数量12.3B
• 上下文上限128K

架构

稠密

许可证

Apache-2.0

发布日期

2024年7月17日

厂商

Mistral AI

Hugging Face 仓库

mistralai/Mistral-Nemo-Instruct-2407

GGUF 仓库

bartowski/Mistral-Nemo-Instruct-2407-GGUF

MLX 仓库（Apple）

mlx-community/Mistral-Nemo-Instruct-2407-4bit

Ollama 标签

mistral-nemo:12b

小版本

2407

层数

40

隐藏维度

5,120

KV 头

8

头维度

128

详细计算规则可在数据方法页查看。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	75.6	51K
Tesla V100 32GB32 GB	¥4,2004 条挂单	75.6	128K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	39.8	51K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	80.1	102K
GeForce RTX 309024 GB	¥8,50013 条挂单	78.3	102K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	23.3	128K
GeForce RTX 409024 GB	¥25,0006 条挂单	83.6	102K
RTX A600048 GB	¥32,0007 条挂单	65.6	128K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	24.8	128K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	53.4	128K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	99.4	128K
GeForce RTX 509032 GB	¥51,99914 条挂单	136.3	128K
RTX PRO 600096 GB	¥125,0006 条挂单	136.3	128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

1. 1

   温度要调低

   官方特别提醒，NeMo 比之前的 Mistral 模型需要更低的温度，建议 temperature 0.3。很多聊天前端默认 0.7 以上，记得手动改。

2. 2

   量化选哪一档

   官方说训练时就按量化做过适配，用 FP8 推理不掉精度。GGUF 的 4-bit 约 7.5 GB、5-bit 约 8.7 GB、8-bit 约 13.0 GB：12GB 卡用 4-bit 或 5-bit，16GB 以上再上 8-bit。

3. 3

   中文更省 token

   NeMo 换了新的 Tekken 分词器，官方称中文和代码的压缩效率比之前高约 30%，也就是同样 128K 的上下文能装进更多中文。

4. 4

   用什么框架

   llama.cpp、vLLM 直接支持，Ollama 标签是 mistral-nemo:12b。它用的是标准结构，原来跑 Mistral 7B 的工具链基本不用改。

ollama run mistral-nemo:12b

llama-server -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M \
  -c 8192

vllm serve mistralai/Mistral-Nemo-Instruct-2407

mlx_lm.server --model mlx-community/Mistral-Nemo-Instruct-2407-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

模型	总参数	激活参数	4-bit 模型大小
Mistral 7B v0.3稠密	7.3B	7.3B	4.4 GB
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB
Mistral Small 3.2 24B稠密	24B	24B	14.3 GB

关于 Mistral