Mistral Nemo 如何本地部署？
Mistral NeMo 是 Mistral AI 和 NVIDIA 在 2024 年 7 月合作發布的 12B 模型，官方定位是 Mistral 7B 的直接替代品。短對話很輕鬆，4-bit 在 12GB 顯示卡上就夠用；但它的上下文很吃顯示記憶體，每多 32K 約多 5 GB，開滿 128K 要約 30 GB。
Mistral Nemo 模型資訊
- 4-bit 最低顯示記憶體10 GB · 8K
- 參數量12.3B
- 上下文上限128K
- 架構
- 稠密
- 授權
- Apache-2.0
- 發布日期
- 2024年7月17日
- 廠商
- Mistral AI
- Hugging Face 倉庫
- mistralai/Mistral-Nemo-Instruct-2407
- MLX 倉庫（Apple）
- mlx-community/Mistral-Nemo-Instruct-2407-4bit
- Ollama 標籤
- mistral-nemo:12b
- 小版本
- 2407
- 層數
- 40
- 隱藏維度
- 5,120
- KV 頭
- 8
- 頭維度
- 128
Mistral Nemo 本地部署需要多少顯示記憶體？
| 量化 | 權重體積GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文（最大）GB |
|---|---|---|---|---|
| 1-bit | 3.1估 | 5.5 | 9.5 | 25.6 |
| 2-bit | 5.4GGUF | 7.8 | 11.8 | 27.9 |
| 3-bit | 7.1GGUF | 9.5 | 13.5 | 29.6 |
| 4-bit | 7.5GGUF | 9.9 | 13.9 | 30 |
| 5-bit | 8.7GGUF | 11.1 | 15.1 | 31.2 |
| 8-bit | 13GGUF | 15.4 | 19.4 | 35.5 |
| BF16/FP16 | 24.5GGUF | 26.9 | 30.9 | 47 |
詳細計算規則可在資料方法頁查看。
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
 Tesla V100 16GB16 GB | NT$6,0955 筆掛單 | 98.2 | 63K |
| Tesla V100 32GB32 GB | NT$20,4794 筆掛單 | 98.2 | 128K |
| GeForce RTX 5060 Ti 16GB16 GB | NT$25,23314 筆掛單 | 52.5 | 63K |
| Radeon RX 7900 XTX24 GB | NT$27,76412 筆掛單 | 103.8 | 115K |
| GeForce RTX 309024 GB | NT$41,44513 筆掛單 | 101.6 | 115K |
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,64316 筆掛單 | 31 | 128K |
| GeForce RTX 409024 GB | NT$121,8986 筆掛單 | 108.2 | 115K |
| RTX A600048 GB | NT$156,0307 筆掛單 | 85.6 | 128K |
| DGX Spark 128GB整機 · 128 GB | NT$209,66541 筆掛單 | 33 | 128K |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$222,80110 筆掛單 | 70.1 | 128K |
| Mac Studio M5 Ultra 96GB整機 · 96 GB | NT$224,29315 筆掛單 | 127.7 | 128K |
| GeForce RTX 509032 GB | NT$253,54314 筆掛單 | 172.1 | 128K |
| RTX PRO 600096 GB | NT$609,4916 筆掛單 | 172.1 | 128K |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Tesla V100 16GB16 GB | NT$6,0955 筆掛單 | 75.6 | 51K |
| Tesla V100 32GB32 GB | NT$20,4794 筆掛單 | 75.6 | 128K |
| GeForce RTX 5060 Ti 16GB16 GB | NT$25,23314 筆掛單 | 39.8 | 51K |
| Radeon RX 7900 XTX24 GB | NT$27,76412 筆掛單 | 80.1 | 102K |
| GeForce RTX 309024 GB | NT$41,44513 筆掛單 | 78.3 | 102K |
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,64316 筆掛單 | 23.3 | 128K |
| GeForce RTX 409024 GB | NT$121,8986 筆掛單 | 83.6 | 102K |
| RTX A600048 GB | NT$156,0307 筆掛單 | 65.6 | 128K |
| DGX Spark 128GB整機 · 128 GB | NT$209,66541 筆掛單 | 24.8 | 128K |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$222,80110 筆掛單 | 53.4 | 128K |
| Mac Studio M5 Ultra 96GB整機 · 96 GB | NT$224,29315 筆掛單 | 99.4 | 128K |
| GeForce RTX 509032 GB | NT$253,54314 筆掛單 | 136.3 | 128K |
| RTX PRO 600096 GB | NT$609,4916 筆掛單 | 136.3 | 128K |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Tesla V100 16GB16 GB | NT$6,0955 筆掛單 | 47.2 | 18K |
| Tesla V100 32GB32 GB | NT$20,4794 筆掛單 | 47.2 | 120K |
| GeForce RTX 5060 Ti 16GB16 GB | NT$25,23314 筆掛單 | 24.3 | 18K |
| Radeon RX 7900 XTX24 GB | NT$27,76412 筆掛單 | 50.1 | 69K |
| GeForce RTX 309024 GB | NT$41,44513 筆掛單 | 48.9 | 69K |
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,64316 筆掛單 | 14.1 | 128K |
| GeForce RTX 409024 GB | NT$121,8986 筆掛單 | 52.4 | 69K |
| RTX A600048 GB | NT$156,0307 筆掛單 | 40.7 | 128K |
| DGX Spark 128GB整機 · 128 GB | NT$209,66541 筆掛單 | 15 | 128K |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$222,80110 筆掛單 | 32.9 | 128K |
| Mac Studio M5 Ultra 96GB整機 · 96 GB | NT$224,29315 筆掛單 | 62.9 | 128K |
| GeForce RTX 509032 GB | NT$253,54314 筆掛單 | 88.2 | 120K |
| RTX PRO 600096 GB | NT$609,4916 筆掛單 | 88.2 | 128K |
只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。
本地部署 Mistral Nemo 要注意什麼？
溫度要調低
官方特別提醒，NeMo 比先前的 Mistral 模型需要更低的溫度，建議
temperature0.3。很多聊天前端預設 0.7 以上，記得手動修改。量化選哪一檔
官方表示訓練時就已針對量化做過適配，用 FP8 推論不會掉精度。GGUF 的 4-bit 約 7.5 GB、5-bit 約 8.7 GB、8-bit 約 13.0 GB：12GB 的卡用 4-bit 或 5-bit，16GB 以上再用 8-bit。
中文更省 token
NeMo 換用新的 Tekken 分詞器，官方表示中文和程式碼的壓縮效率比之前高約 30%，也就是同樣 128K 的上下文能裝進更多中文。
用哪個框架
llama.cpp、vLLM 直接支援，Ollama 標籤是 mistral-nemo:12b。它用的是標準架構，原本跑 Mistral 7B 的工具鏈基本上不用改。
啟動指令
Ollama
- Windows
- macOS
- Linux
ollama run mistral-nemo:12bllama.cpp
- NVIDIA
- AMD
- Mac
- CPU
llama-server -hf bartowski/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M \ -c 8192
vLLM
- Linux
- NVIDIA
- AMD
vllm serve mistralai/Mistral-Nemo-Instruct-2407MLX
- Apple 晶片
在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。
mlx_lm.server --model mlx-community/Mistral-Nemo-Instruct-2407-4bit量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
Mistral 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| Mistral 7B v0.3稠密 | 7.3B | 7.3B | 4.4 GB |
| Ministral 3 8B稠密 | 8.4B | 8.4B | 5.2 GB |
| Ministral 3 14B稠密 | 13.5B | 13.5B | 8.2 GB |
| Mistral Small 3.2 24B稠密 | 24B | 24B | 14.3 GB |