Mistral 7B v0.3 如何本地部署？

• 4-bit 最低顯示記憶體7 GB · 8K
• 參數量7.3B
• 上下文上限32K

架構

稠密

授權

Apache-2.0

發布日期

2024年5月22日

廠商

Mistral AI

Hugging Face 倉庫

mistralai/Mistral-7B-Instruct-v0.3

GGUF 倉庫

bartowski/Mistral-7B-Instruct-v0.3-GGUF

MLX 倉庫（Apple）

mlx-community/Mistral-7B-Instruct-v0.3-4bit

Ollama 標籤

mistral:7b

層數

32

隱藏維度

4,096

KV 頭

8

頭維度

128

詳細計算規則可在資料方法頁查看。

裝置	價格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	NT$6,0955 筆掛單	117.1	32K
Tesla V100 32GB32 GB	NT$20,4794 筆掛單	117.1	32K
GeForce RTX 5060 Ti 16GB16 GB	NT$25,23314 筆掛單	63.5	32K
Radeon RX 7900 XTX24 GB	NT$27,76412 筆掛單	123.6	32K
GeForce RTX 309024 GB	NT$41,44513 筆掛單	121	32K
Ryzen AI Max+ 395 128GB整機 · 128 GB	NT$92,64316 筆掛單	37.7	32K
GeForce RTX 409024 GB	NT$121,8986 筆掛單	128.6	32K
RTX A600048 GB	NT$156,0307 筆掛單	102.4	32K
DGX Spark 128GB整機 · 128 GB	NT$209,66541 筆掛單	40.1	32K
MacBook Pro M5 Max 128GB整機 · 128 GB	NT$222,80110 筆掛單	84.3	32K
Mac Studio M5 Ultra 96GB整機 · 96 GB	NT$224,29315 筆掛單	150.9	32K
GeForce RTX 509032 GB	NT$253,54314 筆掛單	200.6	32K
RTX PRO 600096 GB	NT$609,4916 筆掛單	200.6	32K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

1. 1

   v0.3 比 v0.2 改了什麼

   v0.3 擴大了詞彙表（32768 個 token，搭配新的 v3 分詞器），並加入函式呼叫。32K 上下文是 v0.2 就有的，v0.1 只有 8K。做工具呼叫時要注意，Mistral 要求工具呼叫 ID 必須剛好是 9 位英文字母或數字，自己拼接對話歷史時很容易在這裡出錯。

2. 2

   用哪個框架

   llama.cpp、vLLM 都直接支援，Ollama 的 mistral:7b 就是 v0.3。官方推薦 mistral-inference；用 transformers 做函式呼叫要 4.42.0 以上。

3. 3

   量化選哪一檔

   4-bit 約 4.4 GB，5-bit 約 5.1 GB，8-bit 約 7.7 GB，彼此只差幾 GB，條件允許就用 8-bit。只有 6GB 以下的舊卡，才有必要考慮 3-bit（約 3.8 GB）或更低。

4. 4

   沒有內容審核

   官方說明這個模型沒有任何審核機制，對外開放的服務要自行加上輸入與輸出過濾。

ollama run mistral:7b

llama-server -hf bartowski/Mistral-7B-Instruct-v0.3-GGUF:Q4_K_M -c 8192

vllm serve mistralai/Mistral-7B-Instruct-v0.3

mlx_lm.server --model mlx-community/Mistral-7B-Instruct-v0.3-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

模型	總參數	激活參數	4-bit 模型大小
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB
Mistral Small 3.2 24B稠密	24B	24B	14.3 GB

關於 Mistral