Mistral 7B v0.3 如何本地部署？

Mistral 7B v0.3 是 Mistral 2024 年 5 月发布的 7B 模型，这一版加入了函数调用。4-bit 下 8GB 显卡能开 8K 上下文，12GB 显卡就能开满 32K。它的问题是旧：同家族的 Ministral 3 8B 显存只多一点，上下文却长 8 倍，还能看图。

Mistral 7B v0.3 模型信息

4-bit 最低显存7 GB · 8K
参数量7.3B
上下文上限32K

架构: 稠密
许可证: Apache-2.0
发布日期: 2024年5月22日
厂商: Mistral AI
Hugging Face 仓库: mistralai/Mistral-7B-Instruct-v0.3
GGUF 仓库: bartowski/Mistral-7B-Instruct-v0.3-GGUF
MLX 仓库（Apple）: mlx-community/Mistral-7B-Instruct-v0.3-4bit
Ollama 标签: mistral:7b
层数: 32
隐藏维度: 4,096
KV 头: 8
头维度: 128

Mistral 7B v0.3 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文（最大）GB
1-bit	1.8GGUF	3.9	7.2
2-bit	2.5GGUF	4.6	7.9
3-bit	3.8GGUF	5.9	9.2
4-bit	4.4GGUF	6.5	9.8
5-bit	5.1GGUF	7.2	10.5
8-bit	7.7GGUF	9.8	13.1
BF16/FP16	15.2估	17.4	20.6

详细计算规则可在数据方法页查看。

单卡能跑 Mistral 7B v0.3 吗？

轻松能跑，而且不用为上下文发愁：它最长只支持 32K，4-bit 开满也不到 10 GB，8GB 显卡开 8K 左右就能用。要挑的只剩量化档。显存 16GB 以上就直接上 8-bit，开满 32K 约 13.1 GB，回答质量几乎没有损失；12GB 的卡想用 8-bit，把上下文收到 8K 左右就行。速度主要看显存带宽，8-bit 在 RTX 3090 上每秒近 80 个 token，RTX 5060 Ti 16GB 慢一半，聊天也够用。

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	172.9	32K
Tesla V100 32GB32 GB	¥4,2004 条挂单	172.9	32K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	98	32K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	181.5	32K
GeForce RTX 309024 GB	¥8,50013 条挂单	178.1	32K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	59.5	32K
GeForce RTX 409024 GB	¥25,0006 条挂单	188.1	32K
RTX A600048 GB	¥32,0007 条挂单	152.9	32K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	63.1	32K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	127.8	32K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	216.8	32K
GeForce RTX 509032 GB	¥51,99914 条挂单	277.6	32K
RTX PRO 600096 GB	¥125,0006 条挂单	277.6	32K

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	117.1	32K
Tesla V100 32GB32 GB	¥4,2004 条挂单	117.1	32K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	63.5	32K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	123.6	32K
GeForce RTX 309024 GB	¥8,50013 条挂单	121	32K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	37.7	32K
GeForce RTX 409024 GB	¥25,0006 条挂单	128.6	32K
RTX A600048 GB	¥32,0007 条挂单	102.4	32K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	40.1	32K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	84.3	32K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	150.9	32K
GeForce RTX 509032 GB	¥51,99914 条挂单	200.6	32K
RTX PRO 600096 GB	¥125,0006 条挂单	200.6	32K

设备	价格	速度 t/s	最大上下文
Tesla V100 16GB16 GB	¥1,2505 条挂单	75.1	32K
Tesla V100 32GB32 GB	¥4,2004 条挂单	75.1	32K
GeForce RTX 5060 Ti 16GB16 GB	¥5,17514 条挂单	39.4	32K
Radeon RX 7900 XTX24 GB	¥5,69412 条挂单	79.5	32K
GeForce RTX 309024 GB	¥8,50013 条挂单	77.7	32K
Ryzen AI Max+ 395 128GB整机 · 128 GB	¥19,00016 条挂单	23.1	32K
GeForce RTX 409024 GB	¥25,0006 条挂单	83	32K
RTX A600048 GB	¥32,0007 条挂单	65.1	32K
DGX Spark 128GB整机 · 128 GB	¥43,00041 条挂单	24.6	32K
MacBook Pro M5 Max 128GB整机 · 128 GB	¥45,69410 条挂单	53	32K
Mac Studio M5 Ultra 96GB整机 · 96 GB	¥46,00015 条挂单	98.7	32K
GeForce RTX 509032 GB	¥51,99914 条挂单	135.4	32K
RTX PRO 600096 GB	¥125,0006 条挂单	135.4	32K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 Mistral 7B v0.3 要注意什么？

v0.3 比 v0.2 改了什么
v0.3 扩大了词表（32768 个 token，配新的 v3 分词器），加入了函数调用。32K 上下文是 v0.2 就有的，v0.1 只有 8K。做工具调用时要注意，Mistral 要求工具调用 ID 正好是 9 位字母或数字，自己拼对话历史时很容易在这里出错。
用什么框架
llama.cpp、vLLM 都直接支持，Ollama 的 mistral:7b 就是 v0.3。官方推荐 mistral-inference；用 transformers 做函数调用要 4.42.0 以上。
量化选哪一档
4-bit 约 4.4 GB，5-bit 约 5.1 GB，8-bit 约 7.7 GB，彼此只差几 GB，有条件就用 8-bit。只有 6GB 以下的老卡，才有必要考虑 3-bit（约 3.8 GB）或更低。
没有内容审核
官方说明这个模型没有任何审核机制，对外开放的服务要自己加输入输出过滤。

启动命令

Ollama

Windows
macOS
Linux

终端

ollama run mistral:7b

llama.cpp

NVIDIA
AMD
Mac
CPU

终端

llama-server -hf bartowski/Mistral-7B-Instruct-v0.3-GGUF:Q4_K_M -c 8192

vLLM

Linux
NVIDIA
AMD

终端

vllm serve mistralai/Mistral-7B-Instruct-v0.3

MLX

Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端

mlx_lm.server --model mlx-community/Mistral-7B-Instruct-v0.3-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Mistral 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Ministral 3 8B稠密	8.4B	8.4B	5.2 GB
Mistral Nemo稠密	12.3B	12.3B	7.5 GB
Ministral 3 14B稠密	13.5B	13.5B	8.2 GB
Mistral Small 3.2 24B稠密	24B	24B	14.3 GB

关于 Mistral