本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

Llama 3.1 8B 如何本地部署？

Llama 3.1 8B 是 Meta 2024 年 7 月发布的 8B 模型，放到今天已经是老模型，但生态最大：Hugging Face 上直接基于它的微调有三千多个。4-bit 加 8K 约 7 GB，8GB 显卡就能跑；它的弱点是长上下文很吃显存，拉满 128K 要 23.2 GB，是 Qwen3.5 9B 的两倍。

Llama 3.1 8B 模型信息

  • 4-bit 最低显存8 GB · 8K
  • 参数量8B
  • 上下文上限128K
架构
稠密
许可证
Llama 3.1 Community License
发布日期
2024年7月23日
厂商
Meta AI
Hugging Face 仓库
meta-llama/Llama-3.1-8B-Instruct
GGUF 仓库
bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
NVFP4 仓库（Blackwell）
nvidia/Llama-3.1-8B-Instruct-NVFP4
MLX 仓库（Apple）
mlx-community/Llama-3.1-8B-Instruct-4bit
Ollama 标签
llama3.1:8b
层数
32
隐藏维度
4,096
KV 头
8
头维度
128

Llama 3.1 8B 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit2估4.27.420.3
2-bit3.7GGUF5.89.122
3-bit4.8GGUF6.910.223.1
4-bit4.9GGUF710.323.2
5-bit5.7GGUF7.811.124
8-bit8.5GGUF10.613.926.8
BF16/FP1616.9估1922.235.1

详细计算规则可在数据方法页查看。

单卡能跑 Llama 3.1 8B 吗？

能，8GB 显卡跑 4-bit 加 8K 上下文（约 7 GB）就够日常对话。要多想一步的是上下文：记的内容越长，显存就得跟着多占，4-bit 开满 128K 要 23.2 GB。因此 12GB、16GB 的卡得先定下要开多长，再挑放得下的最高一档，比如 16GB 卡用 8-bit 还能开到 5 万多。要用 8-bit 读长文档，24GB 的 RTX 3090 最合适，上下文能开到约 120K，速度也很宽裕。

闲鱼
设备价格速度 t/s最大上下文
Tesla V100 16GB16 GB¥1,2505 条挂单107.983K
Tesla V100 32GB32 GB¥4,2004 条挂单107.9128K
GeForce RTX 5060 Ti 16GB16 GB¥5,17514 条挂单58.183K
Radeon RX 7900 XTX24 GB¥5,69412 条挂单114128K
GeForce RTX 309024 GB¥8,50013 条挂单111.6128K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单34.4128K
GeForce RTX 409024 GB¥25,0006 条挂单118.7128K
RTX A600048 GB¥32,0007 条挂单94.2128K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单36.6128K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单77.4128K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单139.7128K
GeForce RTX 509032 GB¥51,99914 条挂单186.9128K
RTX PRO 600096 GB¥125,0006 条挂单186.9128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 Llama 3.1 8B 要注意什么？

  1. 量化按上下文需求选

    4-bit（4.9 GB）到 8-bit（8.5 GB）之间，选能放下你要的上下文的最高一档。它的上下文每多 1K token，缓存约多 0.13 GB，4-bit 开到 32K 就要 10.3 GB。它原生只有 8K，128K 是靠 RoPE 缩放扩出来的。

  2. 许可证对微调的要求

    Llama 3.1 社区许可证规定：分发它或基于它的模型时，要醒目标注「Built with Llama」；用它或它的输出训练、微调出的模型对外发布时，名字要以「Llama」开头；月活超过 7 亿的公司要另找 Meta 授权。基于它的微调版同样受这份许可证约束。

  3. 工具调用

    Llama 3.1 训练时就带工具调用格式，还认识 brave_search、wolfram_alpha、code_interpreter 三个内置工具名；llama.cpp 的 llama-server 加 --jinja 就能识别。采样沿用 Meta 的默认值，temperature 0.6、top_p 0.9。

  4. 老在哪里

    知识截止 2023 年 12 月，只能处理文字；官方支持英、德、法、意、葡、印地、西、泰 8 种语言，中文不在其中，Meta 明确不建议不经微调就拿它用不支持的语言对话。中文用途建议看 Qwen3.5 9B。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run llama3.1:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
终端
llama-server -hf bartowski/Meta-Llama-3.1-8B-Instruct-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版权重
终端
vllm serve meta-llama/Llama-3.1-8B-Instruct
NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。

终端
vllm serve nvidia/Llama-3.1-8B-Instruct-NVFP4

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model mlx-community/Llama-3.1-8B-Instruct-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

Meta 家族的其他模型

模型总参数激活参数4-bit 模型大小
Llama 3.2 3B稠密3.2B3.2B2 GB
Llama 3.3 70B稠密70.6B70.6B42.5 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

关于 Meta