本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

Llama 3.2 3B 如何本地部署？

Llama 3.2 3B 是 Meta 2024 年 9 月发布的 3B 小模型，4-bit 加 8K 约 4 GB，几乎任何显卡都能跑。它训练时向 Llama 3.1 8B、70B 学过（蒸馏），适合查询改写、摘要、调工具这类轻任务，或者给同家族的大模型当草稿模型；要中文对话或看图，选 2026 年的新小模型。

Llama 3.2 3B 模型信息

  • 4-bit 最低显存5 GB · 8K
  • 参数量3.2B
  • 上下文上限128K
架构
稠密
许可证
Llama 3.2 Community License
发布日期
2024年9月25日
厂商
Meta AI
Hugging Face 仓库
meta-llama/Llama-3.2-3B-Instruct
GGUF 仓库
bartowski/Llama-3.2-3B-Instruct-GGUF
MLX 仓库（Apple）
mlx-community/Llama-3.2-3B-Instruct-4bit
Ollama 标签
llama3.2:3b
层数
28
隐藏维度
3,072
KV 头
8
头维度
128

Llama 3.2 3B 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit0.8估2.85.616.9
2-bit1.3估3.36.117.4
3-bit1.9GGUF3.96.718
4-bit2GGUF46.818.1
5-bit2.3GGUF4.37.118.4
8-bit3.4GGUF5.48.219.5
BF16/FP166.4GGUF8.411.222.5

详细计算规则可在数据方法页查看。

单卡能跑 Llama 3.2 3B 吗？

8GB 以上的显卡都能轻松跑，8-bit 加 8K 上下文也只要 5.4 GB。显存既然不紧，就别往 4-bit 压：小模型对量化更敏感，Meta 测过直接压到 4-bit 会明显掉分，8-bit 或干脆不量化的原版才是它该用的档位。要留意的反而是上下文，开到 128K 要近 20 GB，是模型本身的好几倍；16GB 卡用 8-bit 能开到 10 万出头，想开满就用 24GB 卡。速度不用担心，最慢的 128GB 统一内存整机用 8-bit 每秒也有约 50 个 token。

闲鱼
设备价格速度 t/s最大上下文
Tesla V100 16GB16 GB¥1,2505 条挂单201.4120K
Tesla V100 32GB32 GB¥4,2004 条挂单201.4128K
GeForce RTX 5060 Ti 16GB16 GB¥5,17514 条挂单116.8120K
Radeon RX 7900 XTX24 GB¥5,69412 条挂单210.9128K
GeForce RTX 309024 GB¥8,50013 条挂单207.2128K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单71.8128K
GeForce RTX 409024 GB¥25,0006 条挂单218.2128K
RTX A600048 GB¥32,0007 条挂单179.3128K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单76128K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单150.9128K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单249.3128K
GeForce RTX 509032 GB¥51,99914 条挂单313.4128K
RTX PRO 600096 GB¥125,0006 条挂单313.4128K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

本地部署 Llama 3.2 3B 要注意什么？

  1. 显存够就用 8-bit

    在电脑上显存不是问题，直接用 8-bit（权重 3.4 GB）或 FP16（6.4 GB）。小模型对量化更敏感：Meta 测过，不做额外训练直接压到 4-bit，MMLU 从 63.4 掉到 60.5（这一版只用于对比，没有发布）。GGUF 的 Q4_K_M 用的不是同一种方法，但道理一样。

  2. Meta 官方的手机版

    Meta 另外发布了 SpinQuant 和 QLoRA 两种官方 4-bit 版本，是为在手机的 Arm CPU 上运行而做的（用 ExecuTorch），上下文限制在 8K，MMLU 分别是 62 和 62.4，比直接量化损失小。电脑上用 GGUF 就行。

  3. 给大模型当草稿模型

    它和 Llama 3.1 8B、Llama 3.3 70B 用同一套词表，可以在 llama.cpp 里用 -md 加载，给大模型当投机解码的草稿模型：小模型先猜几个字，大模型一次核对，能提高生成速度。

  4. 工具调用和采样参数

    llama.cpp 原生支持 Llama 3.2 的工具调用格式，llama-server 启动时加 --jinja 即可。Meta 的测试里，3B 的工具调用成绩（BFCL V2 67.0）和 Llama 3.1 8B（67.1）几乎一样。采样参数用 Meta 给的 temperature 0.6、top_p 0.9。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run llama3.2:3b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
终端
llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
终端
vllm serve meta-llama/Llama-3.2-3B-Instruct

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

Meta 家族的其他模型

模型总参数激活参数4-bit 模型大小
Llama 3.1 8B稠密8B8B4.9 GB
Llama 3.3 70B稠密70.6B70.6B42.5 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

关于 Meta