本站含联盟链接。作为 eBay 合作伙伴，你通过本站链接购买时，我们可能获得佣金。作为 eBay 合作伙伴，我们可能获得佣金。了解详情

收录显卡57价格追踪49 天近 24h 价格数据43,303 条24h 降价最多Tesla V100 16GB-12.3%24h 涨价最多A100 80GB PCIe+9.4%更新于
¥ CNY

Llama 3.3 70B 如何本地部署？

Llama 3.3 70B 是 Meta 2024 年底发布的 70B 稠密模型，官方称多项成绩接近 Llama 3.1 405B。4-bit 加 8K 约 46 GB，要一张 48GB 以上的卡或两张 24GB 卡才放得下。128GB 统一内存的整机虽然装得下，但稠密模型每生成一个字都要把全部权重读一遍，4-bit 只有约 5 tokens/s。

Llama 3.3 70B 模型信息

  • 4-bit 最低显存47 GB · 8K
  • 参数量70.6B
  • 上下文上限128K
架构
稠密
许可证
Llama 3.3 Community License
发布日期
2024年12月6日
厂商
Meta AI
Hugging Face 仓库
meta-llama/Llama-3.3-70B-Instruct
GGUF 仓库
bartowski/Llama-3.3-70B-Instruct-GGUF
NVFP4 仓库（Blackwell）
nvidia/Llama-3.3-70B-Instruct-NVFP4
MLX 仓库（Apple）
mlx-community/Llama-3.3-70B-Instruct-4bit
Ollama 标签
llama3.3:70b
层数
80
隐藏维度
8,192
KV 头
8
头维度
128

Llama 3.3 70B 本地部署需要多少显存？

量化权重体积GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit16.8GGUF20.628.660.8
2-bit27.4GGUF31.239.271.4
3-bit38.1GGUF41.949.982.1
4-bit42.5GGUF46.354.386.5
5-bit49.9GGUF53.761.793.9
8-bit75GGUF78.886.8119
BF16/FP16141.1GGUF144.9152.9185.1

详细计算规则可在数据方法页查看。

单卡能跑 Llama 3.3 70B 吗？

要看量化。4-bit 加上 8K 上下文约 46 GB，单卡至少要 48GB 显存，常见的消费卡都装不下。单卡里最合适的是 96GB 的 RTX PRO 6000：每秒约 30 个 token，上下文能开满；48GB 的 RTX A6000 刚好装下，但速度不到它的一半，上下文也很紧。RTX 5090 只能退到 2-bit，速度还行，回答质量会明显打折。128GB 统一内存的整机连 8-bit 都放得下，可稠密模型每出一个字都要把全部权重读一遍，4-bit 每秒只有 5 个左右，只适合不赶时间的用法。

闲鱼
设备价格速度 t/s最大上下文
Instinct MI21064 GB¥18,49911 条挂单27.674K
Ryzen AI Max+ 395 128GB整机 · 128 GB¥19,00016 条挂单4.5128K
DGX Spark 128GB整机 · 128 GB¥43,00041 条挂单4.7128K
MacBook Pro M5 Max 128GB整机 · 128 GB¥45,69410 条挂单10.6128K
Mac Studio M5 Ultra 96GB整机 · 96 GB¥46,00015 条挂单20.9128K
RTX PRO 5000 72GB72 GB¥59,00023 条挂单22.8100K
Mac Studio M3 Ultra 512GB整机 · 512 GB¥117,5504 条挂单14128K
RTX PRO 600096 GB¥125,0006 条挂单30128K
A100 80GB PCIe80 GB¥140,0003 条挂单32.3126K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

多卡跑 Llama 3.3 70B 要几张显卡？

两张 32GB 的 RTX 5090 是最省事的组合，4-bit 每秒约 28 个 token。24GB 的卡（RTX 3090、4090、RX 7900 XTX）用 vLLM 跑 4-bit 要 4 张：模型加上 32K 上下文约 54 GB，两张卡合起来的 48GB 不够，四张时每秒约 15 个 token。只想用两张 24GB 卡也有办法：降到 2-bit，每秒约 21 个 token；或者换成 llama.cpp、上下文只开 8K，4-bit 刚好能塞进两张卡，只是余量很小。

闲鱼
设备需要几张总价总显存速度 t/s总功耗
Tesla V100 32GB单卡 32 GB2 张¥8,40064 GB14.2500 W
Radeon RX 7900 XTX单卡 24 GB4 张¥22,77696 GB15.11,420 W
Arc Pro B70单卡 32 GB2 张¥26,29864 GB9.6460 W
GeForce RTX 3090单卡 24 GB4 张¥34,00096 GB14.71,400 W
RTX A6000单卡 48 GB2 张¥64,00096 GB12.1600 W
GeForce RTX 4090单卡 24 GB4 张¥100,00096 GB15.81,800 W
GeForce RTX 5090单卡 32 GB2 张¥103,99864 GB27.71,150 W
GeForce RTX 4090 48GB单卡 48 GB2 张暂无96 GB15.8900 W

详细计算规则可在数据方法页查看。

本地部署 Llama 3.3 70B 要注意什么？

  1. 4-bit、5-bit 还是 8-bit

    4-bit 权重 42.5 GB，按 llama.cpp 开 8K 算，是两张 24GB 卡能放下的最高一档。有 96GB 单卡就上 8-bit（75.0 GB），RTX PRO 6000 上约 18 tokens/s，上下文约 80K。中间的 5-bit（49.9 GB）适合 48GB 加 24GB 这种大小不一的双卡。

  2. 用投机解码提速

    70B 生成慢，适合配一个草稿模型：小模型先猜几个字，大模型一次核对。vLLM 配方给了 Red Hat 训练的 EAGLE-3 草稿模型；llama.cpp 可以拿同词表的 Llama 3.2 3B 用 -md 当草稿。

  3. 框架与参数

    llama.cpp、Ollama（llama3.3:70b）、vLLM 都直接支持，工具调用格式和采样参数（temperature 0.6、top_p 0.9）都和 Llama 3.1 一样。

  4. 长上下文多占 40 GB

    它用的是普通注意力结构，上下文越长显存涨得越多：4-bit 从 8K 拉到 128K，显存从 46.3 GB 涨到 86.5 GB。两张 24GB 卡和单张 48GB 的 A6000 情况差不多，上下文只能开到 20K 左右；要开满 128K，得有 96GB 的单卡、4 张 24GB 卡或 128GB 整机。

启动命令

Ollama

  • Windows
  • macOS
  • Linux
终端
ollama run llama3.3:70b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
终端
llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版权重
终端
vllm serve meta-llama/Llama-3.3-70B-Instruct
NVFP4 · Blackwell

Blackwell 显卡（RTX 50 系、RTX PRO 6000、B200）能原生跑 NVFP4 权重，体积约为原版的三成。多卡加 --tensor-parallel-size 张数。

终端
vllm serve nvidia/Llama-3.3-70B-Instruct-NVFP4

MLX

  • Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端
mlx_lm.server --model mlx-community/Llama-3.3-70B-Instruct-4bit

量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法

Meta 家族的其他模型

模型总参数激活参数4-bit 模型大小
Llama 3.2 3B稠密3.2B3.2B2 GB
Llama 3.1 8B稠密8B8B4.9 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

关于 Meta