Llama 3.3 70B 如何本地部署？

VRAMGlass 编辑部 · 更新于 2026年9月10日

Llama 3.3 70B 是 70.6B 参数的稠密模型。Q4 量化最低需要 43GB 显存，8K 上下文下推荐 52GB。当前最便宜能跑的显卡是 Ryzen AI Max+ 395 128GB，约 ¥26,315，预估 3.1 tokens/s。

Llama 3.3 70B 版本信息

发布日期2024年11月26日

小版本—

架构稠密

Ollama 标签llama3.3:70b

Q4 最低显存43 GB · Q4_K_M · 8K

参数量70.6B

层数80

隐藏维度8,192

KV 头8

头维度128

上下文上限128K

厂商Meta AI

量化	权重体积GB	8K 总显存GB	32K 总显存GB	128K 总显存GB
1-bit	16.8GGUF	20.1	27.6	57.6
2-bit	27.4GGUF	29.7	37.2	67.2
3-bit	38.1GGUF	37.3	44.8	74.8
4-bit	42.5GGUF	42.8	50.3	80.3
5-bit	49.9GGUF	51.1	58.6	88.6
8-bit	75GGUF	76.6	84.1	114.1
FP16	141.1GGUF	141.5	149	179

总显存 = 权重 + KV cache（FP16）+ 1GB 运行开销。标 GGUF 的权重是仓库里的实测文件体积，标「估」的按每参数字节估算。超过这个模型 128K 上下文上限的档位写「—」。各档取仓库里该比特数的任一文件，优先 unsloth 动态量化，所以同一档不同模型对应的文件名可能不同。

AmazonJP

设备	显存GB	价	预估 t/s	建议上下文
Ryzen AI Max+ 395 128GB	128	¥26,3156 条挂单	3.1	128K
DGX Spark 128GB	128	¥55,3043 条挂单	4.6	128K
GeForce RTX 4090 48GB	48	—暂无挂单	16.8	8K
Radeon PRO W7900	48	—暂无挂单	10.3	8K
RTX PRO 5000 Blackwell 48GB	48	—暂无挂单	22.3	8K
CMP 170HX 64GB	64	—暂无挂单	24.7	32K
Instinct MI210	64	—暂无挂单	19.4	32K
RTX PRO 5000 Blackwell 72GB	72	—暂无挂单	22.3	32K
RTX PRO 6000D	84	—暂无挂单	25.9	128K
RTX PRO 6000 Blackwell	96	—暂无挂单	29.5	128K
Mac Studio M4 Max 128GB	128	—暂无挂单	7.2	128K
Mac Studio M5 Max 128GB	128	—暂无挂单	8.1	128K
MacBook Pro M4 Max 128GB	128	—暂无挂单	7.2	128K
MacBook Pro M5 Max 128GB	128	—暂无挂单	8.1	128K
Mac Studio M3 Ultra 512GB	512	—暂无挂单	10.8	128K

判定口径：权重 + KV cache + 运行开销 ≤ 可用显存，单卡。MoE 模型标「卸载」表示把专家权重放进系统内存后能跑（显存只放注意力层与 KV cache），速度按内存带宽 70 GB/s 估算。上下文列给的是能装下的最大档位。

Ollama

Ollama 一条命令拉起，量化档位由官方标签决定。

ollama run llama3.3:70b

llama.cpp

llama.cpp 直接从 Hugging Face 拉 GGUF，-c 是上下文长度。

llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度权重，显存要求比 GGUF 高得多，通常要多卡。

vllm serve meta-llama/Llama-3.3-70B-Instruct

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

在 Q4_K_M 量化、8K 上下文下 Llama 3.3 70B 约需 43GB 显存，留到 52GB 更稳。

Ryzen AI Max+ 395 128GB，128GB 显存，当前中位价约 ¥26,315，预估 3.1 tokens/s。

能，命令是 ollama run llama3.3:70b。