Llama 3.3 70B 如何本地部署？

VRAMGlass 編輯部 · 更新於 2026年9月10日

Llama 3.3 70B 是 70.6B 參數的稠密模型。Q4 量化最低需要 43GB 記憶體，8K 上下文下建議 52GB。目前最便宜能跑的顯示卡是 Ryzen AI Max+ 395 128GB，約 NT$123,134，預估 3.1 tokens/s。

Llama 3.3 70B 版本資訊

發布日期2024年11月26日

Hugging Face 倉庫meta-llama/Llama-3.3-70B-Instruct

小版本—

授權Llama 3.3 Community License

架構稠密

GGUF 倉庫bartowski/Llama-3.3-70B-Instruct-GGUF

Ollama 標籤llama3.3:70b

Q4 最低記憶體43 GB · Q4_K_M · 8K

參數量70.6B

層數80

隱藏維度8,192

KV 頭8

頭維度128

上下文上限128K

廠商Meta AI

Llama 3.3 70B 本地部署需要多少顯示記憶體？

量化	權重體積GB	8K 總記憶體GB	32K 總記憶體GB	128K 總記憶體GB
1-bit	16.8GGUF	20.1	27.6	57.6
2-bit	27.4GGUF	29.7	37.2	67.2
3-bit	38.1GGUF	37.3	44.8	74.8
4-bit	42.5GGUF	42.8	50.3	80.3
5-bit	49.9GGUF	51.1	58.6	88.6
8-bit	75GGUF	76.6	84.1	114.1
FP16	141.1GGUF	141.5	149	179

總記憶體 = 權重 + KV cache（FP16）+ 1GB 執行開銷。標 GGUF 的權重是倉庫裡的實測檔案體積，標「估」的按每參數位元組估算。超過這個模型 128K 上下文上限的檔位寫「—」。各檔取倉庫裡該位元數的任一檔案，優先 unsloth 動態量化，所以同一檔不同模型對應的檔名可能不同。

什麼顯示卡能跑 Llama 3.3 70B？

AmazonJP

裝置	顯存GB	價	預估 t/s	建議上下文
Ryzen AI Max+ 395 128GB	128	NT$123,1346 筆掛單	3.1	128K
DGX Spark 128GB	128	NT$258,7793 筆掛單	4.6	128K
GeForce RTX 4090 48GB	48	—暫無掛單	16.8	8K
Radeon PRO W7900	48	—暫無掛單	10.3	8K
RTX PRO 5000 Blackwell 48GB	48	—暫無掛單	22.3	8K
CMP 170HX 64GB	64	—暫無掛單	24.7	32K
Instinct MI210	64	—暫無掛單	19.4	32K
RTX PRO 5000 Blackwell 72GB	72	—暫無掛單	22.3	32K
RTX PRO 6000D	84	—暫無掛單	25.9	128K
RTX PRO 6000 Blackwell	96	—暫無掛單	29.5	128K
Mac Studio M4 Max 128GB	128	—暫無掛單	7.2	128K
Mac Studio M5 Max 128GB	128	—暫無掛單	8.1	128K
MacBook Pro M4 Max 128GB	128	—暫無掛單	7.2	128K
MacBook Pro M5 Max 128GB	128	—暫無掛單	8.1	128K
Mac Studio M3 Ultra 512GB	512	—暫無掛單	10.8	128K

判定口徑：權重 + KV cache + 執行開銷 ≤ 可用記憶體，單卡。MoE 模型標「卸載」表示把專家權重放進系統記憶體後能跑（顯存只放注意力層與 KV cache），速度按記憶體頻寬 70 GB/s 估算。上下文欄給的是能裝下的最大檔位。

用 Ollama / llama.cpp / vLLM 本地部署 Llama 3.3 70B

Ollama

Ollama 一行指令拉起，量化檔位由官方標籤決定。

ollama run llama3.3:70b

llama.cpp

llama.cpp 直接從 Hugging Face 拉 GGUF，-c 是上下文長度。

llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

vLLM 跑的是原始精度權重，記憶體需求比 GGUF 高得多，通常要多卡。

vllm serve meta-llama/Llama-3.3-70B-Instruct

量化檔名以模型庫當週抓取為準，口徑見資料方法。資料方法

常見問題

Llama 3.3 70B 需要多少記憶體？

在 Q4_K_M 量化、8K 上下文下 Llama 3.3 70B 約需 43GB 記憶體，留到 52GB 更穩。

哪張顯示卡最便宜能跑 Llama 3.3 70B？

Ryzen AI Max+ 395 128GB，128GB 記憶體，目前中位價約 NT$123,134，預估 3.1 tokens/s。

Llama 3.3 70B 能用 Ollama 跑嗎？

能，指令是 ollama run llama3.3:70b。