本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Llama 3.3 70B 如何本地部署？

Llama 3.3 70B 是 Meta 在 2024 年底發布的 70B 稠密模型，官方表示多項成績接近 Llama 3.1 405B。4-bit 加 8K 約 46 GB，要一張 48GB 以上的卡或兩張 24GB 的卡才放得下。128GB 統一記憶體的整機雖然放得下，但稠密模型每生成一個字都要把全部權重讀過一遍，4-bit 只有約 5 tokens/s。

Llama 3.3 70B 模型資訊

  • 4-bit 最低顯示記憶體47 GB · 8K
  • 參數量70.6B
  • 上下文上限128K
架構
稠密
授權
Llama 3.3 Community License
發布日期
2024年12月6日
廠商
Meta AI
Hugging Face 倉庫
meta-llama/Llama-3.3-70B-Instruct
GGUF 倉庫
bartowski/Llama-3.3-70B-Instruct-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Llama-3.3-70B-Instruct-NVFP4
MLX 倉庫（Apple）
mlx-community/Llama-3.3-70B-Instruct-4bit
Ollama 標籤
llama3.3:70b
層數
80
隱藏維度
8,192
KV 頭
8
頭維度
128

Llama 3.3 70B 本地部署需要多少顯示記憶體？

量化權重體積GB8K 上下文GB32K 上下文GB128K 上下文（最大）GB
1-bit16.8GGUF20.628.660.8
2-bit27.4GGUF31.239.271.4
3-bit38.1GGUF41.949.982.1
4-bit42.5GGUF46.354.386.5
5-bit49.9GGUF53.761.793.9
8-bit75GGUF78.886.8119
BF16/FP16141.1GGUF144.9152.9185.1

詳細計算規則可在資料方法頁查看。

單卡能跑 Llama 3.3 70B 嗎？

要看量化。4-bit 加上 8K 上下文約 46 GB，單卡至少需要 48GB 顯示記憶體，一般的消費級顯示卡都放不下。單卡裡最理想的是 96GB 的 RTX PRO 6000：每秒約 30 個 token，上下文可以開滿；48GB 的 RTX A6000 剛好放得下，但速度不到它的一半，上下文也很吃緊。RTX 5090 只能退到 2-bit，速度還過得去，回答品質卻會明顯打折扣。128GB 統一記憶體的整機連 8-bit 都放得下，不過稠密模型每生成一個字都要把全部權重讀過一遍，4-bit 每秒只有 5 個左右，只適合不趕時間的用途。

閒魚
裝置價格速度 t/s最大上下文
Instinct MI21064 GBNT$90,20011 筆掛單27.674K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單4.5128K
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單4.7128K
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單10.6128K
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單20.9128K
RTX PRO 5000 72GB72 GBNT$287,68023 筆掛單22.8100K
Mac Studio M3 Ultra 512GB整機 · 512 GBNT$573,1654 筆掛單14128K
RTX PRO 600096 GBNT$609,4916 筆掛單30128K
A100 80GB PCIe80 GBNT$682,6303 筆掛單32.3126K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

多卡跑 Llama 3.3 70B 要幾張顯示卡？

最省事的組合是兩張 32GB 的 RTX 5090，4-bit 每秒約 28 個 token。24GB 的卡（RTX 3090、4090、RX 7900 XTX）用 vLLM 跑 4-bit 得用到 4 張：模型加上 32K 上下文約 54 GB，兩張卡合計的 48GB 不夠，四張時每秒約 15 個 token。只想用兩張 24GB 卡也有辦法：降到 2-bit，每秒約 21 個 token；或是改用 llama.cpp、上下文只開 8K，4-bit 剛好塞得進兩張卡，只是餘裕很小。

閒魚
裝置需要幾張總價總顯示記憶體速度 t/s總功耗
Tesla V100 32GB單卡 32 GB2 張NT$40,95864 GB14.2500 W
Radeon RX 7900 XTX單卡 24 GB4 張NT$111,05496 GB15.11,420 W
Arc Pro B70單卡 32 GB2 張NT$128,22764 GB9.6460 W
GeForce RTX 3090單卡 24 GB4 張NT$165,78296 GB14.71,400 W
RTX A6000單卡 48 GB2 張NT$312,05996 GB12.1600 W
GeForce RTX 4090單卡 24 GB4 張NT$487,59396 GB15.81,800 W
GeForce RTX 5090單卡 32 GB2 張NT$507,08764 GB27.71,150 W
GeForce RTX 4090 48GB單卡 48 GB2 張暫無96 GB15.8900 W

詳細計算規則可在資料方法頁查看。

本地部署 Llama 3.3 70B 要注意什麼？

  1. 4-bit、5-bit 還是 8-bit

    4-bit 權重 42.5 GB，以 llama.cpp 開 8K 計算，是兩張 24GB 卡能放下的最高一檔。有 96GB 單卡就用 8-bit（75.0 GB），在 RTX PRO 6000 上約 18 tokens/s，上下文約 80K。介於中間的 5-bit（49.9 GB）適合 48GB 加 24GB 這種容量不一的雙卡組合。

  2. 用推測解碼加速

    70B 生成慢，適合搭配一個草稿模型：小模型先猜幾個字，大模型一次核對。vLLM 配方提供了 Red Hat 訓練的 EAGLE-3 草稿模型；llama.cpp 則可以拿同詞彙表的 Llama 3.2 3B 用 -md 當草稿。

  3. 框架與參數

    llama.cpp、Ollama（llama3.3:70b）、vLLM 都直接支援，工具呼叫格式和取樣參數（temperature 0.6、top_p 0.9）都和 Llama 3.1 相同。

  4. 長上下文多佔 40 GB

    它用的是一般的注意力結構，上下文越長，顯示記憶體漲得越多：4-bit 從 8K 拉到 128K，顯示記憶體從 46.3 GB 增加到 86.5 GB。兩張 24GB 的卡和單張 48GB 的 A6000 情況差不多，上下文只能開到 20K 左右；要開滿 128K，得有 96GB 的單卡、4 張 24GB 的卡或 128GB 整機。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run llama3.3:70b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
終端機
llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve meta-llama/Llama-3.3-70B-Instruct
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。多卡加上 --tensor-parallel-size 張數。

終端機
vllm serve nvidia/Llama-3.3-70B-Instruct-NVFP4

MLX

  • Apple 晶片

在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。

終端機
mlx_lm.server --model mlx-community/Llama-3.3-70B-Instruct-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Meta 家族的其他模型

模型總參數激活參數4-bit 模型大小
Llama 3.2 3B稠密3.2B3.2B2 GB
Llama 3.1 8B稠密8B8B4.9 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

關於 Meta