本站含聯盟連結。身為 eBay 合作夥伴，你透過本站連結購買時，我們可能獲得佣金。身為 eBay 合作夥伴，我們可能獲得佣金。了解詳情

收錄顯卡57價格追蹤49 天近 24h 價格資料43,303 筆24h 降價最多Tesla V100 16GB-12.3%24h 漲價最多A100 80GB PCIe+9.4%更新於
NT$ TWD

Llama 4 Scout 17B 16E 如何本地部署？

Llama 4 Scout 是 Meta 在 2025 年 4 月發布的多模態 MoE，108.6B 參數、每個字動用 17B，能看圖。官方表示它支援 1,000 萬 token 的上下文，但真要開滿需要 500 GB 以上，在本機實際能開的是幾十萬到一百多萬。4-bit 加 32K 約 69 GB，96GB 的 RTX PRO 6000 或 128GB 統一記憶體的整機能整個放下。

Llama 4 Scout 17B 16E 模型資訊

  • 4-bit 最低顯示記憶體69 GB · 8K
  • 參數量108.6B
  • 激活參數17B
  • 上下文上限10M
架構
MoE
專家卸載
11 GB 顯存 + 59 GB 記憶體
授權
Llama 4 Community License
發布日期
2025年4月5日
廠商
Meta AI
Hugging Face 倉庫
meta-llama/Llama-4-Scout-17B-16E-Instruct
GGUF 倉庫
unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF
NVFP4 倉庫（Blackwell）
nvidia/Llama-4-Scout-17B-16E-Instruct-NVFP4
MLX 倉庫（Apple）
mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit
Ollama 標籤
llama4:scout
層數
48
隱藏維度
5,120
KV 頭
8
頭維度
128

Llama 4 Scout 17B 16E 本地部署需要多少顯示記憶體？

量化權重體積GB32K 上下文GB128K 上下文GB256K 上下文GB10M 上下文（最大）GB
1-bit35GGUF38.943.750.2552.7
2-bit42.4GGUF46.351.157.6560.1
3-bit49GGUF52.957.764.2566.7
4-bit65.4GGUF69.374.180.6583.1
5-bit76.5GGUF80.485.291.7594.2
8-bit114.5GGUF118.4123.2129.7632.2
BF16/FP16215.6GGUF219.5224.3230.8733.3

詳細計算規則可在資料方法頁查看。

單卡能跑 Llama 4 Scout 17B 16E 嗎？

消費級顯示卡單卡都不行，4-bit 要專業卡或資料中心卡。RTX PRO 6000、80GB 的 A100 和 72GB 的 RTX PRO 5000 都能把 4-bit 整個放下，上下文也開得長；64GB 的 MI210 剛好塞得進，上下文只剩兩萬左右。48GB 的 RTX A6000 只能退到 2-bit，32GB 的 RTX 5090 連 2-bit 都放不下。所幸只要放得下就跑得快：它每個字只動用一小部分專家，實際只讀約 17B 參數，在 RTX PRO 6000 上每秒約 79 個 token。統一記憶體的整機也放得下 4-bit，96GB 的 Mac Studio M5 Ultra 每秒約 61 個，128GB 的 DGX Spark 這類整機也有十幾個，比同等大小的稠密模型快得多。手邊只有 24GB 卡，就把專家放到主機記憶體裡跑。

閒魚
裝置價格速度 t/s最大上下文
Instinct MI21064 GBNT$90,20011 筆掛單74.220K
Ryzen AI Max+ 395 128GB整機 · 128 GBNT$92,64316 筆掛單16.41.4M
DGX Spark 128GB整機 · 128 GBNT$209,66541 筆掛單17.41.4M
MacBook Pro M5 Max 128GB整機 · 128 GBNT$222,80110 筆掛單35.61.4M
Mac Studio M5 Ultra 96GB整機 · 96 GBNT$224,29315 筆掛單61703K
RTX PRO 5000 72GB72 GBNT$287,68023 筆掛單64.9191K
Mac Studio M3 Ultra 512GB整機 · 512 GBNT$573,1654 筆掛單44.99.4M
RTX PRO 600096 GBNT$609,4916 筆掛單78.6703K
A100 80GB PCIe80 GBNT$682,6303 筆掛單82.4361K

只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。

多卡跑 Llama 4 Scout 17B 16E 要幾張顯示卡？

用 vLLM 分到多卡時，兩張 48GB 的 RTX A6000 是張數最少的 4-bit 方案：以 32K 上下文計算約 69 GB，兩張剛好放得下，每秒約 41 個 token。24GB 的卡（RTX 3090、4090、RX 7900 XTX）要 4 張，兩張加起來才 48GB；四張的顯示記憶體頻寬加總更高，反而比兩張 A6000 快一點，每秒接近 50 個。兩張 32GB 的 RTX 5090 只放得下 2-bit，速度最快，但回答品質會打折扣。想跑 8-bit，就得用兩張 96GB 的 RTX PRO 6000 或四張 5090。

閒魚
裝置需要幾張總價總顯示記憶體速度 t/s總功耗
Tesla V100 32GB單卡 32 GB4 張NT$81,916128 GB46.41,000 W
Radeon RX 7900 XTX單卡 24 GB4 張NT$111,05496 GB48.81,420 W
GeForce RTX 3090單卡 24 GB4 張NT$165,78296 GB47.91,400 W
Instinct MI210單卡 64 GB2 張NT$180,400128 GB71.7600 W
Arc Pro B70單卡 32 GB4 張NT$256,454128 GB33.8920 W
RTX A6000單卡 48 GB2 張NT$312,05996 GB40.9600 W
GeForce RTX 4090單卡 24 GB4 張NT$487,59396 GB50.71,800 W
GeForce RTX 5090單卡 32 GB4 張NT$1,014,174128 GB762,300 W
GeForce RTX 4090 48GB單卡 48 GB2 張暫無96 GB50.7900 W

詳細計算規則可在資料方法頁查看。

用整機跑 Llama 4 Scout 17B 16E 要什麼配置？

它每個字只走 16 個路由專家中的 1 個，再加上 1 個共享專家，所以把專家放進系統記憶體也跑得動。4-bit 下，8 通道 DDR4 的二手伺服器配 RTX 3090 約 26 tokens/s，雙通道 DDR5 桌機配 16GB 顯示卡約 16，DDR4 桌機不到 10；降到 2-bit 的話，DDR5 桌機能到約 26。

閒魚

2 × GeForce RTX 5070 + 家用 DDR5

家用
生成速度16.5t/s
記憶體頻寬96GB/s
顯示卡
2 × GeForce RTX 507011 / 48 層專家放進 24 GB 顯示記憶體
NT$63,758
記憶體
64 GB DDR5-60002 條 × 32 GB
NT$27,334
CPU
AMD Ryzen 7 77008 核 16 執行緒 · 2 通道
NT$4,145
主機板
Gigabyte B650 EAGLE AX4 個記憶體插槽
NT$2,936
電源
海盜船 RM850x850 W
NT$4,871
整機參考價NT$103,044

2 × Tesla V100 32GB + E5 雙路 DDR4

低價
生成速度44.7t/s
記憶體頻寬137GB/s
顯示卡
2 × Tesla V100 32GB46 / 48 層專家放進 64 GB 顯示記憶體
NT$40,958
記憶體
128 GB DDR4-21338 條 × 16 GB
NT$16,968
CPU
2 × Intel Xeon E5-2680 v4共 28 核 56 執行緒 · 8 通道
NT$780
主機板
Supermicro X10DRi16 個記憶體插槽
NT$5,873
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$73,351

GeForce RTX 3090 + EPYC 單路 DDR4

性價比
生成速度26.2t/s
記憶體頻寬171GB/s
顯示卡
GeForce RTX 309012 / 48 層專家放進 24 GB 顯示記憶體
NT$41,445
記憶體
128 GB DDR4-26668 條 × 16 GB
NT$26,915
CPU
AMD EPYC 753232 核 64 執行緒 · 8 通道
NT$8,483
主機板
Supermicro H12SSL-i8 個記憶體插槽
NT$35,889
電源
海盜船 RM850x850 W
NT$4,871
整機參考價NT$117,603

GeForce RTX 5090 + EPYC 單路 DDR5

旗艦
生成速度56.6t/s
記憶體頻寬461GB/s
顯示卡
GeForce RTX 509019 / 48 層專家放進 32 GB 顯示記憶體
NT$253,543
記憶體
192 GB DDR5-480012 條 × 16 GB
NT$204,789
CPU
AMD EPYC 935432 核 64 執行緒 · 12 通道
NT$59,706
主機板
Supermicro H13SSL-N12 個記憶體插槽
NT$26,754
電源
海盜船 RM1200x SHIFT1,200 W
NT$8,772
整機參考價NT$553,564

詳細計算規則可在資料方法頁查看。

部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。

本地部署 Llama 4 Scout 17B 16E 要注意什麼？

  1. 看圖怎麼開

    Ollama 的 llama4:scout 直接支援圖片輸入。llama.cpp 要連同看圖用的 mmproj 檔案一起載入，用 ggml-org 打包的 GGUF 時，-hf 會一併下載。Meta 測試過的是一次最多 5 張圖。

  2. 長上下文為什麼比 70B 省

    它每 4 層中有 3 層只在 8K 的小區段內做注意力，只有 1 層看全文，所以 4-bit 從 32K 拉到 256K 只多約 11 GB。在 Meta 的長文測試 MTOB（拿半本到整本書做翻譯）中，Llama 3.3 70B 因為上下文只有 128K 而沒有成績，Scout 則有。

  3. 量化與框架

    Meta 只發布了 BF16 權重，官方表示搭配即時 int4 量化可以放進一張 H100；vLLM 配方另外列出 NVIDIA 的 FP8 版。家用的話就用 GGUF：4-bit 約 65 GB，3-bit 約 49 GB。取樣預設值沒變，仍是 temperature 0.6、top_p 0.9。

  4. 語言和授權條款

    官方支援 12 種語言，不含中文。Llama 4 的使用政策還規定，居住在歐盟的個人以及主要營業地在歐盟的公司，無法取得多模態模型的使用授權（只是使用相關產品的終端使用者不受限制），而 Scout 就是多模態模型。

啟動指令

Ollama

  • Windows
  • macOS
  • Linux
終端機
ollama run llama4:scout

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
全部放進顯示記憶體
終端機
llama-server -hf unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF:Q4_K_M \
  -c 8192
專家卸載

顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 59 GB）。

終端機
llama-server -hf unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF:Q4_K_M \
  -c 8192 -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
原版權重
終端機
vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct
NVFP4 · Blackwell

Blackwell 顯示卡（RTX 50 系列、RTX PRO 6000、B200）能原生執行 NVFP4 權重，體積約為原版的三成。多卡加上 --tensor-parallel-size 張數。

終端機
vllm serve nvidia/Llama-4-Scout-17B-16E-Instruct-NVFP4

MLX

  • Apple 晶片

能看圖的模型用 mlx-vlm：在 Mac 上先 pip install mlx-vlm，這條指令會從 Hugging Face 下載 MLX 權重並啟動服務。

終端機
mlx_vlm.server --model mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit

量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法

Meta 家族的其他模型

模型總參數激活參數4-bit 模型大小
Llama 3.2 3B稠密3.2B3.2B2 GB
Llama 3.1 8B稠密8B8B4.9 GB
Llama 3.3 70B稠密70.6B70.6B42.5 GB
Muse Spark OpenMoE816B42B505.5 GB

關於 Meta