Llama 4 Scout 17B 16E をローカルに導入するには？

Llama 4 Scout 17B 16E のモデル情報

Llama 4 Scout 17B 16E のローカル実行に必要なVRAMは？

Llama 4 Scout 17B 16E は GPU 1 枚で動く？

コンシューマー向けカードでは 1 枚で動かず、4-bit にはプロ向けかデータセンター向けのカードが必要です。RTX PRO 6000、80GB の A100、72GB の RTX PRO 5000 なら 4-bit を丸ごと載せてコンテキストも長く取れますが、64GB の MI210 はぎりぎり収まるだけで、コンテキストは 2 万トークンほどしか残りません。48GB の RTX A6000 は 2-bit に落とすしかなく、32GB の RTX 5090 には 2-bit すら収まりません。そのかわり載れば速く動きます。1 トークンごとに使うのは一部のエキスパートだけで、読み込むのは約 17B 分のパラメータにとどまるため、RTX PRO 6000 では約 79 tokens/s 出ます。同じ理由でユニファイドメモリのマシンでも 4-bit が速く、96GB の Mac Studio M5 Ultra で約 61 tokens/s、DGX Spark のような 128GB 機でも十数 tokens/s と、同規模の Dense モデルよりずっと快適です。24GB カードしかなければ、エキスパートをメインメモリに置く手もあります。

Llama 4 Scout 17B 16E を動かすには GPU が何枚必要？

vLLM で分割する場合、4-bit を最少枚数で動かせるのは 48GB の RTX A6000 2 枚です。32K コンテキストで約 69 GB になり、2 枚でちょうど収まって約 41 tokens/s です。24GB カード（RTX 3090、4090、RX 7900 XTX）は 2 枚では 48GB にしかならず 4 枚必要ですが、4 枚分のメモリ帯域が効いて A6000 2 枚より少し速く、50 tokens/s 近く出ます。32GB の RTX 5090 2 枚では 2-bit しか載らず、速度は最も出るものの回答の質は落ちます。8-bit なら 96GB の RTX PRO 6000 2 枚か 5090 4 枚が必要です。

Llama 4 Scout 17B 16E を動かすにはどんな構成のマシンが必要？

1 トークンごとに通るのは 16 個のルーティングエキスパートのうち 1 個と、共有エキスパート 1 個だけなので、エキスパートをメインメモリに置いても動かせます。4-bit なら、8 チャネル DDR4 の中古サーバーと RTX 3090 で約 26 tokens/s、デュアルチャネル DDR5 のデスクトップと 16GB の GPU で約 16、DDR4 のデスクトップでは 10 に届きません。2-bit に落とせば、DDR5 のデスクトップで約 26 まで出ます。

Llama 4 Scout 17B 16E をローカルで動かす前に知っておきたいこと

起動コマンド

Meta ファミリーのほかのモデル