Llama をローカルで動かすには?バージョン別の必要VRAM
Llama には現在ローカルで動かせるバージョンが 4 個あります。最小の Llama 3.2 3B は Q4 量子化で 4GB、最大の Llama 4 Scout 17B 16E は 10GB が必要です。最も安く動かせるデバイスは Tesla V100 16GB(で約 ¥101,219)です。
Llama 各バージョンの必要VRAM
AmazonJP
| バージョン | 公開日 | コンテキスト | |||
|---|---|---|---|---|---|
| Llama 3.2 3BDense | 3.2B | 2024年9月18日 | 128K | 4 | Tesla V100 16GB¥101,219 · 16 GB |
| Llama 3.1 8BDense | 8B | 2024年7月18日 | 128K | 7 | Tesla V100 16GB¥101,219 · 16 GB |
| Llama 3.3 70BDense | 70.6B | 2024年11月26日 | 128K | 43 | Ryzen AI Max+ 395 128GB¥600,971 · 128 GB |
| Llama 4 Scout 17B 16EMoE | 108.6B(有効 17B) | 2025年4月2日 | 10M | 10別途 RAM 55 GB | Tesla V100 16GB¥101,219 · 16 GB · エキスパートオフロード |
最小VRAM = Q4_K_M の重み + 8K コンテキストの KV キャッシュ + 実行時オーバーヘッド 1GB(切り上げ)。最安デバイスは現在の価格基準の中央値が安い順で最初に収まるものです。
Llama について
Llama は Meta AI が Llama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License で公開しています。本ページは 3.2B から 108.6B までの 4 バージョンを収録。構造パラメータと量子化サイズは Hugging Face などの出典を確認して更新します。
提供元Meta AI
ライセンスLlama 3.2 Community License / Llama 3.1 Community License / Llama 3.3 Community License / Llama 4 Community License
Hugging Face の組織meta-llama