当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Llama 3.1 8B をローカルに導入するには？

Llama 3.1 8B は Meta が 2024 年 7 月に公開した 8B のモデルで、今では古いモデルですが、エコシステムは最大です。Hugging Face 上には、このモデルを直接ベースにしたファインチューニング版が 3,000 以上あります。4-bit と 8K で約 7 GB なので、8GB の GPU で動きます。弱点は長いコンテキストで VRAM を大きく消費することで、128K をフルに使うと 23.2 GB と、Qwen3.5 9B の 2 倍になります。

Llama 3.1 8B のモデル情報

  • 4-bit 最小VRAM8 GB · 8K
  • パラメータ数8B
  • 最大コンテキスト128K
アーキテクチャ
Dense
ライセンス
Llama 3.1 Community License
発売日
2024年7月23日
提供元
Meta AI
Hugging Face リポジトリ
meta-llama/Llama-3.1-8B-Instruct
GGUF リポジトリ
bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
NVFP4 リポジトリ（Blackwell）
nvidia/Llama-3.1-8B-Instruct-NVFP4
MLX リポジトリ（Apple）
mlx-community/Llama-3.1-8B-Instruct-4bit
Ollama タグ
llama3.1:8b
レイヤー数
32
隠れ層次元
4,096
KV ヘッド数
8
ヘッド次元
128

Llama 3.1 8B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキスト（最大）GB
1-bit2推定4.27.420.3
2-bit3.7GGUF5.89.122
3-bit4.8GGUF6.910.223.1
4-bit4.9GGUF710.323.2
5-bit5.7GGUF7.811.124
8-bit8.5GGUF10.613.926.8
BF16/FP1616.9推定1922.235.1

詳しい計算ルールはデータの作り方ページをご覧ください。

Llama 3.1 8B は GPU 1 枚で動く？

動かせます。8GB の GPU で 4-bit と 8K コンテキスト（約 7 GB）なら、普段の会話には十分です。考えておきたいのはコンテキストの長さで、扱う文章が長くなるほど VRAM の消費も増え、4-bit で 128K いっぱいまで広げると 23.2 GB になります。12GB や 16GB のカードでは、まず必要な長さを決め、そこに収まるいちばん高い量子化を選ぶのがコツです。16GB なら 8-bit でも 5 万トークン強は確保できます。8-bit のまま長い文書を読ませたいなら 24GB の RTX 3090 が最適で、約 120K まで広げられ、速度にも余裕があります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Tesla V100 16GB16 GB¥116,6274 件の出品107.983K
GeForce RTX 5060 Ti 16GB16 GB¥156,40029 件の出品58.183K
Radeon RX 7900 XTX24 GB¥293,6506 件の出品114128K
GeForce RTX 309024 GB¥406,9228 件の出品111.6128K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品34.4128K
GeForce RTX 409024 GB¥862,1369 件の出品118.7128K
GeForce RTX 509032 GB¥1,399,9909 件の出品186.9128K
RTX A600048 GB¥1,511,5715 件の出品94.2128K
RTX PRO 600096 GB価格なし186.9128K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし139.7128K
Tesla V100 32GB32 GB価格なし107.9128K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし77.4128K
DGX Spark 128GBマシン全体 · 128 GB価格なし36.6128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Llama 3.1 8B をローカルで動かす前に知っておきたいこと

  1. 量子化は必要なコンテキストで選ぶ

    4-bit（4.9 GB）から 8-bit（8.5 GB）の間で、必要なコンテキストが収まる最も高い段階を選びましょう。コンテキストが 1K トークン増えるごとにキャッシュは約 0.13 GB 増え、4-bit で 32K まで広げると 10.3 GB 必要です。ネイティブのコンテキストは 8K だけで、128K は RoPE スケーリングで拡張したものです。

  2. ファインチューニングに関するライセンスの要件

    Llama 3.1 コミュニティライセンスでは、このモデルやこれをベースにしたモデルを配布する際、「Built with Llama」と目立つように表示することが求められます。このモデルやその出力で学習・ファインチューニングしたモデルを公開する場合は、名前を「Llama」で始める必要があります。月間アクティブユーザーが 7 億人を超える企業は、別途 Meta からライセンスを得なければなりません。これをベースにしたファインチューニング版も、同じライセンスに縛られます。

  3. ツール呼び出し

    Llama 3.1 は学習段階からツール呼び出しの形式を備えており、brave_search、wolfram_alpha、code_interpreter という 3 つの組み込みツール名も認識します。llama.cpp の llama-server に --jinja を付ければ認識されます。サンプリングは Meta の既定値どおり temperature 0.6、top_p 0.9 です。

  4. 古さが出るところ

    知識のカットオフは 2023 年 12 月で、扱えるのはテキストだけです。公式に対応する言語は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語の 8 つで、中国語は含まれていません。Meta は、ファインチューニングせずに非対応の言語で会話に使うことをはっきりと推奨していません。中国語の用途なら Qwen3.5 9B を検討してください。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run llama3.1:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf bartowski/Meta-Llama-3.1-8B-Instruct-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
オリジナルの重み
ターミナル
vllm serve meta-llama/Llama-3.1-8B-Instruct
NVFP4 · Blackwell

Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。

ターミナル
vllm serve nvidia/Llama-3.1-8B-Instruct-NVFP4

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Llama-3.1-8B-Instruct-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Meta ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Llama 3.2 3BDense3.2B3.2B2 GB
Llama 3.3 70BDense70.6B70.6B42.5 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

Meta について