当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Llama 3.3 70B をローカルに導入するには？

Llama 3.3 70B は Meta が 2024 年末に公開した 70B の Dense モデルで、公式によると多くの成績が Llama 3.1 405B に迫ります。4-bit と 8K で約 46 GB あり、48GB 以上のカード 1 枚か 24GB カード 2 枚でないと収まりません。128GB ユニファイドメモリのマシンにも収まりますが、Dense モデルは 1 トークン生成するたびに全重みを読み込むため、4-bit でも約 5 tokens/s しか出ません。

Llama 3.3 70B のモデル情報

  • 4-bit 最小VRAM47 GB · 8K
  • パラメータ数70.6B
  • 最大コンテキスト128K
アーキテクチャ
Dense
ライセンス
Llama 3.3 Community License
発売日
2024年12月6日
提供元
Meta AI
Hugging Face リポジトリ
meta-llama/Llama-3.3-70B-Instruct
GGUF リポジトリ
bartowski/Llama-3.3-70B-Instruct-GGUF
NVFP4 リポジトリ（Blackwell）
nvidia/Llama-3.3-70B-Instruct-NVFP4
MLX リポジトリ（Apple）
mlx-community/Llama-3.3-70B-Instruct-4bit
Ollama タグ
llama3.3:70b
レイヤー数
80
隠れ層次元
8,192
KV ヘッド数
8
ヘッド次元
128

Llama 3.3 70B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキスト（最大）GB
1-bit16.8GGUF20.628.660.8
2-bit27.4GGUF31.239.271.4
3-bit38.1GGUF41.949.982.1
4-bit42.5GGUF46.354.386.5
5-bit49.9GGUF53.761.793.9
8-bit75GGUF78.886.8119
BF16/FP16141.1GGUF144.9152.9185.1

詳しい計算ルールはデータの作り方ページをご覧ください。

Llama 3.3 70B は GPU 1 枚で動く？

量子化しだいです。4-bit と 8K コンテキストで約 46 GB あり、1 枚なら最低 48GB の VRAM が要るので、一般的なコンシューマー向けカードには載りません。1 枚で最も向いているのは 96GB の RTX PRO 6000 で、約 30 tokens/s、コンテキストもフルに使えます。48GB の RTX A6000 もぎりぎり収まりますが、速度はその半分以下でコンテキストも窮屈です。RTX 5090 は 2-bit まで落とすしかなく、速度はそこそこでも回答の質ははっきり落ちます。128GB ユニファイドメモリのマシンなら 8-bit まで載るものの、Dense モデルは 1 トークンごとに全重みを読むため、4-bit でも約 5 tokens/s で急がない用途向けです。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品4.5128K
A100 80GB PCIe80 GB価格なし32.3126K
RTX PRO 600096 GB価格なし30128K
Instinct MI21064 GB価格なし27.674K
RTX PRO 5000 72GB72 GB価格なし22.8100K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし20.9128K
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB価格なし14128K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし10.6128K
DGX Spark 128GBマシン全体 · 128 GB価格なし4.7128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Llama 3.3 70B を動かすには GPU が何枚必要？

いちばん手軽なのは 32GB の RTX 5090 2 枚で、4-bit が約 28 tokens/s で動きます。24GB カード（RTX 3090、4090、RX 7900 XTX）で vLLM を使うと、4-bit には 4 枚必要です。モデルと 32K コンテキストで約 54 GB になり、2 枚分の 48GB では足りないためで、4 枚構成では約 15 tokens/s です。24GB カード 2 枚で済ませたいなら、2-bit に落として約 21 tokens/s で動かすか、llama.cpp に切り替えてコンテキストを 8K に絞る手があります。後者なら 4-bit がぎりぎり 2 枚に収まりますが、余裕はほとんどありません。

Amazon.jp
デバイス必要枚数合計価格合計 VRAM速度 t/s合計消費電力
Arc Pro B701 枚 32 GB2 枚¥693,62464 GB9.6460 W
Radeon RX 7900 XTX1 枚 24 GB4 枚¥1,174,60096 GB15.11,420 W
GeForce RTX 30901 枚 24 GB4 枚¥1,627,68896 GB14.71,400 W
GeForce RTX 50901 枚 32 GB2 枚¥2,799,98064 GB27.71,150 W
RTX A60001 枚 48 GB2 枚¥3,023,14296 GB12.1600 W
GeForce RTX 40901 枚 24 GB4 枚¥3,448,54496 GB15.81,800 W
GeForce RTX 4090 48GB1 枚 48 GB2 枚価格なし96 GB15.8900 W
Tesla V100 32GB1 枚 32 GB2 枚価格なし64 GB14.2500 W

詳しい計算ルールはデータの作り方ページをご覧ください。

Llama 3.3 70B をローカルで動かす前に知っておきたいこと

  1. 4-bit、5-bit、8-bit のどれにするか

    4-bit の重みは 42.5 GB で、llama.cpp で 8K とすると、24GB カード 2 枚に収まる最も高い段階です。96GB のカードが 1 枚あるなら 8-bit（75.0 GB）を使いましょう。RTX PRO 6000 で約 18 tokens/s、コンテキストは約 80K です。その中間の 5-bit（49.9 GB）は、48GB と 24GB のように容量の異なる 2 枚構成に向いています。

  2. 投機的デコードで高速化

    70B は生成が遅いので、ドラフトモデルを組み合わせるのが効果的です。小さなモデルが先に数文字を予測し、大きなモデルがまとめて検証します。vLLM のレシピには Red Hat が学習させた EAGLE-3 のドラフトモデルが載っています。llama.cpp なら、同じ語彙を持つ Llama 3.2 3B を -md で読み込んでドラフトにできます。

  3. 推論エンジンとパラメータ

    llama.cpp、Ollama（llama3.3:70b）、vLLM がそのまま対応しています。ツール呼び出しの形式もサンプリングパラメータ（temperature 0.6、top_p 0.9）も Llama 3.1 と同じです。

  4. 長いコンテキストで 40 GB 増える

    通常のアテンション構造なので、コンテキストが長くなるほど VRAM の消費が増えます。4-bit で 8K から 128K に広げると、VRAM は 46.3 GB から 86.5 GB に増えます。24GB カード 2 枚でも 48GB の A6000 1 枚でも状況はほぼ同じで、コンテキストは 20K 前後までしか広げられません。128K をフルに使うには、96GB のカード 1 枚、24GB カード 4 枚、または 128GB のマシンが必要です。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run llama3.3:70b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
オリジナルの重み
ターミナル
vllm serve meta-llama/Llama-3.3-70B-Instruct
NVFP4 · Blackwell

Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。複数枚では --tensor-parallel-size に枚数を指定します。

ターミナル
vllm serve nvidia/Llama-3.3-70B-Instruct-NVFP4

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Llama-3.3-70B-Instruct-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Meta ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Llama 3.2 3BDense3.2B3.2B2 GB
Llama 3.1 8BDense8B8B4.9 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

Meta について