当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Llama 3.2 3B をローカルに導入するには？

Llama 3.2 3B は Meta が 2024 年 9 月に公開した 3B の小型モデルで、4-bit と 8K で約 4 GB なので、ほぼどんな GPU でも動きます。学習時に Llama 3.1 8B と 70B から学んでおり（蒸留）、クエリの書き換え、要約、ツール呼び出しといった軽いタスクや、同じファミリーの大きなモデルのドラフトモデルに向いています。中国語での会話や画像の入力が必要なら、2026 年に出た新しい小型モデルを選びましょう。

Llama 3.2 3B のモデル情報

  • 4-bit 最小VRAM5 GB · 8K
  • パラメータ数3.2B
  • 最大コンテキスト128K
アーキテクチャ
Dense
ライセンス
Llama 3.2 Community License
発売日
2024年9月25日
提供元
Meta AI
Hugging Face リポジトリ
meta-llama/Llama-3.2-3B-Instruct
GGUF リポジトリ
bartowski/Llama-3.2-3B-Instruct-GGUF
MLX リポジトリ（Apple）
mlx-community/Llama-3.2-3B-Instruct-4bit
Ollama タグ
llama3.2:3b
レイヤー数
28
隠れ層次元
3,072
KV ヘッド数
8
ヘッド次元
128

Llama 3.2 3B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキスト（最大）GB
1-bit0.8推定2.85.616.9
2-bit1.3推定3.36.117.4
3-bit1.9GGUF3.96.718
4-bit2GGUF46.818.1
5-bit2.3GGUF4.37.118.4
8-bit3.4GGUF5.48.219.5
BF16/FP166.4GGUF8.411.222.5

詳しい計算ルールはデータの作り方ページをご覧ください。

Llama 3.2 3B は GPU 1 枚で動く？

8GB 以上の GPU ならどれでも余裕で動き、8-bit と 8K コンテキストでも 5.4 GB で済みます。VRAM に余裕があるぶん、4-bit まで落とす必要はありません。小さいモデルほど量子化で性能が落ちやすく、Meta の検証でもそのまま 4-bit にするとスコアがはっきり下がっています。8-bit か、量子化しない元のままで使いましょう。注意したいのはむしろコンテキストで、128K まで広げると 20 GB 近くになります。16GB カードの 8-bit なら 10 万トークン強まで、フルに使うなら 24GB カードです。速度は心配無用で、128GB ユニファイドメモリのマシンでも 8-bit で約 50 tokens/s 出ます。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Tesla V100 16GB16 GB¥116,6274 件の出品201.4120K
GeForce RTX 5060 Ti 16GB16 GB¥156,40029 件の出品116.8120K
Radeon RX 7900 XTX24 GB¥293,6506 件の出品210.9128K
GeForce RTX 309024 GB¥406,9228 件の出品207.2128K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品71.8128K
GeForce RTX 409024 GB¥862,1369 件の出品218.2128K
GeForce RTX 509032 GB¥1,399,9909 件の出品313.4128K
RTX A600048 GB¥1,511,5715 件の出品179.3128K
RTX PRO 600096 GB価格なし313.4128K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし249.3128K
Tesla V100 32GB32 GB価格なし201.4128K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし150.9128K
DGX Spark 128GBマシン全体 · 128 GB価格なし76128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Llama 3.2 3B をローカルで動かす前に知っておきたいこと

  1. VRAM が足りるなら 8-bit

    PC なら VRAM は問題にならないので、そのまま 8-bit（重み 3.4 GB）か FP16（6.4 GB）を使いましょう。小さなモデルほど量子化の影響を受けやすく、Meta の測定では、追加の学習なしで 4-bit に圧縮すると MMLU が 63.4 から 60.5 に下がりました（この版は比較用で、公開されていません）。GGUF の Q4_K_M は同じ手法ではありませんが、理屈は同じです。

  2. Meta 公式のスマートフォン向け版

    Meta は別に、SpinQuant と QLoRA という 2 種類の公式 4-bit 版も公開しています。スマートフォンの Arm CPU で動かすためのもの（ExecuTorch を使用）で、コンテキストは 8K に制限され、MMLU はそれぞれ 62 と 62.4 と、単純な量子化より劣化が小さくなっています。PC なら GGUF で十分です。

  3. 大きなモデルのドラフトモデルとして使う

    Llama 3.1 8B や Llama 3.3 70B と同じ語彙を使っているので、llama.cpp で -md を使って読み込み、大きなモデルの投機的デコード用のドラフトモデルにできます。小さなモデルが先に数文字を予測し、大きなモデルがまとめて検証することで、生成速度を上げられます。

  4. ツール呼び出しとサンプリングパラメータ

    llama.cpp は Llama 3.2 のツール呼び出し形式にネイティブで対応しており、llama-server の起動時に --jinja を付けるだけです。Meta のテストでは、3B のツール呼び出しの成績（BFCL V2 で 67.0）は Llama 3.1 8B（67.1）とほぼ同じです。サンプリングパラメータは Meta が示す temperature 0.6、top_p 0.9 を使います。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run llama3.2:3b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
ターミナル
vllm serve meta-llama/Llama-3.2-3B-Instruct

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Meta ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Llama 3.1 8BDense8B8B4.9 GB
Llama 3.3 70BDense70.6B70.6B42.5 GB
Llama 4 Scout 17B 16EMoE108.6B17B65.4 GB
Muse Spark OpenMoE816B42B505.5 GB

Meta について