当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Qwen3 8B をローカルに導入するには？

Qwen3 8B は、Qwen が 2025 年 4 月に公開した 8B の Dense モデルです。プロンプトの /think、/no_think で、ターンごとに思考を切り替えられます。40K のコンテキストを確保すると 4-bit で約 12.1 GB なので、12GB の GPU 1 枚にちょうど収まります。新規に導入するなら Qwen3.5 9B をおすすめします。必要な VRAM はほぼ同じで、コンテキストは 40K から 256K に広がり、画像と動画も扱えます。

Qwen3 8B のモデル情報

  • 4-bit 最小VRAM8 GB · 8K
  • パラメータ数8.2B
  • 最大コンテキスト40K
アーキテクチャ
Dense
ライセンス
Apache-2.0
発売日
2025年4月27日
提供元
Alibaba
Hugging Face リポジトリ
Qwen/Qwen3-8B
GGUF リポジトリ
Qwen/Qwen3-8B-GGUF
NVFP4 リポジトリ（Blackwell）
nvidia/Qwen3-8B-NVFP4
MLX リポジトリ（Apple）
Qwen/Qwen3-8B-MLX-4bit
Ollama タグ
qwen3:8b
レイヤー数
36
隠れ層次元
4,096
KV ヘッド数
8
ヘッド次元
128

Qwen3 8B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB40K コンテキスト（最大）GB
1-bit2.4GGUF4.78.39.5
2-bit3.5GGUF5.89.410.6
3-bit4.3GGUF6.610.211.4
4-bit5GGUF7.310.912.1
5-bit5.9GGUF8.211.813
8-bit8.7GGUF1114.615.8
BF16/FP1616.4GGUF18.722.323.5

詳しい計算ルールはデータの作り方ページをご覧ください。

Qwen3 8B は GPU 1 枚で動く？

動きます。12GB の GPU で足りますが、40K のコンテキストをフルに使う前提で見積もってください。思考モードでは回答の前に長い推論を書き出すため、公式は回答用に 32K を空けておくよう勧めており、8K だけで見積もると足りなくなります。4-bit なら 40K をフルに使っても 12GB の GPU にちょうど収まります。16GB あるなら 8-bit がおすすめで、フルのコンテキストでも収まり、出力も元のモデルに近くなります。RTX 5060 Ti 16GB で毎秒約 35 トークン、24GB の RTX 3090 なら 8-bit でその倍の速さです。新しく導入するなら、必要な VRAM がほぼ同じでコンテキストがずっと長い Qwen3.5 9B を先に試す価値があります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Tesla V100 16GB16 GB¥116,6274 件の出品105.240K
GeForce RTX 5060 Ti 16GB16 GB¥156,40029 件の出品56.640K
Radeon RX 7900 XTX24 GB¥293,6506 件の出品111.140K
GeForce RTX 309024 GB¥406,9228 件の出品108.840K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品33.540K
GeForce RTX 409024 GB¥862,1369 件の出品115.840K
GeForce RTX 509032 GB¥1,399,9909 件の出品182.840K
RTX A600048 GB¥1,511,5715 件の出品91.840K
RTX PRO 600096 GB価格なし182.840K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし136.340K
Tesla V100 32GB32 GB価格なし105.240K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし75.340K
DGX Spark 128GBマシン全体 · 128 GB価格なし35.640K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Qwen3 8B をローカルで動かす前に知っておきたいこと

  1. 思考の切り替え

    既定では思考がオンで、オフにする方法は 2 つあります。enable_thinking=False はハードスイッチで、思考をまったく出力しなくなります。もう 1 つは、プロンプトに /think か /no_think を加えてターンごとに切り替える方法です。後者のソフトスイッチは、Qwen3.5 以降は公式にサポートされていません。

  2. 公式推奨のサンプリングパラメータ

    思考モードは temperature 0.6、top_p 0.95、top_k 20、min_p 0 です。公式は、貪欲デコード（毎回最も確率の高いトークンを選ぶ方式）を使うと同じ内容を延々と繰り返しやすくなるので避けるよう強調しています。非思考モードは temperature 0.7、top_p 0.8、top_k 20、min_p 0 です。

  3. 32K を超えるコンテキストが必要なら

    ネイティブのコンテキストは 32K だけで、YaRN を使えば 131K まで拡張できます。ただし公式の注意によると、オープンソースのフレームワークの YaRN は倍率が固定で、短いテキストでの性能が落ちるため、本当に長文を扱うときだけ有効にしましょう。llama-server なら RoPE スケーリングのオプションを付けるだけで済みますが、設定ファイルを書き換える場合は GGUF を作り直す必要があります。

  4. どの量子化を選ぶか

    Qwen の公式リポジトリが GGUF を直接提供しており、Ollama のタグは qwen3:8b です。4-bit は約 5.0 GB、8-bit は約 8.7 GB と差は 3.7 GB しかないので、VRAM が足りるなら 8-bit を使いましょう。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run qwen3:8b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf Qwen/Qwen3-8B-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
オリジナルの重み
ターミナル
vllm serve Qwen/Qwen3-8B
NVFP4 · Blackwell

Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。

ターミナル
vllm serve nvidia/Qwen3-8B-NVFP4

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model Qwen/Qwen3-8B-MLX-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Qwen ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Qwen3.5 9BDense9.7B9.7B5.7 GB
Qwen3.6 27BDense27.8B27.8B16.8 GB
Qwen3.8 27BDense27.8B27.8B16.5 GB
Qwen3 32BDense32.8B32.8B19.8 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 Flash NextMoE176B6B111.3 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

Qwen について