当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Qwen3 32B をローカルに導入するには？

Qwen3 32B は、2025 年 4 月に公開された Qwen3 シリーズで最大の Dense モデルで、思考モードと非思考モードがあります。24GB の GPU に 4-bit（8K で約 23 GB）が収まりますが、コンテキストが VRAM を大きく消費するため、RTX 3090 では約 18K までしか広げられず、少し長く考えるだけで上限に達します。新規に導入するなら Qwen3.8 27B をおすすめします。同じく 24GB カード 1 枚に収まり、コンテキストは約 122K まで広げられます。

Qwen3 32B のモデル情報

  • 4-bit 最小VRAM24 GB · 8K
  • パラメータ数32.8B
  • 最大コンテキスト40K
アーキテクチャ
Dense
ライセンス
Apache-2.0
発売日
2025年4月27日
提供元
Alibaba
Hugging Face リポジトリ
Qwen/Qwen3-32B
GGUF リポジトリ
Qwen/Qwen3-32B-GGUF
NVFP4 リポジトリ（Blackwell）
nvidia/Qwen3-32B-NVFP4
MLX リポジトリ（Apple）
Qwen/Qwen3-32B-MLX-4bit
Ollama タグ
qwen3:32b
レイヤー数
64
隠れ層次元
5,120
KV ヘッド数
8
ヘッド次元
128

Qwen3 32B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB40K コンテキスト（最大）GB
1-bit8.3GGUF11.51820.1
2-bit12.8GGUF1622.524.6
3-bit16.4GGUF19.626.128.2
4-bit19.8GGUF2329.531.6
5-bit23.2GGUF26.432.935
8-bit34.8GGUF3844.546.6
BF16/FP1665.5GGUF68.775.277.3

詳しい計算ルールはデータの作り方ページをご覧ください。

Qwen3 32B は GPU 1 枚で動く？

24GB の GPU 1 枚で 4-bit は動きますが、コンテキストを広げにくいモデルです。4-bit と 8K コンテキストで約 23 GB を使うため、RTX 3090 や 4090 ではコンテキストを約 18K までしか広げられません。すべての層が文脈全体を覚えておく構造なので、長くするほど追加の VRAM が増え、思考モードで長い推論を 1 回出すだけで残りを使い切ることもあります。上限の 40K まで使うなら 32GB の RTX 5090 が必要で、4-bit で毎秒約 60 トークンです。16GB カードは 2-bit しか使えないのでおすすめしません。これから導入するなら、同じ 24GB カードで Qwen3.8 27B を動かすほうがコンテキストにずっと余裕があります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Radeon RX 7900 XTX24 GB¥293,6506 件の出品33.618K
GeForce RTX 309024 GB¥406,9228 件の出品32.818K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品9.340K
GeForce RTX 409024 GB¥862,1369 件の出品35.218K
GeForce RTX 509032 GB¥1,399,9909 件の出品60.340K
RTX A600048 GB¥1,511,5715 件の出品27.240K
RTX PRO 600096 GB価格なし60.340K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし42.540K
Tesla V100 32GB32 GB価格なし31.640K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし21.940K
DGX Spark 128GBマシン全体 · 128 GB価格なし9.940K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

Qwen3 32B をローカルで動かす前に知っておきたいこと

  1. コンテキストが VRAM を大きく消費する理由

    64 層すべてがコンテキスト全体のキャッシュを保持するため、コンテキストが 1K 増えるごとに約 0.27 GB 増えます。4-bit で 8K から 32K に広げると、VRAM は約 23.0 GB から 29.5 GB に増え、40K をフルに使うと 31.6 GB です。Qwen3.5 以降の 27B は、4 層のうち 1 層だけがコンテキスト全体を見る構造に変わり、同じく 8K から 32K に広げても約 1.6 GB しか増えません。新しいモデルが 24GB カードで長いコンテキストを使えるのはこのためです。

  2. 24GB カードでの割り切り方

    思考内容もコンテキストを消費します。普段の質問なら、プロンプトに /no_think を加えて思考をオフにすれば、かなりの空きを確保できます。どうしても長いコンテキストが必要なら 3-bit（8K で約 19.6 GB）に落としましょう。当サイトの計算式で試算すると、24GB カードで約 30K まで広げられます。

  3. 思考の出力長は十分に確保する

    公式は、たいていの問題では出力長を 32,768 トークン、競技レベルの難問では 38,912 トークンにするよう推奨しています。4-bit で計算すると、これには RTX 5090 か 48GB のカードが必要です。サンプリングパラメータは Qwen3 8B と同じで、思考モードは temperature 0.6、top_p 0.95、top_k 20、非思考モードは 0.7、0.8、20 です。

  4. 推論エンジンの選び方

    Qwen の公式リポジトリが GGUF を提供しており、Ollama のタグは qwen3:32b です。vLLM は 0.8.5 以上、SGLang は 0.4.6.post1 以上が必要です。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run qwen3:32b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf Qwen/Qwen3-32B-GGUF:Q4_K_M -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
オリジナルの重み
ターミナル
vllm serve Qwen/Qwen3-32B
NVFP4 · Blackwell

Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。

ターミナル
vllm serve nvidia/Qwen3-32B-NVFP4

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model Qwen/Qwen3-32B-MLX-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Qwen ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Qwen3 8BDense8.2B8.2B5 GB
Qwen3.5 9BDense9.7B9.7B5.7 GB
Qwen3.6 27BDense27.8B27.8B16.8 GB
Qwen3.8 27BDense27.8B27.8B16.5 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 Flash NextMoE176B6B111.3 GB
Qwen3.8 2.4T A95BMoE2,446B95B1,310.9 GB

Qwen について