当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

DeepSeek R1 Distill Qwen 32B をローカルに導入するには？

DeepSeek R1 Distill Qwen 32B は、第 1 弾の R1 蒸留モデルのうち最大の Qwen ベース版です。24GB の GPU に 4-bit 版が収まりますが、コンテキストは約 17K しか残りません。Qwen2.5 32B をファインチューニングしたモデルで、リリース時には公式が多くのベンチマークで OpenAI o1-mini を上回ると発表していました。ただ今となっては、同じサイズの Qwen3.8 27B のほうがスコアがずっと高く、長いコンテキストでも VRAM の消費が少なく済みます。

DeepSeek R1 Distill Qwen 32B のモデル情報

  • 4-bit 最小VRAM24 GB · 8K
  • パラメータ数32.8B
  • 最大コンテキスト128K
アーキテクチャ
Dense
ライセンス
MIT
発売日
2025年1月20日
提供元
DeepSeek
Hugging Face リポジトリ
deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
GGUF リポジトリ
bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF
MLX リポジトリ（Apple）
mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit
Ollama タグ
deepseek-r1:32b
レイヤー数
64
隠れ層次元
5,120
KV ヘッド数
8
ヘッド次元
128

DeepSeek R1 Distill Qwen 32B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキスト（最大）GB
1-bit8.3推定11.517.943.7
2-bit13.1GGUF16.322.848.5
3-bit17.9GGUF21.127.653.3
4-bit19.9GGUF23.129.655.3
5-bit23.3GGUF26.53358.7
8-bit34.8GGUF3844.570.2
BF16/FP1665.5GGUF68.775.2100.9

詳しい計算ルールはデータの作り方ページをご覧ください。

DeepSeek R1 Distill Qwen 32B は GPU 1 枚で動く？

24GB のカードで 4-bit は動きますが、コンテキストに余裕がありません。4-bit の重みが約 20 GB あるため、RTX 3090 や RTX 4090 に載せるとコンテキストは約 17K しか残らず、推論モデルが難問をじっくり考えると途中で足りなくなります。llama.cpp でコンテキストが使うメモリを半分に圧縮すれば、これらのカードでも 32K 前後まで広げられます。余裕を持たせたいなら 32GB の RTX 5090 で約 49K まで使え、速度もほぼ 2 倍です。16GB カードは 2-bit しか選べず不向きです。128GB のユニファイドメモリ機なら 8-bit も収まりますが、密なモデルなので 1 トークンごとに全重みを読み込む必要があり、速度は毎秒 1 桁にとどまります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Radeon RX 7900 XTX24 GB¥293,6506 件の出品33.517K
GeForce RTX 309024 GB¥406,9228 件の出品32.717K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB¥688,8588 件の出品9.2128K
GeForce RTX 409024 GB¥862,1369 件の出品35.117K
GeForce RTX 509032 GB¥1,399,9909 件の出品60.149K
RTX A600048 GB¥1,511,5715 件の出品27113K
RTX PRO 600096 GB価格なし60.1128K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB価格なし42.3128K
Tesla V100 32GB32 GB価格なし31.549K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB価格なし21.8128K
DGX Spark 128GBマシン全体 · 128 GB価格なし9.9128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

DeepSeek R1 Distill Qwen 32B をローカルで動かす前に知っておきたいこと

  1. 24GB カードでコンテキストを少しでも稼ぐには

    4-bit では、コンテキストが 1K 増えるごとに約 0.27 GB ずつ消費が増えます（8K から 32K で 6.5 GB 増）。llama.cpp なら -ctk q8_0 -ctv q8_0 でコンテキストのキャッシュを約半分に圧縮でき、当サイトの VRAM 計算式で試算すると、24GB カードでのコンテキストは約 17K から約 32K まで広がります。5-bit に上げるのはやめておきましょう。5-bit は 8K でも 26.5 GB 必要で、24GB カードには収まりません。

  2. 使い方は 14B 蒸留版と同じ

    リポジトリの既定値は temperature 0.6、top_p 0.95 で、公式は temperature を 0.5〜0.7 の範囲に収めるよう求めています。システムプロンプトは使いません。ときどき思考を飛ばすので、出力を「<think>」で始めるよう強制するのがおすすめです。詳しくは 14B 蒸留版 を参照してください。

  3. 公式の vLLM 例は 2 枚構成で 32K

    モデルカードに載っている vLLM のコマンドは 2 枚構成・32K コンテキスト（--tensor-parallel-size 2 --max-model-len 32768）ですが、これはオリジナルの BF16 の重み（約 66 GB）を前提にしたもので、24GB カード 2 枚にも収まりません。コンシューマー向けカードでは、やはり GGUF の 4-bit を使います。Ollama のタグは deepseek-r1:32b で、ダウンロードは約 20 GB です。

起動コマンド

Ollama

  • Windows
  • macOS
  • Linux
ターミナル
ollama run deepseek-r1:32b

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
ターミナル
llama-server -hf bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M \
  -c 8192

vLLM

  • Linux
  • NVIDIA
  • AMD
ターミナル
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

MLX

  • Apple シリコン

Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。

ターミナル
mlx_lm.server --model mlx-community/DeepSeek-R1-Distill-Qwen-32B-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

DeepSeek ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
DeepSeek R1 Qwen3 8BDense8.2B8.2B5 GB
DeepSeek R1 Distill Qwen 14BDense14.8B14.8B9 GB
DeepSeek V4 FlashMoE284B13B155.1 GB
DeepSeek V3.2MoE671B37B405.4 GB
DeepSeek V4.1 FlashMoE763B8 / 16B444.7 GB
DeepSeek V4 ProMoE1,600B49B849.7 GB

DeepSeek について