当サイトにはアフィリエイトリンクが含まれます。eBay パートナーとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay パートナーとして報酬を得ることがあります。詳しく

収録 GPU57価格追跡49 日直近 24h の価格データ43,303 件24h 最大の値下げGeForce RTX 3090-4.7%24h 最大の値上げRyzen AI Max+ 395 128GB+11.3%更新
¥ JPY

Qwen3.8 2.4T A95B をローカルに導入するには？

Qwen3.8 2.4T A95B は Qwen 初のオープンソースの Max クラス大型モデルで、パラメータは約 2.4T、テキスト専用で思考モードのみです。非常に大きく、2-bit と 8K コンテキストでも約 733 GB 必要で、どの単体 GPU やマシンにも収まらず、96GB カード 8 枚でもわずかに足りません。当サイトで算出できる 1 台構成は 1 つだけで、12 チャネル DDR5 サーバーにメモリ 768GB をフル搭載し、96GB の GPU を 1 枚加えて 2-bit を動かすと約 21 tokens/s です。

Qwen3.8 2.4T A95B のモデル情報

  • 4-bit 最小VRAM1,313 GB · 8K
  • パラメータ数2,446B
  • アクティブ95B
  • 最大コンテキスト256K
アーキテクチャ
MoE
エキスパートオフロード
VRAM 29 GB + RAM 1,286 GB
ライセンス
Qwen3.8-Max License
発売日
2026年8月12日
提供元
Alibaba
Hugging Face リポジトリ
Qwen/Qwen3.8-2.4T-A95B
GGUF リポジトリ
unsloth/Qwen3.8-2.4T-A95B-GGUF
NVFP4 リポジトリ（Blackwell）
nvidia/Qwen3.8-2.4T-A95B-NVFP4
レイヤー数
92
隠れ層次元
8,192
KV ヘッド数
4
ヘッド次元
256

Qwen3.8 2.4T A95B のローカル実行に必要なVRAMは？

量子化重みサイズGB8K コンテキストGB32K コンテキストGB128K コンテキストGB256K コンテキスト（最大）GB
1-bit564GGUF565.8568.2577.4589.8
2-bit730.7GGUF732.5734.9744.1756.5
3-bit955.5GGUF957.3959.7968.9981.3
4-bit1,310.9GGUF1,312.71,315.11,324.31,336.7
5-bit1,772.1推定1,7741,776.31,785.51,797.9
8-bit2,600.2GGUF2,6022,604.42,613.62,626
BF16/FP164,893.2GGUF4,8954,897.44,906.64,919

詳しい計算ルールはデータの作り方ページをご覧ください。

Qwen3.8 2.4T A95B は GPU 1 枚で動く？

動かせません。単体の GPU にも、1 台のマシンにも収まりません。最小の 1-bit でも約 566 GB あり、512GB ユニファイドメモリの Mac Studio M3 Ultra を超えます。96GB カード 8 枚で 2-bit を動かそうとしても、1 枚あたり使える VRAM は 9 割ほどで、コンテキスト分の領域も要るため、わずかに足りません。1 台で動かす唯一の方法は、12 チャネル DDR5 のサーバーに 768GB のメモリを積み、RTX PRO 6000 を 1 枚挿して、エキスパートの大半をメインメモリに置く構成で、2-bit で毎秒約 21 トークンです。データセンターでは、サードパーティ製の 4-bit 版を B300 8 枚のサーバー 1 台で動かすのが最小構成です。

Qwen3.8 2.4T A95B を動かすには GPU が何枚必要？

Amazon.jp
デバイス必要枚数合計価格合計 VRAM速度 t/s合計消費電力
Mac Studio M3 Ultra 512GB1 台 512 GB4 台価格なし2,048 GB11.31,920 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

Qwen3.8 2.4T A95B を動かすにはどんな構成のマシンが必要？

1 台で動かせるのは次の構成だけです。12 チャネル DDR5 サーバーにメモリ 768GB をフル搭載し（64GB を 12 枚）、96GB の RTX PRO 6000 を 1 枚加えます。GPU には 92 層のうち 11 層分のエキスパートを載せ、残りはすべてメインメモリに置いて、2-bit で約 21 tokens/s です。1 トークンごとに 95B のパラメータを読み込み、これは Qwen3.8 Flash Next の 16 倍近くなので、速度は完全にメモリ帯域幅で頭打ちになります。4-bit は 8K コンテキストで約 1,313 GB あり、この構成でも収まりません。

Amazon.jp

GeForce RTX 5090 + EPYC デュアル DDR5

フラッグシップ
生成速度14.3t/s
メモリ帯域幅922GB/s
GPU
GeForce RTX 5090エキスパート層 0 / 92 を VRAM 32 GB に配置
¥1,399,990
メモリ
1,536 GB DDR5-480064 GB × 24 枚
¥14,100,432
CPU
2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル
¥579,100
マザーボード
Gigabyte MZ73-LM0メモリスロット 24 本
¥205,691
電源
Seasonic PRIME PX-16001,600 W
¥80,694
マシン全体の参考価格¥16,365,908

8 × RTX PRO 6000 + EPYC デュアル DDR5 8 GPU サーバー

超大規模モデル向け
生成速度18.9t/s
メモリ帯域幅922GB/s
GPU
8 × RTX PRO 6000エキスパート層 56 / 92 を VRAM 768 GB に配置
—
メモリ
768 GB DDR5-480032 GB × 24 枚
¥6,820,584
CPU
2 × AMD EPYC 9354合計 64 コア 128 スレッド・24 チャネル
¥579,100
ベアボーン
ASUS ESC8000A-E12GPU 8 基・メモリスロット 24 本
¥1,091,746
電源
内蔵 4 × 3,000 W
ベアボーンに含む
マシン全体の参考価格—

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

Qwen3.8 2.4T A95B をローカルで動かす前に知っておきたいこと

  1. 思考モードのみ、テキストのみ

    オープンウェイト版は画像入力に対応しておらず、思考もオフにできないので、毎回の回答でまず思考内容を出力します。画像入力と非思考モードは、Qwen Cloud 上の Qwen3.8-Max でしか使えません。思考の深さは reasoning_effort で xhigh（既定）、medium、low に設定できます。公式のサンプリングパラメータは temperature 1.0、top_p 0.95、top_k 20、presence_penalty 0 です。

  2. 量子化の段階とサイズ

    当サイトは GGUF ファイルで計算しており、2-bit は約 731 GB、3-bit は約 956 GB、4-bit は約 1,311 GB、8-bit は約 2,600 GB です。Unsloth はさらに極端な 1-bit も作っており、最小の Q1_0 は約 397 GB とされていますが、専用の llama.cpp ブランチでビルドする必要があり、メモリも 450 GB 以上必要です。当サイトの表の 1-bit は、より大きい IQ1_M で計算しており、Q1_0 は掲載していません。

  3. サーバーへのデプロイ

    vLLM は nightly 版が必要で、transformers は 5.4.0 以上が必要です。vLLM のレシピによると、公式の FP8 版には B300 が 16 枚（8 枚構成 2 台）必要です。サードパーティの Inferact が作った NVFP4 版なら B300 8 枚の 1 台で足り、AMD 向けの MXFP4 版は MI355X か MI325X 8 枚の 1 台です。テンソル並列の枚数は 64 個のアテンションヘッドを割り切れる数でなければならないので、12 枚構成は使えません。

  4. ライセンスは Apache 2.0 ではない

    採用しているのは Qwen3.8-Max License です。月間アクティブユーザーが 1 億人を超えるか、月間収益が基準を超える商用製品は、画面上にモデル名を目立つように表示する必要があります。収益が基準を超え、モデル API サービスや AI コーディング・オフィスアシスタントを手がける企業は、事前に Qwen に別途ライセンスを申請しなければなりません。社内だけで使い、第三者に提供しない場合は、この制限を受けません。

  5. 長いコンテキストは省メモリ

    92 層のうちコンテキスト全体を見るのは 23 層だけなので、2-bit で 8K から 256K に広げても約 24 GB 増えるだけで、700 GB 超の重みに比べれば無視できます。ネイティブで 256K、約 1M まで拡張できます。

起動コマンド

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU
すべて VRAM に載せる
ターミナル
llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:UD-IQ4_XS -c 8192
MoE オフロード

VRAM が足りないときは --cpu-moe を付けると、ルーティングされるエキスパートを RAM に置けます（約 1,286 GB 必要）。

ターミナル
llama-server -hf unsloth/Qwen3.8-2.4T-A95B-GGUF:UD-IQ4_XS -c 8192 \
  -ngl 99 --cpu-moe

vLLM

  • Linux
  • NVIDIA
  • AMD
オリジナルの重み
ターミナル
vllm serve Qwen/Qwen3.8-2.4T-A95B
NVFP4 · Blackwell

Blackwell 世代の GPU（RTX 50 シリーズ、RTX PRO 6000、B200）は NVFP4 の重みをネイティブに扱え、サイズは元の約 3 割です。複数枚では --tensor-parallel-size に枚数を指定します。

ターミナル
vllm serve nvidia/Qwen3.8-2.4T-A95B-NVFP4

Ollama

  • Windows
  • macOS
  • Linux

Ollama ライブラリに公式タグはまだありません。

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Qwen ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Qwen3 8BDense8.2B8.2B5 GB
Qwen3.5 9BDense9.7B9.7B5.7 GB
Qwen3.6 27BDense27.8B27.8B16.8 GB
Qwen3.8 27BDense27.8B27.8B16.5 GB
Qwen3 32BDense32.8B32.8B19.8 GB
Qwen3.6 35B A3BMoE36B3B22.1 GB
Qwen3.8 Flash NextMoE176B6B111.3 GB

Qwen について