GLM 4.5 Air をローカルに導入するには？

• 4-bit 最小VRAM76 GB · 8K
• パラメータ数106B
• アクティブ12B
• 最大コンテキスト128K

アーキテクチャ

MoE

エキスパートオフロード

VRAM 8 GB + RAM 70 GB

ライセンス

MIT

発売日

2025年7月28日

提供元

Z.ai / Zhipu AI

Hugging Face リポジトリ

zai-org/GLM-4.5-Air

GGUF リポジトリ

unsloth/GLM-4.5-Air-GGUF

MLX リポジトリ（Apple）

mlx-community/GLM-4.5-Air-4bit

レイヤー数

46

隠れ層次元

4,096

KV ヘッド数

8

ヘッド次元

128

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB	¥688,8588 件の出品	19.7	128K
A100 80GB PCIe80 GB	価格なし	92.8	61K
RTX PRO 600096 GB	価格なし	88.8	128K
RTX PRO 5000 72GB72 GB	価格なし	74.3	16K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB	価格なし	70.1	128K
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB	価格なし	52.4	128K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB	価格なし	41.9	128K
DGX Spark 128GBマシン全体 · 128 GB	価格なし	20.9	128K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Radeon RX 7900 XTX1 枚 24 GB	4 枚	¥1,174,600	96 GB	49.9	1,420 W
Arc Pro B701 枚 32 GB	4 枚	¥1,387,248	128 GB	34.6	920 W
GeForce RTX 30901 枚 24 GB	4 枚	¥1,627,688	96 GB	49	1,400 W
RTX A60001 枚 48 GB	2 枚	¥3,023,142	96 GB	41.9	600 W
GeForce RTX 40901 枚 24 GB	4 枚	¥3,448,544	96 GB	51.8	1,800 W
GeForce RTX 50901 枚 32 GB	4 枚	¥5,599,960	128 GB	77.4	2,300 W
A100 80GB PCIe1 枚 80 GB	2 枚	価格なし	160 GB	81.3	600 W
Instinct MI2101 枚 64 GB	2 枚	価格なし	128 GB	73.1	600 W
RTX PRO 5000 72GB1 枚 72 GB	2 枚	価格なし	144 GB	63.9	600 W
GeForce RTX 4090 48GB1 枚 48 GB	2 枚	価格なし	96 GB	51.8	900 W
Tesla V100 32GB1 枚 32 GB	4 枚	価格なし	128 GB	47.5	1,000 W

詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   どの量子化を選ぶか

   4-bit は約 73 GB で、たいていの構成ではこれが落としどころです。5-bit は約 84 GB で、96GB のカードや 128GB のマシンにも収まります。2-bit は約 47 GB で 48GB カード 1 枚に収まりますが、コンテキストはごく短くなります。8-bit は約 118 GB で、128GB のマシンでもコンテキストは約 97K しか残りません。

2. 2

   思考モードは既定でオン

   思考ありとなしの両方で使えます。vLLM や SGLang でデプロイすると、リクエストは既定で思考ありになります。オフにするには、リクエストの chat_template_kwargs に enable_thinking: false を加えます。簡単な質問なら思考をオフにすれば、長い推論過程を待たずに済みます。

3. 3

   llama.cpp は MTP による投機的デコードに対応済み

   llama.cpp は 2026 年 8 月に GLM 4.5 Air の MTP 対応をマージしました（PR #26534）。モデルに内蔵された小さな 1 層のネットワークで次の文字を先に予測し、当たれば 1 ステップ省ける仕組みです。PR の作者が RTX 3090 4 枚と 4-bit で測ったところ、ドラフト長を 1 にすると約 1.2 倍速くなりました。以前に変換された MTP 層を含まない GGUF でも、別途 MTP 用のファイルを読み込めば使えます。

4. 4

   公式が示すサーバー要件

   Zhipu AI の推奨構成はデータセンター向けです。FP8 版は最低でも H100 2 枚、128K コンテキストをフルに使うなら 4 枚必要で、BF16 版はその倍です。ローカルで GGUF の量子化版を使うなら、上の表を目安にしてください。

5. 5

   長いコンテキストは VRAM を食う

   ネイティブのコンテキストは 128K ですが、アテンション構造がコンテキストを圧縮しないため、長くするほど VRAM の消費が増えます。4-bit で 32K から 128K に広げると約 19 GB 増え、96GB のカードで 128K をフルに使うとちょうど収まる程度です。同じファミリーで後に出た GLM 4.7 Flash はより省メモリな構造に変わり、8K から 128K に広げても約 7 GB しか増えません。

llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/GLM-4.5-Air-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-4.5-Air

mlx_lm.server --model mlx-community/GLM-4.5-Air-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
GLM 4.7 FlashMoE	30B	3B	18.3 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.2MoE	744B	40B	465.8 GB
GLM 5.3MoE	744B	40B	467.3 GB

GLM について