GLM 4.7 Flash をローカルに導入するには？

• 4-bit 最小VRAM20 GB · 8K
• パラメータ数30B
• アクティブ3B
• 最大コンテキスト198K

アーキテクチャ

MoE

エキスパートオフロード

VRAM 4 GB + RAM 18 GB

ライセンス

MIT

発売日

2026年1月19日

提供元

Z.ai / Zhipu AI

Hugging Face リポジトリ

zai-org/GLM-4.7-Flash

GGUF リポジトリ

unsloth/GLM-4.7-Flash-GGUF

NVFP4 リポジトリ（Blackwell）

unsloth/GLM-4.7-Flash-NVFP4

MLX リポジトリ（Apple）

mlx-community/GLM-4.7-Flash-4bit

Ollama タグ

glm-4.7-flash

レイヤー数

47

隠れ層次元

2,048

KV ヘッド数

20

ヘッド次元

256

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Radeon RX 7900 XTX24 GB	¥293,6506 件の出品	133.7	115K
GeForce RTX 309024 GB	¥406,9228 件の出品	132.4	115K
Ryzen AI Max+ 395 128GBマシン全体 · 128 GB	¥688,8588 件の出品	66.1	198K
GeForce RTX 409024 GB	¥862,1369 件の出品	136.1	115K
GeForce RTX 509032 GB	¥1,399,9909 件の出品	161.5	198K
RTX A600048 GB	¥1,511,5715 件の出品	122.3	198K
RTX PRO 600096 GB	価格なし	161.5	198K
Mac Studio M5 Ultra 96GBマシン全体 · 96 GB	価格なし	145.5	198K
Tesla V100 32GB32 GB	価格なし	130.4	198K
MacBook Pro M5 Max 128GBマシン全体 · 128 GB	価格なし	110.5	198K
DGX Spark 128GBマシン全体 · 128 GB	価格なし	69.1	198K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   どの量子化を選ぶか

   24GB カードなら 4-bit（約 18 GB）です。5-bit（約 21 GB）も収まりますが、コンテキストはその分短くなります。16GB カードなら 2-bit か 3-bit（それぞれ約 12 GB、14 GB）です。Unsloth は 4-bit 以上を推奨しています。

2. 2

   公式推奨のサンプリングパラメータ

   一般的なタスクでは temperature 1.0、top_p 0.95、コーディングやターミナル操作のタスクでは temperature 0.7、top_p 1.0 です。繰り返しペナルティはオフ（1.0）にします。llama.cpp ではさらに min_p を 0.01 に設定してください。既定値の 0.05 は高めです。

3. 3

   1 月下旬より前の GGUF はダウンロードし直す

   2026 年 1 月 21 日、llama.cpp でルーティングの計算に使う関数が誤っていた問題（softmax ではなく sigmoid が正しい）が修正されました。修正前は同じ出力を繰り返すなど品質がひどく、その後 Unsloth も GGUF を再アップロードしています。それ以前にダウンロードしたファイルは、ダウンロードし直してください。

4. 4

   Ollama と MTP

   Ollama の公式ライブラリには glm-4.7-flash があり、q4_K_M、q8_0、bf16 の 3 つのタグが用意されています。Unsloth のドキュメントには、チャットテンプレートに互換性がない可能性があるため、自社の GGUF を Ollama で動かすことは推奨しないと今も書かれています。Ollama を使うなら公式ライブラリ版を選びましょう。llama.cpp は 2026 年 8 月からこのモデルの MTP による投機的デコードに対応しており（PR #24868）、PR の作者が 8-bit で測ったところ、ドラフト長 1 で平均約 1.18 倍速くなりました。

5. 5

   長いコンテキストでも省メモリ

   アテンション構造（MLA）がコンテキストのキャッシュを圧縮するため、長いコンテキストでもメモリをあまり使いません。4-bit で 8K から 128K に広げても約 7 GB 増えるだけで、198K をフルに使っても合計約 30 GB です。

ollama run glm-4.7-flash

llama-server -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192

llama-server -hf unsloth/GLM-4.7-Flash-GGUF:Q4_K_M -c 8192 -ngl 99 \
  --cpu-moe

vllm serve zai-org/GLM-4.7-Flash

vllm serve unsloth/GLM-4.7-Flash-NVFP4

mlx_lm.server --model mlx-community/GLM-4.7-Flash-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
GLM 4.5 AirMoE	106B	12B	73 GB
GLM 5.3 FlashMoE	320B	18B	199.7 GB
GLM 5.2MoE	744B	40B	465.8 GB
GLM 5.3MoE	744B	40B	467.3 GB

GLM について