Hy4 preview をローカルに導入するには？

• 4-bit 最小VRAM470 GB · 8K
• パラメータ数770B
• アクティブ49B
• 最大コンテキスト1M

アーキテクチャ

MoE

エキスパートオフロード

VRAM 19 GB + RAM 452 GB

ライセンス

Apache-2.0

発売日

2026年8月28日

提供元

Tencent

Hugging Face リポジトリ

tencent/Hy4-preview

GGUF リポジトリ

AngelSlim/Hy4-preview-GGUF

MLX リポジトリ（Apple）

mlx-community/Hy4-preview-4bit

レイヤー数

78

隠れ層次元

6,144

KV ヘッド数

8

ヘッド次元

64

詳しい計算ルールはデータの作り方ページをご覧ください。

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
A100 80GB PCIe1 枚 80 GB	8 枚	価格なし	640 GB	38.9	2,400 W
RTX PRO 60001 枚 96 GB	8 枚	価格なし	768 GB	36.5	4,800 W
Instinct MI2101 枚 64 GB	8 枚	価格なし	512 GB	33.9	2,400 W
RTX PRO 5000 72GB1 枚 72 GB	8 枚	価格なし	576 GB	28.6	2,400 W
DGX Spark 128GB1 台 128 GB	4 台	価格なし	512 GB	6.5	960 W

Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   llama.cpp にはパッチが必要

   llama.cpp のメインラインは 9 月 4 日に Hy4 preview への対応をマージしました（PR #28127）。しかし AngelSlim の GGUF の説明には、これらのファイルはオリジナルの llama.cpp ではそのまま動かず、説明に従って指定のバージョンにパッチを当ててからビルドする必要があると明記されています。STQ1_0 版を使うには、さらに 2 つ目のパッチも必要です。チャットでは --jinja が必須です。GGUF はローカルのディスクに置いてください。ネットワークストレージに置くと、読み込み時間が 1 分から数時間に延びます。

2. 2

   GGUF は 3 種類だけ

   標準の Q4_K_M は約 467 GB で、AngelSlim が既定として推奨しています。メモリが足りなければ UD-IQ1_M（約 235 GB）か、それよりやや小さい STQ1_0 を使います。サイズは半分になりますが、その代わりエキスパートの主要な重みは約 1.3〜2 bit しか残らず、品質は落ちます。

3. 3

   深い思考が既定でオン

   Hy3 とは逆に、Hy4 preview の reasoning_effort は既定で high です。すぐに回答させたいなら no_think を渡します。推奨のサンプリングは Hy3 と同じく temperature 0.9、top_p 1.0 です。Tencent もモデルカードで、この版には考えすぎて何度も自己チェックを繰り返す問題があり、出力トークンをかなり余分に消費すると認めています。

4. 4

   1M まで広げても増えるのは 90 GB 強だけ

   アテンション構造によってコンテキストが非常に小さく圧縮されます。1M をフルに使っても 4-bit で合計約 563 GB で、32K のときより 90 GB 強しか増えません。公式の vLLM レシピでは MI355X 8 枚で既定の 256K を検証しており、FP8 版は 1M まで広げることもできます。

./build-cuda/bin/llama-cli -m Hy4-preview-Q4_K_M.gguf -ngl 99 -c 8192 \
  --jinja -st -f prompt.txt

docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -e VLLM_ENABLE_HPC_OPS=1 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-preview tencent/Hy4-preview-FP8 \
    --tensor-parallel-size 8 \
    --speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
    --attention-backend FLASHMLA_SPARSE \
    --tool-call-parser hy_v4 \
    --reasoning-parser hy_v4 \
    --enable-auto-tool-choice \
    --port 8000 \
    --served-model-name hy4-preview

mlx_vlm.server --model mlx-community/Hy4-preview-4bit

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
Hy3MoE	295B	21B	182.2 GB

Hunyuan について