Hy4 Flash をローカルに導入するには?
Hy4 Flash は Tencent Hunyuan が 2026 年 11 月に公開した 220B パラメータのマルチモーダル MoE です。1 トークンごとに使うのは約 12B で、4-bit ファイルは約 168 GB あります。そのうち約 63 GB はストレージに置いたまま必要に応じて読み出せるルックアップテーブルなので、テンセントの実測では 128GB メモリの Mac や DGX Spark で 4-bit を動かせます。llama.cpp の対応はまだメインラインにマージされておらず、公式ブランチを自分でビルドする必要があります。Ollama にはまだありません。
Hy4 Flash のモデル情報
- 4-bit 最小VRAM(8K コンテキスト)170 GB
- パラメータ数220B
- アクティブ12B
- 最大コンテキスト1M
- アーキテクチャ
- MoE
- エキスパートオフロード
- VRAM 8 GB + RAM 164 GB
- ライセンス
- Tencent Hy License
- 発売日
- 2026年11月18日
- 提供元
- Tencent
- Hugging Face リポジトリ
- tencent/Hy4-flash
- GGUF リポジトリ
- AngelSlim/Hy4-flash-GGUF
- レイヤー数
- 42
- 隠れ層次元
- 3,072
- KV ヘッド数
- 32
- ヘッド次元
- 64
Hy4 Flash のローカル実行に必要なVRAMは?
Hy4 Flash の 4-bit ファイルは約 168 GB で、全体を VRAM に載せて 32K コンテキストを足すと約 170 GB、2-bit は約 135 GB、3-bit は約 155 GB です。これらの数字にはいずれも約 63 GB の Engram ルックアップテーブルが含まれています。生成時に 1 トークンごとに参照するのはその中の数十行だけなので、ホスト側のメモリやストレージに逃がすことができ、4-bit で実際に常駐させる必要がある部分は約 105 GB です。コンテキストの消費も非常に少なく、32K から 1M まで広げても 14 GB しか増えません。
| 量子化 | 重みサイズGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキストGB | 1M コンテキスト(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 102.8推定 | 104.4 | 105.7 | 107.5 | 118.4 |
| 2-bit | 135GGUF | 136.5 | 137.9 | 139.7 | 150.6 |
| 3-bit | 155.4GGUF | 156.9 | 158.3 | 160.1 | 171 |
| 4-bit | 168.3GGUF | 169.8 | 171.2 | 173 | 183.9 |
| 5-bit | 176.8推定 | 178.4 | 179.7 | 181.5 | 192.4 |
| 8-bit | 237.7推定 | 239.2 | 240.6 | 242.4 | 253.2 |
| BF16/FP16 | 392.2推定 | 393.8 | 395.1 | 396.9 | 407.8 |
詳しい計算ルールはデータの作り方ページをご覧ください。
Hy4 Flash は GPU 1 枚で動く?
量子化のビット数と、あのルックアップテーブルをどこに置くかで決まります。ファイル全体をメモリに常駐させる計算だと、128GB のマシンには 2-bit しか収まらず、4-bit には 512GB の Mac Studio M3 Ultra が要ります。約 63 GB のルックアップテーブルをストレージに置いたまま必要に応じて読み出す形にすれば、128GB でも 4-bit を動かせます。テンセントの AngelSlim チームの実測では、128GB の M5 Max で毎秒約 44〜48 トークン、DGX Spark は専用の SPARK-4Bit 版で毎秒約 26〜33 トークンです。単体の GPU は最大でも 96GB しかなく、4-bit の常駐部分である約 105 GB が収まらないため、マルチ GPU にするかエキスパートをメモリに置く必要があります。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Ryzen AI Max+ 395 128GBマシン全体 · 128 GB | ¥706,39310 件の出品 | 30.3 | 95K |
| Mac Studio M3 Ultra 512GBマシン全体 · 512 GB | 価格なし | 73.8 | 1M |
| MacBook Pro M5 Max 128GBマシン全体 · 128 GB | 価格なし | 60.6 | 95K |
| 価格なし | 32 | 95K |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Mac Studio M3 Ultra 512GBマシン全体 · 512 GB | 価格なし | 56.8 | 1M |
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Mac Studio M3 Ultra 512GBマシン全体 · 512 GB | 価格なし | 38.3 | 1M |
よく使われる GPU とマシンだけを、価格の安い順に掲載しています。
Hy4 Flash を動かすには GPU が何枚必要?
マルチ GPU で Hy4 Flash の 4-bit を動かすには、少なくとも 96GB の RTX PRO 6000 が 2 枚必要で、48GB のカードなら 4 枚、24GB のコンシューマー向けカードなら 8 枚要ります。これはファイル全体を各カードに均等に振り分けた場合の計算で、ルックアップテーブルをホスト側のメモリに置けばさらに約 63 GB の VRAM を節約できます。量子化ファイルのマルチ GPU 実行には llama.cpp を使います。公式の vLLM レシピは元の重みと FP8 の重みを動かすもので、H100、H200、B200 といったデータセンター向けカードにしか対応しておらず、ルックアップテーブルはデフォルトでホスト側のメモリに置かれます。
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| Radeon RX 7900 XTX1 枚 24 GB | 8 枚 | ¥2,659,344 | 192 GB | 80.2 | 2,840 W |
| 8 枚 | ¥3,065,680 | 256 GB | 58.9 | 1,840 W | |
| 8 枚 | ¥3,776,120 | 192 GB | 78.9 | 2,800 W | |
| 4 枚 | ¥6,075,400 | 192 GB | 69.4 | 1,200 W | |
| 2 枚 | ¥7,477,600 | 192 GB | 112.8 | 1,200 W | |
| 8 枚 | ¥8,249,504 | 192 GB | 82.6 | 3,600 W | |
| 8 枚 | ¥11,823,136 | 256 GB | 112.8 | 4,600 W | |
| 2 枚 | 価格なし | 160 GB | 116.9 | 600 W | |
| Instinct MI2101 枚 64 GB | 4 枚 | 価格なし | 256 GB | 108.1 | 1,200 W |
| 2 枚 | 価格なし | 144 GB | 97.5 | 600 W | |
| 4 枚 | 価格なし | 192 GB | 82.6 | 1,800 W | |
| 8 枚 | 価格なし | 256 GB | 77 | 2,000 W | |
| 2 台 | 価格なし | 256 GB | 31.2 | 480 W |
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| Radeon RX 7900 XTX1 枚 24 GB | 8 枚 | ¥2,659,344 | 192 GB | 62.7 | 2,840 W |
| 8 枚 | ¥3,065,680 | 256 GB | 44.5 | 1,840 W | |
| 8 枚 | ¥3,776,120 | 192 GB | 61.6 | 2,800 W | |
| 4 枚 | ¥6,075,400 | 192 GB | 53.3 | 1,200 W | |
| 2 枚 | ¥7,477,600 | 192 GB | 93.3 | 1,200 W | |
| 8 枚 | ¥8,249,504 | 192 GB | 64.9 | 3,600 W | |
| 8 枚 | ¥11,823,136 | 256 GB | 93.3 | 4,600 W | |
| 4 枚 | 価格なし | 320 GB | 97.3 | 1,200 W | |
| Instinct MI2101 枚 64 GB | 4 枚 | 価格なし | 256 GB | 88.6 | 1,200 W |
| 4 枚 | 価格なし | 288 GB | 78.6 | 1,200 W | |
| 4 枚 | 価格なし | 192 GB | 64.9 | 1,800 W | |
| 8 枚 | 価格なし | 256 GB | 59.9 | 2,000 W | |
| 2 台 | 価格なし | 256 GB | 22.6 | 480 W |
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| 8 枚 | ¥3,065,680 | 256 GB | 29.5 | 1,840 W | |
| 8 枚 | ¥11,823,136 | 256 GB | 68.5 | 4,600 W | |
| 8 枚 | ¥12,150,800 | 384 GB | 36 | 2,400 W | |
| 4 枚 | ¥14,955,200 | 384 GB | 68.5 | 2,400 W | |
| 4 枚 | 価格なし | 320 GB | 72.1 | 1,200 W | |
| Instinct MI2101 枚 64 GB | 4 枚 | 価格なし | 256 GB | 64.4 | 1,200 W |
| 4 枚 | 価格なし | 288 GB | 55.9 | 1,200 W | |
| 8 枚 | 価格なし | 384 GB | 44.9 | 3,600 W | |
| 8 枚 | 価格なし | 256 GB | 41 | 2,000 W | |
| 2 台 | 価格なし | 256 GB | 14.4 | 480 W |
詳しい計算ルールはデータの作り方ページをご覧ください。
Hy4 Flash を動かすにはどんな構成のマシンが必要?
一般的な GPU が 1〜2 枚しかない場合は、Hy4 Flash のエキスパートとルックアップテーブルをメモリに置くのが最も現実的です。4-bit なら GPU にはどのトークンでも使う約 8 GB の共通部分だけを載せ、メモリを 128GB から 256GB 積みます。RTX 3090 1 枚とデュアルソケット EPYC の DDR4 サーバーなら推定で毎秒約 40 トークン、デュアルチャネルのデスクトップに 128GB まで挿し切り、RTX 5070 を 2 枚載せた構成でも 2-bit しか収まらず毎秒約 29 トークンです。速度はメモリ帯域幅からの推定で、このモデルではエキスパートオフロードの実測データはまだ公開されていません。
2 × Tesla V100 32GB + Xeon E5 デュアル DDR4
低予算GeForce RTX 3090 + EPYC シングル DDR4
コスパGeForce RTX 5090 + EPYC シングル DDR5
フラッグシップ2 × Tesla V100 32GB + Xeon E5 デュアル DDR4
低予算GeForce RTX 3090 + EPYC デュアル DDR4
コスパGeForce RTX 5090 + EPYC シングル DDR5
フラッグシップ4 × Tesla V100 32GB + Xeon E5 デュアル DDR4
低予算GeForce RTX 3090 + EPYC デュアル DDR4
コスパGeForce RTX 5090 + EPYC デュアル DDR5
フラッグシップ一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Hy4 Flash をローカルで動かす前に知っておきたいこと
llama.cpp は公式ブランチの自前ビルドが必要
llama.cpp の Hy4 Flash 対応は PR #32517 にあり、11 月 18 日時点ではまだマージされていません。AngelSlim の GGUF の説明には 2 つの方法が示されています。この PR のブランチをそのままビルドするか、指定の旧バージョンにリポジトリ付属のパッチを当てる方法で、パッチは Mac 用と DGX Spark 用がそれぞれ用意されています。チャットで使うときは
--jinjaを付けます。パラメータ数が 220B と書かれている理由
220B はモデルカードに記載された総パラメータ数で、そのうち約 63.5B は Engram ルックアップテーブルです。モデルは隣り合う 2〜3 トークンの組み合わせでこのテーブルを引く仕組みで、フレーズの記憶を内蔵しているようなものです。バックボーンは 155.5B で、1 トークンごとに実際に使うのは約 12B なので、ファイルサイズは 200B 超のクラスでありながら、生成速度は 12B 相当で決まります。
どの量子化を選ぶか
公式 GGUF には通常の量子化が 3 段階あります。Q4_K_M は約 168 GB で、AngelSlim が推奨するデフォルトです。メモリが厳しい場合は Q3_K(約 155 GB)か IQ2_AH(約 135 GB)に落とします。3 段階ともルックアップテーブルの大きさは同じで、ビット数を下げても圧縮されるのはエキスパートだけなので、4-bit から 2-bit に落としても約 33 GB しか減りません。ほかに DGX Spark 向けの SPARK-4Bit 版が 2 つあり、NVIDIA の 4-bit 浮動小数点フォーマットを使っています。
思考モードはデフォルトでオン
reasoning_effortのデフォルトは high、つまり思考モードがオンになっています。直接回答させたい場合はno_thinkを渡します。公式推奨のサンプリングパラメータはtemperature0.9、top_p1.0 です。画像の認識もできますが、llama.cpp で画像を扱うには別途 mmproj ファイルを読み込む必要があり、11 月 18 日時点では GGUF リポジトリにまだ公開されていません。コンテキストを 1M まで広げても 14 GB しか増えない
42 層のうちコンテキスト全体を保持するのは 12 層だけで、残りの 30 層は直近の 512 トークンしか見ないため、コンテキストキャッシュが非常に小さく済みます。テンセントによると、コンテキストキャッシュは Hy3 の 1/24 しかありません。AngelSlim が DGX Spark 向けに推奨している設定では、コンテキストを最初から約 196K まで広げています。
ライセンスは Apache 2.0 ではなくなった
Hy4 Flash はテンセント独自の Tencent Hy License に変更され、Apache 2.0 をベースに商用利用の制限が 1 条項追加されました。モデルの API などを外部に提供する企業で、全世界の年間売上高が 5000 万米ドルを超える場合、または月間アクティブユーザーが 1 億人を超える製品にモデルを組み込む場合は、事前にテンセントから書面による許諾を得る必要があります。個人での利用や企業の社内利用はこの制限を受けません。
起動コマンド
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。
./build/bin/llama-server -m Hy4-flash-Q4_K_M-00001-of-00002.gguf \ -c 8192 -ngl 99 --jinja --port 8080
vLLM
- Linux
- NVIDIA
- Docker
実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。
docker run --gpus all \ -p 8000:8000 \ --ipc=host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \ --tensor-parallel-size 8 \ --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \ --attention-backend FLASHMLA_SPARSE \ --tool-call-parser hy_v4 \ --reasoning-parser hy_v4 \ --enable-auto-tool-choice \ --port 8000 \ --served-model-name hy4-flash
Ollama
- Windows
- macOS
- Linux
Ollama ライブラリに公式タグはまだありません。
ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
Hunyuan ファミリーのほかのモデル
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| 295B | 21B | 182.2 GB | |
| 770B | 49B | 467.3 GB |