当サイトにはアフィリエイトリンクが含まれます。eBay パートナーおよび Amazon アソシエイトとして、リンク経由でご購入いただいた場合に報酬を受け取ることがあります。eBay・Amazon 経由で報酬を得ることがあります。詳しく

収録 GPU64価格追跡78 日直近 24h の価格データ32,149 件24h 最大の値下げGeForce RTX 4080-14.4%24h 最大の値上げRadeon RX 7900 XTX+8.2%更新
¥ JPY

Hy4 Flash をローカルに導入するには?

Hy4 Flash は Tencent Hunyuan が 2026 年 11 月に公開した 220B パラメータのマルチモーダル MoE です。1 トークンごとに使うのは約 12B で、4-bit ファイルは約 168 GB あります。そのうち約 63 GB はストレージに置いたまま必要に応じて読み出せるルックアップテーブルなので、テンセントの実測では 128GB メモリの Mac や DGX Spark で 4-bit を動かせます。llama.cpp の対応はまだメインラインにマージされておらず、公式ブランチを自分でビルドする必要があります。Ollama にはまだありません。

Hy4 Flash のモデル情報

  • 4-bit 最小VRAM(8K コンテキスト)170 GB
  • パラメータ数220B
  • アクティブ12B
  • 最大コンテキスト1M
アーキテクチャ
MoE
エキスパートオフロード
VRAM 8 GB + RAM 164 GB
ライセンス
Tencent Hy License
発売日
2026年11月18日
提供元
Tencent
Hugging Face リポジトリ
tencent/Hy4-flash
GGUF リポジトリ
AngelSlim/Hy4-flash-GGUF
レイヤー数
42
隠れ層次元
3,072
KV ヘッド数
32
ヘッド次元
64

Hy4 Flash のローカル実行に必要なVRAMは?

Hy4 Flash の 4-bit ファイルは約 168 GB で、全体を VRAM に載せて 32K コンテキストを足すと約 170 GB、2-bit は約 135 GB、3-bit は約 155 GB です。これらの数字にはいずれも約 63 GB の Engram ルックアップテーブルが含まれています。生成時に 1 トークンごとに参照するのはその中の数十行だけなので、ホスト側のメモリやストレージに逃がすことができ、4-bit で実際に常駐させる必要がある部分は約 105 GB です。コンテキストの消費も非常に少なく、32K から 1M まで広げても 14 GB しか増えません。

量子化重みサイズGB32K コンテキストGB128K コンテキストGB256K コンテキストGB1M コンテキスト(最大)GB
1-bit102.8推定104.4105.7107.5118.4
2-bit135GGUF136.5137.9139.7150.6
3-bit155.4GGUF156.9158.3160.1171
4-bit168.3GGUF169.8171.2173183.9
5-bit176.8推定178.4179.7181.5192.4
8-bit237.7推定239.2240.6242.4253.2
BF16/FP16392.2推定393.8395.1396.9407.8

詳しい計算ルールはデータの作り方ページをご覧ください。

Hy4 Flash は GPU 1 枚で動く?

量子化のビット数と、あのルックアップテーブルをどこに置くかで決まります。ファイル全体をメモリに常駐させる計算だと、128GB のマシンには 2-bit しか収まらず、4-bit には 512GB の Mac Studio M3 Ultra が要ります。約 63 GB のルックアップテーブルをストレージに置いたまま必要に応じて読み出す形にすれば、128GB でも 4-bit を動かせます。テンセントの AngelSlim チームの実測では、128GB の M5 Max で毎秒約 44〜48 トークン、DGX Spark は専用の SPARK-4Bit 版で毎秒約 26〜33 トークンです。単体の GPU は最大でも 96GB しかなく、4-bit の常駐部分である約 105 GB が収まらないため、マルチ GPU にするかエキスパートをメモリに置く必要があります。

Amazon.jp
デバイス価格速度 t/s最大コンテキスト
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB価格なし56.81M

よく使われる GPU とマシンだけを、価格の安い順に掲載しています。

Hy4 Flash を動かすには GPU が何枚必要?

マルチ GPU で Hy4 Flash の 4-bit を動かすには、少なくとも 96GB の RTX PRO 6000 が 2 枚必要で、48GB のカードなら 4 枚、24GB のコンシューマー向けカードなら 8 枚要ります。これはファイル全体を各カードに均等に振り分けた場合の計算で、ルックアップテーブルをホスト側のメモリに置けばさらに約 63 GB の VRAM を節約できます。量子化ファイルのマルチ GPU 実行には llama.cpp を使います。公式の vLLM レシピは元の重みと FP8 の重みを動かすもので、H100、H200、B200 といったデータセンター向けカードにしか対応しておらず、ルックアップテーブルはデフォルトでホスト側のメモリに置かれます。

Amazon.jp
デバイス必要枚数合計価格合計 VRAM速度 t/s合計消費電力
Radeon RX 7900 XTX1 枚 24 GB8 枚¥2,659,344192 GB62.72,840 W
Arc Pro B701 枚 32 GB8 枚¥3,065,680256 GB44.51,840 W
GeForce RTX 30901 枚 24 GB8 枚¥3,776,120192 GB61.62,800 W
RTX A60001 枚 48 GB4 枚¥6,075,400192 GB53.31,200 W
RTX PRO 60001 枚 96 GB2 枚¥7,477,600192 GB93.31,200 W
GeForce RTX 40901 枚 24 GB8 枚¥8,249,504192 GB64.93,600 W
GeForce RTX 50901 枚 32 GB8 枚¥11,823,136256 GB93.34,600 W
A100 80GB PCIe1 枚 80 GB4 枚価格なし320 GB97.31,200 W
Instinct MI2101 枚 64 GB4 枚価格なし256 GB88.61,200 W
RTX PRO 5000 72GB1 枚 72 GB4 枚価格なし288 GB78.61,200 W
GeForce RTX 4090 48GB1 枚 48 GB4 枚価格なし192 GB64.91,800 W
Tesla V100 32GB1 枚 32 GB8 枚価格なし256 GB59.92,000 W
DGX Spark 128GB1 台 128 GB2 台価格なし256 GB22.6480 W

詳しい計算ルールはデータの作り方ページをご覧ください。

Hy4 Flash を動かすにはどんな構成のマシンが必要?

一般的な GPU が 1〜2 枚しかない場合は、Hy4 Flash のエキスパートとルックアップテーブルをメモリに置くのが最も現実的です。4-bit なら GPU にはどのトークンでも使う約 8 GB の共通部分だけを載せ、メモリを 128GB から 256GB 積みます。RTX 3090 1 枚とデュアルソケット EPYC の DDR4 サーバーなら推定で毎秒約 40 トークン、デュアルチャネルのデスクトップに 128GB まで挿し切り、RTX 5070 を 2 枚載せた構成でも 2-bit しか収まらず毎秒約 29 トークンです。速度はメモリ帯域幅からの推定で、このモデルではエキスパートオフロードの実測データはまだ公開されていません。

Amazon.jp

2 × Tesla V100 32GB + Xeon E5 デュアル DDR4

低予算
生成速度32.9t/s
メモリ帯域幅137GB/s
GPU
2 × Tesla V100 32GBエキスパート層 25 / 42 を VRAM 64 GB に配置
—
メモリ
128 GB DDR4-213316 GB × 8 枚
¥192,184
CPU
2 × Intel Xeon E5-2680 v4合計 28 コア 56 スレッド・8 チャネル
¥4,792
マザーボード
Supermicro X10DRiメモリスロット 16 本
¥28,755
電源
Corsair RM1200x SHIFT1,200 W
¥37,890
マシン全体の参考価格—

GeForce RTX 3090 + EPYC デュアル DDR4

コスパ
生成速度39.5t/s
メモリ帯域幅341GB/s
GPU
GeForce RTX 3090エキスパート層 7 / 42 を VRAM 24 GB に配置
¥472,015
メモリ
256 GB DDR4-266616 GB × 16 枚
¥546,992
CPU
2 × AMD EPYC 7532合計 64 コア 128 スレッド・16 チャネル
¥83,070
マザーボード
Supermicro H12DSi-N6メモリスロット 16 本
¥175,724
電源
Corsair RM1200x SHIFT1,200 W
¥37,890
マシン全体の参考価格¥1,315,691

GeForce RTX 5090 + EPYC シングル DDR5

フラッグシップ
生成速度63.6t/s
メモリ帯域幅461GB/s
GPU
GeForce RTX 5090エキスパート層 11 / 42 を VRAM 32 GB に配置
¥1,477,892
メモリ
192 GB DDR5-480016 GB × 12 枚
¥1,733,976
CPU
AMD EPYC 935432 コア 64 スレッド・12 チャネル
¥292,342
マザーボード
Supermicro H13SSL-Nメモリスロット 12 本
¥130,995
電源
Corsair RM1200x SHIFT1,200 W
¥37,890
マシン全体の参考価格¥3,673,094

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

Hy4 Flash をローカルで動かす前に知っておきたいこと

  1. llama.cpp は公式ブランチの自前ビルドが必要

    llama.cpp の Hy4 Flash 対応は PR #32517 にあり、11 月 18 日時点ではまだマージされていません。AngelSlim の GGUF の説明には 2 つの方法が示されています。この PR のブランチをそのままビルドするか、指定の旧バージョンにリポジトリ付属のパッチを当てる方法で、パッチは Mac 用と DGX Spark 用がそれぞれ用意されています。チャットで使うときは --jinja を付けます。

  2. パラメータ数が 220B と書かれている理由

    220B はモデルカードに記載された総パラメータ数で、そのうち約 63.5B は Engram ルックアップテーブルです。モデルは隣り合う 2〜3 トークンの組み合わせでこのテーブルを引く仕組みで、フレーズの記憶を内蔵しているようなものです。バックボーンは 155.5B で、1 トークンごとに実際に使うのは約 12B なので、ファイルサイズは 200B 超のクラスでありながら、生成速度は 12B 相当で決まります。

  3. どの量子化を選ぶか

    公式 GGUF には通常の量子化が 3 段階あります。Q4_K_M は約 168 GB で、AngelSlim が推奨するデフォルトです。メモリが厳しい場合は Q3_K(約 155 GB)か IQ2_AH(約 135 GB)に落とします。3 段階ともルックアップテーブルの大きさは同じで、ビット数を下げても圧縮されるのはエキスパートだけなので、4-bit から 2-bit に落としても約 33 GB しか減りません。ほかに DGX Spark 向けの SPARK-4Bit 版が 2 つあり、NVIDIA の 4-bit 浮動小数点フォーマットを使っています。

  4. 思考モードはデフォルトでオン

    reasoning_effort のデフォルトは high、つまり思考モードがオンになっています。直接回答させたい場合は no_think を渡します。公式推奨のサンプリングパラメータは temperature 0.9、top_p 1.0 です。画像の認識もできますが、llama.cpp で画像を扱うには別途 mmproj ファイルを読み込む必要があり、11 月 18 日時点では GGUF リポジトリにまだ公開されていません。

  5. コンテキストを 1M まで広げても 14 GB しか増えない

    42 層のうちコンテキスト全体を保持するのは 12 層だけで、残りの 30 層は直近の 512 トークンしか見ないため、コンテキストキャッシュが非常に小さく済みます。テンセントによると、コンテキストキャッシュは Hy3 の 1/24 しかありません。AngelSlim が DGX Spark 向けに推奨している設定では、コンテキストを最初から約 196K まで広げています。

  6. ライセンスは Apache 2.0 ではなくなった

    Hy4 Flash はテンセント独自の Tencent Hy License に変更され、Apache 2.0 をベースに商用利用の制限が 1 条項追加されました。モデルの API などを外部に提供する企業で、全世界の年間売上高が 5000 万米ドルを超える場合、または月間アクティブユーザーが 1 億人を超える製品にモデルを組み込む場合は、事前にテンセントから書面による許諾を得る必要があります。個人での利用や企業の社内利用はこの制限を受けません。

起動コマンド

llama.cpp

  • NVIDIA
  • AMD
  • Mac
  • CPU

実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。

ターミナル
./build/bin/llama-server -m Hy4-flash-Q4_K_M-00001-of-00002.gguf \
  -c 8192 -ngl 99 --jinja --port 8080

vLLM

  • Linux
  • NVIDIA
  • Docker

実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。

ターミナル
docker run --gpus all \
  -p 8000:8000 \
  --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \
    --tensor-parallel-size 8 \
    --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \
    --attention-backend FLASHMLA_SPARSE \
    --tool-call-parser hy_v4 \
    --reasoning-parser hy_v4 \
    --enable-auto-tool-choice \
    --port 8000 \
    --served-model-name hy4-flash

Ollama

  • Windows
  • macOS
  • Linux

Ollama ライブラリに公式タグはまだありません。

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

Hunyuan ファミリーのほかのモデル

モデル総パラメータアクティブ4-bit のサイズ
Hy3MoE295B21B182.2 GB
Hy4 previewMoE770B49B467.3 GB

Hunyuan について