Hy3 をローカルに導入するには？

• 4-bit 最小VRAM186 GB · 8K
• パラメータ数295B
• アクティブ21B
• 最大コンテキスト256K

アーキテクチャ

MoE

エキスパートオフロード

VRAM 11 GB + RAM 177 GB

ライセンス

Apache-2.0

発売日

2026年7月6日

提供元

Tencent

Hugging Face リポジトリ

tencent/Hy3

GGUF リポジトリ

bartowski/Hy3-GGUF

NVFP4 リポジトリ（Blackwell）

RedHatAI/Hy3-NVFP4-FP8

レイヤー数

80

隠れ層次元

4,096

KV ヘッド数

8

ヘッド次元

128

詳しい計算ルールはデータの作り方ページをご覧ください。

デバイス	価格	速度 t/s	最大コンテキスト
Mac Studio M3 Ultra 512GBマシン全体 · 512 GB	価格なし	36.4	256K

よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。

デバイス	必要枚数	合計価格	合計 VRAM	速度 t/s	合計消費電力
Arc Pro B701 枚 32 GB	8 枚	¥2,774,496	256 GB	22.8	1,840 W
RTX A60001 枚 48 GB	8 枚	¥11,612,400	384 GB	28	2,400 W
GeForce RTX 50901 枚 32 GB	8 枚	¥11,840,000	256 GB	55.7	4,600 W
A100 80GB PCIe1 枚 80 GB	4 枚	価格なし	320 GB	58.9	1,200 W
RTX PRO 60001 枚 96 GB	4 枚	価格なし	384 GB	55.7	2,400 W
Instinct MI2101 枚 64 GB	4 枚	価格なし	256 GB	52.1	1,200 W
RTX PRO 5000 72GB1 枚 72 GB	4 枚	価格なし	288 GB	44.7	1,200 W
GeForce RTX 4090 48GB1 枚 48 GB	8 枚	価格なし	384 GB	35.4	3,600 W
Tesla V100 32GB1 枚 32 GB	8 枚	価格なし	256 GB	32.1	2,000 W
DGX Spark 128GB1 台 128 GB	2 台	価格なし	256 GB	10.9	480 W

詳しい計算ルールはデータの作り方ページをご覧ください。

詳しい計算ルールはデータ方法のページで確認できます。

一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。

1. 1

   GGUF とサーバー向けの版

   bartowski が 1-bit から 8-bit までの GGUF を一通り作っており、4-bit の重みは約 182 GB、2-bit は約 107 GB です。サーバー向けには公式の BF16 版と FP8 版に加え、vLLM のレシピに Red Hat が作った NVFP4 版も載っており、こちらは 80GB の H100 4 枚に収まります。

2. 2

   推論エンジンの選び方

   bartowski の GGUF は llama.cpp の正式リリース b9993 で量子化されているので、メインラインの llama.cpp で動きます。Ollama の公式ライブラリにはありません。サーバー向けに公式が推奨するのは vLLM（レシピの要件は 0.28.0 以降）か SGLang です。vLLM でのツール呼び出しと推論のパーサー名は、どちらも hy_v3 です。

3. 3

   思考の切り替えとサンプリングパラメータ

   既定では思考しません（reasoning_effort が no_think）。数学やコードのような複雑なタスクでは high に変えます。その中間に low もあります。公式の推奨は temperature 0.9、top_p 1.0 です。

4. 4

   長いコンテキストは VRAM を大きく使う

   通常のアテンション構造なので、コンテキストのキャッシュは長さに比例して増えます。4-bit では 256K が 8K より約 83 GB 多くなります（約 269 GB 対 186 GB）。ハードウェアを選ぶときはこの分も計算に入れ、長いコンテキストが不要ならフルに広げないようにしましょう。

5. 5

   ライセンスは Apache 2.0 に

   Tencent のこれまでの Hunyuan モデル（Hunyuan-A13B など）は独自のコミュニティライセンスを採用しており、EU、英国、韓国では適用されないと明記されていました。Hy3 は Apache 2.0 に変わり、この地域制限はありません。

llama-server -hf bartowski/Hy3-GGUF:Q4_K_M --jinja -c 8192

# Switch to trtllm backend to work-around mnnvl workspace size issue.
export VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm
vllm serve tencent/Hy3 \
  --tensor-parallel-size 8 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 2 \
  --tool-call-parser hy_v3 \
  --reasoning-parser hy_v3 \
  --enable-auto-tool-choice \
  --port 8000 \
  --served-model-name hy3

ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法

モデル	総パラメータ	アクティブ	4-bit のサイズ
Hy4 previewMoE	770B	49B	467.3 GB

Hunyuan について