Hy4 preview をローカルに導入するには？
Hy4 preview は総パラメータ 770B、1 トークンあたり 49B が有効になる MoE モデルです。Q4 で全量を VRAM に置くには 431GB 必要ですが、エキスパートをシステム RAM に置けば VRAM 18GB + RAM 415GB で動きます。収まる最も安いデバイスは Mac Studio M3 Ultra 512GB ですが、中古価格のデータはまだなく、推定 15 tokens/s です。オフロード構成で最も安く動かせるのは Radeon RX 7900 XT で、推定 3 tokens/s です。
Hy4 preview のバージョン情報
Hy4 preview のローカル実行に必要なVRAMは？
MoE：総パラメータ 770B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 49B で決まります。
| 量子化 | 重みサイズGB | 8K 時の合計GB | 32K 時の合計GB | 128K 時の合計GB |
|---|---|---|---|---|
| 1-bit | 235.4GGUF | 182.4 | 184.5 | 192.7 |
| 2-bit | 286.1推定 | 287.8 | 289.9 | 298.1 |
| 3-bit | 369推定 | 370.6 | 372.7 | 380.9 |
| 4-bit | 467.3GGUF | 430.9 | 432.9 | 441.2 |
| 5-bit | 519.6推定 | 521.2 | 523.3 | 531.5 |
| 8-bit | 798.2推定 | 799.8 | 801.9 | 810.1 |
| FP16 | 1,505.9推定 | 1,507.6 | 1,509.7 | 1,517.9 |
合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 1M を超えるコンテキストは「—」と表示します。各段はリポジトリにあるそのビット幅のファイルを使い、unsloth 動的量子化を優先するため、ファイル名はモデルごとに異なります。
Hy4 preview を動かせるGPUは？
Q4_K_M・8K コンテキスト・eBayの中古価格の安い順| デバイス | VRAMGB | 中古価格 | 推定 t/s | 推奨コンテキスト |
|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB | 512 | —出品なし | 15 | 128K |
判定基準：重み + KV キャッシュ + 実行時オーバーヘッド ≤ 利用可能メモリ、1 枚構成。MoE モデルの「オフロード」はエキスパート重みをシステム RAM に置けば動作することを示し（VRAM にはアテンション層と KV キャッシュのみ）、その速度は RAM 帯域幅 70 GB/s を前提に推定。コンテキスト列は収まる最大段階です。
Hy4 preview のCPU・GPU併用推論におすすめのGPU
エキスパート重みはシステム RAM に置き（415 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 18 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。
Ollama / llama.cpp / vLLM で Hy4 preview をローカルに導入する
Ollama ライブラリに公式タグはまだありません。
実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。
./build-cuda/bin/llama-cli -m Hy4-preview-Q4_K_M.gguf -ngl 99 -c 8192 --jinja -st -f prompt.txt
実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:hy4-preview tencent/Hy4-preview-FP8 \
--tensor-parallel-size 8 \
--speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
--attention-backend FLASHMLA_SPARSE \
--tool-call-parser hy_v4 \
--reasoning-parser hy_v4 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy4-previewファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
よくある質問
Hy4 preview にはどれくらいのVRAMが必要ですか？
Q4_K_M・8K コンテキストでは Hy4 preview に約 431GB のVRAMが必要で、520GB あれば余裕があります。
Hy4 preview を動かせる最も安いGPUは？
Mac Studio M3 Ultra 512GB です。VRAM 512GB、推定 15 tokens/s。このデバイスの中古価格データはまだありません。
Hy4 preview は Ollama で動かせますか？
まだできません。Ollama ライブラリに公式タグがないため、llama.cpp で GGUF を読み込んでください。