Hy4 Flash 如何本地部署?
Hy4 Flash 是騰訊混元 2026 年 11 月開源的多模態 MoE,220B 參數、每個 token 只動用約 12B,4-bit 檔案約 168 GB。其中約 63 GB 是一張可以留在硬碟上按需讀取的查找表,因此騰訊實測 128GB 記憶體的 Mac 和 DGX Spark 就能跑 4-bit。llama.cpp 的支援還沒併入主線,要自己編譯官方給的分支;Ollama 暫時沒有。
Hy4 Flash 模型資訊
- 4-bit 最低顯示記憶體(8K 上下文)170 GB
- 參數量220B
- 激活參數12B
- 上下文上限1M
- 架構
- MoE
- 專家卸載
- 8 GB 顯存 + 164 GB 記憶體
- 發布日期
- 2026年11月18日
- 廠商
- Tencent
- Hugging Face 倉庫
- tencent/Hy4-flash
- GGUF 倉庫
- AngelSlim/Hy4-flash-GGUF
- 層數
- 42
- 隱藏維度
- 3,072
- KV 頭
- 32
- 頭維度
- 64
Hy4 Flash 本地部署需要多少顯示記憶體?
Hy4 Flash 的 4-bit 檔案約 168 GB,整個放進顯示記憶體再加上 32K 上下文約 170 GB;2-bit 約 135 GB,3-bit 約 155 GB。這幾個數字都包含一張約 63 GB 的 Engram 查找表,生成時每個 token 只查其中幾十列,可以放進主機記憶體或留在硬碟上,4-bit 真正需要常駐的部分約 105 GB。它的上下文很省空間,從 32K 開到 1M 只多出 14 GB。
| 量化 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 102.8估 | 104.4 | 105.7 | 107.5 | 118.4 |
| 2-bit | 135GGUF | 136.5 | 137.9 | 139.7 | 150.6 |
| 3-bit | 155.4GGUF | 156.9 | 158.3 | 160.1 | 171 |
| 4-bit | 168.3GGUF | 169.8 | 171.2 | 173 | 183.9 |
| 5-bit | 176.8估 | 178.4 | 179.7 | 181.5 | 192.4 |
| 8-bit | 237.7估 | 239.2 | 240.6 | 242.4 | 253.2 |
| BF16/FP16 | 392.2估 | 393.8 | 395.1 | 396.9 | 407.8 |
詳細計算規則可在資料方法頁查看。
單卡能跑 Hy4 Flash 嗎?
要看量化檔位,也要看那張查找表放在哪裡。如果把整個檔案都常駐記憶體,128GB 的整機只裝得下 2-bit,4-bit 要 512GB 的 Mac Studio M3 Ultra。要是把約 63 GB 的查找表留在硬碟上按需讀取,128GB 就夠跑 4-bit:騰訊 AngelSlim 團隊實測,128GB 的 M5 Max 每秒約 44 到 48 個 token,DGX Spark 跑專用的 SPARK-4Bit 版每秒約 26 到 33 個。獨立顯示卡最大只有 96GB,放不下 4-bit 約 105 GB 的常駐部分,得靠多卡或把專家放進系統記憶體。
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Ryzen AI Max+ 395 128GB整機 · 128 GB | NT$92,67022 筆掛單 | 30.3 | 95K |
| NT$215,90215 筆掛單 | 32 | 95K | |
| MacBook Pro M5 Max 128GB整機 · 128 GB | NT$234,95915 筆掛單 | 60.6 | 95K |
| Mac Studio M3 Ultra 512GB整機 · 512 GB | NT$645,7354 筆掛單 | 73.8 | 1M |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整機 · 512 GB | NT$645,7354 筆掛單 | 56.8 | 1M |
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整機 · 512 GB | NT$645,7354 筆掛單 | 38.3 | 1M |
只列常見的顯示卡和整機,按價格從低到高排。
多卡跑 Hy4 Flash 要幾張顯示卡?
多卡跑 Hy4 Flash 的 4-bit,最少要兩張 96GB 的 RTX PRO 6000;換成 48GB 的卡要 4 張,24GB 的消費級顯示卡要 8 張。這是把整個檔案平均分攤到各張卡來算,如果把查找表放進主機記憶體,還能再省下約 63 GB 顯示記憶體。量化檔案的多卡配置要用 llama.cpp 跑。官方 vLLM 配方跑的是原版和 FP8 權重,只支援 H100、H200、B200 這類資料中心卡,查找表預設放在主機記憶體裡。
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| 8 張 | NT$208,528 | 256 GB | 77 | 2,000 W | |
| Radeon RX 7900 XTX單卡 24 GB | 8 張 | NT$244,492 | 192 GB | 80.2 | 2,840 W |
| 8 張 | NT$359,679 | 192 GB | 78.9 | 2,800 W | |
| Instinct MI210單卡 64 GB | 4 張 | NT$364,747 | 256 GB | 108.1 | 1,200 W |
| 2 台 | NT$431,805 | 256 GB | 31.2 | 480 W | |
| 8 張 | NT$451,522 | 256 GB | 58.9 | 1,840 W | |
| 2 張 | NT$564,649 | 144 GB | 97.5 | 600 W | |
| 4 張 | NT$670,382 | 192 GB | 69.4 | 1,200 W | |
| 2 張 | NT$797,557 | 160 GB | 116.9 | 600 W | |
| 8 張 | NT$950,365 | 192 GB | 82.6 | 3,600 W | |
| 2 張 | NT$1,217,531 | 192 GB | 112.8 | 1,200 W | |
| 8 張 | NT$1,971,711 | 256 GB | 112.8 | 4,600 W | |
| 4 張 | 暫無 | 192 GB | 82.6 | 1,800 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| 8 張 | NT$208,528 | 256 GB | 59.9 | 2,000 W | |
| Radeon RX 7900 XTX單卡 24 GB | 8 張 | NT$244,492 | 192 GB | 62.7 | 2,840 W |
| 8 張 | NT$359,679 | 192 GB | 61.6 | 2,800 W | |
| Instinct MI210單卡 64 GB | 4 張 | NT$364,747 | 256 GB | 88.6 | 1,200 W |
| 2 台 | NT$431,805 | 256 GB | 22.6 | 480 W | |
| 8 張 | NT$451,522 | 256 GB | 44.5 | 1,840 W | |
| 4 張 | NT$670,382 | 192 GB | 53.3 | 1,200 W | |
| 8 張 | NT$950,365 | 192 GB | 64.9 | 3,600 W | |
| 4 張 | NT$1,129,297 | 288 GB | 78.6 | 1,200 W | |
| 2 張 | NT$1,217,531 | 192 GB | 93.3 | 1,200 W | |
| 4 張 | NT$1,595,114 | 320 GB | 97.3 | 1,200 W | |
| 8 張 | NT$1,971,711 | 256 GB | 93.3 | 4,600 W | |
| 4 張 | 暫無 | 192 GB | 64.9 | 1,800 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| 8 張 | NT$208,528 | 256 GB | 41 | 2,000 W | |
| Instinct MI210單卡 64 GB | 4 張 | NT$364,747 | 256 GB | 64.4 | 1,200 W |
| 2 台 | NT$431,805 | 256 GB | 14.4 | 480 W | |
| 8 張 | NT$451,522 | 256 GB | 29.5 | 1,840 W | |
| 4 張 | NT$1,129,297 | 288 GB | 55.9 | 1,200 W | |
| 8 張 | NT$1,340,763 | 384 GB | 36 | 2,400 W | |
| 4 張 | NT$1,595,114 | 320 GB | 72.1 | 1,200 W | |
| 8 張 | NT$1,971,711 | 256 GB | 68.5 | 4,600 W | |
| 4 張 | NT$2,435,063 | 384 GB | 68.5 | 2,400 W | |
| 8 張 | 暫無 | 384 GB | 44.9 | 3,600 W |
詳細計算規則可在資料方法頁查看。
用整機跑 Hy4 Flash 要什麼配置?
手邊只有一兩張一般顯示卡時,把 Hy4 Flash 的專家和查找表放進系統記憶體最實際:4-bit 下顯示卡只要放約 8 GB 每個 token 都會用到的共用部分,系統記憶體配 128GB 到 256GB。一張 RTX 3090 加雙路 EPYC 的 DDR4 伺服器估算每秒約 40 個 token;雙通道桌機插滿 128GB、再配兩張 RTX 5070,也只夠跑 2-bit,每秒約 29 個。速度是按記憶體頻寬估算,這個模型還沒有公開的專家卸載實測數據。
2 × Tesla V100 32GB + E5 雙路 DDR4
低價GeForce RTX 3090 + EPYC 單路 DDR4
性價比GeForce RTX 5090 + EPYC 單路 DDR5
旗艦2 × Tesla V100 32GB + E5 雙路 DDR4
低價GeForce RTX 3090 + EPYC 雙路 DDR4
性價比GeForce RTX 5090 + EPYC 單路 DDR5
旗艦Tesla V100 32GB + E5 雙路 DDR4
低價GeForce RTX 3090 + EPYC 雙路 DDR4
性價比GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
本地部署 Hy4 Flash 要注意什麼?
llama.cpp 要自己編譯官方分支
llama.cpp 對 Hy4 Flash 的支援在 PR #32517 裡,截至 11 月 18 日還沒併入主線。AngelSlim 的 GGUF 說明提供了兩種做法:直接編譯這個 PR 的分支,或是在指定的舊版本上套用儲存庫裡附帶的修補程式,Mac 和 DGX Spark 各有一份。對話時要加上
--jinja。參數為什麼寫 220B
220B 是模型卡上寫的總參數,其中約 63.5B 是 Engram 查找表:模型會按相鄰兩三個 token 的組合去查表,相當於內建一份詞組記憶。主幹網路是 155.5B,每個 token 實際動用約 12B,所以它的體積是兩百多 B 等級,生成速度卻是按 12B 來算。
量化該選哪一檔
官方 GGUF 有三檔常規量化。Q4_K_M 約 168 GB,是 AngelSlim 推薦的預設檔位;記憶體吃緊再退到 Q3_K(約 155 GB)或 IQ2_AH(約 135 GB)。這三檔裡的查找表一樣大,降檔只會壓縮專家權重,所以從 4-bit 降到 2-bit 只省下約 33 GB。另外還有兩個給 DGX Spark 準備的 SPARK-4Bit 版,採用 NVIDIA 的 4-bit 浮點格式。
思考模式預設開啟
reasoning_effort預設為 high,也就是開著思考模式;想讓它直接回答就傳入no_think。官方推薦的取樣參數是temperature0.9、top_p1.0。它支援看圖,但用 llama.cpp 看圖要另外載入一個 mmproj 檔案,截至 11 月 18 日 GGUF 儲存庫裡還沒有釋出。開到 1M 上下文只多 14 GB
42 層裡只有 12 層會記住整段上下文,另外 30 層只看最近 512 個 token,因此上下文快取非常小。騰訊表示它的上下文快取只有 Hy3 的 1/24。AngelSlim 給 DGX Spark 的推薦配置,直接把上下文開到了約 196K。
授權條款不再是 Apache 2.0
Hy4 Flash 改用騰訊自己的 Tencent Hy License,在 Apache 2.0 的基礎上加了一條商用限制:對外提供模型 API 這類服務的公司,若全球年營收超過 5000 萬美元,或是要把模型用在月活躍用戶超過 1 億的產品裡,都得先向騰訊取得書面授權。個人使用與公司內部使用不受這一條限制。
啟動指令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
./build/bin/llama-server -m Hy4-flash-Q4_K_M-00001-of-00002.gguf \ -c 8192 -ngl 99 --jinja --port 8080
vLLM
- Linux
- NVIDIA
- Docker
docker run --gpus all \ -p 8000:8000 \ --ipc=host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \ --tensor-parallel-size 8 \ --speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \ --attention-backend FLASHMLA_SPARSE \ --tool-call-parser hy_v4 \ --reasoning-parser hy_v4 \ --enable-auto-tool-choice \ --port 8000 \ --served-model-name hy4-flash
Ollama
- Windows
- macOS
- Linux
Ollama 庫暫無官方標籤。
量化檔名以模型庫當週抓取為準,口徑見資料方法。 資料方法
Hunyuan 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| 295B | 21B | 182.2 GB | |
| 770B | 49B | 467.3 GB |