本地部署 Hunyuan 需要什麼顯示卡?各版本記憶體需求一覽
Hunyuan 目前有 2 個能本地部署的版本,最小的 Hy3 在 4-bit 量化下需要 186GB 顯示記憶體;最大的 Hy4 preview 是 MoE 模型,用專家卸載時需要 19GB 顯示記憶體加約 452GB 系統記憶體。最便宜能跑起來的裝置是 8 張 Tesla V100 32GB,約 NT$177,250。
| 版本 | 發布日期 | 上下文 | 授權 | ||
|---|---|---|---|---|---|
| 2026年8月28日 | 770B | 49B | 1M | Apache-2.0 | |
| 2026年7月6日 | 295B | 21B | 256K | Apache-2.0 |
關於 Hunyuan
混元(Hunyuan,2026 年起在國際市場簡稱 Hy)是騰訊旗下的大模型系列,由騰訊混元團隊開發;騰訊成立於 1998 年,總部位於深圳。混元在 2023 年 9 月首度發表,2024 年起陸續開源權重,主力語言模型清一色是 MoE,著重 AI 代理、程式開發與辦公應用。
2024 年 11 月開源的 Hunyuan-Large 有 3890 億參數,每處理一個字動用 520 億,騰訊稱它是當時規模最大的開源 Transformer MoE;2025 年 6 月的 Hunyuan-A13B 則能在快思考與慢思考之間切換。2026 年初,騰訊重新打造訓練基礎設施,4 月開源的 Hy3 preview 是重建後的第一個模型;7 月推出的正式版 Hy3 有 2950 億參數,每個字動用 210 億;8 月的 Hy4 preview 擴大到 7700 億參數,每個字動用 490 億,採用加上門控機制的 DeepSeek 稀疏注意力,上下文達 100 萬 token。授權條款也經歷過一次大轉變:Hy3 preview 和更早的模型採用騰訊自訂的授權條款,不適用於歐盟等地區;Hy3 和 Hy4 preview 則改用 Apache 2.0,可以商用。
- 廠商Tencent
- 收錄版本2
- 參數量295B – 770B
- 最新版本Hy4 preview
- 授權
- Apache-2.0
- 官方首頁
- hy.tencent.ai
- Hugging Face 組織
- tencent
Hunyuan 各版本 2-bit 量化需要多少顯示記憶體?
2-bit 也叫 Q2 精度,常見的 GGUF 檔案有 Q2_K、UD-Q2_K_XL,體積最小、品質損失也最明顯,適合顯示記憶體吃緊時先把模型跑起來。下表每一列是 Hunyuan 的一個版本,每一欄是一種上下文長度,格子裡是用 Q2 精度部署時需要的總顯示記憶體(權重 + KV cache + 1.1GB 執行開銷)。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 307.2估 | 311.2 | 320.1 | 331.9 | 402.5 | |
| 107.2GGUF | 119 | 151.2 | 194.2 | — |
Hunyuan 各版本 4-bit 量化需要多少顯示記憶體?
4-bit 也叫 Q4 精度,對應最常用的 Q4_K_M 檔案,體積和品質比較平衡,是本地部署的預設選擇。下表每一列是 Hunyuan 的一個版本,每一欄是一種上下文長度,格子裡是用 Q4 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 467.3GGUF | 471.3 | 480.2 | 491.9 | 562.6 | |
| 182.2GGUF | 194 | 226.2 | 269.2 | — |
Hunyuan 各版本 8-bit 量化需要多少顯示記憶體?
8-bit 也叫 Q8 精度,對應 Q8_0 檔案,品質最接近原版,體積也最大。下表每一列是 Hunyuan 的一個版本,每一欄是一種上下文長度,格子裡是用 Q8 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| 857估 | 861 | 869.9 | 881.6 | 952.3 | |
| 317.7GGUF | 329.5 | 361.7 | 404.7 | — |
常見問題
Hunyuan 是開源的嗎?可以免費商用嗎?
可以。本站收錄的 Hy3 和 Hy4 preview 都採用 Apache 2.0 授權,能商用、修改和再散布,條件是隨附授權條款、保留著作權聲明,並在改動過的檔案中註明修改。網路上查到「混元不能在歐盟使用」的說法,指的是較早的模型:例如 Hunyuan-A13B 採用騰訊混元社群授權條款,明文規定不適用於歐盟、英國和南韓;Hy3 和 Hy4 preview 的授權條款裡沒有這一條。
Hunyuan 可以用 Ollama 執行嗎?
目前還不行:Ollama 官方模型庫裡沒有 Hy3 和 Hy4 preview,連雲端版本都沒有。Hy3 可以用 llama.cpp 執行 bartowski 製作的 GGUF,主線自 2026 年 7 月起支援,也能用 MTP 推測解碼。Hy4 preview 的支援到 2026 年 9 月才併入主線,不過現有的 AngelSlim GGUF 仍然需要打過修補程式的 llama.cpp。兩個模型都有 vLLM 官方配方,改用 vLLM 執行官方權重會比較穩妥。