Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度9.8t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$91,667
Kimi K2.5 如何本地部署？
Kimi K2.5 是月之暗面 2026 年 1 月發布的 1T 參數 MoE，比 K2 多了看圖能力，以及思考、即時兩種模式，專家權重原生就是 4-bit。之後的 K2.6、K2.7 Code 架構完全相同，所以新部署要寫程式就直接用 K2.7 Code，要即時模式就用 K2.6。K2.5 的 GGUF 還有一個地雷：8-bit 檔約 1,091 GB，只是把 4-bit 的專家放大儲存，並不會比 4-bit 更準確。
Kimi K2.5 模型資訊
- 4-bit 最低顯示記憶體623 GB · 8K
- 參數量1,000B
- 激活參數32B
- 上下文上限256K
- 架構
- MoE
- 專家卸載
- 10 GB 顯存 + 615 GB 記憶體
- 發布日期
- 2026年1月27日
- 廠商
- Moonshot AI
- Hugging Face 倉庫
- moonshotai/Kimi-K2.5
- GGUF 倉庫
- unsloth/Kimi-K2.5-GGUF
- NVFP4 倉庫（Blackwell）
- nvidia/Kimi-K2.5-NVFP4
- MLX 倉庫（Apple）
- mlx-community/Kimi-K2.5
- 層數
- 61
- 隱藏維度
- 7,168
- KV 頭
- 64
- 頭維度
- 192
Kimi K2.5 本地部署需要多少顯示記憶體？
| 量化 | 權重體積GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 300.6GGUF | 302.2 | 304 | 310.9 | 320.1 |
| 2-bit | 374.8GGUF | 376.4 | 378.2 | 385.1 | 394.3 |
| 3-bit | 490.4GGUF | 492 | 493.8 | 500.7 | 509.9 |
| 4-bit | 621.2GGUF | 622.8 | 624.6 | 631.5 | 640.7 |
| 5-bit | 728.7GGUF | 730.3 | 732.1 | 739 | 748.2 |
| 8-bit | 1,091.1GGUF | 1,092.7 | 1,094.5 | 1,101.4 | 1,110.6 |
| BF16/FP16 | 2,053.2GGUF | 2,054.8 | 2,056.6 | 2,063.5 | 2,072.7 |
詳細計算規則可在資料方法頁查看。
單卡能跑 Kimi K2.5 嗎？
不能。它和 K2 一樣是 1T 參數，2-bit 約 375 GB，任何一張顯示卡都差得遠，128GB 整機也只放得下三分之一。唯一能整個放進一台機器的，是 512GB 的 Mac Studio M3 Ultra 跑 2-bit，開滿上下文也不必改系統設定；4-bit 約 621 GB，這台 Mac 也放不下。沒有這台 Mac，就只能用多卡，或大記憶體伺服器加一張顯示卡。另外別下載 8-bit 檔：它的專家原本就是 4-bit，8-bit 檔案只是把同樣的資料存得更大，並不會更準，本機選到 4-bit 就到頂了。
| 裝置 | 價格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整機 · 512 GB | NT$573,1654 筆掛單 | 41.2 | 256K |
只列常見的顯示卡和整機，50B 以下和以上的模型各一組，按價格從低到高。
多卡跑 Kimi K2.5 要幾張顯示卡？
要 8 張 96GB 的 RTX PRO 6000，2-bit 每秒約 70 個 token，4-bit 約 50；4-bit 已經接近原版品質，不必為了 8-bit 再折騰。它的 2-bit 比 K2.6 大三十多 GB，加上 32K 上下文，4 張 96GB 卡和 8 張 48GB 卡都差一點放不下，所以中間沒有張數更少的配法。4 台 DGX Spark 串接放得下 2-bit，但每台的記憶體頻寬有限，每秒只有十幾個。
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Instinct MI210單卡 64 GB | 8 張 | NT$721,598 | 512 GB | 66 | 2,400 W |
 DGX Spark 128GB單台 128 GB | 4 台 | NT$838,660 | 512 GB | 14.8 | 960 W |
| RTX PRO 5000 72GB單卡 72 GB | 8 張 | NT$2,301,438 | 576 GB | 57.4 | 2,400 W |
| RTX PRO 6000單卡 96 GB | 8 張 | NT$4,875,929 | 768 GB | 70.2 | 4,800 W |
| A100 80GB PCIe單卡 80 GB | 8 張 | NT$5,461,040 | 640 GB | 73.8 | 2,400 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 2 台 | NT$1,146,331 | 1,024 GB | 26.2 | 960 W |
| RTX PRO 6000單卡 96 GB | 8 張 | NT$4,875,929 | 768 GB | 50 | 4,800 W |
| 裝置 | 需要幾張 | 總價 | 總顯示記憶體 | 速度 t/s | 總功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB單台 512 GB | 4 台 | NT$2,292,662 | 2,048 GB | 16.1 | 1,920 W |
Mac Studio 以 Thunderbolt 5 線串接，要用 MLX 或 exo 執行，vLLM 不支援。詳細計算規則可在資料方法頁查看。
用整機跑 Kimi K2.5 要什麼配置？
把專家放進系統記憶體的話，配得出來的只有 12 通道 DDR5 伺服器加一張 RTX PRO 6000。4-bit 要插滿 768GB 記憶體，61 層中只有約 9 層的專家能放進 96GB 顯示記憶體，其餘都在系統記憶體裡，速度主要看記憶體頻寬，約 26 tokens/s；2-bit 插 384GB 就夠，能多放幾層專家到顯示記憶體（約 15 層），約 41。
GeForce RTX 3090 + EPYC 雙路 DDR4
性價比生成速度20.8t/s
記憶體頻寬341GB/s
整機參考價NT$212,683
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度46.1t/s
記憶體頻寬922GB/s
整機參考價NT$840,551
2 × RTX PRO 6000 + EPYC 雙路 DDR5
超大模型生成速度56.4t/s
記憶體頻寬922GB/s
整機參考價NT$1,807,931
Tesla V100 32GB + E5 雙路 8 卡機
低價生成速度5.9t/s
記憶體頻寬137GB/s
- 電源
- 內建 4 × 1,600 W 電源
- 含在準系統內
整機參考價NT$157,668
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度30.1t/s
記憶體頻寬922GB/s
整機參考價NT$1,191,618
4 × RTX PRO 6000 + EPYC 雙路 DDR5
超大模型生成速度40.8t/s
記憶體頻寬922GB/s
整機參考價NT$3,048,367
GeForce RTX 5090 + EPYC 雙路 DDR5
旗艦生成速度18.2t/s
記憶體頻寬922GB/s
整機參考價NT$2,045,881
8 × RTX PRO 6000 + EPYC 雙路 DDR5 8 卡機
超大模型生成速度27.1t/s
記憶體頻寬922GB/s
- 電源
- 內建 4 × 3,000 W 電源
- 含在準系統內
整機參考價NT$5,570,701
部分購買連結是聯盟連結：透過它們購買時我們可能獲得佣金，你支付的價格不變。
本地部署 Kimi K2.5 要注意什麼？
8-bit GGUF 別下載
官方發布的專家權重就是 4-bit（INT4），訓練時就已針對 4-bit 做過適配（和 K2 Thinking 同一種做法）。Unsloth 表示想要原版精度，用 4-bit 或 5-bit 的動態量化就夠了，K2.5 在本機選到 4-bit 就是頂了；8-bit 只是把同樣的資料存得更大。從 K2.6 起，Unsloth 改成原樣保留 INT4 的 8-bit，只比 4-bit 大 10 GB 左右。
思考和即時模式
思考模式用
temperature1.0、即時模式用 0.6，top_p都是 0.95。用 vLLM 或 SGLang 部署時，在請求裡傳入chat_template_kwargs的 thinking: false，就會切換到即時模式。本機 GGUF 基本上只能看文字
llama.cpp 在 2026 年 2 月合併 K2.5 支援時，帶了初步的視覺程式碼（PR #19170），但 Unsloth 的 K2.5 GGUF 儲存庫沒有附上看圖要用的投影檔（mmproj），從 K2.6 起的 GGUF 才有。至於影片輸入，官方表示目前只能在自家 API 上使用。
1 月 29 日改過範本
發布兩天後，官方刪掉了容易造成誤解的預設系統提示詞，並把聊天範本裡寫錯的
<|media_start|>改成<|media_begin|>。使用最早一批轉換的權重或 GGUF 時，要確認範本是新版的。
啟動指令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放進顯示記憶體
llama-server -hf unsloth/Kimi-K2.5-GGUF:Q4_K_M -c 8192專家卸載
顯示記憶體不夠時加上 --cpu-moe，把路由專家放進系統記憶體（約需 615 GB）。
llama-server -hf unsloth/Kimi-K2.5-GGUF:Q4_K_M -c 8192 -ngl 99 --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve moonshotai/Kimi-K2.5 \ --trust-remote-code \ --tensor-parallel-size 8 \ --tool-call-parser kimi_k2 \ --enable-auto-tool-choice \ --reasoning-parser kimi_k2 \ --speculative-config '{"model":"lightseekorg/kimi-k2.5-eagle3-mla","method":"eagle3","num_speculative_tokens":3}' \ --mm-encoder-tp-mode data
MLX
- Apple 晶片
在 Mac 上先 pip install mlx-lm，這條指令會從 Hugging Face 下載 MLX 權重，並啟動相容 OpenAI 介面的服務。
mlx_lm.server --model mlx-community/Kimi-K2.5Ollama
- Windows
- macOS
- Linux
Ollama 庫暫無官方標籤。
量化檔名以模型庫當週抓取為準，口徑見資料方法。 資料方法
Kimi 家族的其他模型
| 模型 | 總參數 | 激活參數 | 4-bit 模型大小 |
|---|---|---|---|
| Kimi Linear 48B A3BMoE | 49.1B | 3B | 30.1 GB |
| Kimi K2MoE | 1,000B | 32B | 621.3 GB |
| Kimi K2.6MoE | 1,000B | 32B | 583.7 GB |
| Kimi K2.7 CodeMoE | 1,000B | 32B | 583.7 GB |
| Kimi K3MoE | 2,800B | 104B | 1,508.7 GB |