Tesla V100 32GB + E5 双路 8 卡机
低价出字速度9.8t/s
内存带宽137GB/s
- 电源
- 自带 4 × 1,600 W 电源
- 含在准系统里
整机参考价¥18,800
Kimi K2.5 如何本地部署？
Kimi K2.5 是月之暗面 2026 年 1 月发布的 1T 参数 MoE，比 K2 多了看图能力和思考、即时两种模式，专家权重原生就是 4-bit。之后的 K2.6、K2.7 Code 结构完全相同，所以新部署写代码直接用 K2.7 Code，要即时模式用 K2.6。K2.5 的 GGUF 还有个坑：8-bit 档约 1,091 GB，只是把 4-bit 的专家放大存储，并不比 4-bit 更准。
Kimi K2.5 模型信息
- 4-bit 最低显存623 GB · 8K
- 参数量1,000B
- 激活参数32B
- 上下文上限256K
- 架构
- MoE
- 专家卸载
- 10 GB 显存 + 615 GB 内存
- 许可证
- Modified MIT
- 发布日期
- 2026年1月27日
- 厂商
- Moonshot AI
- Hugging Face 仓库
- moonshotai/Kimi-K2.5
- GGUF 仓库
- unsloth/Kimi-K2.5-GGUF
- NVFP4 仓库（Blackwell）
- nvidia/Kimi-K2.5-NVFP4
- MLX 仓库（Apple）
- mlx-community/Kimi-K2.5
- 层数
- 61
- 隐藏维度
- 7,168
- KV 头
- 64
- 头维度
- 192
Kimi K2.5 本地部署需要多少显存？
| 量化 | 权重体积GB | 8K 上下文GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 300.6GGUF | 302.2 | 304 | 310.9 | 320.1 |
| 2-bit | 374.8GGUF | 376.4 | 378.2 | 385.1 | 394.3 |
| 3-bit | 490.4GGUF | 492 | 493.8 | 500.7 | 509.9 |
| 4-bit | 621.2GGUF | 622.8 | 624.6 | 631.5 | 640.7 |
| 5-bit | 728.7GGUF | 730.3 | 732.1 | 739 | 748.2 |
| 8-bit | 1,091.1GGUF | 1,092.7 | 1,094.5 | 1,101.4 | 1,110.6 |
| BF16/FP16 | 2,053.2GGUF | 2,054.8 | 2,056.6 | 2,063.5 | 2,072.7 |
详细计算规则可在数据方法页查看。
单卡能跑 Kimi K2.5 吗？
不能。它和 K2 一样是 1T 参数，2-bit 约 375 GB，任何一张显卡都差得远，128GB 整机也只装得下三分之一。唯一能整机装下的是 512GB 的 Mac Studio M3 Ultra 跑 2-bit，开满上下文也不用改系统设置；4-bit 约 621 GB，这台 Mac 也装不下。没有它，就只能多卡，或者大内存服务器加一张显卡。另外别下 8-bit 档：它的专家原本就是 4-bit，8-bit 文件只是把同样的数据存得更大，并不更准，本地选到 4-bit 就到顶了。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Mac Studio M3 Ultra 512GB整机 · 512 GB | ¥117,5504 条挂单 | 41.2 | 256K |
只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。
多卡跑 Kimi K2.5 要几张显卡？
要 8 张 96GB 的 RTX PRO 6000，2-bit 每秒约 70 个 token，4-bit 约 50；4-bit 已经接近原版质量，不必为 8-bit 再折腾。它的 2-bit 比 K2.6 大三十多 GB，加上 32K 上下文，4 张 96GB 卡和 8 张 48GB 卡都差一点装不下，所以中间没有张数更少的配法。4 台 DGX Spark 联机能装下 2-bit，但每台的内存带宽有限，每秒只有十几个。
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Instinct MI210单卡 64 GB | 8 张 | ¥147,992 | 512 GB | 66 | 2,400 W |
 DGX Spark 128GB单台 128 GB | 4 台 | ¥172,000 | 512 GB | 14.8 | 960 W |
| RTX PRO 5000 72GB单卡 72 GB | 8 张 | ¥472,000 | 576 GB | 57.4 | 2,400 W |
| RTX PRO 6000单卡 96 GB | 8 张 | ¥1,000,000 | 768 GB | 70.2 | 4,800 W |
| A100 80GB PCIe单卡 80 GB | 8 张 | ¥1,120,000 | 640 GB | 73.8 | 2,400 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB单台 512 GB | 2 台 | ¥235,100 | 1,024 GB | 26.2 | 960 W |
| RTX PRO 6000单卡 96 GB | 8 张 | ¥1,000,000 | 768 GB | 50 | 4,800 W |
| 设备 | 需要几张 | 总价 | 总显存 | 速度 t/s | 总功耗 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB单台 512 GB | 4 台 | ¥470,200 | 2,048 GB | 16.1 | 1,920 W |
Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。
用整机跑 Kimi K2.5 要什么配置？
把专家放进内存，配得出来的只有 12 通道 DDR5 服务器加一张 RTX PRO 6000。4-bit 要插满 768GB 内存，61 层里只有约 9 层的专家能放进 96GB 显存，其余都在内存里，速度主要看内存带宽，约 26 tokens/s；2-bit 插 384GB 就够，能多放几层专家到显存（约 15 层），约 41。
GeForce RTX 3090 + EPYC 双路 DDR4
性价比出字速度20.8t/s
内存带宽341GB/s
整机参考价¥43,619
GeForce RTX 5090 + EPYC 双路 DDR5
旗舰出字速度46.1t/s
内存带宽922GB/s
整机参考价¥172,388
2 × RTX PRO 6000 + EPYC 双路 DDR5
超大模型出字速度56.4t/s
内存带宽922GB/s
整机参考价¥370,787
Tesla V100 32GB + E5 双路 8 卡机
低价出字速度5.9t/s
内存带宽137GB/s
- 电源
- 自带 4 × 1,600 W 电源
- 含在准系统里
整机参考价¥32,336
GeForce RTX 5090 + EPYC 双路 DDR5
旗舰出字速度30.1t/s
内存带宽922GB/s
整机参考价¥244,388
4 × RTX PRO 6000 + EPYC 双路 DDR5
超大模型出字速度40.8t/s
内存带宽922GB/s
整机参考价¥625,187
GeForce RTX 5090 + EPYC 双路 DDR5
旗舰出字速度18.2t/s
内存带宽922GB/s
整机参考价¥419,588
8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机
超大模型出字速度27.1t/s
内存带宽922GB/s
- 电源
- 自带 4 × 3,000 W 电源
- 含在准系统里
整机参考价¥1,142,490
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
本地部署 Kimi K2.5 要注意什么？
8-bit GGUF 别下
官方发布的专家权重就是 4-bit（INT4），训练时就按 4-bit 做过适配（和 K2 Thinking 同一种做法）。Unsloth 说想要原版精度，用 4-bit 或 5-bit 的动态量化就够，K2.5 本地选到 4-bit 就到顶了；8-bit 只是把同样的数据存得更大。K2.6 起 Unsloth 改成原样保留 INT4 的 8-bit，只比 4-bit 大 10 GB 左右。
思考和即时模式
思考模式
temperature1.0、即时模式 0.6，top_p都是 0.95。用 vLLM 或 SGLang 部署时，在请求里传chat_template_kwargs的 thinking: false，就切到即时模式。本地 GGUF 基本只能看文字
llama.cpp 在 2026 年 2 月合并 K2.5 支持时带了初步的视觉代码（PR #19170），但 Unsloth 的 K2.5 GGUF 仓库没有附带看图要用的投影文件（mmproj），K2.6 起的 GGUF 才有。视频输入，官方说目前只在自家 API 上可用。
1 月 29 日改过模板
发布两天后，官方删掉了容易引起误解的默认系统提示，并把聊天模板里写错的
<|media_start|>改成<|media_begin|>。用最早一批转换的权重或 GGUF，要确认模板是新的。
启动命令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放进显存
llama-server -hf unsloth/Kimi-K2.5-GGUF:Q4_K_M -c 8192专家卸载
显存不够时加 --cpu-moe，把路由专家放进内存（约需 615 GB）。
llama-server -hf unsloth/Kimi-K2.5-GGUF:Q4_K_M -c 8192 -ngl 99 --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve moonshotai/Kimi-K2.5 \ --trust-remote-code \ --tensor-parallel-size 8 \ --tool-call-parser kimi_k2 \ --enable-auto-tool-choice \ --reasoning-parser kimi_k2 \ --speculative-config '{"model":"lightseekorg/kimi-k2.5-eagle3-mla","method":"eagle3","num_speculative_tokens":3}' \ --mm-encoder-tp-mode data
MLX
- Apple 芯片
Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。
mlx_lm.server --model mlx-community/Kimi-K2.5Ollama
- Windows
- macOS
- Linux
Ollama 库暂无官方标签。
量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
Kimi 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| Kimi Linear 48B A3BMoE | 49.1B | 3B | 30.1 GB |
| Kimi K2MoE | 1,000B | 32B | 621.3 GB |
| Kimi K2.6MoE | 1,000B | 32B | 583.7 GB |
| Kimi K2.7 CodeMoE | 1,000B | 32B | 583.7 GB |
| Kimi K3MoE | 2,800B | 104B | 1,508.7 GB |