Kimi K2 如何本地部署？

Kimi K2 是月之暗面的 1T 参数 MoE，本站收录的是 2025 年 9 月的 0905 版：只做不思考的即时对话，只能处理文字。它的 4-bit 约 621 GB，单卡和 128GB 整机都差得远。新部署建议直接看后面的版本：写代码、跑智能体用 K2.7 Code，它的官方权重就是 4-bit，量化几乎没有额外损失；K2 的官方权重是 FP8，压到 4-bit 是实打实的有损。

Kimi K2 模型信息

4-bit 最低显存623 GB · 8K
参数量1,000B
激活参数32B
上下文上限256K

架构: MoE
专家卸载: 10 GB 显存 + 615 GB 内存
许可证: Modified MIT
发布日期: 2025年9月3日
厂商: Moonshot AI
Hugging Face 仓库: moonshotai/Kimi-K2-Instruct-0905
GGUF 仓库: unsloth/Kimi-K2-Instruct-0905-GGUF
MLX 仓库（Apple）: mlx-community/Kimi-K2-Instruct-0905-mlx-3bit
小版本: 0905
层数: 61
隐藏维度: 7,168
KV 头: 64
头维度: 192

Kimi K2 本地部署需要多少显存？

量化	权重体积GB	8K 上下文GB	32K 上下文GB	128K 上下文GB	256K 上下文（最大）GB
1-bit	304.8GGUF	306.4	308.2	315.1	324.3
2-bit	383.6GGUF	385.2	387	393.9	403.1
3-bit	452.4GGUF	454	455.8	462.7	471.9
4-bit	621.3GGUF	622.9	624.7	631.6	640.8
5-bit	728.7GGUF	730.3	732.1	739	748.2
8-bit	1,091.1GGUF	1,092.7	1,094.5	1,101.4	1,110.6
BF16/FP16	2,053.2GGUF	2,054.8	2,056.6	2,063.5	2,072.7

详细计算规则可在数据方法页查看。

单卡能跑 Kimi K2 吗？

不能，单卡和 128GB 整机都差得远：1T 参数压到 2-bit 还有约 384 GB。整机里只有 512GB 的 Mac Studio M3 Ultra 装得下 2-bit，而且已经顶到 macOS 默认允许显卡使用的四分之三内存，要先在系统里调高这个上限。更常见的出路是服务器插 384GB 内存、配一张 RTX PRO 6000，把大部分专家放进内存，2-bit 每秒四十个 token 左右。还要留意，K2 的官方权重是 8-bit，压到 2-bit、4-bit 都是实打实的有损，这一点不如后来的版本。

设备	价格	速度 t/s	最大上下文
Mac Studio M3 Ultra 512GB整机 · 512 GB	¥117,5504 条挂单	40.5	256K

只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。

多卡跑 Kimi K2 要几张显卡？

要 8 张 96GB 的 RTX PRO 6000，2-bit 每秒约 69 个 token，4-bit 约 50。K2 的 2-bit 比后来的 K2.6 大一截，加上 32K 上下文后，4 张 96GB 卡、8 张 48GB 卡都刚好差一点，所以没有更小的配法。4 台 DGX Spark 联机能装下 2-bit，但每秒只有十四五个。如果手上就是 4 张 96GB 卡，换成 K2.6 更合适：同样的 1T 结构，它的 2-bit 四张卡就装得下，即时模式的用法也最接近 K2。

设备	需要几张	总价	总显存	速度 t/s	总功耗
Instinct MI210单卡 64 GB	8 张	¥147,992	512 GB	65.1	2,400 W
DGX Spark 128GB单台 128 GB	4 台	¥172,000	512 GB	14.5	960 W
RTX PRO 5000 72GB单卡 72 GB	8 张	¥472,000	576 GB	56.5	2,400 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	69.2	4,800 W
A100 80GB PCIe单卡 80 GB	8 张	¥1,120,000	640 GB	72.8	2,400 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	26.2	960 W
RTX PRO 6000单卡 96 GB	8 张	¥1,000,000	768 GB	50	4,800 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	4 台	¥470,200	2,048 GB	16.1	1,920 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

用整机跑 Kimi K2 要什么配置？

把专家放进内存，唯一配得出来的是 12 通道 DDR5 服务器配一张 RTX PRO 6000：2-bit 插 384GB 内存，约 41 tokens/s；4-bit 要插满 768GB，约 26。模型卡推荐的 KTransformers 专门做这种 CPU 和 GPU 分工的推理。

Tesla V100 32GB + E5 双路 8 卡机

低价

出字速度5.9t/s

内存带宽137GB/s

显卡: Tesla V100 32GB2 / 61 层专家放进 32 GB 显存; ¥4,200
内存: 768 GB DDR4-213324 条 × 32 GB; ¥23,976
CPU: 2 × Intel Xeon E5-2680 v4共 28 核 56 线程 · 8 通道; ¥160
准系统: Supermicro SYS-4028GR-TR8 个显卡位 · 24 个内存插槽; ¥4,000
电源: 自带 4 × 1,600 W 电源; 含在准系统里

整机参考价¥32,336

GeForce RTX 5090 + EPYC 双路 DDR5

旗舰

出字速度30.1t/s

内存带宽922GB/s

显卡: GeForce RTX 50902 / 61 层专家放进 32 GB 显存; ¥51,999
内存: 768 GB DDR5-480024 条 × 32 GB; ¥156,000
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
主板: Gigabyte MZ73-LM024 个内存插槽; ¥8,699
电源: 海韵 PRIME PX-16001,600 W; ¥3,200

整机参考价¥244,388

4 × RTX PRO 6000 + EPYC 双路 DDR5

超大模型

出字速度40.8t/s

内存带宽922GB/s

显卡: 4 × RTX PRO 600039 / 61 层专家放进 384 GB 显存; ¥500,000
内存: 384 GB DDR5-480024 条 × 16 GB; ¥84,000
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
主板: Gigabyte MZ73-LM024 个内存插槽; ¥8,699
电源: 2 × 海韵 PRIME PX-22004,400 W; ¥7,998

整机参考价¥625,187

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 Kimi K2 要注意什么？

新部署用哪个
写代码、跑智能体，直接用 K2.7 Code：同样的 1T 结构，官方权重原生就是 4-bit（INT4），量化几乎没有额外损失。要不带思考的即时回答，K2.6 的即时模式最接近 K2 的用法。还留着 K2 的理由，主要是已有的流程和提示词是按它调的。
GGUF 在哪
页面上的 llama-server 命令用的是 Unsloth 的 0905 版 GGUF（unsloth/Kimi-K2-Instruct-0905-GGUF），从 1-bit 到 8-bit 都有，llama.cpp 能直接跑。官方推荐的引擎是 vLLM、SGLang、KTransformers 和 TensorRT-LLM。
0905 比初版强在哪
官方测试里，写代码的 SWE-bench Verified 从 0711 版的 65.8 提到 69.2，终端任务 Terminal-Bench 从 37.5 提到 44.5；前端代码更美观实用，上下文也从 128K 翻倍到 256K。
采样参数
官方推荐 temperature 0.6，系统提示用模型卡给的默认那句就行。
许可证
修改版 MIT，只多一条：月活超过 1 亿或月收入很高的商业产品，要在界面上显著标出「Kimi K2」。K2.5 到 K2.7 Code 沿用同样的条款，只是标注的名字换成各自的版本。

启动命令

llama.cpp

NVIDIA
AMD
Mac
CPU

全部放进显存

终端

llama-server -hf unsloth/Kimi-K2-Instruct-0905-GGUF:Q4_K_M -c 8192

专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 615 GB）。

终端

llama-server -hf unsloth/Kimi-K2-Instruct-0905-GGUF:Q4_K_M -c 8192 \
  -ngl 99 --cpu-moe

vLLM

Linux
NVIDIA

运行前请按部署指南准备适配的运行环境与硬件。

终端

vllm serve moonshotai/Kimi-K2-Instruct-0905 \
  --port 8000 \
  --served-model-name kimi-k2 \
  --trust-remote-code \
  --tensor-parallel-size 16 \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k2

MLX

Apple 芯片

Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。

终端

mlx_lm.server --model mlx-community/Kimi-K2-Instruct-0905-mlx-3bit

Ollama

Windows
macOS
Linux

Ollama 库暂无官方标签。

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Kimi 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB
Kimi K3MoE	2,800B	104B	1,508.7 GB

关于 Kimi

Kimi K2 如何本地部署？

Kimi K2 模型信息

Kimi K2 本地部署需要多少显存？

单卡能跑 Kimi K2 吗？

多卡跑 Kimi K2 要几张显卡？

用整机跑 Kimi K2 要什么配置？

Tesla V100 32GB + E5 双路 8 卡机

GeForce RTX 3090 + EPYC 双路 DDR4

GeForce RTX 5090 + EPYC 双路 DDR5

2 × RTX PRO 6000 + EPYC 双路 DDR5

Tesla V100 32GB + E5 双路 8 卡机

GeForce RTX 5090 + EPYC 双路 DDR5

4 × RTX PRO 6000 + EPYC 双路 DDR5

GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

本地部署 Kimi K2 要注意什么？

新部署用哪个

GGUF 在哪

0905 比初版强在哪

采样参数

许可证

启动命令

llama.cpp

vLLM

MLX

Ollama

Kimi 家族的其他模型