Kimi K3 如何本地部署？

Kimi K3 是月之暗面 2026 年 7 月发布的 2.8T 参数 MoE，能看图，上下文 1M。它大到 4-bit 就要约 1,509 GB，将近 8 张 96GB 卡总显存的两倍；单台机器能配出的只有一种：12 通道 DDR5 服务器插满 768GB 内存、加一张 RTX PRO 6000 跑 2-bit，约 19 tokens/s；按容量，两台 512GB 的 Mac Studio 联机也装得下 2-bit。许可证也比 K2 系列多了一条商用限制。

Kimi K3 模型信息

4-bit 最低显存1,511 GB · 8K
参数量2,800B
激活参数104B
上下文上限1M

架构: MoE
专家卸载: 32 GB 显存 + 1,480 GB 内存
许可证: Kimi K3 License
发布日期: 2026年7月27日
厂商: Moonshot AI
Hugging Face 仓库: moonshotai/Kimi-K3
GGUF 仓库: unsloth/Kimi-K3-GGUF
NVFP4 仓库（Blackwell）: RedHatAI/Kimi-K3-NVFP4
层数: 93
隐藏维度: 7,168
KV 头: 96
头维度: 192

Kimi K3 本地部署需要多少显存？

量化	权重体积GB	32K 上下文GB	128K 上下文GB	256K 上下文GB	1M 上下文（最大）GB
1-bit	648.9GGUF	650.9	653.6	657.2	679
2-bit	861.3GGUF	863.3	866	869.6	891.4
3-bit	1,440.6估	1,442.6	1,445.3	1,448.9	1,470.7
4-bit	1,508.7GGUF	1,510.7	1,513.4	1,517	1,538.8
5-bit	—	—	—	—	—
8-bit	1,561.2GGUF	1,563.2	1,565.9	1,569.5	1,591.3
BF16/FP16	5,880估	5,882	5,884.7	5,888.3	5,910.1

详细计算规则可在数据方法页查看。

单卡能跑 Kimi K3 吗？

不能，单卡、单台整机都装不下。它有 2.8T 参数，最小的 1-bit 约 649 GB，超过 512GB 的 Mac Studio M3 Ultra；2-bit 约 861 GB，8 张 96GB 卡加起来也放不下。单台机器唯一配得出来的方案，是服务器插满内存再加一张 RTX PRO 6000，只把少数几层专家放在显卡上，2-bit 每秒约 19 个 token，质量也要打折扣：和原版选出同一个词的比例约九成。按容量，两台 512GB 的 Mac Studio 联机装得下 2-bit，4-bit 要四台；Unsloth 说还在研究怎么把它压进 512GB 而不明显伤质量，只有一台 Mac 的可以再等等。

多卡跑 Kimi K3 要几张显卡？

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	2 台	¥235,100	1,024 GB	17.7	960 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	4 台	¥470,200	2,048 GB	10.6	1,920 W

设备	需要几张	总价	总显存	速度 t/s	总功耗
Mac Studio M3 Ultra 512GB单台 512 GB	4 台	¥470,200	2,048 GB	10.2	1,920 W

Mac Studio 按台联机用雷电 5 线互连，要用 MLX 或 exo 跑，vLLM 不支持。详细计算规则可在数据方法页查看。

用整机跑 Kimi K3 要什么配置？

只有 2-bit 这一档配得出来：12 通道 DDR5 服务器插满 768GB 内存，加一张 RTX PRO 6000，93 层里约 9 层的专家放进显存，其余放内存，约 19 tokens/s。4-bit 要约 1,509 GB，超出了这类服务器的内存上限。

GeForce RTX 5090 + EPYC 双路 DDR5

旗舰

出字速度13.3t/s

内存带宽922GB/s

显卡: GeForce RTX 50900 / 93 层专家放进 32 GB 显存; ¥51,999
内存: 1,536 GB DDR5-480024 条 × 64 GB; ¥331,200
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
主板: Gigabyte MZ73-LM024 个内存插槽; ¥8,699
电源: 海韵 PRIME PX-16001,600 W; ¥3,200

整机参考价¥419,588

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

超大模型

出字速度16.8t/s

内存带宽922GB/s

显卡: 8 × RTX PRO 600049 / 93 层专家放进 768 GB 显存; ¥1,000,000
内存: 768 GB DDR5-480024 条 × 32 GB; ¥156,000
CPU: 2 × AMD EPYC 9354共 64 核 128 线程 · 24 通道; ¥24,490
准系统: ASUS ESC8000A-E128 个显卡位 · 24 个内存插槽; ¥34,000
电源: 自带 4 × 3,000 W 电源; 含在准系统里

整机参考价¥1,214,490

详细计算规则可在数据方法页查看。

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

本地部署 Kimi K3 要注意什么？

量化
官方权重在训练时就按 4-bit（MXFP4）给专家做过适配，其余部分是 BF16。所以 Unsloth 的 8-bit（UD-Q8_K_XL，约 1,561 GB）原样保留，是无损版；4-bit 约 1,509 GB，也接近原版。往下压就有损了：Unsloth 测得 2-bit（约 861 GB）和原版首选同一个字的比例约 90%，最小的 1-bit 约 79%。
思考只能调档
思考始终开着，只能用 reasoning_effort 选 low、high、max，默认 max。它是按保留思考历史的方式训练的，多轮对话和工具调用时，要把 API 返回的整条回复原样传回，包括 reasoning_content 和 tool_calls。采样参数：一般任务 temperature 1.0、top_p 0.95，智能体任务 top_p 1.0。
框架支持
llama.cpp 主线在 2026 年 8 月 15 日合并了 K3 的文字部分（PR #26185），看图要用 Unsloth 的分支。vLLM 要用 kimi-k3 专用镜像，只有 CUDA 13 版，宿主机驱动要 r580 以上，配方写的最低硬件是 8 张 GB300。vLLM 还提醒，它偶尔会输出解析器不认的工具调用格式，建议加上格式校验和重试。
许可证多了一条
Kimi K3 License 比 K2 系列的修改版 MIT 多了一条：营收超过门槛的「模型即服务」业务，商用前要和月之暗面另签协议；月活过亿或月收入很高的产品，仍要在界面上标注「Kimi K3」。只在公司内部用，或者通过月之暗面官方和认证的推理服务商调用，这两条都不适用。
长上下文
93 层里有 69 层用的是线性注意力，状态大小固定，不随上下文变长；只有 24 层的缓存会增长。所以 4-bit 下从 32K 开到 1M 只多约 28 GB，在这个体量下几乎可以忽略。

启动命令

llama.cpp

NVIDIA
AMD
Mac
CPU

全部放进显存

终端

llama-server -hf unsloth/Kimi-K3-GGUF:UD-Q4_K_XL -c 8192

专家卸载

显存不够时加 --cpu-moe，把路由专家放进内存（约需 1,480 GB）。

终端

llama-server -hf unsloth/Kimi-K3-GGUF:UD-Q4_K_XL -c 8192 -ngl 99 \
  --cpu-moe

vLLM

Linux
NVIDIA

运行前请按部署指南准备适配的运行环境与硬件。

终端

vllm serve moonshotai/Kimi-K3 \
  --trust-remote-code \
  --gpu-memory-utilization 0.95 \
  --tensor-parallel-size 8 \
  --load-format fastsafetensors \
  --no-enable-flashinfer-autotune \
  --max-model-len 1048576 \
  --kv-cache-dtype fp8 \
  --attention-config '{"use_prefill_query_quantization":true,"mla_prefill_backend":"TOKENSPEED_MLA"}' \
  --enable-prefix-caching \
  --attention-backend TOKENSPEED_MLA \
  --prefix-match-unit 128 \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k3 \
  --reasoning-parser kimi_k3

Ollama

Windows
macOS
Linux

Ollama 只有云端版 kimi-k3:cloud，在 Ollama 的服务器上跑，不在你自己的机器上运行。

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

Kimi 家族的其他模型

模型	总参数	激活参数	4-bit 模型大小
Kimi Linear 48B A3BMoE	49.1B	3B	30.1 GB
Kimi K2MoE	1,000B	32B	621.3 GB
Kimi K2.5MoE	1,000B	32B	621.2 GB
Kimi K2.6MoE	1,000B	32B	583.7 GB
Kimi K2.7 CodeMoE	1,000B	32B	583.7 GB

关于 Kimi

Kimi K3 如何本地部署？

Kimi K3 模型信息

Kimi K3 本地部署需要多少显存？

单卡能跑 Kimi K3 吗？

多卡跑 Kimi K3 要几张显卡？

用整机跑 Kimi K3 要什么配置？

4 × Tesla V100 32GB + E5 双路 8 卡机

4 × GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

4 × GeForce RTX 5090 + EPYC 双路 DDR5

8 × RTX PRO 6000 + EPYC 双路 DDR5 8 卡机

本地部署 Kimi K3 要注意什么？

量化

思考只能调档

框架支持

许可证多了一条

长上下文

启动命令

llama.cpp

vLLM

Ollama

Kimi 家族的其他模型