Kimi K3 本地部署需要多少显存？

Name: Kimi K3
Author: Moonshot AI

VRAMGlass 编辑部 · 更新于 2026年9月5日

Kimi K3 是 MoE 模型，总参数 2,800B，每 token 激活 104B。Q4 量化整机放显存需要 1,562GB；把专家放进系统内存后只需 33GB 显存 + 1,531GB 内存。收录的单卡都装不下它，需要多卡或 Mac Studio 的统一内存。卸载模式下最便宜能跑的显卡是 CMP 170HX 40GB (改装)，预估 2 tokens/s。

Kimi K3 版本信息

发布日期2026年6月13日

Hugging Face 仓库moonshotai/Kimi-K3

小版本—

许可证Kimi K3 License

架构MoE

GGUF 仓库—

Ollama 标签—

30 天下载2,639,566

Q4 最低显存1,562 GB · Q4_K_M · 8K

专家卸载33 GB 显存 + 1,531 GB 内存

参数量2,800B

MoE104B

层数93

隐藏维度7,168

KV 头96

头维度192

上下文上限1M

厂商Moonshot AI

Kimi K3 各量化与上下文的显存需求

8K 总显存

MoE：总参数 2,800B 全部要驻留显存，速度按每 token 激活的 104B 算。

量化	权重体积GB	8K 总显存GB	32K 总显存GB	128K 总显存GB
Q4_K_M	1,560.7估	1,561.9	1,562.6	1,565.1
Q5_K_M	1,889.3估	1,890.5	1,891.1	1,893.7
Q8_0	2,902.4估	2,903.6	2,904.2	2,906.7
FP16	5,476.2估	5,477.4	5,478	5,480.6

总显存 = 权重 + KV cache（FP16）+ 1GB 运行开销。标 GGUF 的权重是仓库里的实测文件体积，标「估」的按每参数字节估算。超过这个模型 1M 上下文上限的档位写「—」。

什么显卡能跑 Kimi K3？

Q4_K_M · 8K 上下文 · 按闲鱼二手价升序

收录的单卡都装不下 Kimi K3：Q4_K_M、8K 上下文下至少需要 1,562GB 显存。

多卡方案至少要凑够 1,562GB 显存。

收录的统一内存机型也装不下。

把专家放进内存后还能跑 Kimi K3 的显卡

专家权重放系统内存，需要 ≥ 1,531 GB 内存；显存只放注意力层、共享专家和 KV cache，Q4 下最低 33 GB。速度受内存带宽限制（按 70 GB/s 估算），比整机放显存慢得多。

设备	显存GB	二手价	需内存GB	预估 t/s
CMP 170HX 40GB (改装)	40	¥10,800	1,531	1.7
CMP 170HX 64GB (改装)	64	¥12,850	1,531	1.7
Instinct MI210	64	¥18,500	1,531	1.6
Radeon PRO W7900	48	¥22,000	1,531	1.5
GeForce RTX 4090 48GB (改装)	48	¥25,500	1,531	1.6
A100 40GB PCIe	40	¥38,500	1,531	1.7
RTX PRO 5000 Blackwell 48GB	48	¥47,000	1,531	1.6
RTX PRO 5000 Blackwell 72GB	72	¥62,000	1,531	1.6
RTX PRO 6000D	84	¥70,000	1,531	1.7
RTX PRO 6000 Blackwell	96	¥118,500	1,531	1.7
DGX Spark 128GB	128	—	1,531	1.4
Mac Studio M4 Max 128GB	128	—	1,531	1.5
Mac Studio M5 Max 128GB	128	—	1,531	1.5
MacBook Pro M4 Max 128GB	128	—	1,531	1.5
MacBook Pro M5 Max 128GB	128	—	1,531	1.5
Ryzen AI Max+ 395 128GB	128	—	1,531	1.2
Mac Studio M3 Ultra 512GB	512	—	1,531	1.6

用 Ollama / llama.cpp / vLLM 启动 Kimi K3

Ollama

Ollama 库暂无官方标签。

vLLM

vLLM 跑的是原始精度权重，显存要求比 GGUF 高得多，通常要多卡。

vllm serve moonshotai/Kimi-K3

量化文件名以模型库当周抓取为准，口径见数据方法。数据方法

常见问题

Kimi K3 需要多少显存？

在 Q4_K_M 量化、8K 上下文下 Kimi K3 约需 1,562GB 显存，留到 1,876GB 更稳。

哪张显卡最便宜能跑 Kimi K3？

收录的单卡都装不下 Kimi K3，需要多卡或 Mac Studio 的统一内存。

Kimi K3 能用 Ollama 跑吗？

暂时不能，Ollama 库还没有它的官方标签，也还没有公开的 GGUF 量化。