本地部署 Kimi 需要什麼顯示卡？各版本記憶體需求一覽
Kimi 目前有 6 個能本地部署的版本，最小的 Kimi Linear 48B A3B 在 4-bit 量化下需要 32GB 顯示記憶體；最大的 Kimi K3 是 MoE 模型，用專家卸載時需要 32GB 顯示記憶體加約 1,480GB 系統記憶體。最便宜能跑起來的裝置是 Tesla V100 32GB，約 NT$20,479。
| 版本 | 發布日期 | 上下文 | 授權 | ||
|---|---|---|---|---|---|
| Kimi K3MoE | 2026年7月27日 | 2,800B | 104B | 1M | Kimi K3 License |
| Kimi K2.7 CodeMoE | 2026年6月12日 | 1,000B | 32B | 256K | Modified MIT |
| Kimi K2.6MoE | 2026年4月20日 | 1,000B | 32B | 256K | Modified MIT |
| Kimi K2.5MoE | 2026年1月27日 | 1,000B | 32B | 256K | Modified MIT |
| Kimi Linear 48B A3BMoE | 2025年10月30日 | 49.1B | 3B | 1M | MIT |
| Kimi K2MoE | 2025年9月3日 | 1,000B | 32B | 256K | Modified MIT |
關於 Kimi
Kimi 是月之暗面（Moonshot AI）推出的大模型系列。月之暗面由楊植麟等人於 2023 年 3 月在北京創立，同年 10 月推出 Kimi 智慧助理；2025 年起陸續公開模型權重，旗艦全是超大規模的 MoE，主打 AI 代理、程式開發與長上下文。
2025 年 7 月的 Kimi K2 總共有 1 兆參數，每處理一個字動用其中 320 億，採用 MLA 注意力和自行研發的 MuonClip 最佳化器，11 月再推出具備思考能力的 K2 Thinking；同年 10 月的 Kimi Linear 則提出自家的線性注意力 KDA。2026 年 1 月的 K2.5 改為原生多模態，接著是 K2.6 和專攻程式開發的 K2.7 Code。7 月的 K3 把參數推到 2.8 兆，每個字動用 1040 億，混合使用 KDA 與 MLA，上下文達 100 萬 token，發布時是參數最多的開放權重模型。授權方面，K2 系列採用修改版 MIT，可以商用，但規模極大的產品必須標示模型名稱；K3 另外規定，年營收超過 2000 萬美元的模型服務商在商用前要另行簽約。此外，Cursor 的程式開發模型 Composer 2，就是以 Kimi K2.5 為基礎模型打造的。
- 廠商Moonshot AI
- 收錄版本6
- 參數量49.1B – 2,800B
- 最新版本Kimi K3
- 授權
- MIT / Modified MIT / Kimi K3 License
- 官方首頁
- www.moonshot.ai
- Hugging Face 組織
- moonshotai
Kimi 各版本 2-bit 量化需要多少顯示記憶體？
2-bit 也叫 Q2 精度，常見的 GGUF 檔案有 Q2_K、UD-Q2_K_XL，體積最小、品質損失也最明顯，適合顯示記憶體吃緊時先把模型跑起來。下表每一列是 Kimi 的一個版本，每一欄是一種上下文長度，格子裡是用 Q2 精度部署時需要的總顯示記憶體（權重 + KV cache + 1.1GB 執行開銷）。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Kimi K32,800B（啟用 104B） | 861.3GGUF | 863.3 | 866 | 869.6 | 891.4 |
| Kimi K2.7 Code1,000B（啟用 32B） | 339.5GGUF | 342.9 | 349.8 | 359 | — |
| Kimi K2.61,000B（啟用 32B） | 340.5GGUF | 343.9 | 350.8 | 360 | — |
| Kimi K2.51,000B（啟用 32B） | 374.8GGUF | 378.2 | 385.1 | 394.3 | — |
| Kimi Linear 48B A3B49.1B（啟用 3B） | 17.9GGUF | 19.2 | 20 | 21.1 | 27.4 |
| Kimi K21,000B（啟用 32B） | 383.6GGUF | 387 | 393.9 | 403.1 | — |
Kimi 各版本 4-bit 量化需要多少顯示記憶體？
4-bit 也叫 Q4 精度，對應最常用的 Q4_K_M 檔案，體積和品質比較平衡，是本地部署的預設選擇。下表每一列是 Kimi 的一個版本，每一欄是一種上下文長度，格子裡是用 Q4 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Kimi K32,800B（啟用 104B） | 1,508.7GGUF | 1,510.7 | 1,513.4 | 1,517 | 1,538.8 |
| Kimi K2.7 Code1,000B（啟用 32B） | 583.7GGUF | 587.1 | 594 | 603.2 | — |
| Kimi K2.61,000B（啟用 32B） | 583.7GGUF | 587.1 | 594 | 603.2 | — |
| Kimi K2.51,000B（啟用 32B） | 621.2GGUF | 624.6 | 631.5 | 640.7 | — |
| Kimi Linear 48B A3B49.1B（啟用 3B） | 30.1GGUF | 31.4 | 32.2 | 33.3 | 39.6 |
| Kimi K21,000B（啟用 32B） | 621.3GGUF | 624.7 | 631.6 | 640.8 | — |
Kimi 各版本 8-bit 量化需要多少顯示記憶體？
8-bit 也叫 Q8 精度，對應 Q8_0 檔案，品質最接近原版，體積也最大。下表每一列是 Kimi 的一個版本，每一欄是一種上下文長度，格子裡是用 Q8 精度部署時需要的總顯示記憶體。
| 版本 | 權重體積GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文GB |
|---|---|---|---|---|---|
| Kimi K32,800B（啟用 104B） | 1,561.2GGUF | 1,563.2 | 1,565.9 | 1,569.5 | 1,591.3 |
| Kimi K2.7 Code1,000B（啟用 32B） | 594.5GGUF | 597.9 | 604.8 | 614 | — |
| Kimi K2.61,000B（啟用 32B） | 594.5GGUF | 597.9 | 604.8 | 614 | — |
| Kimi K2.51,000B（啟用 32B） | 1,091.1GGUF | 1,094.5 | 1,101.4 | 1,110.6 | — |
| Kimi Linear 48B A3B49.1B（啟用 3B） | 52.2GGUF | 53.5 | 54.3 | 55.4 | 61.7 |
| Kimi K21,000B（啟用 32B） | 1,091.1GGUF | 1,094.5 | 1,101.4 | 1,110.6 | — |
常見問題
Kimi 是開源的嗎？可以免費商用嗎？
這要看版本，總共有三種授權條款。Kimi Linear 48B A3B 採用標準 MIT 授權。K2、K2.5、K2.6 和 K2.7 Code 採用月之暗面修改過的 MIT 授權，只多了一條規定：如果用在每月活躍用戶超過 1 億，或每月營收超過一定門檻的商業產品中，必須在介面上明顯標示所用的模型名稱，例如「Kimi K2.6」。K3 則改用獨立的 Kimi K3 License，除了相同的署名要求，還規定經營「模型即服務」業務（向第三方提供 API 等推論或微調服務），而且連續 12 個月營收超過門檻的集團，在把模型用於任何商業用途之前，都必須和月之暗面另行簽約。K3 的授權條款也寫明，如果只在內部使用、不把模型能力提供給第三方，這兩條規定都不適用。
Kimi 可以用 Ollama 執行嗎？
用 Ollama 都沒辦法在本機跑。Kimi K2.6、K2.7 Code 和 K3 在 Ollama 上只有雲端標籤（kimi-k2.6:cloud、kimi-k2.7-code:cloud、kimi-k3:cloud），是在 Ollama 的伺服器上執行；kimi-k2 和 kimi-k2.5 的頁面已經下架，Kimi Linear 則沒有上架。想在本機部署的話，可以用 llama.cpp 搭配 GGUF：K2 到 K2.7 Code 以及 K3 有 unsloth 製作的檔案，Kimi Linear 有 bartowski 製作的版本；不過 K3 在 llama.cpp 中目前只支援文字，無法看圖。另一個做法是用 vLLM 執行官方權重。
