GeForce RTX 5070 + 家用 DDR5
家用出字速度101.7t/s
内存带宽96GB/s
整机参考价¥11,915
Kimi Linear 48B A3B 如何本地部署？
Kimi Linear 48B A3B 是月之暗面 2025 年 10 月发布的 MoE，每个字只用 3B 参数，长处是超长上下文。它 27 层里有 20 层用线性注意力，上下文从 32K 开到 1M，4-bit 下显存只多约 8 GB。模型卡里的成绩是和同样训练方法的普通注意力模型比的，不是和当下的主流模型比，选它主要图的是长上下文。MIT 许可。
Kimi Linear 48B A3B 模型信息
- 4-bit 最低显存32 GB · 8K
- 参数量49.1B
- 激活参数3B
- 上下文上限1M
- 架构
- MoE
- 专家卸载
- 4 GB 显存 + 30 GB 内存
- 许可证
- MIT
- 发布日期
- 2025年10月30日
- 厂商
- Moonshot AI
- Hugging Face 仓库
- moonshotai/Kimi-Linear-48B-A3B-Instruct
- MLX 仓库（Apple）
- mlx-community/Kimi-Linear-48B-A3B-Instruct-4bit
- 层数
- 27
- 隐藏维度
- 2,304
- KV 头
- 32
- 头维度
- 72
Kimi Linear 48B A3B 本地部署需要多少显存？
| 量化 | 权重体积GB | 32K 上下文GB | 128K 上下文GB | 256K 上下文GB | 1M 上下文（最大）GB |
|---|---|---|---|---|---|
| 1-bit | 10.9GGUF | 12.2 | 13 | 14.1 | 20.4 |
| 2-bit | 17.9GGUF | 19.2 | 20 | 21.1 | 27.4 |
| 3-bit | 23.9GGUF | 25.2 | 26 | 27.1 | 33.4 |
| 4-bit | 30.1GGUF | 31.4 | 32.2 | 33.3 | 39.6 |
| 5-bit | 35.1GGUF | 36.4 | 37.2 | 38.3 | 44.6 |
| 8-bit | 52.2GGUF | 53.5 | 54.3 | 55.4 | 61.7 |
| BF16/FP16 | 98.3GGUF | 99.6 | 100.4 | 101.5 | 107.8 |
详细计算规则可在数据方法页查看。
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
 Tesla V100 32GB32 GB | ¥4,2004 条挂单 | 157.9 | 1M |
| Radeon RX 7900 XTX24 GB | ¥5,69412 条挂单 | 160.5 | 823K |
| GeForce RTX 309024 GB | ¥8,50013 条挂单 | 159.5 | 823K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 95.8 | 1M |
| GeForce RTX 409024 GB | ¥25,0006 条挂单 | 162.4 | 823K |
| RTX A600048 GB | ¥32,0007 条挂单 | 151.2 | 1M |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 99.2 | 1M |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 141 | 1M |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 169.6 | 1M |
| GeForce RTX 509032 GB | ¥51,99914 条挂单 | 181.2 | 1M |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 181.2 | 1M |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Tesla V100 32GB32 GB | ¥4,2004 条挂单 | 134.9 | 385K |
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 70.3 | 1M |
| RTX A600048 GB | ¥32,0007 条挂单 | 126.9 | 1M |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 73.3 | 1M |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 115.3 | 1M |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 149.6 | 1M |
| GeForce RTX 509032 GB | ¥51,99914 条挂单 | 165 | 385K |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 165 | 1M |
| 设备 | 价格 | 速度 t/s | 最大上下文 |
|---|---|---|---|
| Ryzen AI Max+ 395 128GB整机 · 128 GB | ¥19,00016 条挂单 | 47.4 | 1M |
| DGX Spark 128GB整机 · 128 GB | ¥43,00041 条挂单 | 49.8 | 1M |
| MacBook Pro M5 Max 128GB整机 · 128 GB | ¥45,69410 条挂单 | 86.6 | 1M |
| Mac Studio M5 Ultra 96GB整机 · 96 GB | ¥46,00015 条挂单 | 123.2 | 1M |
| RTX PRO 600096 GB | ¥125,0006 条挂单 | 142 | 1M |
只列常见的显卡和整机，50B 以下和以上的模型各一组，按价格从低到高。
用整机跑 Kimi Linear 48B A3B 要什么配置？
只有 16GB 卡的话，把部分专家放进内存。下表配的是 16GB 的 Tesla V100：4-bit 下 27 层里约 12 层的专家留在显存，DDR4 台式机约 50 tokens/s，DDR5 约 72；8 通道 DDR4 服务器配 RTX 3090 约 113。降到 2-bit，V100 加 DDR5 台式机约 131 tokens/s。
GeForce RTX 5070 + 家用 DDR5
家用出字速度63.4t/s
内存带宽96GB/s
整机参考价¥11,915
GeForce RTX 3090 + EPYC 单路 DDR4
性价比出字速度112.8t/s
内存带宽171GB/s
整机参考价¥24,119
GeForce RTX 5070 + 家用 DDR5
家用出字速度36.5t/s
内存带宽96GB/s
整机参考价¥14,595
Tesla V100 32GB + E5 双路 DDR4
低价出字速度60.8t/s
内存带宽137GB/s
整机参考价¥10,043
2 × GeForce RTX 3090 + EPYC 单路 DDR4
性价比出字速度96.7t/s
内存带宽171GB/s
整机参考价¥33,419
GeForce RTX 5090 + EPYC 单路 DDR5
旗舰出字速度118t/s
内存带宽461GB/s
整机参考价¥113,530
部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。
本地部署 Kimi Linear 48B A3B 要注意什么？
线性注意力意味着什么
普通注意力每多一个字，就要多存一份缓存；线性注意力（这里用的是 KDA）只存一个固定大小的状态，上下文再长也不涨。Kimi Linear 每 3 层线性注意力配 1 层普通注意力，官方称最多能省 75% 的上下文缓存，1M 上下文下生成最多快约 6 倍。同一种结构后来用在了 Kimi K3 和 GLM 5.3 Flash 上。
量化优先给上下文让路
选它就是为了长上下文，所以量化时先算上下文要多少：24GB 卡上，2-bit 能留出 80 万以上的上下文，3-bit 只剩约 96K。32GB 卡用 4-bit；48GB 卡可以上 5-bit（约 35 GB），开满 1M 约 45 GB；8-bit 约 52 GB，要 96GB 卡或统一内存整机。
llama.cpp 用 2 月中旬之后的版本
llama.cpp 主线在 2026 年 2 月 6 日合并了 Kimi Linear 支持（PR #18755）。2 月 13 日修了 llama-server 同时处理多个请求时状态会被写乱的问题（PR #19531），请用这之后的版本；3 月 5 日又做了一次优化（PR #19827），作者称读提示词快约 15%。Ollama 官方库里没有这个模型。
vLLM 版本
vLLM 配方建议固定用 0.11.2，0.12.0 有一个会让 Kimi Linear 启动报错的已知问题。官方示例是 4 卡、开满 1M 上下文；单卡本地跑，用 llama.cpp 更省事。
启动命令
llama.cpp
- NVIDIA
- AMD
- Mac
- CPU
全部放进显存
llama-server \ -hf bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF:Q4_K_M \ -c 8192
专家卸载
显存不够时加 --cpu-moe，把路由专家放进内存（约需 30 GB）。
llama-server \ -hf bartowski/moonshotai_Kimi-Linear-48B-A3B-Instruct-GGUF:Q4_K_M \ -c 8192 -ngl 99 --cpu-moe
vLLM
- Linux
- NVIDIA
vllm serve moonshotai/Kimi-Linear-48B-A3B-Instruct \ --trust-remote-code \ --tensor-parallel-size 1
MLX
- Apple 芯片
Mac 上先 pip install mlx-lm，这条命令会从 Hugging Face 下载 MLX 权重，并启动兼容 OpenAI 接口的服务。
mlx_lm.server --model mlx-community/Kimi-Linear-48B-A3B-Instruct-4bitOllama
- Windows
- macOS
- Linux
Ollama 库暂无官方标签。
量化文件名以模型库当周抓取为准，口径见数据方法。 数据方法
Kimi 家族的其他模型
| 模型 | 总参数 | 激活参数 | 4-bit 模型大小 |
|---|---|---|---|
| Kimi K2MoE | 1,000B | 32B | 621.3 GB |
| Kimi K2.5MoE | 1,000B | 32B | 621.2 GB |
| Kimi K2.6MoE | 1,000B | 32B | 583.7 GB |
| Kimi K2.7 CodeMoE | 1,000B | 32B | 583.7 GB |
| Kimi K3MoE | 2,800B | 104B | 1,508.7 GB |