Kimi K2 をローカルに導入するには？
Kimi K2 は総パラメータ 1,000B、1 トークンあたり 32B が有効になる MoE モデルです。Q4 で全量を VRAM に置くには 559GB 必要ですが、エキスパートをシステム RAM に置けば VRAM 9GB + RAM 552GB で動きます。収録している単体カードには収まらず、複数枚構成か Mac Studio のユニファイドメモリが必要です。オフロード構成で最も安く動かせるのは Tesla V100 16GB で、推定 4 tokens/s です。
Kimi K2 のバージョン情報
Kimi K2 のローカル実行に必要なVRAMは？
MoE：総パラメータ 1,000B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 32B で決まります。
| 量子化 | 重みサイズGB | 8K 時の合計GB | 32K 時の合計GB | 128K 時の合計GB |
|---|---|---|---|---|
| 1-bit | 234.7推定 | 236.2 | 237.8 | 244.3 |
| 2-bit | 371.6推定 | 373.1 | 374.7 | 381.2 |
| 3-bit | 479.2推定 | 480.7 | 482.3 | 488.7 |
| 4-bit | 557.4推定 | 558.9 | 560.5 | 567 |
| 5-bit | 674.7推定 | 676.3 | 677.9 | 684.3 |
| 8-bit | 1,036.6推定 | 1,038.1 | 1,039.7 | 1,046.1 |
| FP16 | 1,955.8推定 | 1,957.3 | 1,958.9 | 1,965.4 |
合計 = 重み + KV キャッシュ（FP16）+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 256K を超えるコンテキストは「—」と表示します。各段はリポジトリにあるそのビット幅のファイルを使い、unsloth 動的量子化を優先するため、ファイル名はモデルごとに異なります。
Kimi K2 を動かせるGPUは？
Xianyu
収録している単体カードでは Kimi K2 は収まりません。Q4_K_M・8K コンテキストで最低 559GB のVRAMが必要です。
複数枚構成でも合計で最低 559GB のVRAMが必要です。
収録しているユニファイドメモリ機にも収まりません。
Kimi K2 のCPU・GPU併用推論におすすめのGPU
Xianyu
エキスパート重みはシステム RAM に置き（552 GB 以上が必要）、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 9 GB。速度は RAM 帯域幅（70 GB/s で推定）に縛られ、全量 VRAM 構成よりかなり遅くなります。
Ollama / llama.cpp / vLLM で Kimi K2 をローカルに導入する
Ollama ライブラリに公式タグはまだありません。
vLLM は元の精度の重みを読み込むため、GGUF よりはるかに多くのメモリ（通常は複数枚）が必要です。
vllm serve moonshotai/Kimi-K2-Instruct-0905
ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
よくある質問
Kimi K2 にはどれくらいのVRAMが必要ですか？
Q4_K_M・8K コンテキストでは Kimi K2 に約 559GB のVRAMが必要で、672GB あれば余裕があります。
Kimi K2 を動かせる最も安いGPUは？
収録している単体カードでは Kimi K2 は動かせず、複数枚構成か Mac Studio のユニファイドメモリが必要です。
Kimi K2 は Ollama で動かせますか？
まだできません。Ollama の公式タグも公開されている GGUF もありません。