Kimi K2.7 Code のローカル実行に必要なVRAMは?
Kimi K2.7 Code は総パラメータ 1,000B、1 トークンあたり 32B が有効になる MoE モデルです。Q4 で全量を VRAM に置くには 559GB 必要ですが、エキスパートをシステム RAM に置けば VRAM 9GB + RAM 552GB で動きます。収録している単体カードには収まらず、複数枚構成か Mac Studio のユニファイドメモリが必要です。オフロード構成で最も安く動かせるのは Tesla V100 16GB で、推定 4 tokens/s です。
Kimi K2.7 Code のバージョン情報
Kimi K2.7 Code の量子化・コンテキスト別の必要VRAM
MoE:総パラメータ 1,000B すべてをメモリに常駐させる必要があり、速度は 1 トークンあたり有効な 32B で決まります。
| 量子化 | 重みサイズGB | 8K 時の合計GB | 32K 時の合計GB | 128K 時の合計GB |
|---|---|---|---|---|
| 1-bit | 303.9GGUF | 236.2 | 237.8 | 244.3 |
| 2-bit | 339.5GGUF | 373.1 | 374.7 | 381.2 |
| 3-bit | 463.9GGUF | 480.7 | 482.3 | 488.7 |
| 4-bit | 583.7GGUF | 558.9 | 560.5 | 567 |
| 5-bit | 674.7推定 | 676.3 | 677.9 | 684.3 |
| 8-bit | 594.5GGUF | 1,038.1 | 1,039.7 | 1,046.1 |
| FP16 | 1,955.8推定 | 1,957.3 | 1,958.9 | 1,965.4 |
合計 = 重み + KV キャッシュ(FP16)+ 実行時オーバーヘッド 1GB。GGUF と付いた重みはリポジトリの実測ファイルサイズ、「推定」はパラメータあたりのバイト数からの概算です。このモデルの上限 256K を超えるコンテキストは「—」と表示します。各段はリポジトリにあるそのビット幅のファイルを使い、unsloth 動的量子化を優先するため、ファイル名はモデルごとに異なります。
Kimi K2.7 Code を動かせるGPUは?
Q4_K_M・8K コンテキスト・eBayの中古価格の安い順収録している単体カードでは Kimi K2.7 Code は収まりません。Q4_K_M・8K コンテキストで最低 559GB のVRAMが必要です。
複数枚構成でも合計で最低 559GB のVRAMが必要です。
収録しているユニファイドメモリ機にも収まりません。
エキスパートを RAM に置けば Kimi K2.7 Code を動かせる GPU
エキスパート重みはシステム RAM に置き(552 GB 以上が必要)、VRAM にはアテンション層・共有エキスパート・KV キャッシュのみで Q4 なら最低 9 GB。速度は RAM 帯域幅(70 GB/s で推定)に縛られ、全量 VRAM 構成よりかなり遅くなります。
Ollama / llama.cpp / vLLM で Kimi K2.7 Code を起動する
Ollama ライブラリに公式タグはまだありません。
llama.cpp は Hugging Face から GGUF を直接取得します。-c はコンテキスト長です。
llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:Q4_K_M -c 8192
vLLM は元の精度の重みを読み込むため、GGUF よりはるかに多くのメモリ(通常は複数枚)が必要です。
vllm serve moonshotai/Kimi-K2.7-Code
ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
よくある質問
Kimi K2.7 Code にはどれくらいのVRAMが必要ですか?
Q4_K_M・8K コンテキストでは Kimi K2.7 Code に約 559GB のVRAMが必要で、672GB あれば余裕があります。
Kimi K2.7 Code を動かせる最も安いGPUは?
収録している単体カードでは Kimi K2.7 Code は動かせず、複数枚構成か Mac Studio のユニファイドメモリが必要です。
Kimi K2.7 Code は Ollama で動かせますか?
まだできません。Ollama ライブラリに公式タグがないため、llama.cpp で GGUF を読み込んでください。