8 × Tesla V100 32GB + Xeon E5 デュアル 8 GPU サーバー
低予算- 電源
- 内蔵 4 × 1,600 W
- ベアボーンに含む
Kimi K2.7 Code は、Moonshot AI が 2026 年 6 月に公開したプログラミング専用のモデルです。K2.6 をベースに追加学習したもので、構造もサイズも K2.6 とほぼ同じです。公式によると、思考トークンは K2.6 より約 30% 少なくなっています。ローカルの生成速度が数十 tokens/s 程度なら、待ち時間も 3 割ほど短くなるということです。その代わり思考モードしか使えず、即時応答が必要なら K2.6 に戻る必要があります。
| 量子化 | 重みサイズGB | 8K コンテキストGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキスト(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 303.9GGUF | 305.5 | 307.3 | 314.2 | 323.4 |
| 2-bit | 339.5GGUF | 341.1 | 342.9 | 349.8 | 359 |
| 3-bit | 463.9GGUF | 465.5 | 467.3 | 474.2 | 483.4 |
| 4-bit | 583.7GGUF | 585.3 | 587.1 | 594 | 603.2 |
| 5-bit | — | — | — | — | — |
| 8-bit | 594.5GGUF | 596.1 | 597.9 | 604.8 | 614 |
| BF16/FP16 | 2,100推定 | 2,101.6 | 2,103.4 | 2,110.3 | 2,119.5 |
詳しい計算ルールはデータの作り方ページをご覧ください。
1 枚の GPU では動きません。K2.6 をさらに学習させたモデルで、同じ 1T パラメータ、2-bit でも約 340 GB あり、どの GPU にも 128GB のマシンにも遠く及びません。1 台に収まるのは 512GB の Mac Studio M3 Ultra だけです。1-bit に落として余裕を作ろうとしても、小さくなるのは 30 GB 余りにすぎません。思考モードしかないコーディング用モデルなので、どのタスクも最初に長い思考を出力し、生成速度がそのまま待ち時間になります。速さを求めるならマルチ GPU か大容量メモリのサーバーが必要で、その段階では 4-bit と 8-bit に必要なハードウェアは同じなので、劣化のない 8-bit を選びましょう。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Mac Studio M3 Ultra 512GBマシン全体 · 512 GB | 価格なし | 44.5 | 256K |
よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。
コーディング用途なら、96GB の RTX PRO 6000 4 枚で 2-bit を動かす構成が現実的で、毎秒約 74 トークンです。思考の量が K2.6 より約 3 割少ないので、同じタスクでも待ち時間がおよそ 3 割短くなります。48GB の RTX A6000 8 枚でも 2-bit は収まりますが速度は半分ほど、4-bit には RTX PRO 6000 が 8 枚必要で毎秒約 52 です。vLLM の公式検証は H200 8 枚のみです。コードだけを扱い画像を使わないなら、起動時に画像を扱う部分を読み込まない設定にすれば、その分の VRAM をコンテキストに回せます。
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| 8 枚 | ¥12,092,568 | 384 GB | 39.9 | 2,400 W | |
| 8 枚 | 価格なし | 640 GB | 78.2 | 2,400 W | |
| 4 枚 | 価格なし | 384 GB | 74.5 | 2,400 W | |
| Instinct MI2101 枚 64 GB | 8 枚 | 価格なし | 512 GB | 70.2 | 2,400 W |
| 8 枚 | 価格なし | 576 GB | 61.2 | 2,400 W | |
| 8 枚 | 価格なし | 384 GB | 49.5 | 3,600 W | |
| 4 台 | 価格なし | 512 GB | 16.1 | 960 W |
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| 8 枚 | 価格なし | 640 GB | 55.4 | 2,400 W | |
| 8 枚 | 価格なし | 768 GB | 52.3 | 4,800 W | |
| Mac Studio M3 Ultra 512GB1 台 512 GB | 2 台 | 価格なし | 1,024 GB | 27.6 | 960 W |
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| 8 枚 | 価格なし | 640 GB | 54.7 | 2,400 W | |
| 8 枚 | 価格なし | 768 GB | 51.6 | 4,800 W | |
| Mac Studio M3 Ultra 512GB1 台 512 GB | 2 台 | 価格なし | 1,024 GB | 27.2 | 960 W |
Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。
エキスパートをメインメモリに置く場合の構成と速度も K2.6 と同じです。12 チャネル DDR5 サーバーと RTX PRO 6000 1 枚で、2-bit は約 46 tokens/s、4-bit は約 27(メモリ 768GB をフル搭載)です。この速度だと、思考トークンが 3 割減る効果ははっきり感じられます。4-bit で計算すると 1 万トークンの思考に約 6 分かかるので、3 割減ればおよそ 2 分短縮できます。
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
即時モードには対応しておらず、preserve_thinking も強制的にオンで、オフにはできません。複数ターンの会話では、クライアントが各ターンで返された思考内容も一緒に送り返す必要があります(vLLM ではこのフィールド名が reasoning_content ではなく reasoning になっていることがあります)。公式の推奨は temperature 1.0、top_p 0.95 です。
Unsloth の量子化の段階は K2.6 より多く、1-bit から 4-bit の間にいくつもあり、3-bit は約 464 GB です。推奨は 2-bit(UD-Q2_K_XL)です。8-bit の UD-Q8_K_XL は 4-bit のエキスパートをそのまま保持した、劣化のない版です。コンテキストについて Unsloth は、既定値 98,304、最大 262,144 を勧めています。
vLLM のレシピは 0.19.1 以上を要求しています。ツール呼び出しと思考のパースを使うには、それぞれ --tool-call-parser kimi_k2 と --reasoning-parser kimi_k2 を付けます。画像処理の部分は --mm-encoder-tp-mode data で各カードに 1 つずつ持たせれば、カード間の通信を省けます。
公式によると、自社の Kimi Code CLI と組み合わせるのが最も効果的です。ほかのエージェントフレームワークにつなぐ場合は、フレームワークが思考内容をそのまま送り返すかを先に確認してください。そうでないと、「思考の保持」による効果が得られません。
llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q4_K_XL -c 8192VRAM が足りないときは --cpu-moe を付けると、ルーティングされるエキスパートを RAM に置けます(約 578 GB 必要)。
llama-server -hf unsloth/Kimi-K2.7-Code-GGUF:UD-Q4_K_XL -c 8192 \ -ngl 99 --cpu-moe
実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。
vllm serve moonshotai/Kimi-K2.7-Code \ --trust-remote-code \ --tensor-parallel-size 8 \ --tool-call-parser kimi_k2 \ --enable-auto-tool-choice \ --reasoning-parser kimi_k2 \ --speculative-config '{"model":"lightseekorg/kimi-k2.7-coder-eagle3.1-mla","method":"eagle3","num_speculative_tokens":3}' \ --mm-encoder-tp-mode data
Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。
mlx_lm.server --model mlx-community/Kimi-K2.7-Code-4bitOllama にはクラウド版の kimi-k2.7-code:cloud しかなく、手元のマシンではなく Ollama のサーバーで動きます。
ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| 49.1B | 3B | 30.1 GB | |
| 1,000B | 32B | 621.3 GB | |
| 1,000B | 32B | 621.2 GB | |
| 1,000B | 32B | 583.7 GB | |
| 2,800B | 104B | 1,508.7 GB |