8 × Tesla V100 32GB + Xeon E5 デュアル 8 GPU サーバー
低予算- 電源
- 内蔵 4 × 1,600 W
- ベアボーンに含む
Kimi K2.5 は、Moonshot AI が 2026 年 1 月に公開した 1T パラメータの MoE です。K2 に比べて画像を扱えるようになり、思考モードと即時モードの 2 つを備え、エキスパートの重みはネイティブで 4-bit です。後続の K2.6 と K2.7 Code は構造がまったく同じなので、新規に導入するなら、コーディングには K2.7 Code、即時モードが必要なら K2.6 を使いましょう。K2.5 の GGUF には落とし穴もあります。8-bit は約 1,091 GB ありますが、4-bit のエキスパートを大きな形式で保存し直しただけで、4-bit より正確になるわけではありません。
| 量子化 | 重みサイズGB | 8K コンテキストGB | 32K コンテキストGB | 128K コンテキストGB | 256K コンテキスト(最大)GB |
|---|---|---|---|---|---|
| 1-bit | 300.6GGUF | 302.2 | 304 | 310.9 | 320.1 |
| 2-bit | 374.8GGUF | 376.4 | 378.2 | 385.1 | 394.3 |
| 3-bit | 490.4GGUF | 492 | 493.8 | 500.7 | 509.9 |
| 4-bit | 621.2GGUF | 622.8 | 624.6 | 631.5 | 640.7 |
| 5-bit | 728.7GGUF | 730.3 | 732.1 | 739 | 748.2 |
| 8-bit | 1,091.1GGUF | 1,092.7 | 1,094.5 | 1,101.4 | 1,110.6 |
| BF16/FP16 | 2,053.2GGUF | 2,054.8 | 2,056.6 | 2,063.5 | 2,072.7 |
詳しい計算ルールはデータの作り方ページをご覧ください。
単体 GPU では無理です。K2 と同じ 1T パラメータで 2-bit でも約 375 GB あり、どの GPU にも遠く及ばず、128GB のマシンでも 3 分の 1 ほどしか載りません。丸ごと収まるのは 512GB の Mac Studio M3 Ultra で 2-bit を動かす場合だけで、コンテキストを最大にしてもシステム設定を変える必要はありません。4-bit は約 621 GB で、この Mac にも収まりません。それ以外はマルチ GPU か、大容量メモリのサーバーと GPU 1 枚の組み合わせです。もう 1 つ、8-bit 版はダウンロードしないでください。エキスパートはもともと 4-bit 形式なので、8-bit は同じデータを大きなファイルに保存しただけで精度は上がらず、ローカルでは 4-bit が上限です。
| デバイス | 価格 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|
| Mac Studio M3 Ultra 512GBマシン全体 · 512 GB | 価格なし | 41.2 | 256K |
よく使われる GPU とマシンだけを、50B 未満と 50B 以上のモデルで分けて、価格の安い順に掲載しています。
96GB の RTX PRO 6000 が 8 枚必要で、2-bit なら毎秒約 70 トークン、4-bit なら約 50 です。4-bit で元の品質にほぼ届くので、8-bit を狙う意味はありません。2-bit は K2.6 より 30 GB 余り大きく、32K のコンテキストを加えると 96GB カード 4 枚にも 48GB カード 8 枚にもわずかに収まらないため、その中間に枚数の少ない選択肢がありません。DGX Spark を 4 台つなげば 2-bit は収まりますが、1 台あたりのメモリ帯域が限られ、毎秒 15 トークン前後です。
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| 8 枚 | 価格なし | 640 GB | 73.8 | 2,400 W | |
| 8 枚 | 価格なし | 768 GB | 70.2 | 4,800 W | |
| Instinct MI2101 枚 64 GB | 8 枚 | 価格なし | 512 GB | 66 | 2,400 W |
| 8 枚 | 価格なし | 576 GB | 57.4 | 2,400 W | |
| 4 台 | 価格なし | 512 GB | 14.8 | 960 W |
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| 8 枚 | 価格なし | 768 GB | 50 | 4,800 W | |
| Mac Studio M3 Ultra 512GB1 台 512 GB | 2 台 | 価格なし | 1,024 GB | 26.2 | 960 W |
| デバイス | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|
| Mac Studio M3 Ultra 512GB1 台 512 GB | 4 台 | 価格なし | 2,048 GB | 16.1 | 1,920 W |
Mac Studio は Thunderbolt 5 で連結し、MLX や exo で動かします。vLLM は対応していません。詳しい計算ルールはデータの作り方ページをご覧ください。
エキスパートをメインメモリに置く場合、組める構成は 12 チャネル DDR5 サーバーと RTX PRO 6000 1 枚の組み合わせだけです。4-bit ではメモリ 768GB をフル搭載する必要があり、61 層のうち 96GB の VRAM に載るのは約 9 層分のエキスパートだけで、残りはすべてメインメモリに置かれます。速度は主にメモリ帯域幅で決まり、約 26 tokens/s です。2-bit ならメモリ 384GB で足り、VRAM に載せられるエキスパートが増えて(約 15 層分)、約 41 です。
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
公式が公開しているエキスパートの重みは 4-bit(INT4)そのもので、学習段階から 4-bit に合わせた調整がされています(K2 Thinking と同じ手法)。Unsloth によると、オリジナルの精度が欲しければ 4-bit か 5-bit の動的量子化で十分で、K2.5 をローカルで動かすなら 4-bit が上限です。8-bit は同じデータを大きく保存しているだけです。K2.6 以降、Unsloth の 8-bit は INT4 をそのまま保持する形に変わり、4-bit より 10 GB ほど大きいだけになりました。
temperature は思考モードで 1.0、即時モードで 0.6、top_p はどちらも 0.95 です。vLLM や SGLang でデプロイしている場合は、リクエストの chat_template_kwargs で thinking: false を渡すと即時モードに切り替わります。
llama.cpp は 2026 年 2 月に K2.5 対応をマージした際、初期段階のビジョン関連のコードも取り込みました(PR #19170)。しかし Unsloth の K2.5 GGUF リポジトリには、画像入力に必要な射影ファイル(mmproj)が含まれておらず、これが付くのは K2.6 以降の GGUF からです。動画入力は、公式によると現時点では自社 API でしか使えません。
公開から 2 日後、公式は誤解を招きやすい既定のシステムプロンプトを削除し、チャットテンプレート内で誤っていた <|media_start|> を <|media_begin|> に修正しました。最初期に変換された重みや GGUF を使う場合は、テンプレートが新しいものか確認してください。
llama-server -hf unsloth/Kimi-K2.5-GGUF:Q4_K_M -c 8192VRAM が足りないときは --cpu-moe を付けると、ルーティングされるエキスパートを RAM に置けます(約 615 GB 必要)。
llama-server -hf unsloth/Kimi-K2.5-GGUF:Q4_K_M -c 8192 -ngl 99 --cpu-moe実行前にデプロイガイドで必要な実行環境とハードウェアを確認してください。
vllm serve moonshotai/Kimi-K2.5 \ --trust-remote-code \ --tensor-parallel-size 8 \ --tool-call-parser kimi_k2 \ --enable-auto-tool-choice \ --reasoning-parser kimi_k2 \ --speculative-config '{"model":"lightseekorg/kimi-k2.5-eagle3-mla","method":"eagle3","num_speculative_tokens":3}' \ --mm-encoder-tp-mode data
Mac で pip install mlx-lm を済ませてから実行すると、Hugging Face から MLX 版の重みを取得し、OpenAI 互換のサーバーを起動します。
mlx_lm.server --model mlx-community/Kimi-K2.5Ollama ライブラリに公式タグはまだありません。
ファイル名はその週のモデルライブラリ取得時点のものです。定義はデータ方法を参照してください。 データ方法
| モデル | 総パラメータ | アクティブ | 4-bit のサイズ |
|---|---|---|---|
| 49.1B | 3B | 30.1 GB | |
| 1,000B | 32B | 621.3 GB | |
| 1,000B | 32B | 583.7 GB | |
| 1,000B | 32B | 583.7 GB | |
| 2,800B | 104B | 1,508.7 GB |