Qwen3.8 Flash Next
IQ2_XS · 68 GB実測- GPU2 × Tesla P40 24GB
- メモリ153 GiB
- CPU2 × Intel Xeon E5-2698 v4
Tesla P40 は NVIDIA の 2016 年の 24GB データセンター向けカードで、llama.cpp なら 30B 級 MoE が約 81 tokens/s 出ます。vLLM は使えず、電源は CPU 用 8-pin なので変換ケーブルが要ります。
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
P40 1 枚のおすすめは 4-bit の 30B 級 MoE で、約 80 tokens/s、コンテキストは 11 万以上です。27B〜31B の Dense は 14〜16 しか出ず、8-bit の意味は薄めです。
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 3.8 GB | 動く | 62.6 | 128K | |
| 4.1 GB | 動く | 57.8 | 256K | |
| 4.7 GB | 動く | 50.2 | 256K | |
| 10.5 GB | 動く | 88.1 | 256K | |
| 11.8 GB | 動く | 21.4 | 192K | |
| 9.8 GB | 動く | 25.5 | 221K | |
| 11.9 GB | 動く | 100.1 | 198K | |
| 11.8 GB | 動く | 20.6 | 143K | |
| 12.3 GB | 動く | 112.8 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 5 GB | 動く | 48.8 | 128K | |
| 5.7 GB | 動く | 42.9 | 256K | |
| 7.1 GB | 動く | 34.5 | 256K | |
| 16.9 GB | 動く | 66.8 | 256K | |
| 16.8 GB | 動く | 15.3 | 117K | |
| 16.5 GB | 動く | 15.5 | 122K | |
| 18.3 GB | 動く | 80.7 | 115K | |
| 18.3 GB | 動く | 13.7 | 66K | |
| 22.1 GB | 動く | 83.7 | 123K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 8.2 GB | 動く | 30.8 | 128K | |
| 9.5 GB | 動く | 26.6 | 256K | |
| 12.7 GB | 動く | 20 | 256K | |
| 26.9 GB | RAM オフロードが必要 | 22.5 | 256K | |
| 28.6 GB | 入らない | — | — | |
| 29 GB | 入らない | — | — | |
| 31.8 GB | RAM オフロードが必要 | 21.1 | 198K | |
| 32.6 GB | 入らない | — | — | |
| 36.9 GB | RAM オフロードが必要 | 29.7 | 256K |
動く重みも KV キャッシュも VRAM に収まり、速度は VRAM 帯域幅から推定します。
RAM オフロードが必要MoE モデルのみ。エキスパート重みをシステム RAM に置くため、速度は RAM 帯域幅 70 GB/s から推定します。
入らないこの量子化では 1 枚に収まらず、RAM へのオフロードでも動きません。
詳しい計算ルールはデータの作り方ページをご覧ください。
Strata はモデルの大部分をメインメモリと SSD に置き、よく使うエキスパートだけを GPU に載せるので、Tesla P40 でも VRAM に到底収まらない大きなモデルが動きます。以下は Strata の作者とコミュニティがこのカードで実際に測った結果で(複数枚の構成は枚数を表示)、価格は当サイトが現在の相場で補っています。
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
P40 4 枚で 4-bit の gpt-oss 120B が載りますが、vLLM は非対応で、llama.cpp の分割はさらに遅くなります。2 枚では 70B 級の 2-bit がやっとで、10 tokens/s 未満です。
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 78.9 GB | 4 枚 | 価格なし | 96 GB | 61.4 | 1,000 W | |
| 96.8 GB | 8 枚 | 価格なし | 192 GB | 46.1 | 2,000 W | |
| 107.2 GB | 8 枚 | 価格なし | 192 GB | 18.8 | 2,000 W | |
| 108.7 GB | 8 枚 | 価格なし | 192 GB | 35.3 | 2,000 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 111.3 GB | 8 枚 | 価格なし | 192 GB | 48.9 | 2,000 W | |
| 155.1 GB | 8 枚 | 価格なし | 192 GB | 31.5 | 2,000 W |
| モデル | サイズ | 必要枚数 | 合計価格 | 合計 VRAM | 速度 t/s | 合計消費電力 |
|---|---|---|---|---|---|---|
| 161.9 GB | 8 枚 | 価格なし | 192 GB | 30.4 | 2,000 W |
詳しい計算ルールはデータの作り方ページをご覧ください。
Qwen3.6 35B A3B と GLM 4.7 Flash の 4-bit で約 81〜84 tokens/s、コンテキストは 115K 以上取れる
vLLM がこの世代をサポートしたことは一度もなく、FP16 の演算性能は FP32 の 1/64 しかない
CUDA 13 ではすでにサポート外で、580 より後のドライバーもサポートしない
250W のパッシブ冷却で、カードにファンがない
P40 のカード後端にあるのは CPU 8-pin(EPS)のソケットで、グラフィックスカードで一般的な PCIe 8-pin とはピン配置が違います。グラフィックスカード用のケーブルを無理に挿さないでください。NVIDIA は、電源ユニットの CPU ケーブルを直接つなぐか、PCIe 8-pin 2 本を CPU 8-pin 1 本にまとめる変換ケーブルを使うよう明記しています。変換ケーブルは正しいものを選びましょう。
P40 にはファンがなく、サーバーのエアフローで冷やす設計で、ヒートシンクにはどちら向きから風を当ててもかまいません。デスクトップ PC に入れるならダクトと高回転ファンを自分で取り付ける必要があり(3D プリントのダクトがよく使われます)、カード 1 枚に 40mm ファンを 2 個付ける人もいます。映像出力もないので、組むときは内蔵 GPU か別のグラフィックスカードでディスプレイをつなぐ必要があります。
P40 は大きなアドレス空間(32 GB)を占有するため、マザーボードの BIOS で Above 4G Decoding を有効にしないとカードが認識されないことがあります。古いプラットフォームや一部の家庭向けマザーボードにはこの項目がないので、買う前にマザーボードのマニュアルを確認してください。
P40 は出荷時に ECC が有効になっており、このとき nvidia-smi に表示される VRAM の総容量は 22912 MiB と、24GB より約 1.6 GB 少なくなります。ECC が不要なら nvidia-smi -e 0 で無効にでき、再起動すれば 24GB をフルに使えます。
この世代には Tensor Core がなく、FP16 の演算性能が極端に低いため、FP16 演算に頼るフレームワークはこのカードでは非常に遅くなります。llama.cpp は自動的に FP16 を避けて FP32 と INT8 で演算するので、GGUF の量子化モデルは問題なく動きます。Ollama もまだサポートしていますが、570 以降のドライバーが必要で、このカードをサポートする最後のブランチは 580 です。llama.cpp のビルド済みパッケージをダウンロードするときは CUDA 12 版を選んでください。CUDA 13 版はすでにこのカードをサポートしていません。
Tesla P40 と GeForce RTX 3090、Instinct MI50 32GB、GeForce RTX 2080 Ti 22GB の価格・VRAM・帯域幅・演算性能・ローカル LLM の速度を比較。
| スペック | Instinct MI50 32GB | |||
|---|---|---|---|---|
| メモリ | 24 GB | 24 GB同じ | 32 GB33% 多い | 22 GB8% 少ない |
| 帯域幅 | 347 GB/s | 936 GB/s170% 高い | 1,024 GB/s195% 高い | 616 GB/s78% 高い |
| BF16 / FP16 演算性能 | — | 142 TFLOPS | 27 TFLOPS | 108 TFLOPS |
| INT8 演算性能 | 47 TOPS | 285 TOPS506% 高い | 53 TOPS13% 高い | 215 TOPS358% 高い |
| Qwen3.8 27B の速度(2-bit) | 25.5 t/s | 64.8 t/s154% 速い | 70.3 t/s176% 速い | 44 t/s73% 速い |
| 最大で動かせる密モデル(4-bit) | 37B | 37B同じ | 51B38% 多い | 34B8% 少ない |
| 消費電力 | 250 W | 350 W40% 高い | 300 W20% 高い | 250 W同じ |
| GPU 間接続 | 非対応 | NVLink 112.5 GB/s | — | NVLink 100 GB/s |
| インターフェース | PCIe 3.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 3.0 x16 |
| 発売 | 2016-09 | 2020-09 | 2018-11 | 2018-09 |
| Amazon.jp中央値 |
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
Tesla P40 は Compshare で 1 時間 ¥9.1、1 日 8 時間なら月約 ¥2,210 でレンタルできます。カード購入費(eBay 中央値 ¥63,600)は 1 日 4・8・24 時間の利用で、約 32.7 年・16.3 年・5.4 年で回収できます。
| 方法 | 価格 | 1 日 4 時間 | 1 日 8 時間 | 1 日 24 時間 | 見る |
|---|---|---|---|---|---|
| ¥9.1/時間 | ¥1,105/月 | ¥2,210/月 | ¥6,631/月 | 借りる | |
| ¥63,600 | 約 32.7 年で回収電気代 ¥943/月 | 約 16.3 年で回収電気代 ¥1,886/月 | 約 5.4 年で回収電気代 ¥5,658/月 | 買う |
回収期間は電気代 1kWh ¥31(電力料金目安単価)と定格 250 W で試算。売却額やほかのパーツ代は含みません。
レンタルのリンクは紹介リンクです。リンク経由で登録すると、当サイトが手数料またはクレジットを受け取ることがあります。eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。
eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。