GeForce RTX 4060 Ti 16GB の価格・中古相場:実行できるローカルLLMは?
価格アラート
Amazon.jp の価格が設定した金額に達したら、メールでお知らせします。
RTX 4060 Ti 16GB は NVIDIA の 2023 年の入門カードで、30B 級 MoE を 2-bit で約 103 tokens/s で動かせます。帯域幅は 288 GB/s しかなく、出品が 16GB 版かも必ず確認を。
Amazon.jp
GeForce RTX 4060 Ti 16GB の価格推移
Amazon.jp
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
GeForce RTX 4060 Ti 16GB の詳細スペック
- メモリ16 GB · GDDR6
- 帯域幅288 GB/s
- FP16 / BF1688.3 TFLOPS
- FP8 / INT8176.5 / 176.5 TOPS
- バス幅
- 128-bit
- アーキテクチャ
- Ada Lovelace (AD106)
- コア
- 4,352
- Tensor コア
- 136
- エコシステム
- CUDA
- インターフェース
- PCIe 4.0 x8
- NVLink
- 非対応
- 消費電力
- 165 W
- 補助電源
- 1× 8-pin / 16-pin 12VHPWR
- 種別
- コンシューマ
- 発売日
- 2023年7月18日
- 希望小売価格
- ¥79,740
GeForce RTX 4060 Ti 16GB 1 枚で動かせるモデルは?
4060 Ti 16GB 1 枚に 4-bit で載るのは 12B までで、Gemma 4 12B も 30 tokens/s 未満です。狙い目は 2-bit の Qwen3.6 35B A3B で、丸ごと載り約 100 tokens/s。
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 3.8 GB | 動く | 52.7 | 128K | |
| 4.1 GB | 動く | 48.6 | 256K | |
| 4.7 GB | 動く | 42.1 | 256K | |
| 10.5 GB | 動く | 78.7 | 256K | |
| 11.8 GB | 動く | 17.8 | 64K | |
| 9.8 GB | 動く | 21.3 | 93K | |
| 11.9 GB | 動く | 90.3 | 75K | |
| 11.8 GB | 動く | 17.2 | 41K | |
| 12.3 GB | 動く | 102.9 | 181K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 5 GB | 動く | 41 | 128K | |
| 5.7 GB | 動く | 36 | 256K | |
| 7.1 GB | 動く | 28.9 | 256K | |
| 16.9 GB | RAM オフロードが必要 | 31.9 | 256K | |
| 16.8 GB | 入らない | — | — | |
| 16.5 GB | 入らない | — | — | |
| 18.3 GB | RAM オフロードが必要 | 33 | 198K | |
| 18.3 GB | 入らない | — | — | |
| 22.1 GB | RAM オフロードが必要 | 43.2 | 256K |
| モデル | サイズ | 動作 | 速度 t/s | 最大コンテキスト |
|---|---|---|---|---|
| 8.2 GB | 動く | 25.7 | 128K | |
| 9.5 GB | 動く | 22.2 | 196K | |
| 12.7 GB | 動く | 16.7 | 183K | |
| 26.9 GB | RAM オフロードが必要 | 21.5 | 256K | |
| 28.6 GB | 入らない | — | — | |
| 29 GB | 入らない | — | — | |
| 31.8 GB | RAM オフロードが必要 | 20.6 | 198K | |
| 32.6 GB | 入らない | — | — | |
| 36.9 GB | RAM オフロードが必要 | 28.3 | 256K |
動く重みも KV キャッシュも VRAM に収まり、速度は VRAM 帯域幅から推定します。
RAM オフロードが必要MoE モデルのみ。エキスパート重みをシステム RAM に置くため、速度は RAM 帯域幅 70 GB/s から推定します。
入らないこの量子化では 1 枚に収まらず、RAM へのオフロードでも動きません。
詳しい計算ルールはデータの作り方ページをご覧ください。
GeForce RTX 4060 Ti 16GB で Strata を使うとどこまで大きなモデルが動く?
Strata はモデルの大部分をメインメモリと SSD に置き、よく使うエキスパートだけを GPU に載せるので、GeForce RTX 4060 Ti 16GB でも VRAM に到底収まらない大きなモデルが動きます。以下は Strata の作者とコミュニティがこのカードで実際に測った結果で(複数枚の構成は枚数を表示)、価格は当サイトが現在の相場で補っています。
Strata はモデルを 3 か所に分けて置く
Qwen3.8 Flash Next Q2_0 · 66.4 GB- VRAM 16 GB:毎トークン使う部分と、よく使うエキスパート
- メモリ約 40 GB:全エキスパート。GPU にないものは CPU がその場で計算
- SSD 28.8 GB:ルックアップテーブル。1 トークンごとに数行だけ読む
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
向いている人・向かない人
向いている
- 16GB が欲しいが発熱は抑えたい
カード全体で 165W、NVIDIA の推奨は PC 全体で 550W の電源ユニットです
- 30B クラスの MoE を 2-bit で動かしたい
Qwen3.6 35B A3B は 12.3 GB しか使わず、VRAM だけで約 103 tokens/s、コンテキストは 181K です
- 12B を 8-bit で動かしたい
Gemma 4 12B の 8-bit(12.7 GB)が収まり、コンテキストを 183K まで伸ばせて、約 17 tokens/s です
向かない
- 生成速度を重視する
帯域幅は当サイトに掲載している NVIDIA の 16GB カードの中で最も低く、4-bit の Gemma 4 12B でも約 29 tokens/s しか出ません
- 27B 以上の Dense モデルを動かしたい
4-bit は収まらず 2-bit しか使えません。Qwen3.8 27B で約 21 tokens/s です
購入前のチェックポイント
16GB 版はパートナー製のみ
4060 Ti には 8GB 版と 16GB 版があり、チップの仕様は同じですが、NVIDIA がリファレンスモデルを出したのは 8GB 版だけです。中古の出品では 2 つの版が混在しがちなので、注文前に売り手に GPU-Z か nvidia-smi のスクリーンショットで 16GB であることを確認してもらいましょう。
PCIe は 8 レーンだけ
PCIe 4.0 の 8 レーンしか使わないため、PCIe 3.0 の古いマザーボードに挿すと 3.0 x8 になり、帯域幅はフルスピードの 4.0 x16 の 4 分の 1 です。1 枚で推論する場合、PCIe が忙しくなるのはほぼモデルの読み込み時だけなので、影響は大きくありません。後からカードを足してマルチ GPU で並列処理するつもりなら、1 枚あたり最低 x8 を推奨しており、古いプラットフォームではこのカードがちょうどその最低ラインになります。
大容量キャッシュでは帯域幅を補えない
4060 Ti は 32MB の L2 キャッシュを積んでおり、ゲームには効果がありますが、モデルの実行には役立ちません。1 トークン生成するたびに重み全体を VRAM から一通り読み込む必要があり、数 GB ある重みはキャッシュに収まらないため、速度は結局 288 GB/s の VRAM 帯域幅で決まります。
同クラスの GPU との比較
GeForce RTX 4060 Ti 16GB と GeForce RTX 5060 Ti 16GB、GeForce RTX 3060 12GB、Radeon RX 7800 XT の価格・VRAM・帯域幅・演算性能・ローカル LLM の速度を比較。
| スペック | Radeon RX 7800 XT | |||
|---|---|---|---|---|
| メモリ | 16 GB | 16 GB同じ | 12 GB25% 少ない | 16 GB同じ |
| 帯域幅 | 288 GB/s | 448 GB/s56% 高い | 360 GB/s25% 高い | 624 GB/s117% 高い |
| BF16 / FP16 演算性能 | 88 TFLOPS | 95 TFLOPS7% 高い | 51 TFLOPS42% 低い | 75 TFLOPS15% 低い |
| INT8 演算性能 | 177 TOPS | 190 TOPS7% 高い | 102 TOPS42% 低い | 75 TOPS58% 低い |
| Qwen3.8 27B の速度(2-bit) | 21.3 t/s | 32.6 t/s53% 速い | 26.4 t/s24% 速い | 44.6 t/s109% 速い |
| 最大で動かせる密モデル(4-bit) | 23B | 23B同じ | 16B30% 少ない | 23B同じ |
| 消費電力 | 165 W | 180 W9% 高い | 170 W3% 高い | 263 W59% 高い |
| インターフェース | PCIe 4.0 x8 | PCIe 5.0 x8 | PCIe 4.0 x16 | PCIe 4.0 x16 |
| 発売 | 2023-07 | 2025-04 | 2021-02 | 2023-09 |
| Amazon.jp中央値 |
一部の購入リンクはアフィリエイトリンクです。リンク経由でご購入いただくと当サイトが手数料を受け取ることがありますが、お支払い金額は変わりません。
他市場の価格
eBay パートナーとして、このページの eBay リンク経由でご購入いただいた場合、VRAMGlass が報酬を受け取ることがあります。お支払い金額は変わりません。