GeForce RTX 4060 Ti 16GB 價格與中古行情:能部署哪些大型語言模型?
到價提醒
閒魚價格到達你設定的價位時,寄信通知你。
RTX 4060 Ti 16GB 是 NVIDIA 2023 年的入門遊戲卡,頻寬只有 288 GB/s,2-bit 跑 30B 級 MoE 約 103 tokens/s。看賣場要確認是 16GB 版。
閒魚
GeForce RTX 4060 Ti 16GB 價格走勢
閒魚
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
GeForce RTX 4060 Ti 16GB 完整規格
- 顯存16 GB · GDDR6
- 頻寬288 GB/s
- FP16 / BF1688.3 TFLOPS
- FP8 / INT8176.5 / 176.5 TOPS
- 位寬
- 128-bit
- 架構
- Ada Lovelace (AD106)
- 核心
- 4,352
- 張量核心
- 136
- 生態
- CUDA
- 介面
- PCIe 4.0 x8
- NVLink
- 不支援
- 功耗
- 165 W
- 供電介面
- 1× 8-pin / 16-pin 12VHPWR
- 類型
- 消費卡
- 發布日期
- 2023年7月18日
- 官方定價
- NT$16,424
單張 GeForce RTX 4060 Ti 16GB 能跑哪些模型?
單張 4060 Ti 16GB 用 4-bit 只放得下 12B 以內,Gemma 4 12B 不到 30 tokens/s。最值得跑的是 2-bit 的 Qwen3.6 35B A3B,整卡約 100 tokens/s。
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 3.8 GB | 能跑 | 52.7 | 128K | |
| 4.1 GB | 能跑 | 48.6 | 256K | |
| 4.7 GB | 能跑 | 42.1 | 256K | |
| 10.5 GB | 能跑 | 78.7 | 256K | |
| 11.8 GB | 能跑 | 17.8 | 64K | |
| 9.8 GB | 能跑 | 21.3 | 93K | |
| 11.9 GB | 能跑 | 90.3 | 75K | |
| 11.8 GB | 能跑 | 17.2 | 41K | |
| 12.3 GB | 能跑 | 102.9 | 181K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 5 GB | 能跑 | 41 | 128K | |
| 5.7 GB | 能跑 | 36 | 256K | |
| 7.1 GB | 能跑 | 28.9 | 256K | |
| 16.9 GB | 需卸載到記憶體 | 31.9 | 256K | |
| 16.8 GB | 跑不了 | — | — | |
| 16.5 GB | 跑不了 | — | — | |
| 18.3 GB | 需卸載到記憶體 | 33 | 198K | |
| 18.3 GB | 跑不了 | — | — | |
| 22.1 GB | 需卸載到記憶體 | 43.2 | 256K |
| 模型 | 大小 | 能否執行 | 速度 t/s | 最大上下文 |
|---|---|---|---|---|
| 8.2 GB | 能跑 | 25.7 | 128K | |
| 9.5 GB | 能跑 | 22.2 | 196K | |
| 12.7 GB | 能跑 | 16.7 | 183K | |
| 26.9 GB | 需卸載到記憶體 | 21.5 | 256K | |
| 28.6 GB | 跑不了 | — | — | |
| 29 GB | 跑不了 | — | — | |
| 31.8 GB | 需卸載到記憶體 | 20.6 | 198K | |
| 32.6 GB | 跑不了 | — | — | |
| 36.9 GB | 需卸載到記憶體 | 28.3 | 256K |
能跑權重、KV 快取和執行開銷都裝得進顯存,速度按顯存頻寬估算。
需卸載到記憶體僅 MoE 模型:專家權重放進記憶體,速度按記憶體頻寬 70 GB/s 估算。
跑不了這一檔量化下單卡放不下,借記憶體也不行。
詳細計算規則可在資料方法頁查看。
GeForce RTX 4060 Ti 16GB 用 Strata 能跑多大的模型?
Strata 把模型主體放在記憶體和硬碟裡,顯示卡只存最常用的專家,所以 GeForce RTX 4060 Ti 16GB 也能跑顯示記憶體遠遠裝不下的大模型。以下是 Strata 作者和社群在這張卡上的實測,多卡的標了張數,價格由本站依現價補上。
Strata 把模型分三處放
Qwen3.8 Flash Next Q2_0 · 66.4 GB- 顯示記憶體 16 GB:每個字都要用的部分,加上最常用的專家
- 記憶體約 40 GB:全部專家,顯示卡沒存的由 CPU 即時計算
- 硬碟 28.8 GB:查找表,每個字只讀幾行
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
適合誰
適合
- 要 16GB 又想少發熱
整卡 165W,NVIDIA 建議整機 550W 電源供應器
- 用 2-bit 跑 30B 級 MoE
Qwen3.6 35B A3B 只佔 12.3 GB,整卡約 103 tokens/s、上下文 181K
- 要用 8-bit 跑 12B
Gemma 4 12B 的 8-bit(12.7 GB)放得下,上下文能開到 183K,約 17 tokens/s
不太適合
- 重視生成速度
頻寬是本站 NVIDIA 16GB 卡中最低的,4-bit 的 Gemma 4 12B 只有約 29 tokens/s
- 想跑 27B 以上的稠密模型
4-bit 放不下,只能用 2-bit,Qwen3.8 27B 約 21 tokens/s
買前須知
16GB 版只有非公版
4060 Ti 有 8GB 和 16GB 兩個版本,核心規格相同,NVIDIA 只替 8GB 版推出公版。二手商品刊登常把兩版混在一起,下單前請賣家用 GPU-Z 或 nvidia-smi 截圖,確認是 16GB。
只有 8 條 PCIe 通道
它只接 8 條 PCIe 4.0 通道,插在 PCIe 3.0 的舊主機板上只剩 3.0 x8,頻寬是全速 4.0 x16 的四分之一。單卡推論時 PCIe 基本上只在載入模型時忙碌,影響不大;之後如果想加卡做多卡平行運算,建議每張卡至少 x8,這張卡在舊平台上就是最低標準。
大快取補不了頻寬
4060 Ti 有 32MB 的 L2 快取,對遊戲有幫助,對跑模型卻幫不上忙:每生成一個字都要把整份權重從顯示記憶體讀一遍,好幾 GB 的權重快取裝不下,速度還是由 288 GB/s 的記憶體頻寬決定。
與同級顯卡比較
GeForce RTX 4060 Ti 16GB 與 GeForce RTX 5060 Ti 16GB、GeForce RTX 3060 12GB、Radeon RX 7800 XT 的價格、顯存、頻寬、算力與本地大模型速度比較。
| 規格 | Radeon RX 7800 XT | |||
|---|---|---|---|---|
| 顯存 | 16 GB | 16 GB相同 | 12 GB少 25% | 16 GB相同 |
| 頻寬 | 288 GB/s | 448 GB/s高 56% | 360 GB/s高 25% | 624 GB/s高 117% |
| BF16 / FP16 算力 | 88 TFLOPS | 95 TFLOPS高 7% | 51 TFLOPS低 42% | 75 TFLOPS低 15% |
| INT8 算力 | 177 TOPS | 190 TOPS高 7% | 102 TOPS低 42% | 75 TOPS低 58% |
| Qwen3.8 27B 速度(2-bit) | 21.3 t/s | 32.6 t/s快 53% | 26.4 t/s快 24% | 44.6 t/s快 109% |
| 最高可跑稠密模型(4-bit) | 23B | 23B相同 | 16B少 30% | 23B相同 |
| 功耗 | 165 W | 180 W高 9% | 170 W高 3% | 263 W高 59% |
| 介面 | PCIe 4.0 x8 | PCIe 5.0 x8 | PCIe 4.0 x16 | PCIe 4.0 x16 |
| 發布 | 2023-07 | 2025-04 | 2021-02 | 2023-09 |
| 閒魚中位價 |
部分購買連結是聯盟連結:透過它們購買時我們可能獲得佣金,你支付的價格不變。
其他市場價格
身為 eBay 合作夥伴,你透過本頁的 eBay 連結購買時,VRAMGlass 可能獲得佣金,你支付的價格不變。