A100 40GB PCIe 价格与二手行情:能部署哪些大模型?
A100 40GB PCIe 有 40GB HBM2 显存,带宽 1,555 GB/s。当前闲鱼中位价 ¥30,950。Q4 量化下最大能跑到 32B 参数的模型,预估 54 tokens/s。
A100 40GB PCIe 价走势
价格更新于
闲鱼
闲鱼二手
¥32,000¥28,500¥25,000
¥26,000
¥28,500
¥28,500
¥26,000
¥26,000
¥26,000
¥31,000
¥30,000
¥30,000
¥31,000
¥31,000
¥31,000
¥31,000
¥30,950
¥30,950
¥30,950
¥30,950
¥30,950
¥30,950
¥30,950
9月4日9月7日9月10日
A100 40GB PCIe 完整规格
核心6,912
张量核心432
架构Ampere (GA100)
显存40 GB · HBM2
位宽5,120-bit
带宽1,555 GB/s
BF16 / FP8 / INT8312 / — / 624
生态CUDA
别名A100 40G · A100 PCIe 40GB
类型数据中心
功耗250 W
供电接口8-pin EPS
槽位2
长度267 mm
接口PCIe 4.0 x16
发布日期2020年6月22日
官方定价—
A100 40GB PCIe 能跑哪些模型?
只列 2026 年起发布、50B 以内的版本| 模型 | 2-bit | 4-bit | 8-bit | ||||||
|---|---|---|---|---|---|---|---|---|---|
| 装得下 | 速度 t/s | 上下文 | 装得下 | 速度 t/s | 上下文 | 装得下 | 速度 t/s | 上下文 | |
| GemmaGemma 4 E4B | ✓ | 256.8 | 128K | ✓ | 189 | 128K | ✓ | 112.5 | 128K |
| QwenQwen3.5 9B | ✓ | 216.1 | 128K | ✓ | 158.4 | 128K | ✓ | 93.8 | 128K |
| GemmaGemma 4 12B | ✓ | 157.4 | 32K | ✓ | 118.5 | 32K | ✓ | 72.3 | 32K |
| GemmaGemma 4 26B A4B | ✓ | 159.8 | 32K | ✓ | 143.8 | 32K | ✓ | 114.2 | 32K |
| QwenQwen3.6 27B | ✓ | 87.6 | 32K | ✓ | 61.5 | 32K | ✓ | 34.8 | 32K |
| QwenQwen3.8 27B | ✓ | 87.6 | 32K | ✓ | 61.5 | 32K | ✓ | 34.8 | 32K |
| GLMGLM 4.7 Flash | ✓ | 190.9 | 128K | ✓ | 173.6 | 128K | ✓ | 140.6 | 128K |
| GemmaGemma 4 31B | ✓ | 66 | 8K | ✓ | 48.5 | 8K | ✗ | — | — |
| QwenQwen3.6 35B A3B | ✓ | 187.5 | 128K | ✓ | 170.7 | 128K | ✓ | 138.7 | 8K |
判定口径:权重 + KV cache + 运行开销 ≤ 可用显存,单卡。MoE 模型标「卸载」表示把专家权重放进系统内存后能跑(显存只放注意力层与 KV cache),速度按内存带宽 70 GB/s 估算。上下文列给的是能装下的最大档位。
各平台价格
常见问题
A100 40GB PCIe 有多大显存?
A100 40GB PCIe 有 40GB HBM2 显存,带宽 1,555 GB/s。
A100 40GB PCIe 能跑 70B 模型吗?
单卡跑不了。在 Q4_K_M 量化、8K 上下文下,70B 稠密模型约需 43GB,超过 A100 40GB PCIe 的 40GB。
A100 40GB PCIe 多少钱?
当前闲鱼中位价 ¥30,950。取自平台挂单价的中位数,每 6 小时更新。