A100 40GB PCIe 能跑什么模型？40GB 显存 · 二手价 · 速度
查价
A100 40GB PCIe 有 40GB HBM2 显存，带宽 1,555 GB/s。当前闲鱼二手中位价 ¥38,500。Q4 量化下最大能跑到 32B 参数的模型，预估 54 tokens/s。
A100 40GB PCIe 完整规格
核心6,912
张量核心432
架构Ampere (GA100)
显存40 GB · HBM2
位宽5,120-bit
带宽1,555 GB/s
BF16 / FP8 / INT8312 / — / 624
生态CUDA
别名A100 40G · A100 PCIe 40GB
闲鱼二手¥38,5004 条挂牌 · +48.1%
类型数据中心
功耗250 W
供电接口8-pin EPS
槽位2
长度267 mm
接口PCIe 4.0 x16
发布日期2020年6月22日
官方定价—
A100 40GB PCIe 能跑哪些模型？
参考模型取每个家族的主力版本| 模型 | Q4_K_M | Q8_0 | FP16 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| 装得下 | 速度 t/s | 上下文 | 装得下 | 速度 t/s | 上下文 | 装得下 | 速度 t/s | 上下文 | |
| DeepSeekDeepSeek R1 Qwen3 8B | ✓ | 178.4 | 128K | ✓ | 107.6 | 128K | ✓ | 61.1 | 128K |
| GemmaGemma 4 31B | ✓ | 48.5 | 8K | ✗ | — | — | ✗ | — | — |
| GLMGLM 4.7 Flash | ✓ | 173.6 | 128K | ✓ | 140.6 | 128K | 卸载 | 12.5 | — |
| gpt-ossgpt-oss 20B | ✓ | 165.1 | 128K | ✓ | 130.2 | 128K | 卸载 | 9.3 | — |
| KimiKimi Linear 48B A3B | ✓ | 178.6 | 128K | 卸载 | 26.5 | — | 卸载 | 14.8 | — |
| LlamaLlama 3.1 8B | ✓ | 183 | 128K | ✓ | 110.1 | 128K | ✓ | 62.4 | 128K |
| MistralMistral 7B v0.3 | ✓ | 197.8 | 32K | ✓ | 120.2 | 32K | ✓ | 68.6 | 32K |
| QwenQwen3 8B | ✓ | 178.4 | 32K | ✓ | 107.6 | 32K | ✓ | 61.1 | 32K |
判定口径：权重 + KV cache + 运行开销 ≤ 可用显存，单卡。MoE 模型标「卸载」表示把专家权重放进系统内存后能跑（显存只放注意力层与 KV cache），速度按内存带宽 70 GB/s 估算。上下文列给的是能装下的最大档位。
A100 40GB PCIe 二手价走势
闲鱼二手
2026年9月3日2026年9月4日2026年9月4日2026年9月5日
各平台价格
常见问题
A100 40GB PCIe 有多大显存？
A100 40GB PCIe 有 40GB HBM2 显存，带宽 1,555 GB/s。
A100 40GB PCIe 能跑 70B 模型吗？
单卡跑不了。在 Q4_K_M 量化、8K 上下文下，70B 稠密模型约需 43GB，超过 A100 40GB PCIe 的 40GB。
A100 40GB PCIe 二手多少钱？
当前闲鱼二手中位价 ¥38,500。取自平台挂牌价的中位数，每 6 小时更新。