A100 40GB PCIe 价格与二手行情：能部署哪些大模型？

A100 40GB PCIe 是 NVIDIA 2020 年的数据中心卡，40GB 显存，35B 以内的大模型都能用 8-bit 跑。二手要当心用 SXM4 模组改的转接卡冒充 PCIe 版。

闲鱼

A100 40GB PCIe 价格走势

¥33,000-6.38%

闲鱼

价格更新于 2026/10/21 14:19

¥40,946¥35,790¥30,634¥25,478¥20,322

最低价 ¥23,268最高价 ¥38,000

9月4日9月27日10月21日

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

A100 40GB PCIe 完整规格

显存40 GB · HBM2
带宽1,555 GB/s
FP16 / BF16312 TFLOPS
INT8624 TOPS

位宽: 5,120-bit
架构: Ampere (GA100)
核心: 6,912
张量核心: 432
生态: CUDA
接口: PCIe 4.0 x16
NVLink: 600 GB/s
功耗: 250 W
供电接口: 8-pin EPS
槽位: 2
长度: 267 mm
类型: 数据中心
发布日期: 2020年6月22日

单张 A100 40GB PCIe 能跑哪些模型？

单张 A100 40GB 用 8-bit 就能装下 35B 以内的模型，Qwen3.8 27B 约 39 tokens/s、上下文能开到 19 万。70B 级连 4-bit 都放不下。

模型	大小	能否运行	速度 t/s	最大上下文
Qwen3.5 9B9.7B	4.1 GB	能跑	202	256K
Gemma 4 12B12B	4.7 GB	能跑	180.6	256K
Gemma 4 26B A4B25.2B（激活 3.8B）	10.5 GB	能跑	161.7	256K
Qwen3.6 27B27.8B	11.8 GB	能跑	86.8	256K
Qwen3.8 27B27.8B	9.8 GB	能跑	101.6	256K
GLM 4.7 Flash30B（激活 3B）	11.9 GB	能跑	170.1	198K
Gemma 4 31B30.7B	11.8 GB	能跑	83.9	256K
Qwen3.6 35B A3B36B（激活 3B）	12.3 GB	能跑	177.6	256K

模型	大小	能否运行	速度 t/s	最大上下文
Qwen3.5 9B9.7B	5.7 GB	能跑	158.9	256K
Gemma 4 12B12B	7.1 GB	能跑	132.5	256K
Gemma 4 26B A4B25.2B（激活 3.8B）	16.9 GB	能跑	143	256K
Qwen3.6 27B27.8B	16.8 GB	能跑	63.6	256K
Qwen3.8 27B27.8B	16.5 GB	能跑	64.7	256K
GLM 4.7 Flash30B（激活 3B）	18.3 GB	能跑	155.8	198K
Gemma 4 31B30.7B	18.3 GB	能跑	57.6	256K
Qwen3.6 35B A3B36B（激活 3B）	22.1 GB	能跑	158.3	256K

模型	大小	能否运行	速度 t/s	最大上下文
Qwen3.5 9B9.7B	9.5 GB	能跑	105.5	256K
Gemma 4 12B12B	12.7 GB	能跑	81.6	256K
Gemma 4 26B A4B25.2B（激活 3.8B）	26.9 GB	能跑	121.1	256K
Qwen3.6 27B27.8B	28.6 GB	能跑	39	197K
Qwen3.8 27B27.8B	29 GB	能跑	38.5	191K
GLM 4.7 Flash30B（激活 3B）	31.8 GB	能跑	132.5	181K
Gemma 4 31B30.7B	32.6 GB	能跑	34	100K
Qwen3.6 35B A3B36B（激活 3B）	36.9 GB	能跑	136	237K

能跑权重、KV 缓存和运行开销都装得进显存，速度按显存带宽估算。

需卸载到内存仅 MoE 模型：专家权重放进内存，速度按内存带宽 70 GB/s 估算。

跑不了这一档量化下单卡装不下，借内存也不行。

详细计算规则可在数据方法页查看。

多张 A100 40GB PCIe 能跑哪些模型？

两张 A100 40GB 能跑 70B 级稠密模型和 8-bit 的 gpt-oss 120B，2026 年的大型 MoE 要 4 张起。NVLink 桥只能两两相连。

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
Qwen3.8 Flash Next176B（激活 6B）	78.9 GB	4 张	¥132,000	160 GB	137.2	1,000 W
DeepSeek V4 Flash284B（激活 13B）	96.8 GB	4 张	¥132,000	160 GB	117.8	1,000 W
Hy3295B（激活 21B）	107.2 GB	4 张	¥132,000	160 GB	64.5	1,000 W
GLM 5.3 Flash320B（激活 18B）	108.7 GB	4 张	¥132,000	160 GB	100.2	1,000 W
GLM 5.3744B（激活 40B）	253.9 GB	8 张	¥264,000	320 GB	57.6	2,000 W

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
Qwen3.8 Flash Next176B（激活 6B）	111.3 GB	4 张	¥132,000	160 GB	121.7	1,000 W
DeepSeek V4 Flash284B（激活 13B）	155.1 GB	8 张	¥264,000	320 GB	93.2	2,000 W
Hy3295B（激活 21B）	182.2 GB	8 张	¥264,000	320 GB	50	2,000 W
GLM 5.3 Flash320B（激活 18B）	199.7 GB	8 张	¥264,000	320 GB	70	2,000 W

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
DeepSeek V4 Flash284B（激活 13B）	161.9 GB	8 张	¥264,000	320 GB	91	2,000 W
Qwen3.8 Flash Next176B（激活 6B）	188.2 GB	8 张	¥264,000	320 GB	96	2,000 W

详细计算规则可在数据方法页查看。

适合谁

适合

想用 8-bit 跑 30B 级模型
24GB 的卡只能跑这类模型的 4-bit，这张卡能上 8-bit
要用 vLLM 这类推理框架
Ampere 这一代软件支持完整，FlashAttention 2 这类加速都能用
几个人共用一张卡
可以用 MIG 切成 2 份 20GB，每人跑一个 4-bit 的 27B

不太适合

想单卡跑 70B 级
Llama 3.3 70B 用 4-bit、只开 8K 上下文也要 46.3 GB，放不进来
想靠 FP8 提速
这代芯片没有 FP8 计算单元，FP8 模型能加载，但不会更快
想装进普通台式机
卡上没有风扇，要靠服务器风道散热；也没有视频输出

买前须知

当心 SXM4 转接卡
二手市场上有人把服务器专用的 SXM4 模组装到第三方转接板上，当 PCIe 卡卖，标题里常带「SXM4 converted」。这种卡的散热、供电和稳定性全看转接板做得好不好，也没有原厂保修。分辨办法：装好后看 nvidia-smi 显示的型号，原厂 PCIe 版是「A100-PCIE-40GB」，SXM4 模组是「A100-SXM4-40GB」；lspci 里的设备 ID 分别是 20F1 和 20B0。
供电要转接线，散热要自己解决
供电口是 8-pin CPU 口（EPS），和显卡常用的 8-pin PCIe 口插头不一样。接普通电源，要用转接线把电源的两根 PCIe 8-pin 合成一个 CPU 8-pin。卡上没有风扇，只有一块很密的散热片，设计上靠服务器的强力风扇吹；装进普通机箱，要另外配高风压风扇或换水冷头，普通机箱风扇吹不透。
MIG 什么时候用得上
MIG 是 A100 的分卡功能，能把一张卡切成几块显存和算力互不影响的「小卡」，适合几个人共用。实用的切法是 2 份 20GB，每份跑一个 4-bit 的 27B；或者 3 份 10GB，每份跑一个 4-bit 的 12B。切满 7 份每份只有 5GB，只装得下 2-bit 的 Gemma 4 E4B 这类小模型。一个人跑一个模型时用不上。

和同档显卡对比

A100 40GB PCIe 和 A100 80GB PCIe、CMP 170HX 40GB、L40S 的价格、显存、带宽、算力与本地大模型速度对比。

规格	A100 40GB PCIe	A100 80GB PCIe	CMP 170HX 40GB	L40S
显存	40 GB	80 GB多 100%	40 GB相同	48 GB多 20%
带宽	1,555 GB/s	1,935 GB/s高 24%	1,560 GB/s相同	864 GB/s低 44%
BF16 / FP16 算力	312 TFLOPS	312 TFLOPS相同	202 TFLOPS低 35%	362 TFLOPS高 16%
INT8 算力	624 TOPS	624 TOPS相同	404 TOPS低 35%	733 TOPS高 17%
Qwen3.8 27B 速度（2-bit）	101.6 t/s	122.2 t/s快 20%	101.9 t/s相同	60.3 t/s慢 41%
最高可跑稠密模型（4-bit）	65B	136B多 109%	65B相同	79B多 22%
功耗	250 W	300 W高 20%	250 W相同	350 W高 40%
卡间互联	NVLink 600 GB/s	NVLink 600 GB/s	不支持	不支持
接口	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 2.0 x4	PCIe 4.0 x16
发布	2020-06	2021-06	2021-09	2023-08
闲鱼中位价	¥33,000去购买 A100 40GB PCIe	¥140,000去购买 A100 80GB PCIe	¥19,600去购买 CMP 170HX 40GB	去闲鱼查看 · L40S

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

其他市场价格

eBay · 美国

¥51,858

15 条挂单

去查看

Amazon.jp · 日本

暂无

暂无挂单

去查看

作为 eBay 合作伙伴，你通过本页的 eBay 链接购买时，VRAMGlass 可能获得佣金，你支付的价格不变。