A100 80GB PCIe 价格走势、显存规格与本地大模型部署

A100 80GB PCIe 是 NVIDIA 2021 年的数据中心卡，80GB 显存，单卡装得下 gpt-oss 120B，30B 级模型直接用 8-bit。卡上无风扇，要靠机箱风道散热。

闲鱼

A100 80GB PCIe 价格走势

¥108,000+8.54%

闲鱼

价格更新于 2026/11/14 16:52

¥166,040¥137,970¥109,900¥81,830¥53,760

最低价 ¥69,800最高价 ¥125,000

9月22日10月18日11月14日

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

A100 80GB PCIe 完整规格

显存80 GB · HBM2e
带宽1,935 GB/s
FP16 / BF16312 TFLOPS
INT8624 TOPS

位宽: 5,120-bit
架构: Ampere (GA100)
核心: 6,912
张量核心: 432
生态: CUDA
接口: PCIe 4.0 x16
NVLink: 600 GB/s
功耗: 300 W
供电接口: 8-pin EPS
槽位: 2
长度: 267 mm
类型: 数据中心
发布日期: 2021年6月28日

单张 A100 80GB PCIe 能跑哪些模型？

单张 A100 80GB 最大能跑 4-bit 的 gpt-oss 120B；35B 以内用 8-bit 最合适，Qwen3.8 27B 约 47 tokens/s。这一代没有 FP8 加速，vLLM 上选 INT4 量化版更快。

模型	大小	能否运行	速度 t/s	最大上下文
Gemma 4 26B A4B25.2B（激活 3.8B）	10.5 GB	能跑	169.7	256K
Qwen3.6 27B27.8B	11.8 GB	能跑	104.9	256K
Qwen3.8 27B27.8B	9.8 GB	能跑	122.2	256K
GLM 4.7 Flash30B（激活 3B）	11.9 GB	能跑	177	198K
Gemma 4 31B30.7B	11.8 GB	能跑	101.5	256K
Qwen3.6 35B A3B36B（激活 3B）	12.3 GB	能跑	183.6	256K

模型	大小	能否运行	速度 t/s	最大上下文
Gemma 4 26B A4B25.2B（激活 3.8B）	16.9 GB	能跑	152.8	256K
Qwen3.6 27B27.8B	16.8 GB	能跑	77.5	256K
Qwen3.8 27B27.8B	16.5 GB	能跑	78.7	256K
GLM 4.7 Flash30B（激活 3B）	18.3 GB	能跑	164.5	198K
Gemma 4 31B30.7B	18.3 GB	能跑	70.2	256K
Qwen3.6 35B A3B36B（激活 3B）	22.1 GB	能跑	166.7	256K

模型	大小	能否运行	速度 t/s	最大上下文
Gemma 4 26B A4B25.2B（激活 3.8B）	26.9 GB	能跑	132.3	256K
Qwen3.6 27B27.8B	28.6 GB	能跑	47.9	256K
Qwen3.8 27B27.8B	29 GB	能跑	47.3	256K
GLM 4.7 Flash30B（激活 3B）	31.8 GB	能跑	143.1	198K
Gemma 4 31B30.7B	32.6 GB	能跑	41.9	256K
Qwen3.6 35B A3B36B（激活 3B）	36.9 GB	能跑	146.4	256K

能跑权重、KV 缓存和运行开销都装得进显存，速度按显存带宽估算。

需卸载到内存仅 MoE 模型：专家权重放进内存，速度按内存带宽 70 GB/s 估算。

跑不了这一档量化下单卡装不下，借内存也不行。

详细计算规则可在数据方法页查看。

多张 A100 80GB PCIe 能跑哪些模型？

两张 A100 80GB（160GB）就能用 4-bit 跑 Qwen3.8 Flash Next，约 130 tokens/s；DeepSeek V4 Flash 要 4 张。支持 NVLink。

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
Qwen3.8 Flash Next176B（激活 6B）	78.9 GB	2 张	¥216,000	160 GB	147.5	600 W
DeepSeek V4 Flash284B（激活 13B）	96.8 GB	2 张	¥216,000	160 GB	129.1	600 W
Hy3295B（激活 21B）	107.2 GB	2 张	¥216,000	160 GB	74.7	600 W
GLM 5.3 Flash320B（激活 18B）	108.7 GB	2 张	¥216,000	160 GB	111.8	600 W
GLM 5.3744B（激活 40B）	253.9 GB	4 张	¥432,000	320 GB	67.2	1,200 W
Hy4 preview770B（激活 49B）	307.2 GB估	8 张	¥864,000	640 GB	53	2,400 W
Muse Spark Open816B（激活 42B）	311.2 GB	8 张	¥864,000	640 GB	61.2	2,400 W
Kimi K2.7 Code1,000B（激活 32B）	339.5 GB	8 张	¥864,000	640 GB	78.2	2,400 W
Kimi K2.61,000B（激活 32B）	340.5 GB	8 张	¥864,000	640 GB	78.1	2,400 W
Mistral Large 41,000B（激活 52B）	378.3 GB	8 张	¥864,000	640 GB	53.3	2,400 W

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
Qwen3.8 Flash Next176B（激活 6B）	111.3 GB	2 张	¥216,000	160 GB	132.9	600 W
DeepSeek V4 Flash284B（激活 13B）	155.1 GB	4 张	¥432,000	320 GB	104.7	1,200 W
Hy3295B（激活 21B）	182.2 GB	4 张	¥432,000	320 GB	58.9	1,200 W
GLM 5.3 Flash320B（激活 18B）	199.7 GB	4 张	¥432,000	320 GB	80.7	1,200 W
GLM 5.3744B（激活 40B）	467.3 GB	8 张	¥864,000	640 GB	44.2	2,400 W
Hy4 preview770B（激活 49B）	467.3 GB	8 张	¥864,000	640 GB	38.9	2,400 W
Muse Spark Open816B（激活 42B）	505.5 GB	8 张	¥864,000	640 GB	43.3	2,400 W
DeepSeek V4.1 Flash763B（激活 8 / 16B）	510.3 GB	8 张Engram 放内存	¥864,000	640 GB	71.7	2,400 W
Kimi K2.61,000B（激活 32B）	583.7 GB	8 张	¥864,000	640 GB	55.4	2,400 W
Kimi K2.7 Code1,000B（激活 32B）	583.7 GB	8 张	¥864,000	640 GB	55.4	2,400 W
Mistral Large 41,000B（激活 52B）	604.8 GB	8 张	¥864,000	640 GB	37.5	2,400 W

模型	大小	需要几张	总价	总显存	速度 t/s	总功耗
DeepSeek V4 Flash284B（激活 13B）	161.9 GB	4 张	¥432,000	320 GB	102.5	1,200 W
Qwen3.8 Flash Next176B（激活 6B）	188.2 GB	4 张	¥432,000	320 GB	107.6	1,200 W
Hy3295B（激活 21B）	317.7 GB	8 张	¥864,000	640 GB	42.6	2,400 W
GLM 5.3 Flash320B（激活 18B）	341 GB	8 张	¥864,000	640 GB	56.3	2,400 W
Kimi K2.61,000B（激活 32B）	594.5 GB	8 张	¥864,000	640 GB	54.7	2,400 W
Kimi K2.7 Code1,000B（激活 32B）	594.5 GB	8 张	¥864,000	640 GB	54.7	2,400 W

标「Engram 放内存」的另需约 203 GB 系统内存。详细计算规则可在数据方法页查看。

适合谁

适合

单卡跑 70B 到 120B 级的模型
gpt-oss 120B 的 4-bit、Llama 3.3 70B 的 8-bit 都装得下，不用拆到几张卡上
30B 级想用 8-bit 还要长上下文
Qwen3.8 27B 的 8-bit 能开满 256K，约 47 tokens/s
以后想上双卡
两张用 NVLink 桥连成一对，160 GB 就能跑 4-bit 的 Qwen3.8 Flash Next
要切给几个人用
MIG 切成 2 份 40GB，每人能跑一个 8-bit 的 27B

不太适合

读长文档、多人并发要快
算力不到 H100 的一半，也没有 FP8
想插进普通工作站直接用
卡上没有风扇，300W 的热量全靠机箱风道带走

买前须知

分清原厂 PCIe 版和 SXM4 转接卡
二手市场上有人把服务器用的 SXM4 模组装上转接板，当 PCIe 卡卖，商品标题常写「SXM4 converted」，连卖家都承认固件仍把它识别成 SXM 版。转接卡能用，但散热、供电和稳定性看转接板厂家，没有原厂保修。到手跑一下 nvidia-smi：原厂 PCIe 版显示「A100 80GB PCIe」，转接卡显示「A100-SXM4-80GB」（lspci 设备 ID 分别是 20B5 和 20B2）。
300W 全靠风道带走
卡上没有风扇，300W 的热量全靠散热片和机箱风道带走，比 40GB 版还多 50W。放进工作站，要么配导风罩加高风压风扇，要么换水冷头。供电是一个 8-pin CPU（EPS）口，接普通电源要用 PCIe 转 CPU 8-pin 的转接线。
MIG 切给多人
MIG 能把一张卡切成几块互不干扰的小卡，80GB 版每份都比 40GB 版大一倍：切满 7 份每份 10GB，够跑 4-bit 的 Gemma 4 12B；切成 2 份 40GB，每份能跑一个 8-bit 的 Qwen3.8 27B（29 GB）。
FP8 模型能跑，但不会变快
Ampere 不支持 FP8 计算。FP8 格式的模型在 vLLM 里照样能加载，权重按 FP8 存、计算时转成 FP16/BF16，所以省了显存却不会更快。要吞吐就找 AWQ、GPTQ 这类 INT4 版；显存够的话，也可以直接用 BF16 原版。

和同档显卡对比

A100 80GB PCIe 和 H100 PCIe、RTX PRO 6000 的价格、显存、带宽、算力与本地大模型速度对比。

规格	A100 80GB PCIe	H100 PCIe	RTX PRO 6000
显存	80 GB	80 GB相同	96 GB多 20%
带宽	1,935 GB/s	2,000 GB/s高 3%	1,792 GB/s低 7%
BF16 / FP16 算力	312 TFLOPS	756 TFLOPS高 142%	500 TFLOPS高 60%
INT8 算力	624 TOPS	1,513 TOPS高 142%	1,000 TOPS高 60%
Qwen3.8 27B 速度（2-bit）	122.2 t/s	125.6 t/s相同	114.6 t/s慢 6%
最高可跑稠密模型（4-bit）	136B	136B相同	165B多 21%
功耗	300 W	350 W高 17%	600 W高 100%
卡间互联	NVLink 600 GB/s	NVLink 600 GB/s	不支持
接口	PCIe 4.0 x16	PCIe 5.0 x16	PCIe 5.0 x16
发布	2021-06	2022-03	2025-03
闲鱼中位价	¥108,000去购买 A100 80GB PCIe	去闲鱼查看 · H100 PCIe	¥124,250去购买 RTX PRO 6000

部分购买链接是联盟链接：通过它们购买时我们可能获得佣金，你支付的价格不变。

A100 80GB PCIe 租用价格

A100 80GB PCIe 在优云智算按需租用每小时 ¥10.2，每天用 8 小时约 ¥2,484/月。买一张（闲鱼在售报价中位数 ¥108,000）每天用 4、8、24 小时，分别约 7.4 年、3.7 年、1.2 年回本。

方案	价格	每天 4 小时	每天 8 小时	每天 24 小时	去查看
优云智算租用19分钟前更新	¥10.2/小时	¥1,242/月	¥2,484/月	¥7,453/月	去租
闲鱼6小时前更新	¥108,000	约 7.4 年回本电费 ¥24/月	约 3.7 年回本电费 ¥48/月	约 1.2 年回本电费 ¥145/月	去买