A100 80GB PCIe 價格與中古行情：能部署哪些大型語言模型？

單張 A100 80GB PCIe 有 80GB HBM2e 顯示記憶體，在 4-bit 量化、8K 上下文下最大能裝約 136B 參數的稠密模型，8-bit 下約 73B。

能。在 4-bit 量化、8K 上下文下，70B 稠密模型約需 43GB，A100 80GB PCIe 的 80GB 裝得下。

2026 年發布的模型中，4-bit 下能完整放進顯示記憶體的最大稠密模型是 Gemma 4 31B，預估 70.5 tokens/s。MoE 模型中 Qwen3.6 35B A3B 最快，約 186.8 tokens/s。完整列表見上方「能跑哪些模型」表格。

按顯示記憶體頻寬估算，4-bit、8K 上下文下：8B 稠密模型約 220.5 tokens/s、14B 稠密模型約 138.7 tokens/s、32B 稠密模型約 66.6 tokens/s、70B 稠密模型約 32 tokens/s。MoE 模型每個 token 只讀取啟用參數，會快很多。實測通常在估算值的 70%–100%。

兩張 A100 80GB PCIe（共 160GB）按 vLLM 張量並行、4-bit、32K 上下文，能裝下 Qwen3.8 Flash Next。要在 4-bit、32K 上下文下跑 Kimi K2.7 Code，需要 8 張。

截至 2026年9月29日，eBay 中位價 NT$561,061（8 筆掛單）、閒魚中位價 NT$567,590（4 筆掛單）。取自平台掛單價的中位數，每 6 小時更新。

截至 2026年9月29日，閒魚中位價近 7 天下跌 20%，近 30 天下跌 20%。

截至 2026年9月29日，優雲智算每小時 NT$48.3。皆為單卡隨需價格，不含儲存空間和流量。

以閒魚中位價 NT$567,590、電價每度 NT$2.87 計算，每天用 8 小時，買卡約 4.1 年回本（對比優雲智算每小時 NT$48.3）。打算用超過 4.1 年就買，用不到就租。

H100 PCIe 有 80GB 顯示記憶體、2,000 GB/s 頻寬，A100 80GB PCIe 是 80GB、1,935 GB/s。跑 70B 稠密模型（4-bit）預估 A100 80GB PCIe 約 32 tokens/s，H100 PCIe 約 33.1 tokens/s。