AMD Ryzen 7 7700 · 2 通道
B650 主板
- 最大内存
- 128 GB
- 理论带宽
- 96 GB/s
- 主板 + CPU
- 参考价
- ¥2,682
- 电源
- 850 W
- ¥671
- 整机参考价
- ¥53,935
DDR5 在 2021 到 2022 年随 Intel 12 代酷睿和 AMD 锐龙 7000 普及,台式机常见 4800 到 6400 MT/s。服务器用的 DDR5 条(RDIMM)单条带宽比 DDR4-3200 高一半以上,一颗 EPYC 9004 就有 12 个内存通道,适合跑几百 GB 的 MoE 大模型。
部分购买链接是联盟链接:通过它们购买时我们可能获得佣金,你支付的价格不变。
部分购买链接是联盟链接:通过它们购买时我们可能获得佣金,你支付的价格不变。
单条价格取Amazon.jp最近一轮挂单的中位价,套装先拆成单条再算。频率向下兼容:主板只支持 4800 时,5600 的条子也能插,会降到 4800 运行。
MoE 大模型的专家权重可以放进内存,显卡只放注意力和共享的部分:内存越大,能放下的模型越大;理论带宽越高,出字越快。下面是家用电脑、单路服务器、双路服务器三种插满内存的配置,都配一张 RTX 4090。
B650 主板
Supermicro H13SSL-N 主板
Gigabyte MZ73-LM0 主板
双路的理论带宽是两颗 CPU 相加,但出字速度到不了两倍:用 llama.cpp 跑 MoE 模型,双路几乎不比单路快;换成 ktransformers 的双路模式、每颗 CPU 各放一份权重,官方实测快约 40%。家用电脑插满 4 条时,不少主板要降频才稳定,实际带宽会低于理论值。
整机参考价 = 内存和显卡的Amazon.jp实时中位价 + 主板、CPU、电源的参考价。
DDR5 的每颗颗粒里都有片上 ECC(on-die ECC),但它只管颗粒内部的错误,数据离开颗粒、经过内存条和主板传给 CPU 这一路不受保护。真正的 ECC 内存在每个 32 位子通道外多加 8 位(标 EC8)或 4 位(标 EC4)校验,服务器 RDIMM 都带。台式机要 CPU 和主板都支持才开得了纠错。跑本地大模型用不着专门买 ECC。
台式机用 UDIMM(无缓冲内存),服务器用 RDIMM(带寄存器的内存)。RDIMM 条上多一颗寄存器时钟驱动芯片(RCD),一个通道能挂更多颗粒,单条容量常见 32GB、64GB,而且都带 ECC。代价是频率偏低、时序偏松:服务器条常见 DDR5-4800、5600,台式机常见 6000、6400。DDR5 内存条自带供电管理芯片,台式机条和服务器条的供电电压不同,互相不能用。
R 前面是 Rank 数:内存条上一起读写、凑满 64 位数据的一组颗粒叫一个 Rank,1R 是单 Rank,2R 是双 Rank。x 后面是每颗颗粒的位宽:x8 的颗粒 8 颗凑满 64 位,x4 要 16 颗,所以 x4 的条子能做得更大,大容量的服务器条多是 2Rx4。同一个通道里 Rank 越多,插满时越容易被主板降频。
CL(CAS 延迟)是从发出读取命令到数据出来要等几个时钟周期,数字越小越快。实际延迟要按频率换算:纳秒 = CL × 2000 ÷ 频率。台式机常见的 DDR5-6000 CL30 是 10 纳秒,服务器常见的 DDR5-4800 CL40 约 17 纳秒。跑大模型时每生成一个字都要从内存搬几 GB 到几十 GB 权重,拼的是带宽,时序的影响很小。
频率不同能插,但所有条子都会按最慢的那一根运行,时序也按最松的走。容量不同时,双通道只有两边相同的那部分容量能交替读写,带宽会打折。品牌不同一般能用,最稳的是同型号同批次。台式机条和服务器条不能混,DDR4 和 DDR5 也不能混(插槽缺口位置不同,插不进去)。DDR5 台式机插 4 条时,多数平台要明显降频才稳定,追求频率就只插 2 条;服务器要每个通道插一样的条子,带宽才跑得满。
DDR5 一条内存分成两个 32 位子通道,合起来每次还是传 64 位,也就是 8 字节,所以单条带宽 = 频率 × 8:DDR5-6000 是 48 GB/s,条子上写的 PC5-48000 说的就是它。平台的带宽 = 单条带宽 × 通道数。台式机只有 2 个通道,插 4 条也是 96 GB/s,多插只加容量、不加带宽;EPYC 9004 有 12 个通道,DDR5-4800 插满是 460.8 GB/s。
数字是频率,后面的字母是 JEDEC 规定的时序档:服务器常见的 DDR5-4800B 是 CL40,5600B 是 CL46。PC5-38400 是用带宽写的同一个频率(4800 × 8 = 38400 MB/s)。标签上的 R 表示 RDIMM,换成 U 是台式机条、S 是笔记本条。EC8 表示每个子通道带 8 位 ECC 校验,没有这个标记的台式机条只有颗粒内部的片上 ECC。