100GbE服务器网卡PCIe接口带宽核对
摘要:100GbE服务器网卡的PCIe接口带宽核对,需结合PCIe代际、通道数量及实际协商状态,确认主机侧带宽能否满足网卡吞吐需求,单端口100GbE单向线速约需12.5GB/s,PCIe 3.0×8带宽不足,PCIe 3.0×16或4.0×8通常可满足基础需求,但仍需考虑协议开销,双端口同时满速时应核算…
100GbE服务器网卡的PCIe接口带宽核对,需结合PCIe代际、通道数量及实际协商状态,确认主机侧带宽能否满足网卡吞吐需求,单端口100GbE单向线速约需12.5GB/s,PCIe 3.0×8带宽不足,PCIe 3.0×16或4.0×8通常可满足基础需求,但仍需考虑协议开销,双端口同时满速时应核算总带宽,并排查插槽降速、通道共享及NUMA访问带来的性能瓶颈。
100GbE服务器网卡PCIe带宽核对:接口代际与通道数缺一不可
【硬件知识解读】100GbE服务器网卡能否发挥端口速率,不能只看插槽外形,还要核对网卡与服务器实际协商出的PCIe代际、通道数量及拓扑,本文讨论标准以太网网卡的接口带宽,不涉及特定新品或报价;判断依据是PCIe编码规则与以太网标称速率。
100GbE的标称速率为每秒100吉比特,换算为每秒12.5吉字节,即12.5GB/s,这是单方向的速率尺度,不等于应用有效吞吐量,以太网帧头、帧间隙以及上层协议都会占用传输时间,实际业务数据速度还受报文大小影响。
PCIe带宽也需统一口径,PCIe3.0每通道为8GT/s,采用128b/130b编码;扣除编码损耗后,x8单向约7.88GB/s,x16约15.75GB/s,这里尚未扣除事务层等开销,不能直接当作网卡可用的数据吞吐量。
PCIe3.0x8无法承载单端口100GbE接近线速的持续主机数据传输,PCIe3.0x16、PCIe4.0x8和PCIe5.0x4的理论单向带宽均约15.75GB/s,属于可进一步评估的配置,但不能仅凭这一数字保证业务跑满。
全双工也容易算错,100GbE端口可以同时发送和接收,PCIe同样具有独立的双向传输能力,核对时应把网卡接收流量对应的主机写入方向、发送流量对应的读取方向分别计算,而不是把收发相加后与PCIe单向带宽比较。
双端口网卡则要考虑同向汇聚,两个100GbE端口同时接收,名义合计达到25GB/s,已经超过上述15.75GB/s档位,PCIe4.0x16的理论单向带宽约31.51GB/s,但仍需预留事务开销,并检查网卡内部数据路径的限制。
机械长度为x16的插槽,不一定提供x16电气连接,应查阅服务器插槽表,确认通道分配及共享条件;网卡插入后,还要读取链路状态,核实实际速率和宽度,标称规格只是能力上限,协商结果才是当前连接条件。
还需排查转接卡、交换芯片的上行链路,以及处理器和内存带宽,最终应结合报文长度、单向与双向吞吐测试判断,不能仅凭端口灯或链路连接状态就认定网卡达到线速。


