RDMA高速网卡PCIe接口带宽核对
摘要：本文围绕RDMA高速网卡PCIe接口带宽核对展开，结合网卡端口速率、PCIe代际与通道数量，计算接口理论带宽，并考虑编码开销、协议损耗及实际传输效率，评估PCIe带宽能否满足网卡满速收发需求，通过检查链路协商速率、通道宽度及实测吞吐量，排查接口降速、通道不足等潜在瓶颈，为网卡选型、插槽配置和系统性能…
本文围绕RDMA高速网卡PCIe接口带宽核对展开，结合网卡端口速率、PCIe代际与通道数量，计算接口理论带宽，并考虑编码开销、协议损耗及实际传输效率，评估PCIe带宽能否满足网卡满速收发需求，通过检查链路协商速率、通道宽度及实测吞吐量，排查接口降速、通道不足等潜在瓶颈，为网卡选型、插槽配置和系统性能优化提供依据。
RDMA高速网卡PCIe带宽核对：硬件知识解读
RDMA高速网卡的端口速率,不等于服务器能够持续获得的有效吞吐，核对这类硬件时，需要同时检查网卡的PCIe代际、实际链路宽度、插槽接线和网络端口配置，本文为硬件知识解读，依据PCI-SIG公开的接口速率与编码规则说明核算方法，不涉及具体新品发布、市场报价或实测跑分。
PCIe带宽应按单方向计算,PCIe 3.0、4.0和5.0的每通道传输率分别为8GT/s、16GT/s和32GT/s，均采用128b/130b编码，将传输率乘以通道数，再乘以128/130并除以8，可得到扣除编码损耗后的理论字节带宽；这一结果仍未扣除事务包头、流控及其他协议开销。
按上述口径,PCIe 3.0 x8约为7.88GB/s，PCIe 4.0 x8约为15.75GB/s，PCIe 4.0 x16约为31.51GB/s，PCIe 5.0 x16约为63.02GB/s，这里使用十进制单位，PCIe支持全双工，但不能把收发带宽相加后，拿来证明单方向传输能力足够。
网络侧也要统一单位,100Gb/s折合12.5GB/s，200Gb/s折合25GB/s，400Gb/s折合50GB/s，这些是速率换算值，并非应用数据吞吐，PCIe 3.0 x8不足以承载100Gb/s单方向数据流；PCIe 4.0 x8虽在理论上超过该数值，实际余量还要结合协议开销判断。
对于200Gb/s网卡，PCIe 4.0 x16在账面上具备带宽空间；对于400Gb/s网卡，PCIe 4.0 x16则明显不足，PCIe 5.0 x16才有相应的理论空间，这不是对所有型号的配置结论：最终仍须核对厂商规格、工作模式和测试条件，不能仅凭接口代际推定性能。
双端口型号尤其容易误判,双100Gb/s端口若同时向主机接收数据，应按200Gb/s合计检查同方向负载；若一个端口发送、另一个接收，则要分别核对两个方向，网卡内部交换、端口互通或特定卸载路径，不一定把全部流量送经主机内存，应以实际数据路径为准。
插槽外形也不能代表电气带宽,主板上的x16长度插槽可能只连接x8通道，还可能与其他设备共享资源，安装后应核对实际协商速率和宽度，而非只看网卡标称值；处理器、转接板、延长线及固件配置，都可能影响链路状态。
最后还要检查网卡与CPU、内存的拓扑关系，跨处理器访问、内存带宽不足，都可能让吞吐低于接口上限，选型时应先算端口总量，再核对PCIe链路，并用目标负载验证。
