传统机械硬盘的读写性能相对有限,过去不少存储系统的性能瓶颈主要集中在存储介质本身。随着NVMe SSD的应用,数据访问延迟和存储设备的并发处理能力得到改善,服务器能够在更短时间内完成大量数据读写。但存储介质性能提升,并不意味着整个系统的数据传输效率也会同步提升。
例如,一台服务器通过多块NVMe SSD组成存储阵列,当本地数据读取能力明显提高后,如果仍然通过带宽有限的网络向其他服务器提供数据,网络就可能成为新的限制因素。这种情况下,即使更换了高性能SSD,也未必能让远端业务获得相应的性能提升。
对于需要频繁进行数据交换的存储系统而言,网卡带宽、服务器PCIe通道、交换机转发能力以及网络配置,都需要与存储性能相匹配。这也是为什么部分企业在升级存储设备时,会同步评估25G、100G甚至更高速率的网络连接方案。
分布式存储与传统单机存储有一个明显区别:数据不只存在于一台服务器上,而是分布在多个节点之间,通过网络完成数据同步、复制和管理。用户访问数据只是其中一部分流量。在实际运行过程中,数据副本同步、节点间数据迁移、故障恢复以及存储集群扩容,都可能产生大量网络通信。
例如,当一个新的存储节点加入集群时,系统可能需要重新分配部分数据;当某个节点出现故障时,其他节点可能需要重新复制数据。这些操作都会占用网络带宽。如果网络规划仅考虑客户端访问速度,而忽略存储节点之间的通信需求,就可能出现业务访问正常,但后台数据同步效率不理想的情况。
因此,分布式存储网络需要同时考虑南北向流量和东西向流量。前者主要涉及客户端与存储系统之间的数据交互,后者则更多涉及存储节点之间的通信。对于节点数量较多、数据同步频繁的存储集群,25G、100G网卡以及更高速率的网络连接,可以作为架构升级时的重要考虑方向。
示意:分布式存储中的客户端访问与节点间数据通信
AI基础设施的建设,正在改变数据中心的网络需求。过去讨论AI服务器,大家往往更关注GPU型号、计算能力和显存容量。但在实际训练和推理过程中,数据供给同样重要。模型加载、训练数据读取、数据集分发以及训练过程中的检查点保存,都需要存储系统与计算节点之间进行大量数据交换。
尤其是在多台GPU服务器协同工作的环境中,如果存储网络无法及时提供数据,计算设备就可能出现等待数据的情况,影响整体资源利用效率。
NVIDIA在2025年发布的企业AI网络技术文章中,也专门讨论了AI基础设施中的南北向网络,指出模型加载、存储I/O和推理请求等数据传输环节同样会影响AI系统性能。这也意味着,存储网络的规划不能只考虑当前服务器的连接需求,还要考虑未来AI计算节点增加后,数据读取和传输压力可能发生的变化。
对于需要支持AI训练数据存储、模型文件分发和多节点数据交换的服务器平台,高速以太网网卡可以为存储系统提供更充足的网络带宽。具体采用25G、100G还是更高速率,需要结合GPU服务器规模、存储架构及数据传输模型确定。
当企业考虑将存储网络从25G升级到100G时,首先想到的往往是更换高速网卡。但在实际部署中,单纯提升网卡速率,并不一定能够解决所有性能问题。原因在于,存储数据需要经过多个环节才能完成传输。从SSD到服务器内部PCIe总线,再到网卡、交换机,最后到达目标服务器,任何一个环节都可能影响实际传输效率。
存储数据从本地介质到远端节点的传输路径
例如,存储服务器本身的数据读取能力有限,即使使用100G网卡,也无法持续输出足够的数据;如果交换机上联带宽不足,多台服务器同时传输时仍然可能出现拥塞;如果服务器PCIe通道配置不合理,高速网卡也可能无法充分发挥性能。
还有一个容易被忽视的问题是网络流量的分配。部分存储服务器既承担客户端访问,又负责节点之间的数据同步,如果所有业务都集中在同一组网络链路上,在业务高峰期就可能相互影响。
随着存储架构向网络化、资源池化方向发展,NVMe-oF也逐渐成为高性能存储领域的重要技术。
传统NVMe SSD主要通过PCIe接口连接在本地服务器上,而NVMe-oF则将NVMe访问能力扩展到网络环境,使计算服务器能够通过网络访问远端存储设备或存储资源池。这对于计算与存储分离、集中式存储资源管理以及大规模数据中心具有实际意义。
NVMe-oF可以使用不同的传输方式,包括NVMe/TCP、NVMe/RDMA和NVMe/FC。其中,NVMe/TCP可以利用现有以太网基础设施;NVMe/RDMA则通过RDMA技术减少数据传输过程中的处理开销,在对延迟和CPU资源占用比较敏感的场景中具有优势。
| 传输方式 | 技术特点 | 应用关注点 |
|---|---|---|
| NVMe/TCP | 基于TCP/IP网络传输 | 以太网基础设施复用、系统兼容性 |
| NVMe/RDMA | 利用RDMA进行远程数据访问 | 低延迟、CPU处理开销、网卡RDMA支持 |
| NVMe/FC | 基于光纤通道网络传输 | FC网络设备及存储架构支持 |
这也对服务器网卡提出了新的要求。除了网络速率,还需要关注网卡是否支持相应的传输协议、RDMA能力、驱动程序以及操作系统适配情况。
需要注意的是,NVMe-oF并不意味着所有存储服务器都必须采用RDMA。具体选择哪种传输方式,应根据业务性能目标、现有网络基础设施和部署成本综合判断。
当存储系统从单机架构走向集群化、网络化,网卡选型也需要从单一参数比较转向整体性能评估。
对于以文件共享和数据备份为主的服务器,需要重点评估客户端并发访问和持续数据传输能力;对于分布式存储,则需要同时考虑节点间数据同步、数据迁移和故障恢复产生的网络流量。
25G、100G、200G及400G网卡虽然能够提供不同等级的网络带宽,但需要结合PCIe版本、通道数量、CPU平台以及交换机端口能力进行确认。
对于采用NVMe-oF等技术的存储系统,还需要进一步确认网卡对相关协议和RDMA功能的支持情况,不能仅凭网卡标称速率判断是否满足业务需求。
服务器需要长时间运行,网卡驱动、固件、操作系统以及网络配置都需要经过实际验证。对于国产服务器平台和定制化存储设备,还应提前开展适配测试,确保网卡能够在目标环境中正常工作。
建议结合实际存储负载,测试持续吞吐、并发传输、网络延迟、丢包情况及长时间运行稳定性,避免仅依据网卡标称速率判断系统性能。
随着存储服务器应用场景不断细分,不同客户对网卡的需求也开始出现差异。有的项目需要更高的网络速率,有的关注多端口配置和特殊接口需求,还有一些项目需要适配特定CPU平台、操作系统或存储协议。
对于服务器厂商、存储设备厂商和系统集成商而言,网卡供应商不仅需要提供符合规格的硬件产品,还需要具备产品研发、驱动适配、性能测试和项目配合能力。
北京光润通科技发展有限公司(GRT)长期专注于高速网络通信产品研发,产品覆盖千兆、万兆、25G、100G、200G及400G等速率范围,涉及以太网网卡、OCP网卡、Bypass网卡及定制化网络板卡等产品。
针对不同服务器平台和项目应用需求,光润通可结合实际接口、芯片方案、产品功能及系统环境开展产品选型与定制开发,为服务器、数据中心和网络设备等应用提供高速网络连接产品。
对于有特殊平台适配、接口配置或功能定制需求的项目,提前与网卡研发及技术团队沟通,有助于减少后期部署过程中的兼容性问题。