如何在 Infiniband (IB) 或者支持 RoCE 以太网 RDMA 的网络类型之间进行选择?
在部署 Db2® pureScale® 集群时,无论是全新集群还是将当前集群升级到下一代硬件堆栈,使用 RoCE 以太网几乎始终是最佳选择。
重要信息: 从 V 11.5.5开始,不推荐在所有受支持的平台上支持 Infiniband (IB) 适配器作为 Db2 pureScale 中的成员与 CF 之间的高速通信网络,并且在将来的发行版中将移除此支持。 使用 Remote Direct Memory Access over Converged Ethernet (RoCE) 网络作为替代网络。
以太网无处不在,许多交换机也支持 RoCE。 这不仅提高了可用性,而且通常会降低总体成本(硬件成本和人员成本)。
从原始带宽角度而言,虽然 QDR Infiniband 似乎具有 4 倍的优势(QDR IB 的带宽为 40 Gb/秒,而 RoCE 以太网的带宽为 10 Gb/秒),但是这种优势在客户环境中并没有转化为相应的吞吐量增长。 在受控制的实验室环境中对这两种网络类型进行性能测试会表明相当小的差别(仅相差 5% 到 15%)。 这是以下两个因素所造成:
- Db2 pureScale 具有混合的消息大小,当等待时间至关重要时,将使用小型消息。
- 大多数工作负载不会在网络利用率为 100% 的情况下运行。
从 Db2 V 11.5开始, QDR 仍然是 AIX上支持的最高速度 IB 适配器。 在 RoCE 方面,最近已将 40Gb 和 100Gb 适配器添加到受支持的适配器阵列中。 这样就缩小了两种网络之间的微小性能差距,使 RoCE 性能可以满足大多数 OLTP 客户(即使不是全部 OLTP 客户)需要的性能要求。
因此,从成本和性能角度而言,即使对于要求最苛刻的生产集群,RoCE 以太网也是建议采用的网络类型。