"Next-generation datacenters require highly efficient network load balancing to manage the growing scale of artificial intelligence (AI) training and general datacenter traffic. However, existing Ethernet-based solutions, such as Equal Cost MultiPath (ECMP) and oblivious packet spraying (OPS), struggle to maintain high network utilization due to both increasing traffic demands and the expanding scale of datacenter topologies, which also exacerbate network failures. To address these limitations, we propose REPS, a lightweight decentralized per-packet adaptive load balancing algorithm designed to optimize network utilization while ensuring rapid recovery from link failures. REPS adapts to network conditions by caching good-performing paths. In case of a network failure, REPS re-routes traffic away from it in less than 100 microseconds. REPS is designed to be deployed with next-generation out-of-order transports, such as Ultra Ethernet, and uses less than 25 bytes of per-connection state regardless of the topology size. We extensively evaluate REPS in large-scale simulations and FPGA-based NICs."

简介

这篇文章发表于 EUROSYS ’26，主要作者来着苏黎世联邦理工，微软，以及罗马第一大学。该文章提出了一个端侧包级别的自适应负载均衡算法 REPS，旨在解决现有现有以太网解决方案在日益增长的AI流量和通用数据中心流量存在的问题。另外，REPS更多的要与下一代乱序传输技术（Ultra Ethernet，超以太网）一起部署，它很大程度上依赖于该技术提供的乱序接收能力。

现有解决方案的不足

在训练集群规模急剧增加时，我们会面临以下问题：

• 与传统工作负载相比，集体通信中的流量和突发性增加。
• 在大规模网络中管理无损、有序网络的复杂性和开销，尤其是在链路故障和性能下降的情况下。

这些问题在实际场景中的具体体现如下：

• 当前主流的ECMP负载均衡机制存在哈希冲突的问题，该现象会导致流被哈希到同一路径，造成拥塞和队列堆积，严重时可能导致丢包，同时无法充分利用空闲链路，浪费带宽资源。

当前解决方案的不足：

• 流片段负载均衡机制：为顺序网络设计，易受到冲突影响，并且每个连接都需要维护状态，占用大量内存。
• 包级别负载均衡机制：在网络故障存在的情况下无法进行有效的负载均衡，其中MP-RDMA需要每包确认ACK，这也限制了他的部署。

超以太网（Ultra Ethernet）

面向大规模 AI 智算 + HPC 高性能计算的开放高性能以太网新标准，他的定位是既有 InfiniBand 的超低时延 / 无损性能，同时又保留传统以太网低成本、全生态、大规模组网优势。他和 RoCE、IB verbs 这些传输协议可以说是一类东西。

上图便是超以太网的数据包结构，可以看到，他在传统以太网数据包的udp头后加了一层自己的专属头。

REPS的设计

该机制的关键：

• 传输层支持乱序乱序交付（超以太网）。
• 用ACK上打ECN标记。
• 动态调整熵值（EV）。
• 一个用于存储“好路径”EV值的环形缓冲区 REPS Buffer（好路径EV值缓冲区）。

*EV: 作为hash函数的输入之一

1. 运行过程

简单来说，REPS就是通过 探索 -> 复用 -> 探索 维护一个好路径EV值的环形队列，下面是详细的运行过程。

初始探索

发送端为前带宽延迟积（BDP）数量的数据包随机选择 EV（从熵值集 EVS 中随机抽取），行为与 OPS（随机包喷洒）完全一致。

ACK反馈&缓存好路径

接收端在收到数据包后需要做两件事：

• 提取数据包头中的 EV 值，写入 ACK 包头部。
• 数据包头中的ECN标记状态写入 ACK 包头部。

发送端在收到 ACK 包后检查ECN标记，若无该标记就把ACK包中的EV值放入 REPS Buffer ，否则不放。

数据包发送与EV复用

检查 REPS Buffer 中是否存在有效 EV，若有新的要发送数据包就直接复用该值，并且每个EV被每个数据包使用1次后即会失效；若无有效EV，回到探索模式，当前数据包随机选择EV（OPS的逻辑）。

2. 冻结模式

一般情况下REPS会限制利用状态较差的路径，但是存在下面这一种情况：如果网络内有故障，并且 REPS Buffer 为空，此时启动探索并随机选择EV，那么就可能会选择到一个已经故障路径的EV，REPS设计了冻结机制来尽可能避免这种情况。

冻结模式的两个触发条件

1，已完成初始探索。

2，检测到网络故障（普通拥塞不触发）。对于网络故障的情况，REPS有两种策略：第一种策略是对于普通的以太网环境，判断故障的依据就是重传定时器到期；第二种策略是若网络支持包修剪技术（通过该技术能直接判断是拥塞丢包还是故障丢包），REPS只有在检测到故障丢包时才会触发冻结模式。

冻结模式的行为

停止探索，重用当前 REPS Buffer 中的元素

何时停止冻结模式

对于这个问题，REPS也有两种策略：第一种是固定时间后就退出；第二种是发送探测数据包检查失效路径状态。

锐评 总结

很大程度上依赖于超以太网的特性，REPS本身的工作并不多，并且通过修改EV改变网内传输路径的机制并不是很新的东西。