APNet '23: Proceedings of the 7th Asia-Pacific Workshop on Networking
2026年11月14日

"Remote Direct Memory Access (RDMA) has been widely deployed in data centers to improve application performance. However, the characteristic of RDMA to deliver messages in order cannot meet the emerging requirements of applications for scheduling messages within an RDMA connection, making RDMA unable to be fully utilized. Some works try to schedule the data to be transferred in specific applications before delivering to RDMA, or distribute messages to different connections. However, these approaches tightly couple scheduling logic with application logic and may result in high scheduling overhead. In this paper, we propose sRDMA, a general and lowoverhead scheduler working in user-space RDMA driver. sRDMA allows the application to express the expected transfer order to RDMA hardware via work requests (WRs). With priority information in WRs, sRDMA slices and schedules WRs to achieve desired order of message transfer and reduce blocking impact of large messages in the same RDMA connection. Our experiments show that sRDMA can improve the performance of applications, e.g., TensorFlow, by up to 54%, and sRDMA has negligible overhead in terms of CPU and flow throughput."
作者从流量面向的对象方面进行了分析。就是TCP流量是面向字节流的,他没有天然的边界,传输层完全不知道现在正在传的字节属于哪块信息;而RDMA流(QP)面向消息,每个消息是一个独立传输单元也就是WR,传输层可以很清楚的知道当前传输的字节属于哪个WR进而知道属于哪块信息。就像下图这个访问网页的例子,传统网页就是用基于 TCP 的 HTTP/HTTPS 来传输内容,网页上需要的HTML文档,图片,CSS这些就是混在一起传输的,想要看到完整的网页就要等这些信息全部传完,但更合理的做法是可以先把整个网页的骨架也就是HTML文档先加载好展示给用户先看着,图片和脚本后面慢慢加载。那 TCP 流量在传输层看到的是字节流和 TCP 段,他本身不知道某个字节到底属于什么内容,也就很难说“这个字节比那个字节更紧急”,做不到先传输属于HTML的内容。而对于RDMA传输来说,我们在传输层是完全清楚每块消息是什么内容的,那理论上就可以先发最重要的HTML的内容,实现对不同的消息采用不同的调度策略。在前端开发中就有个很经典的白屏优化问题就和这个类似,他在本质上就是不合理的内容调度让关键数据晚到了从而导致整个网页什么也显示不出来就在那白着,我们那时候一个经典解法就是单独给HTML的数据开一条HTTP请求,先加载HTML让用户先看着再通过HTML文档上的JS脚本启动后续的内容的请求。

RDMA流量与传统TCP流量的差异
正如上面说的,理论上这种消息级的传输是完全可以按重要程度调度的,但实际上现在的RDMA并没有实现这种解耦。未实现的原因主要就是与当前RDMA的传输语义存在矛盾。
当前RDMA的传输模式(语义)主要有以下3种:
在RC模式下为了严格保序,被迫像TCP一样按照wr的顺序当成一条连续的字节流来传,同时现有硬件的设计为追求极低的延迟和极高的吞吐也倾向于直接连续发送这种实现。在UC和UD模式下就和现在的UDP类似,数据包可能会丢失,消息变得不可靠了,那这个消息语义的意义就不大了。
论文中就是希望 RDMA 能在可靠交付的前提下,对同一连接内(QP)的消息进行调度、改变传输顺序,但当前 RDMA 做不到。
由上面的矛盾导致的直接问题就是队头阻塞问题,简单来说就是由于 RC 严格按序,紧急消息如果提交得晚,就会被前面非紧急的大消息或非紧急消息阻塞。
CEFS:把一个 RDMA 连接拆成多个连接,用不同连接实现优先级调度,但连接数过多会消耗 RNIC 有限片上资源;
P3:在应用层创建优先级队列并切片数据,但调度逻辑与应用紧耦合,其优先级队列,切片和调度逻辑全嵌在应用里。
用一句话来说,sRDMA 就是在 WR 被交给 RNIC 之前调整其在 SQ 中的顺序,并对较大的WR进行切分。

sRDMA架构
上文说到 sRDMA 就是在调整 WR 在 SQ 中的顺序。首先,RDMA 的发送队列 SQ 是一个环形缓冲区,队列指针指向当前正在发送的WR,当 RNIC 完成 WR 时,队列指针向下一个WR滚动。而 SQ 中的 WR 有两种状态:一种是正在发送的WR,也就是队头 WR,该WR不能被移动,因为 RNIC 正在处理它;另一种就是队头之后的 WR,这就是可以自由移动的。最终效果就是标准RDMA的WR插入逻辑是插入到SQ队列的最后,而sRDMA可以按照要求插入到队头WR后的任意位置。
调度规则有两种:
这里主要有两部分工作,一个是WR切片,一个是CQE聚合。
在切片部分,当 sRDMA 检测到一个 WR 的长度字段超过阈值时,消息切片器会:
这样,大消息不会长时间占据队头,紧急的小消息就获得了插队的机会,可以更快被调度。
在CQE聚合部分,一个WR的多个sub-WR可能产生的多个sub-CQE,sRDMA会在一开始拦截这些sub-CQE,在sub-CQE全部到达后生成一个聚合后的CQE交给原RDMA应用,防止上层应用误判。这也基本做到了对应用透明。
略 想笑