
"来聊聊如何使用RDMA Verbs提供的用户态驱动进行RDMA的通信"
Send 和 Receive是一种双端操作,这种操作完成一次通信需要两端CPU共同参与。收发双方都需要显式的下发WR(WQE)来发送与接收数据。
对应的Verbs API:
他们非常相似,操作都是本地发起的,只是数据流向不同,RDMA Write 主动写入远端内存,RDMA Read 主动读取远端内存,都属于单边操作。在发起该操作之前,两端需要先做好一定准备(例如分配缓存,注册MR,交换密钥等操作)。在此之后,进行 RDMA Write 或是 RDMA Read 操作时远端不需要CPU参与,也无法感知数据写入或读取的状态。
可以在 rdma_verbs 库的 verbs.h 中看到如下的枚举类型:
enum ibv_wr_opcode {
IBV_WR_RDMA_WRITE,
IBV_WR_RDMA_WRITE_WITH_IMM,
IBV_WR_SEND,
IBV_WR_SEND_WITH_IMM,
IBV_WR_RDMA_READ,
IBV_WR_ATOMIC_CMP_AND_SWP,
IBV_WR_ATOMIC_FETCH_AND_ADD,
IBV_WR_LOCAL_INV,
IBV_WR_BIND_MW,
IBV_WR_SEND_WITH_INV,
IBV_WR_TSO,
IBV_WR_DRIVER1,
IBV_WR_FLUSH = 14,
IBV_WR_ATOMIC_WRITE = 15,
};
其中每个成员都对应一个操作码并对应一种 RDMA 操作,具体用法这里不在赘述。
由 rdma_event_channel 创建,这就是本地的事件收发箱
在这里有个特别容易混淆的点,RDMA 在建立连接的过程中其实是同事存在两个层次的连接,他们分别是:
rdma_cm 提供,他只用来协商参数,交换 private_data 等工作。发送端(服务端):
发送端(服务端)首先启动监听。
int RdmaServer::listen()
{
int ret;
ec_ = rdma_create_event_channel();
if (!ec_)
fmt::print("[ERROR]rdma_create_event_channel");
ret = rdma_create_id(ec_, &listen_id_, nullptr, RDMA_PS_TCP);
if (ret)
fmt::print("[ERROR]rdma_create_id");
sockaddr_in addr{};
addr.sin_family = AF_INET;
addr.sin_port = htons(cfg_.port);
addr.sin_addr.s_addr = INADDR_ANY;
ret = rdma_bind_addr(listen_id_, reinterpret_cast<sockaddr *>(&addr));
if (ret)
fmt::print("[ERROR]rdma_bind_addr");
ret = rdma_listen(listen_id_, static_cast<int>(cfg_.backlog));
if (ret)
fmt::print("[ERROR]rdma_listen");
return ret;
}
接收端(客户端):
接收端(客户端)请求建立连接,并设置 PD,CQ,QP,MR。