RDMA Verbs 编程心得

2026年11月12日

cover
"来聊聊如何使用RDMA Verbs提供的用户态驱动进行RDMA的通信"

一,关键概念

1.1 RDMA基本操作类型

1.1.1 Send 和 Receive

Send 和 Receive是一种双端操作,这种操作完成一次通信需要两端CPU共同参与。收发双方都需要显式的下发WR(WQE)来发送与接收数据。

对应的Verbs API:

1.1.2 RDMA Write 和 RDMA Read

他们非常相似,操作都是本地发起的,只是数据流向不同,RDMA Write 主动写入远端内存,RDMA Read 主动读取远端内存,都属于单边操作。在发起该操作之前,两端需要先做好一定准备(例如分配缓存,注册MR,交换密钥等操作)。在此之后,进行 RDMA Write 或是 RDMA Read 操作时远端不需要CPU参与,也无法感知数据写入或读取的状态。

1.2 RDMA其他操作类型

可以在 rdma_verbs 库的 verbs.h 中看到如下的枚举类型:

enum ibv_wr_opcode {
	IBV_WR_RDMA_WRITE,
	IBV_WR_RDMA_WRITE_WITH_IMM,
	IBV_WR_SEND,
	IBV_WR_SEND_WITH_IMM,
	IBV_WR_RDMA_READ,
	IBV_WR_ATOMIC_CMP_AND_SWP,
	IBV_WR_ATOMIC_FETCH_AND_ADD,
	IBV_WR_LOCAL_INV,
	IBV_WR_BIND_MW,
	IBV_WR_SEND_WITH_INV,
	IBV_WR_TSO,
	IBV_WR_DRIVER1,
	IBV_WR_FLUSH = 14,
	IBV_WR_ATOMIC_WRITE = 15,
};

其中每个成员都对应一个操作码并对应一种 RDMA 操作,具体用法这里不在赘述。

1.3 RDMA Verbs 编程中的关键概念

1.3.1 事件频道(ec_)

由 rdma_event_channel 创建,这就是本地的事件收发箱

二,RDMA通信的代码实现与拆解

2.1 阶段一,建立连接

在这里有个特别容易混淆的点,RDMA 在建立连接的过程中其实是同事存在两个层次的连接,他们分别是:

发送端(服务端):

发送端(服务端)首先启动监听。

int RdmaServer::listen()
{
    int ret;
    ec_ = rdma_create_event_channel();
    if (!ec_)
        fmt::print("[ERROR]rdma_create_event_channel");

    ret = rdma_create_id(ec_, &listen_id_, nullptr, RDMA_PS_TCP);
    if (ret)
        fmt::print("[ERROR]rdma_create_id");

    sockaddr_in addr{};
    addr.sin_family = AF_INET;
    addr.sin_port = htons(cfg_.port);
    addr.sin_addr.s_addr = INADDR_ANY;
    
    ret = rdma_bind_addr(listen_id_, reinterpret_cast<sockaddr *>(&addr));
    if (ret)
        fmt::print("[ERROR]rdma_bind_addr");

    ret = rdma_listen(listen_id_, static_cast<int>(cfg_.backlog));
    if (ret)
        fmt::print("[ERROR]rdma_listen");

    return ret;
}

接收端(客户端):

接收端(客户端)请求建立连接,并设置 PD,CQ,QP,MR。

参考

😋🤣⚡😍😭😅💥😇❓
钱塘江上潮信来,今日方知我是我
© 2026 落秋cc