RDMA之从userspace verbs 到kernel verbs

用户态RDMA(userspace verbs)RDMA是一种高性能网络协议一般用在GPU集群的高速通信库如NCCL、NVSHMEM等这些都是用户态通信库我们熟知的RDMA大部分都是用户态RDMA。比如如下一个简单的RDMA程序int main() { ​ // 1. 打开 RDMA Device ctx ibv_open_device(); ​ // 2. 创建 Protection Domain pd ibv_alloc_pd(ctx); ​ // 3. 创建 Completion Queue cq ibv_create_cq(ctx); ​ // 4. 创建 Queue Pair qp ibv_create_qp(pd, cq); ​ // 5. 注册 Memory Region mr ibv_reg_mr(pd, buffer); ​ // 6. 连接对端 QP connect_qp(qp); ​ // 7. 构造 Send WR wr.opcode IBV_WR_SEND; wr.sg_list sge; ​ // 8. 发起 RDMA Send ibv_post_send(qp, wr); ​ // 9. 等待 Completion ibv_poll_cq(cq, cqe); ​ printf(Send Complete\n); }我们使用了一堆ibv_xxx api去建立RDMA连接这些用户态程序本质上都是通过libibverbs库调用rdma verbs api然后通过uverbs进入内核Userspace App ↓ libibverbs ↓ uverbs ↓ ib_core ↓ driver ↓ NIC因为涉及到底层的dmaRDMA使用的时候是一定要陷入内核态的那么问题来了可不可以只在内核态使用RDMA内核态RDMA(kernel verbs)在RDMA中除了ibv_xx 这些用户态api其实还有一套ib_xx api称之为kernel verbs api例如Userspace VerbsKernel Verbsibv_alloc_pdib_alloc_pdibv_create_cqib_create_cqibv_create_qpib_create_qpibv_post_sendib_post_sendibv_poll_cqib_poll_cq可以看到kernel verbs 与userspace verbs 在设计上高度对应这也是linux RDMA栈设计很有意思的一点同一套RDMA抽象同时服务于用户态与内核态, userspace verbs 和 kernel verbs的区别基本上在于调用入口不同这些i b_xx api可以直接在 Linux kernel module 中调用调用栈如下Kernel Module ↓ ib_core ↓ Driver ↓ NIC但是kernel和userspace RDMA使用上还是有一些不同的userspace buffermalloc申请的buffer是va无法直接用于dma因此必须ibv_reg_mr() ↓ pin pages ↓ 建立 MTT/PBL ↓ DMA mapping但是kernel bufferkmalloc() ​ dma_alloc_coherent() ​ __get_free_pages()很多情况下已经是kernel direct mapping更容易拿到pa更容易dma因此kernel RDMA更适合driverpage managementDMA subsystempeer memorydma_bufGPU direct内核态RDMA的应用为什么我们需要内核态RDMA因为很多高性能场景中的数据本就存在于linux内核中例如。文件系统缓存块设备请求网络协议栈 bufferDMA bufferGPU peer memory如果将这些内核态的数据拷贝到用户态再调用userspace verbs api这和RDMA零拷贝、低延迟的宗旨不符。内核态RDMA的目标很简单就是让linux内核能够直接发起DMA通信避免用户态拷贝、syscall、多余的数据路径等。!--kernel RDMA数据路径--Kernel Memory ↔ RDMA NICNVME over Fabrics(NVME-of)在NVME-of中远端NVME SSD会通过RDMA暴露给另一台机器NVMe Driver ↓ Block Layer ↓ RDMA整个过程本身就运行在linux内核中如果再经过用户态不仅增加context switch还会破坏存储系统的低延迟属性因此NVME-of会直接在kernel中使用RDMA。NFS-RDMA传统NFS需要经过TCP/IP协议栈而NFS-RDMA直接通过RDMA传输文件数据由于linux VFS 和NFS client本身就运行在内核态因此使用kernel verbs能够避免socket buffer copy、kernel/userspace往返开销、TCP协议开销其他应用场景Software RNICSoft-RDMA Emulator.....一些软件模拟RDMA设备的场景中会直接在kernel中创建 QP处理 WQE生成 CQE管理 DMA buffer这种场景下kernel verbs 更接近RDMA硬件控制接口而不仅仅是普通的通信apikernel case 实践kernel RDMA case长什么样如何运行我们现在来实践一下环境mlx CX8 doca3.0如下是一个最小化的demo框架ib_alloc_pd() ↓ ib_create_cq() ↓ ib_create_qp() ↓ ib_destroy_qp() ↓ ib_destroy_cq() ↓ ib_dealloc_pd()case源码#include linux/module.h #include linux/kernel.h ​ #include rdma/ib_verbs.h ​ #define DRV_NAME kernel_rdma_resource_smoke ​ static char *rdma_dev_name mlx5_0; module_param(rdma_dev_name, charp, 0444); MODULE_PARM_DESC(rdma_dev_name, RDMA device name, e.g. mlx5_0); ​ struct krdma_ctx { struct ib_device *dev; struct ib_pd *pd; struct ib_cq *cq; struct ib_qp *qp; }; ​ static struct krdma_ctx g_ctx; static bool g_created; ​ static void krdma_cq_comp_handler(struct ib_cq *cq, void *ctx) { pr_info(DRV_NAME : CQ completion callback\n); } ​ static void krdma_cq_event_handler(struct ib_event *event, void *ctx) { pr_info(DRV_NAME : CQ event %d\n, event-event); } ​ static void krdma_qp_event_handler(struct ib_event *event, void *ctx) { pr_info(DRV_NAME : QP event %d\n, event-event); } ​ static void krdma_destroy_resources(void) { if (g_ctx.qp) { ib_destroy_qp(g_ctx.qp); pr_info(DRV_NAME : ib_destroy_qp success\n); g_ctx.qp NULL; } ​ if (g_ctx.cq) { ib_destroy_cq(g_ctx.cq); pr_info(DRV_NAME : ib_destroy_cq success\n); g_ctx.cq NULL; } ​ if (g_ctx.pd) { ib_dealloc_pd(g_ctx.pd); pr_info(DRV_NAME : ib_dealloc_pd success\n); g_ctx.pd NULL; } ​ g_ctx.dev NULL; g_created false; } ​ static int krdma_create_resources(struct ib_device *dev) { struct ib_cq_init_attr cq_attr {}; struct ib_qp_init_attr qp_attr {}; int ret; ​ memset(g_ctx, 0, sizeof(g_ctx)); g_ctx.dev dev; ​ pr_info(DRV_NAME : matched RDMA device %s\n, dev_name(dev-dev)); ​ /* * 1. ib_alloc_pd() */ g_ctx.pd ib_alloc_pd(dev, 0); if (IS_ERR(g_ctx.pd)) { ret PTR_ERR(g_ctx.pd); g_ctx.pd NULL; pr_err(DRV_NAME : ib_alloc_pd failed, ret%d\n, ret); goto err; } ​ pr_info(DRV_NAME : ib_alloc_pd success\n); ​ /* * 2. ib_create_cq() */ cq_attr.cqe 16; cq_attr.comp_vector 0; ​ g_ctx.cq ib_create_cq(dev, krdma_cq_comp_handler, krdma_cq_event_handler, g_ctx, cq_attr); if (IS_ERR(g_ctx.cq)) { ret PTR_ERR(g_ctx.cq); g_ctx.cq NULL; pr_err(DRV_NAME : ib_create_cq failed, ret%d\n, ret); goto err; } ​ pr_info(DRV_NAME : ib_create_cq success\n); ​ /* * 3. ib_create_qp() * * 这里只创建 RC QP不 modify_qp不 post_send。 * 目标只是验证 kernel verbs 资源创建/销毁路径。 */ memset(qp_attr, 0, sizeof(qp_attr)); qp_attr.event_handler krdma_qp_event_handler; qp_attr.qp_context g_ctx; qp_attr.send_cq g_ctx.cq; qp_attr.recv_cq g_ctx.cq; qp_attr.qp_type IB_QPT_RC; qp_attr.sq_sig_type IB_SIGNAL_REQ_WR; ​ qp_attr.cap.max_send_wr 16; qp_attr.cap.max_recv_wr 16; qp_attr.cap.max_send_sge 1; qp_attr.cap.max_recv_sge 1; qp_attr.cap.max_inline_data 0; ​ g_ctx.qp ib_create_qp(g_ctx.pd, qp_attr); if (IS_ERR(g_ctx.qp)) { ret PTR_ERR(g_ctx.qp); g_ctx.qp NULL; pr_err(DRV_NAME : ib_create_qp failed, ret%d\n, ret); goto err; } ​ pr_info(DRV_NAME : ib_create_qp success, qpn%u\n, g_ctx.qp-qp_num); ​ pr_info(DRV_NAME : resource smoke success\n); return 0; ​ err: krdma_destroy_resources(); return ret; } ​ static int krdma_add_one(struct ib_device *dev) { const char *name; ​ if (!dev) return 0; ​ name dev_name(dev-dev); if (!name) return 0; ​ pr_info(DRV_NAME : found RDMA device %s\n, name); ​ if (g_created) return 0; ​ if (rdma_dev_name strcmp(rdma_dev_name, name) ! 0) return 0; ​ if (!krdma_create_resources(dev)) g_created true; ​ return 0; } ​ static void krdma_remove_one(struct ib_device *dev, void *client_data) { if (g_ctx.dev dev) krdma_destroy_resources(); } ​ static struct ib_client krdma_client { .name DRV_NAME, .add krdma_add_one, .remove krdma_remove_one, }; ​ static int __init krdma_init(void) { pr_info(DRV_NAME : init, target rdma_dev_name%s\n, rdma_dev_name); return ib_register_client(krdma_client); } ​ static void __exit krdma_exit(void) { pr_info(DRV_NAME : exit\n); ib_unregister_client(krdma_client); krdma_destroy_resources(); } ​ module_init(krdma_init); module_exit(krdma_exit); ​ MODULE_LICENSE(GPL); MODULE_AUTHOR(kernel rdma resource smoke demo); MODULE_DESCRIPTION(Minimal kernel verbs PD/CQ/QP resource smoke example);Makefileobj-m kernel_rdma_resource_smoke.o ​ KVER ? $(shell uname -r) KDIR ? /lib/modules/$(KVER)/build ​ OFED_DIR : /usr/src/ofa_kernel/x86_64/$(KVER) OFED_INC : $(OFED_DIR)/include OFED_SYMVERS : $(OFED_DIR)/Module.symvers ​ PWD : $(shell pwd) ​ ccflags-y -Wall ​ ifneq ($(wildcard $(OFED_INC)/rdma/ib_verbs.h),) ccflags-y -I$(OFED_INC) endif ​ ifneq ($(wildcard $(OFED_SYMVERS)),) KBUILD_EXTRA_SYMBOLS : $(OFED_SYMVERS) endif ​ all: echo Using KDIR$(KDIR) echo Using OFED_INC$(OFED_INC) echo Using OFED_SYMVERS$(OFED_SYMVERS) $(MAKE) -C $(KDIR) M$(PWD) KBUILD_EXTRA_SYMBOLS$(KBUILD_EXTRA_SYMBOLS) modules ​ clean: $(MAKE) -C $(KDIR) M$(PWD) clean编译运行make clean make V1加载sudo insmod kernel_rdma_resource_smoke.ko rdma_dev_namemlx5_0这时候这个程序实际上已经运行了,要看运行结果需要看dmesg日志dmesg -wT预期日志kernel_rdma_resource_smoke: ib_create_qp success, qpn2 kernel_rdma_resource_smoke: resource smoke success卸载sudo rmmod kernel_rdma_resource_smoke总结对比项Userspace RDMAKernel RDMA运行位置userspacekernel是否经过 uverbs是否是否经过 ioctl是否是否直接操作 driver否是APIibv_*ib_*内存来源malloc/mmapkmalloc/dma_allocMR 注册复杂度高较低