kprobe函数入口时的汇编跳板执行流程与栈帧机制

kprobe函数入口汇编跳板执行流程与栈帧机制文章目录kprobe函数入口汇编跳板执行流程与栈帧机制前言环境准备ftrace跳板创建跳板执行流程与栈帧逐行拆解初始状态与安全校验双层栈帧构建CONFIG_FRAME_POINTER通用寄存器保存与C函数参数准备剩余寄存器保存与pt_regs构建调用kprobe处理函数与返回上下文恢复与返回原函数ftrace汇编宏定义源码解析关键常量与栈大小定义save_mcount_regs 宏寄存器保存与栈帧构建restore_mcount_regs 宏寄存器恢复与栈清理ftrace_regs_caller 函数主体总结前言本篇分析基于开启CONFIG_FRAME_POINTER编译选项的内核环境。该选项在现代发行版Fedora 38、Ubuntu 24等的应用层软件构建中已普遍启用完整的栈帧结构为运行时栈回溯、运维故障排查与性能分析提供了核心支撑。而早年为获取1%-2%的微小性能收益而省略栈帧的做法本质上是将栈回溯信息通过埋点放入独立ELF节的非常规优化技巧不利于运行时栈结构的动态分析。本文将以kprobe挂钩handle_mm_fault函数为例拆解其函数入口处的汇编跳板执行流程与栈帧管理机制。配套参考资源linux_6.6-58-comment 内核代码注释原文地址 eBPF/kprobe函数入口时的汇编跳板执行流程与栈帧机制.md环境准备本次分析以kprobe挂钩handle_mm_fault函数为核心场景。内核开启ftrace功能后会在函数入口处插入call fentry指令在内核启动阶段ftrace模块会将这些fentry调用地址替换为nop指令如下所示-exec x/10i handle_mm_fault 0xffffffff812e3880 handle_mm_fault: endbr64 0xffffffff812e3884 handle_mm_fault4: nop DWORD PTR [raxrax*10x0] # 此处为hook位点 0xffffffff812e3889 handle_mm_fault9: push rbp 0xffffffff812e388a handle_mm_fault10: mov rax,QWORD PTR gs:0x2ca80 0xffffffff812e3893 handle_mm_fault19: mov rbp,rsp需要重点关注的是该hook位点位于函数栈帧建立指令push rbp、mov rbp,rsp之前函数尚未完成自身栈帧的初始化。ftrace跳板创建kprobe挂钩的跳板代码创建逻辑位于arch/x86/kernel/ftrace.c的create_trampoline函数中函数最终返回创建完成的跳板内存地址函数原型与定义位置如下arch/x86/kernel/ftrace.c 313 static unsigned long create_trampoline(struct ftrace_ops *ops, unsigned int *tramp_size)创建完成的跳板汇编指令片段如下-exec x/100i ops-trampoline 0xffffffffa0201000: endbr64 0xffffffffa0201004: pushf 0xffffffffa0201005: push rbp 0xffffffffa0201006: push QWORD PTR [rsp0x18] 0xffffffffa020100a: push rbp 0xffffffffa020100b: mov rbp,rsp 0xffffffffa020100e: push QWORD PTR [rsp0x20] 0xffffffffa0201012: push rbp 0xffffffffa0201013: mov rbp,rsp 0xffffffffa0201016: sub rsp,0xa8 0xffffffffa020101d: mov QWORD PTR [rsp0x50],rax ...kprobe完成挂钩后handle_mm_fault函数入口的nop指令会被替换为call指令直接跳转至上述跳板入口断点触发时的栈指针初始值如下-exec p $sp $2 (void *) 0xffffc90000013ed8跳板执行流程与栈帧逐行拆解以下汇编指令注释中寄存器与栈地址值均为当前行指令执行完成后的结果。为便于阅读按功能将执行流拆解为以下阶段。初始状态与安全校验初始状态$sp 0xffffc90000013ed8, $bp 0xffffc90000013f18, *$sp 0xffffffff8107fbdc do_user_addr_fault3640xffffffffa0201000: endbr64 # 符合Intel CET安全规范的指令约束call/jmp目标地址的合法性执行后$sp 0xffffc90000013ed0, $bp 0xffffc90000013f18, *sp 0xffffffff812e3889call跳板时硬件自动压入的返回地址 ftrace_regs_caller: 0xffffffffa0201004: pushf # 压入RFLAGS寄存器适配NMI等中断场景的上下文保存执行后$sp 0xffffc90000013ec8, *0xffffc90000013ec8 0x0000000000000306双层栈帧构建CONFIG_FRAME_POINTERsave_mcount_regs: # 自此开始执行21个寄存器的保存逻辑对应save_mcount_regs宏定义 #ifdef CONFIG_FRAME_POINTER 0xffffffffa0201005: push rbp # 【第一层】保存原函数栈帧的rbp值因call fentry发生在被hook函数栈帧建立之前此处先完成原栈帧的上下文保护执行后$bp 0xffffc900004b3f18, $sp 0xffffc90000013ec0, *$sp$bp 0xffffffffa0201006: push QWORD PTR [rsp0x18] # 保存调用被hook函数的父函数返回地址执行后$sp 0xffffc90000013eb8, *$sp0xffffffff8107fbdc 0xffffffffa020100a: push rbp # 为probe函数构建栈帧保障栈回溯时可正确识别probe函数上下文执行后$sp 0xffffc90000013eb0 0xffffffffa020100b: mov rbp,rsp # 完成probe函数栈帧初始化执行后$bp 0xffffc90000013eb0 0xffffffffa020100e: push QWORD PTR [rsp0x20] # 【第二层】保存跳板的返回地址构建跳板函数栈帧模拟在被hook函数中调用跳板的调用栈关系执行后$sp 0xffffc90000013ea8, *$sp0xffffffff812e3889 0xffffffffa0201012: push rbp # 执行后$sp 0xffffc90000013ea0, *$sp0xffffc90000013eb0 0xffffffffa0201013: mov rbp,rsp # 完成跳板函数栈帧初始化执行后$bp 0xffffc90000013ea0 #endif /* CONFIG_FRAME_POINTER */通用寄存器保存与C函数参数准备0xffffffffa0201016: sub rsp,0xa8 # 为寄存器保存预留栈空间自此开始执行通用寄存器入栈操作执行后$sp 0xffffc90000013df8 0xffffffffa020101d: mov QWORD PTR [rsp0x50],rax 0xffffffffa0201022: mov QWORD PTR [rsp0x58],rcx 0xffffffffa0201027: mov QWORD PTR [rsp0x60],rdx 0xffffffffa020102c: mov QWORD PTR [rsp0x68],rsi 0xffffffffa0201031: mov QWORD PTR [rsp0x70],rdi 0xffffffffa0201036: mov QWORD PTR [rsp0x48],r8 0xffffffffa020103b: mov QWORD PTR [rsp0x40],r9 0xffffffffa0201040: mov QWORD PTR [rsp0x78],0x0 # ORIG_RAX字段用于存放系统调用号、返回值或中断号本次场景未使用arch_ftrace_set_direct_caller逻辑会涉及该字段 #ifdef CONFIG_FRAME_POINTER 0xffffffffa0201049: mov rdx,QWORD PTR [rsp0xc8] # 读取跳板入口时的原始rbp值执行后$rdx 0xffffc90000013f18 #else movq rdx, rbp #endif 0xffffffffa0201051: mov QWORD PTR [rsp0x20],rdx # 保存跳板入口时的原始rbp值 0xffffffffa0201056: mov rsi,QWORD PTR [rsp0xe0] # 【参数2】读取初始栈地址中存放的父函数返回地址作为后续C函数调用的第二个入参执行后$rsi 0xffffffff8107fbdc 0xffffffffa020105e: mov rdi,QWORD PTR [rsp0xd8] # 【参数1】读取跳板入口时栈地址中存放的跳板返回地址即被hook函数的下一条指令地址执行后$rdi 0xffffffff812e3889 0xffffffffa0201066: mov QWORD PTR [rsp0x80],rdi 0xffffffffa020106e: sub rdi,0x5 # 减去call指令的5字节长度得到被hook函数中call跳板的指令起始地址符合ftrace回调函数的入参规范执行后$rdi 0xffffffff812e3884 .endm /* save_mcount_regs宏定义结束 */剩余寄存器保存与pt_regs构建ftrace_regs_caller_op_ptr: 0xffffffffa0201072: cs nop WORD PTR [raxrax*10x0] # 占位空指令对应ftrace_regs_caller_op_ptr标号 0xffffffffa020107c: mov rdx,QWORD PTR [rip0xfc] # 【参数3】加载当前追踪操作对应的function_trace_op指针 0xffffffffa0201083: mov QWORD PTR [rsp],r15 # 继续完成剩余寄存器的入栈保存 0xffffffffa0201087: mov QWORD PTR [rsp0x8],r14 0xffffffffa020108c: mov QWORD PTR [rsp0x10],r13 0xffffffffa0201091: mov QWORD PTR [rsp0x18],r12 0xffffffffa0201096: mov QWORD PTR [rsp0x30],r11 0xffffffffa020109b: mov QWORD PTR [rsp0x38],r10 0xffffffffa02010a0: mov QWORD PTR [rsp0x28],rbx 0xffffffffa02010a5: mov rcx,QWORD PTR [rsp0xd0] # 读取此前压栈保存的RFLAGS寄存器值执行后rcx 0x306 0xffffffffa02010ad: mov QWORD PTR [rsp0x90],rcx # 将RFLAGS值存入pt_regs结构体对应字段 0xffffffffa02010b5: mov rcx,0x18 # 加载内核数据段选择子__KERNEL_DS 0xffffffffa02010bc: mov QWORD PTR [rsp0xa0],rcx # 将段选择子存入pt_regs结构体SS字段 0xffffffffa02010c4: mov rcx,0x10 # 加载内核代码段选择子__KERNEL_CS 0xffffffffa02010cb: mov QWORD PTR [rsp0x88],rcx # 将段选择子存入pt_regs结构体CS字段 0xffffffffa02010d3: lea rcx,[rsp0xe0] # 加载跳板入口时的原始rsp值执行后$rcx 0xffffc90000013ed8 0xffffffffa02010db: mov QWORD PTR [rsp0x98],rcx # 将原始rsp值存入pt_regs结构体RSP字段至此21个寄存器全部保存完成形成完整的pt_regs结构 0xffffffffa02010e3: lea rbp,[rsp0x1] # 符合内核栈回溯硬编码约定rbp最低位为1时表示该rbp并非真实栈帧而是指向pt_regs结构体的编码指针 0xffffffffa02010e8: lea rcx,[rsp] # 【参数4】加载当前栈顶地址即完整的pt_regs结构体指针调用kprobe处理函数与返回0xffffffffa02010ec: cs nop WORD PTR [raxrax*10x0] 0xffffffffa02010f6: call 0xffffffff81075e70 kprobe_ftrace_handler # 跳转至kprobe处理函数执行探针业务逻辑上下文恢复与返回原函数0xffffffffa02010fb: mov rax,QWORD PTR [rsp0x90] # 处理函数返回开始执行寄存器与栈上下文恢复 0xffffffffa0201103: mov QWORD PTR [rsp0xd0],rax 0xffffffffa020110b: mov rax,QWORD PTR [rsp0x80] 0xffffffffa0201113: mov QWORD PTR [rsp0xd8],rax 0xffffffffa020111b: mov r15,QWORD PTR [rsp] 0xffffffffa020111f: mov r14,QWORD PTR [rsp0x8] 0xffffffffa0201124: mov r13,QWORD PTR [rsp0x10] 0xffffffffa0201129: mov r12,QWORD PTR [rsp0x18] 0xffffffffa020112e: mov r10,QWORD PTR [rsp0x38] 0xffffffffa0201133: mov rbx,QWORD PTR [rsp0x28] 0xffffffffa0201138: mov rax,QWORD PTR [rsp0x78] 0xffffffffa020113d: mov QWORD PTR [rsp0xc8],rax 0xffffffffa0201145: test rax,rax 0xffffffffa0201148: xchg ax,ax # 占位空指令create_trampoline会在无需保存寄存器的场景下将该指令替换为跳转指令跳过后续寄存器恢复逻辑 0xffffffffa020114a: mov rbp,QWORD PTR [rsp0x20] 0xffffffffa020114f: mov r9,QWORD PTR [rsp0x40] 0xffffffffa0201154: mov r8,QWORD PTR [rsp0x48] 0xffffffffa0201159: mov rdi,QWORD PTR [rsp0x70] 0xffffffffa020115e: mov rsi,QWORD PTR [rsp0x68] 0xffffffffa0201163: mov rdx,QWORD PTR [rsp0x60] 0xffffffffa0201168: mov rcx,QWORD PTR [rsp0x58] 0xffffffffa020116d: mov rax,QWORD PTR [rsp0x50] 0xffffffffa0201172: add rsp,0xd0 # 一次性释放跳板执行过程中创建的两层栈帧与寄存器保存栈空间 0xffffffffa0201179: popf # 恢复RFLAGS寄存器 0xffffffffa020117a: ret # 跳转回被hook函数继续执行原函数逻辑 0xffffffffa020117b: int3 # 异常防护指令防止ftrace执行流异常ftrace汇编宏定义源码解析上述跳板执行流程的核心逻辑对应arch/x86/kernel/ftrace_64.S中的汇编宏定义。为便于阅读按功能模块拆解如下。关键常量与栈大小定义arch/x86/kernel/ftrace_64.S /* Size of stack used to save mcount regs in save_mcount_regs 168(21个寄存器中断等场景需要保存) 40(8 2 * 16(当前和父的rsp, rbp)) */ #define MCOUNT_REG_SIZE (FRAME_SIZE MCOUNT_FRAME_SIZE)save_mcount_regs 宏寄存器保存与栈帧构建该宏是跳板逻辑的核心负责构建栈帧、保存通用寄存器并为C函数准备参数。/* * added: the amount of stack added before calling this * * After this is called, the following registers contain: * * %rdi - holds the address that called the trampoline * %rsi - holds the parent function (traced functions return address) * %rdx - holds the original %rbp */ .macro save_mcount_regs added0 /* 该宏由跳板入口调用入参added为调用前已压栈的字节数 */ #ifdef CONFIG_FRAME_POINTER /* 栈帧模式下fentry调用发生在函数栈帧建立前需手动恢复并保存bp/sp寄存器上下文 */ /* Save the original rbp */ pushq %rbp /* Save the parent pointer (skip orig rbp and our return address) */ pushq \added8*2(%rsp) /* 保存父函数返回地址 */ pushq %rbp movq %rsp, %rbp /* 构建probe函数栈帧 */ /* Save the return address (now skip orig rbp, rbp and parent) */ pushq \added8*3(%rsp) /* 构建跳板函数栈帧 */ pushq %rbp movq %rsp, %rbp #endif /* CONFIG_FRAME_POINTER */ /* * We add enough stack to save all regs. */ subq $(FRAME_SIZE), %rsp /* 为21个寄存器预留栈空间 */ movq %rax, RAX(%rsp) movq %rcx, RCX(%rsp) movq %rdx, RDX(%rsp) movq %rsi, RSI(%rsp) movq %rdi, RDI(%rsp) movq %r8, R8(%rsp) movq %r9, R9(%rsp) movq $0, ORIG_RAX(%rsp) /* 初始化ORIG_RAX字段 */ /* * Save the original RBP. Even though the mcount ABI does not * require this, it helps out callers. */ #ifdef CONFIG_FRAME_POINTER movq MCOUNT_REG_SIZE-8(%rsp), %rdx /* 读取原始rbp值 */ #else movq %rbp, %rdx #endif movq %rdx, RBP(%rsp) # 保存跳板入口时的原始rbp值 /* Copy the parent address into %rsi (second parameter) */ movq MCOUNT_REG_SIZE8\added(%rsp), %rsi /* 读取父函数返回地址作为C回调的第二个入参 */ /* Move RIP to its proper location */ movq MCOUNT_REG_SIZE\added(%rsp), %rdi /* 读取跳板返回地址作为C回调的第一个入参 */ movq %rdi, RIP(%rsp) /* 保存原始RIP值 */ /* * Now %rdi (the first parameter) has the return address of * where ftrace_call returns. But the callbacks expect the * address of the call itself. */ subq $MCOUNT_INSN_SIZE, %rdi /* 减去call指令长度得到hook位点的指令起始地址 */ .endm /* save_mcount_regs宏定义结束 */restore_mcount_regs 宏寄存器恢复与栈清理.macro restore_mcount_regs save0 /* ftrace_regs_caller or frame pointers require this */ movq RBP(%rsp), %rbp movq R9(%rsp), %r9 movq R8(%rsp), %r8 movq RDI(%rsp), %rdi movq RSI(%rsp), %rsi movq RDX(%rsp), %rdx movq RCX(%rsp), %rcx movq RAX(%rsp), %rax addq $MCOUNT_REG_SIZE-\save, %rsp /* 一次性释放跳板栈帧与寄存器保存空间 */ .endmftrace_regs_caller 函数主体这是跳板入口的实际函数定义串联起上述宏调用与C函数回调。SYM_FUNC_START(ftrace_regs_caller) /* 跳板入口核心函数 */ /* Save the current flags before any operations that can change them */ pushfq /* 压入RFLAGS寄存器 */ /* added 8 bytes to save flags */ save_mcount_regs 8 /* 调用寄存器保存宏 */ /* save_mcount_regs fills in first two parameters */ CALL_DEPTH_ACCOUNT /* Intel Retbleed漏洞缓解默认未启用 */ SYM_INNER_LABEL(ftrace_regs_caller_op_ptr, SYM_L_GLOBAL) ANNOTATE_NOENDBR /* Load the ftrace_ops into the 3rd parameter */ movq function_trace_op(%rip), %rdx /* 【参数3】加载ftrace_ops指针 */ /* Save the rest of pt_regs */ movq %r15, R15(%rsp) movq %r14, R14(%rsp) movq %r13, R13(%rsp) movq %r12, R12(%rsp) movq %r11, R11(%rsp) movq %r10, R10(%rsp) movq %rbx, RBX(%rsp) /* Copy saved flags */ movq MCOUNT_REG_SIZE(%rsp), %rcx /* 读取此前保存的RFLAGS寄存器值 */ movq %rcx, EFLAGS(%rsp) /* Kernel segments */ movq $__KERNEL_DS, %rcx movq %rcx, SS(%rsp) movq $__KERNEL_CS, %rcx movq %rcx, CS(%rsp) /* Stack - skipping return address and flags */ leaq MCOUNT_REG_SIZE8*2(%rsp), %rcx /* 读取原始rsp值 */ movq %rcx, RSP(%rsp) /* 至此完成完整pt_regs结构体的构建 */ ENCODE_FRAME_POINTER /* 栈帧编码符合内核栈回溯的pt_regs指针约定 */ /* regs go into 4th parameter */ leaq (%rsp), %rcx /* 【参数4】加载pt_regs结构体指针 */ /* Account for the function call below */ CALL_DEPTH_ACCOUNT SYM_INNER_LABEL(ftrace_regs_call, SYM_L_GLOBAL) ANNOTATE_NOENDBR call ftrace_stub /* 【回调】跳转至ftrace处理函数 */ /* Copy flags back to SS, to restore them */ movq EFLAGS(%rsp), %rax movq %rax, MCOUNT_REG_SIZE(%rsp) /* Handlers can change the RIP */ movq RIP(%rsp), %rax movq %rax, MCOUNT_REG_SIZE8(%rsp) /* restore the rest of pt_regs */ movq R15(%rsp), %r15 movq R14(%rsp), %r14 movq R13(%rsp), %r13 movq R12(%rsp), %r12 movq R10(%rsp), %r10 movq RBX(%rsp), %rbx movq ORIG_RAX(%rsp), %rax movq %rax, MCOUNT_REG_SIZE-8(%rsp) /* * If ORIG_RAX is anything but zero, make this a call to that. * See arch_ftrace_set_direct_caller(). */ testq %rax, %rax SYM_INNER_LABEL(ftrace_regs_caller_jmp, SYM_L_GLOBAL) ANNOTATE_NOENDBR jnz 1f /* 直接调用跳转逻辑 */ restore_mcount_regs /* Restore flags */ popfq /* * The trampoline will add the return. */ SYM_INNER_LABEL(ftrace_regs_caller_end, SYM_L_GLOBAL) ANNOTATE_NOENDBR RET总结handle_mm_fault函数被kprobe挂钩后其函数入口处原ftrace预留的nop指令会被替换为call指令直接跳转至ftrace trampoline跳板入口。跳板执行的完整链路如下安全与状态保存先通过endbr64完成安全校验再执行pushf保存RFLAGS寄存器栈帧构建在CONFIG_FRAME_POINTER开启的场景下手动构建两层栈帧Probe函数与跳板函数保障栈回溯的完整性上下文保存通过sub rsp, 0xa8预留空间完成21个寄存器的入栈构建完整的pt_regs结构体回调执行设置好4个参数Hook地址、父函数返回地址、ftrace_ops、pt_regs指针调用kprobe_ftrace_handler执行业务逻辑恢复与返回恢复所有寄存器与状态标志通过add rsp, 0xd0一次性释放栈空间最终ret返回原函数继续执行。