eBPF可观测性实战

eBPF 可观测性实战：Linux 内核级追踪与性能分析完全指南🔬 eBPF 是 Linux 内核中最强大的可观测性技术——它能让你在不修改内核代码、不重启系统的情况下，安全地在内核中运行自定义程序。本文从零开始，带你掌握 eBPF 追踪与性能分析。📌 前言当你的服务出现以下问题时，传统工具往往力不从心：偶发性延迟毛刺：Prometheus 看不到，日志里也没有内核层面的性能瓶颈：CPU profiling 只能看到用户态网络丢包：tcpdump 抓不到，因为发生在内核协议栈深处安全审计：需要追踪所有进程的文件访问行为eBPF 就是解决这些问题的「手术刀」——它让你能安全地在 Linux 内核中运行自定义代码，实时观测系统行为。一、eBPF 是什么？1.1 从 BPF 到 eBPF 的演进时间线: 1992 ─── BPF (Berkeley Packet Filter) │ 最初用于网络包过滤 │ 只有 2 个寄存器，32 位指令 │ 2014 ─── eBPF (extended BPF) │ 引入 Linux 3.18 内核 │ 64 位指令，11 个寄存器 │ 支持尾调用、map 数据结构 │ JIT 编译为原生机器码 │ 2016 ─── BCC / bpftrace 等工具诞生 │ 大幅降低使用门槛 │ 2023 ─── CO-RE (Compile Once – Run Everywhere) │ 一次编译，跨内核版本运行 │ 2025 ─── eBPF 无处不在 Kubernetes CNI (Cilium)、安全监控 (Tetragon) 网络可观测性 (Pixie)、应用性能监控1.2 eBPF 架构概览┌─────────────────────────────────────────────────────┐ │ 用户空间 │ │ ┌─────────┐ ┌─────────┐ ┌─────────────────┐ │ │ │ bpftrace│ │ BCC │ │ 你自己的程序 │ │ │ │ (脚本) │ │ (Python)│ │ (Go/Rust/C) │ │ │ └────┬─────┘ └────┬────┘ └───────┬─────────┘ │ │ │ │ │ │ │ └─────────────┼───────────────┘ │ │ │ bpf() 系统调用 │ ├─────────────────────┼───────────────────────────────┤ │ ▼ 内核空间 │ │ ┌──────────────────────────────────────────────┐ │ │ │ eBPF Verifier │ │ │ │ • 静态分析：确保程序安全终止（不会死循环） │ │ │ │ • 内存安全：验证所有内存访问合法 │ │ │ │ • 权限检查：验证程序只能访问允许的内核数据 │ │ │ └──────────────────────┬───────────────────────┘ │ │ ▼ │ │ ┌──────────────────────────────────────────────┐ │ │ │ JIT Compiler │ │ │ │ 将 eBPF 字节码编译为原生 x86_64/ARM64 指令 │ │ │ └──────────────────────┬───────────────────────┘ │ │ ▼ │ │ ┌──────────────────────────────────────────────┐ │ │ │ eBPF 程序挂载点 │ │ │ │ • kprobe/kretprobe (内核函数入口/返回) │ │ │ │ • tracepoint (内核静态追踪点) │ │ │ │ • uprobe/uretprobe (用户态函数入口/返回) │ │ │ │ • XDP (网络数据包入口) │ │ │ │ • TC (流量控制) │ │ │ │ • LSM (Linux安全模块) │ │ │ └──────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────┘1.3 eBPF 程序类型程序类型用途挂载点BPF_PROG_TYPE_TRACEPOINT内核静态追踪tracepointBPF_PROG_TYPE_KPROBE内核函数动态追踪kprobeBPF_PROG_TYPE_XDP高性能网络包处理网络驱动层BPF_PROG_TYPE_SOCKET_FILTERSocket 包过滤socketBPF_PROG_TYPE_CGROUP_SKBcgroup 网络控制cgroupBPF_PROG_TYPE_LSMLinux 安全模块LSM hookBPF_PROG_TYPE_PERF_EVENT性能事件采集perf二、开发环境搭建2.1 内核版本检查# eBPF 需要 Linux 5.4+ 以支持 CO-REuname-r# 输出示例: 5.15.0-91-generic# 检查 eBPF 支持ls/sys/kernel/debug/tracing/2/dev/nullecho"✅ tracing 支持"||echo"❌ 需要挂载 tracefs"cat/proc/config.gz|gunzip|grepCONFIG_BPF2.2 安装工具链# Ubuntu/Debiansudoaptupdatesudoaptinstall-y\clang llvm libbpf-dev libbpfcc-dev\linux-tools-common linux-tools-generic\bpfcc-tools linux-headers-$(uname-r)# 安装 bpftrace（高级脚本工具）sudoaptinstall-ybpftrace# 安装 bpftool（eBPF 程序管理）sudoaptinstall-ylinux-tools-common bpftool version2.3 验证安装# 编译并运行第一个 eBPF 程序sudobpftrace-e'tracepoint:syscalls:sys_enter_openat { printf("%s %s\n", comm, str(args-filename)); }'# 打开另一个终端执行任意命令，观察输出cat/etc/hostname# 预期输出: cat /etc/hostname三、BCC 入门：用 Python 写 eBPF 程序BCC（BPF Compiler Collection）是最流行的 eBPF 开发框架，用 Python 作为用户态接口。3.1 第一个 BCC 程序：追踪 open() 系统调用#!/usr/bin/env python3"""trace_open.py - 追踪所有 open() 系统调用"""frombccimportBPF# eBPF C 程序（运行在内核中）bpf_program=r""" #include uapi/linux/ptrace.h #include linux/sched.h // 定义输出事件结构体 struct event_t { u32 pid; u32 uid; char comm[TASK_COMM_LEN]; char filename[256]; }; // 定义 perf event 输出通道 BPF_PERF_OUTPUT(events); // 追踪 sys_enter_openat 内核追踪点 TRACEPOINT_PROBE(syscalls, sys_enter_openat) { struct event_t evt = {}; // 获取进程信息 evt.pid = bpf_get_current_pid_tgid() 32; evt.uid = bpf_get_current_uid_gid(); bpf_get_current_comm(evt.comm, sizeof(evt.comm)); // 从追踪点参数中获取文件名 bpf_probe_read_user_str(evt.filename, sizeof(evt.filename), args-filename); // 通过 perf event 输出到用户空间 events.perf_submit(args, evt, sizeof(evt)); return 0; } """# 加载并编译 eBPF 程序b=BPF(text=bpf_program)# 打印表头print(f"{'TIME':12}{'PID':8}{'UID':8}{'COMM':16}{'FILENAME'}")print("-"*80)# 定义 perf event 回调defprint_event(cpu,data,size):event=b["events"].event(data)filename=event.filename.decode("utf-8","replace")comm=event.comm.decode("utf-8","replace")print(f"{event.pid:8}{event.uid:8}{comm:16}{filename}")# 注册回调并开始读取b["events"].open_perf_buffer(print_event)print("Tracing open() calls... Ctrl-C to end.")whileTrue:try:b.perf_buffer_poll()exceptKeyboardInterrupt:exit()运行：sudopython3 trace_open.py3.2 用 BCC 追踪 TCP 连接延迟#!/usr/bin/env python3"""tcp_latency.py - 测量 TCP 连接的 RTT"""frombccimportBPFfromtimeimportsleep bpf_program=r""" #include uapi/linux/ptrace.h #include net/sock.h #include linux/tcp.h // 存储 TCP 连接信息 struct tcp_event_t { u32 pid; u32 saddr; u32 daddr; u16 sport; u16 dport; u32 rtt_us; // RTT（微秒） char comm[16]; }; BPF_PERF_OUTPUT(tcp_events); // 在 tcp_rcv_established 上挂载 kprobe int kprobe__tcp_rcv_established(struct pt_regs *ctx, struct sock *sk) { struct tcp_event_t evt = {}; struct tcp_sock *tp = (struct tcp_sock *)sk; // 获取 RTT（单位：微秒） evt.rtt_us = tp-srtt_us 3; // srtt_us 是 8 倍 RTT // 只报告 RTT 10ms 的连接 if (evt.rtt_us 10000) return 0; // 获取进程信息 evt.pid = bpf_get_current_pid_tgid() 32; bpf_get_current_comm(evt.comm, sizeof(evt.comm)); // 获取连接信息 bpf_probe_read_kernel(evt.saddr, sizeof(evt.saddr), sk-__sk_common.skc_rcv_saddr); bpf_probe_read_kernel(evt.daddr, sizeof(evt.daddr), sk-__sk_common.skc_daddr); bpf_probe_read_kernel(evt.sport, sizeof(evt.sport), sk-__sk_common.skc_num); bpf_probe_read_kernel(evt.dport, sizeof(evt.dport), sk-__sk_common.skc_dport); tcp_events.perf_submit(ctx, evt, sizeof(evt)); return 0; } """b=BPF(text=bpf_program