记录一次 反射引起的Metaspace OOM 的完整排查

一、问题背景线上某个 Spring Boot 服务偶发出现java.lang.OutOfMemoryError: MetaspaceJVM 参数中已经限制-XX:MetaspaceSize512m -XX:MaxMetaspaceSize512m但监控显示Metaspace used ≈ 370MB Metaspace committed ≈ 508MB看起来仍然有约100MB 空间却仍然发生 OOM因此开始排查。二、GC 日志分析OOM 前 GC 日志关键片段GC cause: Metadata GC Threshold Full GC (Metadata GC Threshold) Metaspace: 357743K - 357743K随后出现Full GC (Last ditch collection)几个关键点GC 触发原因是Metadata GC ThresholdFull GC 后 Metaspace没有下降出现Last ditch collection最后一次尝试回收这通常说明JVM 尝试通过 Full GC 卸载类但没有任何 ClassLoader 被回收Metaspace 无法释放通常意味着ClassLoader 泄漏或动态生成大量类三、Heap Dump 分析导出 dump 后首先统计 ClassLoaderClassLoader 总数7775其中绝大多数是sun.reflect.DelegatingClassLoader正常 Spring Boot 应用ClassLoader 通常 100因此这是一个明显异常信号。四、定位动态生成的类继续统计 dump 中的类sun.reflect.GeneratedMethodAccessorXXX数量7289这是 JDK 反射生成的MethodAccessor 优化类。JDK8 的反射机制如下Method.invoke() ↓ 调用次数 15InflationThreshold ↓ JVM 生成字节码类 sun.reflect.GeneratedMethodAccessorXXX ↓ 通过 sun.reflect.DelegatingClassLoader 加载因此关系基本是1 MethodAccessor class ≈ 1 DelegatingClassLoader统计结果GeneratedMethodAccessor ≈ 7289 DelegatingClassLoader ≈ 7765基本一致。五、哪些类触发了反射 inflation在 MAT 中通过 OQL 查询SELECT this[clazz][name], count(1) FROM java.lang.reflect.Method WHERE this[methodAccessor] ! null GROUP BY this[clazz][name]统计结果已脱敏XXX.dto.XXXDto 1625 XXX.dto.XXXDetailDto 1332 XXX.dto.XXXDocumentDto 871 XXX.common.dto.XXXBaseDto 807 XXX.xxxx.dto.XXXXXXXDto 731 XXX.transport.XXXBaseDto 699 XXX.domain.entity.XXXEntity 692 XXX.domain.entity.XXXDocument 502 XXX.dto.XXXParamDto 488 org.apache.ibatis.XXX 416 XXX.dto.XXXTemplateDto 402可以看到几个明显特征大部分都是DTO / Entity同时出现MyBatis 相关类getter / setter 方法被大量反射调用这与 ORM 框架的工作模式一致。六、为什么 900 个类会产生 7000 ClassLoader统计结果触发 inflation 的类 ≈ 961 GeneratedMethodAccessor ≈ 7289原因是一个 DTO / Entity 往往包含很多 getter / setter例如UserDto getId() setId() getName() setName() getCreateTime() setCreateTime()一个类通常有10 ~ 20 个 getter/setter只要某个方法Method.invoke() 调用次数 15JVM 就会生成GeneratedMethodAccessor因此961 类 × 平均 7~8 个方法 ≈ 7000 accessor与实际统计7289基本一致。七、系统到底加载了多少类进一步统计所有 ClassLoaderEXPR$0 | EXPR$1 ----------------------------------------------------------------------------- org.springframework.boot.loader.LaunchedURLClassLoader | 44414 system class loader | 5245 sun.misc.Launcher$ExtClassLoader | 176 sun.misc.Launcher$AppClassLoader | 53加上反射生成类后系统总加载 class ≈ 58414 ClassLoader 数量 ≈ 7775八、Metaspace 实际占用计算监控数据Metaspace used ≈ 370MB Metaspace committed ≈ 508MB计算平均每个 class metadata 占用370MB / 58414 ≈ 6.5KB也就是说平均每个 class metadata ≈ 6.5KB这个数值完全符合 HotSpot 的典型范围4KB ~ 12KB / class说明Metaspace 的主要占用其实是应用自身加载的 class。九、反射类在其中占多少动态生成类GeneratedMethodAccessor ≈ 7289这类 class 结构非常简单metadata 体积通常2KB ~ 4KB粗略估算7289 × ~3KB ≈ 20MB因此 Metaspace used 的大致结构应用 class metadata ≈ 340MB GeneratedMethodAccessor ≈ 20MB 其它 reflection metadata ≈ 10MB -------------------------------- Metaspace used ≈ 370MB十、为什么 used 370MB 仍然 OOM关键原因是Metaspace used ≠ 可继续分配的空间Metaspace 由ClassLoader arena chunk管理。特点每个 ClassLoader 有自己的 arenaarena 内存按chunk分配chunk不会在 ClassLoader 之间共享当系统接近上限MaxMetaspaceSize 512MB Metaspace committed ≈ 508MB如果 JVM 需要加载新的 class例如新的 accessor需要申请新的 metaspace chunk。但此时508MB 新 chunk 512MB扩容失败。于是 JVM 触发Metadata GC Threshold → Full GC → Last ditch collection → OOM十一、问题本质问题链路如下DTO / Entity getter/setter ↓ MyBatis / ORM 反射调用 ↓ Method.invoke() ↓ JDK8 reflection inflation ↓ GeneratedMethodAccessor ↓ DelegatingClassLoader ↓ Metaspace 持续增长 ↓ 无法扩容 ↓ Metaspace OOM十二、解决方案最直接方案关闭 reflection inflation-XX:-UseInflation效果不再生成 GeneratedMethodAccessor不再创建 DelegatingClassLoadermetaspace 使用量显著下降线上经验Metaspace 500MB → 100MB 左右性能影响通常 3%。另一种方案提高阈值-XX:InflationThreshold1000默认值15只有极高频 Method 才会生成 accessor。十三、为什么 JDK11 不会有这个问题JDK11 开始逐步使用MethodHandle替代 reflection inflation。JDK8Method.invoke → GeneratedMethodAccessor生成 classJDK11Method.invoke → MethodHandle → JVM 内联优化不再生成 accessor class也不会产生 DelegatingClassLoader。因此 Metaspace 会明显更稳定。十四、最终 JVM 参数生产环境最终配置-XX:-UseInflation -XX:MetaspaceSize256m -XX:MaxMetaspaceSize768m上线后GeneratedMethodAccessor 0 Metaspace 使用稳定在 ≈ 120MB总结这次问题的核心链路是DTO / ORM 框架反射调用 → Method.invoke → JDK8 reflection inflation → GeneratedMethodAccessor → DelegatingClassLoader → Metaspace 膨胀 → OOM关键经验Metaspace OOM 不一定是类加载过多也可能是 reflection inflation。GeneratedMethodAccessor数量可以快速判断问题。JDK8 可以通过-XX:-UseInflation直接规避。JDK11 之后该问题基本消失。Metaspace used 并不等于可继续分配空间。在使用大量 DTO、ORM、RPC 框架的系统中如果看到GeneratedMethodAccessor DelegatingClassLoader Metadata GC Threshold基本可以优先考虑reflection inflation 导致的 Metaspace 问题。 :::