Spring Boot资源耗尽问题排查与优化

Spring Boot服务运行一段时间后新请求无法处理的问题。服务没有挂掉，也没有异常日志。思考可能是一些资源耗尽或阻塞的问题。

思考分析

首先，资源耗尽可能涉及线程池、数据库连接、内存、文件句柄或网络连接等。常见的如线程池配置不当，导致请求堆积，无法处理新请求。例如，默认的Tomcat线程池可能设置过小，maxThreads不够，导致大量请求排队，甚至被拒绝。这时候应该检查server.tomcat.max-threads和server.tomcat.max-connections的配置，看是否足够应对并发量。

另外，数据库连接池的问题也可能导致资源耗尽。比如HikariCP的maximum-pool-size设置过小，当并发请求多时，连接池被占满，新请求获取不到连接，导致阻塞。但此时应用可能不会直接崩溃，而是处理变慢或挂起。需要检查连接池配置，是否有泄露的情况，比如未正确关闭数据库连接，导致连接无法释放。

内存泄漏也是一个可能的原因。虽然应用没有崩溃，但如果存在内存泄漏，随着时间推移，内存被逐渐耗尽，导致频繁GC，甚至OOM。不过问题中提到没有异常日志，所以可能还没到OOM的程度，或者日志配置有问题，没有记录GC日志。可以用jstat或VisualVM监控内存使用情况，看是否有持续增长的趋势。

文件句柄数限制也可能导致问题。如果应用打开大量文件或网络连接而没有正确关闭，可能会超过系统的文件描述符限制。在Linux下可以用lsof查看进程打开的文件数，或者检查ulimit设置。不过这种情况通常会抛出“Too
many open files”异常，但问题里说没有异常日志，所以可能性较低，但也不能完全排除。

还有一种可能是死锁或线程阻塞。某些操作导致线程长时间阻塞，无法释放，比如同步锁、长时间的IO操作或外部服务调用超时。这时候线程池中的线程被占满，新的请求无法获得线程处理。可以用jstack生成线程转储，查看线程状态，是否有大量的线程处于BLOCKED或WAITING状态，或者卡在某个方法调用上。

另外，检查是否有外部服务依赖响应缓慢，导致请求处理时间变长，进而耗尽线程池资源。例如，调用某个HTTP接口或数据库查询超时，但未设置合理的超时时间，导致线程一直被占用。这种情况下，需要优化外部调用，设置超时，或引入熔断机制。

应用本身的业务逻辑是否有问题，比如存在无限循环或长时间运行的任务，占用了线程资源。例如，某个Controller方法执行了耗时操作，而未使用异步处理，导致线程无法及时释放。

另外，可能应用的监控和日志配置不完善，导致问题发生时没有记录足够的日志。需要检查日志级别，确保WARN和ERROR级别的日志被记录，并确认是否有相关的警告信息被忽略。

可能的解决方案步骤：

1. 检查线程池配置，增加Tomcat的最大线程数，调整连接器参数。

2. 检查数据库连接池配置，确保连接池大小合适，检查连接泄露。

3. 监控内存使用情况，分析是否存在内存泄漏。

4. 检查文件描述符使用情况，调整系统或进程的限制。

5. 生成线程转储，分析线程状态，查找可能的死锁或阻塞。

6. 检查外部服务调用，设置合理的超时时间，优化响应慢的接口。

7. 使用性能分析工具（如Arthas）诊断应用运行时的瓶颈。

8. 检查是否有后台任务或定时任务占用过多资源。

9. 确保应用日志配置正确，捕获可能的警告和错误信息。

可能需要逐步排查，从最可能的线程池和连接池问题入手，结合监控工具进行实时分析，找到资源耗尽的具体原因。

针对Spring Boot应用资源耗尽导致请求无法处理的问题，以下是逐步排查和解决方案：

1. 检查线程池配置

Tomcat线程池调整
在application.properties中调整参数，增加最大线程数和连接数：

server.tomcat.max-threads=200       # 默认是200，根据负载调整
server.tomcat.max-connections=1000  # 最大连接数
server.tomcat.accept-count=100       # 等待队列长度

如果请求量突增，可适当调高这些值，避免请求被拒绝或堆积。

2. 数据库连接池优化

检查连接泄漏
确保所有数据库操作后正确关闭连接（使用try-with-resources或finally块）。
在HikariCP配置中启用泄漏检测：

spring.datasource.hikari.leak-detection-threshold=5000 # 检测超过5秒未关闭的连接

调整连接池大小
根据并发需求设置合适的连接数：

spring.datasource.hikari.maximum-pool-size=20  # 根据数据库处理能力调整
spring.datasource.hikari.minimum-idle=5

3. 内存泄漏排查

监控内存使用
使用JVM工具观察内存变化，尤其是老年代（Old Generation）是否持续增长。

生成堆转储
通过jmap -dump:format=b,file=heapdump.hprof <pid>导出堆内存，用MAT工具分析对象占用，查找泄漏源头。

4. 文件描述符限制

检查系统限制
Linux下使用ulimit -n查看限制，通过/etc/security/limits.conf调整：

* soft nofile 65535
* hard nofile 65535

监控打开文件数
使用lsof -p <pid> | wc -l查看进程当前打开的文件数，确认是否接近上限。

5. 分析线程状态

生成线程转储
执行jstack <pid> > thread_dump.log，检查线程是否大量阻塞在特定方法（如锁竞争、I/O操作）。

常见问题

• 死锁：查找BLOCKED状态的线程及持有的锁。
• 外部调用阻塞：如HTTP请求或数据库查询未设超时，导致线程挂起。

6. 外部服务调优

设置超时时间
在RestTemplate或Feign Client中配置超时：

feign.client.config.default.connect-timeout=5000
feign.client.config.default.read-timeout=10000

熔断降级
集成Resilience4j或Hystrix，避免级联故障。

7. 异步处理耗时任务

使用@Async
将耗时操作移至异步方法，释放请求线程：

@Async
public void processTask() { /* 耗时逻辑 */ }

需在启动类添加@EnableAsync，并配置线程池：

@Bean
public Executor taskExecutor() {ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();executor.setCorePoolSize(10);executor.setMaxPoolSize(50);return executor;
}

8. 增强监控与日志

启用GC日志
在启动参数中添加：

-XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/path/to/gc.log

APM工具
使用SkyWalking、Prometheus + Grafana监控应用性能指标，实时定位瓶颈。

9. 检查定时任务

确认任务执行时间
排查@Scheduled任务是否执行时间过长或未正确终止，调整cron表达式或优化逻辑。