Arthas实战：用watch和tt命令‘时光倒流’，精准复现和调试那个偶现的线上Bug

Arthas实战用watch和tt命令‘时光倒流’精准复现和调试那个偶现的线上Bug线上环境偶现的Bug就像幽灵一样难以捉摸——测试环境无法复现日志信息又残缺不全。作为一名开发者你是否经历过这样的绝望时刻当用户反馈某个接口偶尔返回错误数据而你翻遍日志却找不到任何线索时传统的调试手段显得如此无力。本文将带你掌握Arthas中watch和tt命令的组合用法让你拥有时间旅行般的能力精准复现并解决那些最棘手的线上问题。1. 为什么需要时光倒流式的调试在本地开发时我们可以轻松地设置断点、单步执行、检查变量状态。但一旦代码部署到线上环境这些调试手段就几乎全部失效。线上环境的特殊性带来了三大调试困境无法打断点生产环境通常不允许直接连接调试器日志信息有限过度日志会影响性能关键信息可能未被记录难以复现某些Bug只在特定条件下偶发出现测试环境无法模拟传统解决方案是加日志→发布→等待问题复现这种试错法效率极低可能需要多次发布才能捕获到问题。而Arthas的tt(TimeTunnel)命令提供了一种革命性的思路记录方法调用的完整现场然后在合适的时间回放。2. 搭建你的时间隧道tt命令基础tt命令的核心思想是为方法调用建立一条时间隧道记录下每次调用的完整上下文。下面是基本使用流程2.1 记录方法调用假设我们有一个用户查询接口偶尔返回错误数据首先需要记录该接口的调用情况# 记录UserController的getUser方法的所有调用 tt -t com.example.controller.UserController getUser执行后Arthas会开始记录每次getUser方法的调用输出类似INDEX TIMESTAMP COST(ms) IS-RET IS-EXP OBJECT CLASS METHOD --------------------------------------------------------------------------------------------------------------------- 1000 2023-05-01 14:30:01 45.27 true false 0x12345678 com.example.UserController getUser 1001 2023-05-01 14:32:22 1023.45 false true 0x12345678 com.example.UserController getUser表格中各列含义列名说明INDEX调用记录的唯一IDTIMESTAMP调用发生的时间COST方法执行耗时(毫秒)IS-RET是否正常返回IS-EXP是否抛出异常OBJECT调用对象的hashCodeCLASS类名METHOD方法名2.2 检索调用记录当问题复现后我们可以列出所有记录# 列出所有记录 tt -l通过观察IS-EXP列可以快速定位到异常的调用记录。对于上例INDEX1001的记录明显异常执行时间长且抛出了异常。3. 深入分析问题现场watch与tt的完美配合找到异常记录后我们需要深入分析当时的调用现场。这时watch命令就派上用场了。3.1 查看调用参数首先检查异常调用的入参# 查看INDEX1001记录的参数 tt -i 1001 -w target.params-w参数指定要观察的表达式target.params表示方法的参数数组。输出可能类似ArrayList[ Object[123], // userId String[premium] // userType ]3.2 检查成员变量状态有时问题可能与对象的状态有关# 查看调用时的成员变量 tt -i 1001 -w target.userService.cacheSize3.3 结合watch命令动态观察tt -i -w适合查看静态的快照而watch命令可以动态观察表达式的值# 观察方法执行过程中的userService状态 watch com.example.UserController getUser target.userService -x 2常用观察表达式params方法参数target当前对象returnObj返回值throwExp异常对象#cost方法耗时4. 精确复现时间隧道的回放功能tt最强大的功能是能够在开发环境复现生产环境的调用场景。具体步骤4.1 导出调用记录在生产环境导出异常调用记录# 导出INDEX1001的记录到文件 tt -i 1001 -p /tmp/bug_record.json4.2 在测试环境回放将记录文件复制到测试环境然后# 从文件恢复记录 tt -r /tmp/bug_record.json # 重新执行该次调用 tt -i 1001 -p这时测试环境的代码会以完全相同的参数执行该方法复现生产环境的问题。4.3 调试技巧回放时可以结合调试器使用在测试环境启动应用时加上调试参数在IDE中设置断点执行tt -i -p回放调用当执行到断点时可以像调试普通代码一样检查各种状态5. 高级应用场景与技巧5.1 条件记录生产环境调用量可能很大我们通常只关心特定条件的调用# 只记录耗时超过500ms的调用 tt -t com.example.UserController getUser #cost5005.2 观察复杂对象对于复杂对象可以指定展开层级# 展开2层观察用户对象 tt -i 1001 -w target.userService.getUser(params[0]) -x 25.3 批量操作对多个记录执行相同操作# 对所有异常调用进行分析 tt -l | grep IS-EXP:true | awk {print $1} | xargs -I {} tt -i {} -w target.params5.4 与jvm命令结合当发现内存问题时可以立即转储内存快照# 发现内存泄漏迹象后立即dump heap tt -i 1001 -w target | grep memoryLeakObj jmap -dump:live,formatb,fileheap.hprof pid6. 与传统调试方式的对比为了更直观理解这种方法的优势我们对比几种常见调试方式调试方法是否需要发布是否影响性能能否精确复现信息完整度加日志再发布是是否中远程调试否高是高Arthas watch/tt否低是高实际项目中我遇到过一个典型案例某金融接口在每月1号凌晨会偶发返回错误利率。通过tt记录下问题发生时的完整调用链我们发现是因为利率缓存没有及时更新而日志中完全没有记录这个关键信息。最终在不影响生产环境的情况下仅用2小时就定位并修复了这个困扰团队半年的幽灵问题。