Kettle实战100篇 第11篇 JavaScript脚本中日志级别与调试技巧

1. JavaScript脚本日志输出的必要性在Kettle中使用JavaScript脚本时经常会遇到各种问题需要调试。虽然Kettle本身提供了日志功能但默认的日志输出往往无法满足我们的需求。比如当脚本逻辑复杂、变量多的时候单纯依靠Kettle的步骤日志很难准确定位问题所在。我遇到过很多次这样的情况明明转换执行失败了但查看日志却只看到一些模糊的错误信息根本不知道具体是脚本的哪一行出了问题。这时候就需要在JavaScript脚本中主动输出日志把关键变量的值、执行路径等信息打印出来。日志输出最大的好处是能让我们实时了解脚本的执行情况。比如可以输出关键变量的值变化函数的入参和返回值条件分支的判断结果循环的执行次数异常捕获时的上下文信息有了这些信息调试效率能提升好几倍。记得有一次我写了个复杂的JSON解析脚本就是通过在关键位置加日志输出才快速定位到一个字段类型转换的问题。2. 旧版本Kettle的日志输出方法在Kettle 7.x及更早版本中日志输出主要使用LogWriter类。这个方法现在虽然已经过时但很多老项目还在用所以还是有必要了解一下。2.1 获取日志实例首先需要获取LogWriter的实例var log org.pentaho.di.core.logging.LogWriter.getInstance();这个log对象提供了不同级别的日志输出方法对应Kettle的日志级别体系。2.2 日志级别与方法LogWriter提供了6种日志级别对应的方法// 最小日志输出最基本的信息 log.logMinimal(主题, 消息); // 基本日志默认级别 log.logBasic(主题, 消息); // 详细日志会输出更多细节 log.logDetailed(主题, 消息); // 调试日志用于调试时输出 log.logDebug(主题, 消息); // 行级日志最详细的级别 log.logRowlevel(主题, 消息); // 错误日志专门输出错误 log.logError(主题, 消息);实际使用时我一般会这样组织日志try { log.logDebug(脚本启动, 开始处理数据); // 业务逻辑... log.logDetailed(数据处理, 当前处理到第i条记录); } catch(e) { log.logError(发生异常, e.message); }2.3 实际应用技巧主题命名要有意义主题参数不要随便写要能清晰表明日志的来源比如数据清洗-字段转换。消息内容要丰富除了固定文本一定要带上变量的实时值比如当前计数器值count。合理使用级别关键节点用BASIC循环内部用DETAILED调试信息用DEBUG错误一定要用ERROR性能考虑过多的日志会影响性能特别是ROWLEVEL级别生产环境要慎用。3. 新版本Kettle的日志输出方案从Kettle 8.0开始原来的LogWriter被废弃改用LogChannel体系。新API设计更合理使用起来也更灵活。3.1 新的日志体系结构新版本主要通过两个类来实现日志功能LogChannelFactory用于创建LogChannel实例LogChannel实际的日志操作类查看官方JavaDoc可以发现新API提供了更丰富的构造方法和日志方法。3.2 创建LogChannel的两种方式方式一通过工厂创建var subject 数据转换模块; var logFactory new org.pentaho.di.core.logging.LogChannelFactory(); var log logFactory.create(subject);方式二直接实例化var subject 数据校验模块; var log new org.pentaho.di.core.logging.LogChannel(subject);两种方式效果一样第一种更符合设计模式规范第二种更简洁。我个人更倾向于使用工厂方式特别是在大型项目中。3.3 新API的日志方法新版本的日志方法设计更一致使用起来更顺手// 基本日志 log.logBasic(开始执行数据转换); // 带参数的日志 log.logDetailed(处理记录, 当前处理第{0}条共{1}条, current, total); // 错误日志 log.logError(转换失败, 字段{0}格式错误, fieldName); // 调试日志 log.logDebug(变量值, counter{0}, total{1}, counter, total);新API特别方便的是支持格式化字符串可以直接在消息中使用{0}、{1}这样的占位符代码更清晰。3.4 实际应用示例下面是一个完整的使用示例// 初始化日志 var log new org.pentaho.di.core.logging.LogChannel(数据清洗脚本); try { log.logBasic(脚本启动); // 读取输入数据 var input getInputData(); log.logDetailed(数据读取, 获取到{0}条记录, input.length); // 处理数据 for(var i0; iinput.length; i) { log.logDebug(处理记录, 正在处理第{0}条, i); var result processRecord(input[i]); log.logRowlevel(记录详情, 输入:{0}, 输出:{1}, input[i], result); } log.logBasic(脚本完成); } catch(e) { log.logError(执行异常, e); throw e; }4. 快速调试技巧除了常规的日志输出Kettle还提供了一些快速调试的方法能极大提升开发效率。4.1 使用内置writeToLog函数在转换的JavaScript步骤中可以直接使用内置的writeToLog函数// 简单输出 writeToLog(这是一条普通日志); // 指定级别输出 writeToLog(d, 调试信息); // d: debug writeToLog(e, 错误信息); // e: error writeToLog(l, 详细信息); // l: detailed writeToLog(m, 最小信息); // m: minimal writeToLog(r, 行级信息); // r: rowlevel这个方法特别适合快速调试但要注意只能在转换的JavaScript步骤中使用不能在作业的JavaScript步骤中使用日志级别使用单字母简写4.2 调试变量值的技巧调试时经常需要查看变量值可以采用这些方法方法一直接输出writeToLog(d, 变量a的值 a);方法二JSON序列化输出复杂对象var complexObj {name:test, value:123}; writeToLog(d, 对象内容 JSON.stringify(complexObj));方法三类型检查writeToLog(d, 变量类型 typeof variable);4.3 条件调试技巧有时候我们只想在特定条件下输出日志// 只在调试模式输出 if(debugMode) { writeToLog(d, 调试信息...); } // 只在第一次循环输出 if(i 0) { writeToLog(d, 首次循环...); } // 只在值异常时输出 if(value 100) { writeToLog(e, 值超出范围 value); }4.4 性能调试技巧当需要调试性能问题时可以记录时间戳var startTime new Date().getTime(); // 执行一些操作 var endTime new Date().getTime(); writeToLog(d, 操作耗时 (endTime - startTime) ms);5. 日志级别详解与配置正确理解和配置日志级别是高效使用Kettle日志的关键。5.1 Kettle的日志级别Kettle定义了7种日志级别从低到高依次是无日志(Nothing)完全不输出任何日志错误日志(Error)只输出错误信息最小日志(Minimal)输出最基本的执行信息基本日志(Basic)默认级别输出各步骤的执行情况详细日志(Detailed)输出SQL等详细信息调试日志(Debug)输出调试信息行级日志(Rowlevel)输出最详细的日志包括数据处理细节5.2 如何设置日志级别在Kettle界面右上角可以设置日志级别点击日志级别下拉框选择合适的级别级别会立即生效在命令行执行时可以通过参数设置日志级别./kitchen.sh -levelDetailed5.3 各级别的适用场景根据我的经验不同场景应该使用不同级别生产环境Basic或Detailed既要足够的信息又不能影响性能开发调试Debug可以看到详细的执行过程排查复杂问题Rowlevel但要注意性能影响定时任务Error只关注是否出错5.4 日志级别的最佳实践开发阶段使用Debug级别配合脚本中的logDebug输出测试阶段降到Detailed级别验证正常流程生产环境使用Basic级别只记录关键信息排查问题临时提高到Debug或Rowlevel记住一个原则日志级别越高性能开销越大。我曾经在一个数据处理任务中不小心开了Rowlevel级别结果执行时间从5分钟变成了30分钟。6. 常见问题与解决方案在实际使用中会遇到各种日志相关的问题这里分享一些典型问题的解决方法。6.1 日志不输出问题问题现象明明写了日志代码但运行时不输出。可能原因日志级别设置太低写日志的代码没执行到在作业的JavaScript步骤中使用了writeToLog解决方案检查Kettle的全局日志级别在日志代码前后加简单输出确认代码执行作业中使用LogChannel代替writeToLog6.2 日志内容不全问题问题现象日志输出了但关键信息缺失。解决方案确保变量值被正确拼接// 错误写法变量没转字符串 writeToLog(d, 值 value); // 正确写法 writeToLog(d, 值 JSON.stringify(value));复杂对象要序列化输出检查字符串拼接是否正确6.3 日志性能问题问题现象加了日志后转换执行变慢。优化建议减少不必要的日志特别是循环内部的生产环境降低日志级别使用条件判断控制日志输出if(debugMode) { log.logDebug(...); }6.4 日志格式混乱问题问题现象日志难以阅读和分析。解决方案统一日志格式比如[模块名] 动作 - 详情: 数据使用LogChannel的格式化输出重要日志用固定前缀标记7. 高级调试技巧除了基本的日志输出还有一些高级技巧可以提升调试效率。7.1 使用断点调试在Kettle的JavaScript步骤中可以使用简单的断点功能// 在代码中插入debugger语句 debugger; // 当使用调试模式运行时执行会在这里暂停要使用这个功能在转换设置中启用调试模式执行转换时会停在debugger语句处可以查看当前变量值7.2 日志分组技巧对于复杂脚本可以使用日志分组log.logBasic( 开始数据清洗 ); // 清洗逻辑... log.logDetailed(-- 字段转换 --); // 转换逻辑... log.logBasic( 清洗完成 );这样在查看日志时可以快速定位到各个模块。7.3 异常处理最佳实践良好的异常处理应该包含详细日志try { // 业务代码 } catch(e) { log.logError(操作失败, 错误类型: {0}\n 错误信息: {1}\n 堆栈跟踪: {2}, e.name, e.message, e.stack); throw e; // 继续抛出异常 }7.4 日志分析技巧当日志量很大时可以使用grep等工具过滤关键日志按时间排序分析执行顺序重点关注ERROR级别的日志使用日志分析工具可视化查看8. 实战案例调试数据转换问题通过一个实际案例演示如何使用日志调试数据转换问题。8.1 问题描述假设我们有一个转换从CSV读取数据经过JavaScript脚本处理然后输出到数据库。但发现有些数据没有正确入库。8.2 调试步骤确认问题范围log.logBasic( 开始调试 ); log.logDetailed(输入行数, 收到{0}行数据, input.length);检查数据处理for(var i0; iinput.length; i) { log.logDebug(处理行, 第{0}行: {1}, i, JSON.stringify(input[i])); // 处理逻辑... log.logRowlevel(处理结果, 结果: {0}, JSON.stringify(result)); }验证输出log.logDetailed(输出验证, 准备输出{0}条记录, output.length);异常处理try { // 数据库操作 } catch(e) { log.logError(入库失败, 错误: {0}\n数据: {1}, e.message, JSON.stringify(data)); }8.3 问题定位通过日志发现所有数据都正常读取大部分数据处理正常某些特定数据在入库时失败失败原因是字段长度超限8.4 解决方案在数据处理前增加校验对超长字段自动截断增加更详细的错误日志if(data.field.length maxLength) { log.logError(字段超长, 字段{0}长度{1}超过限制{2}, fieldName, data.field.length, maxLength); data.field data.field.substring(0, maxLength); }