使用kettle进行数据统计

1.使用kettle设计一个能生成100个取值范围为0到100随机整数的转换。

为了完成该转换，需要使用生成记录控件、生成随机数控件、计算器控件及字段选择控件。控件布局如下图所示

 生成记录控件可以在限制框内指定生成记录的个数，具体配置如图所示

 生成随机数控件可以用来生成随机种子，生成0到1内的小数，具体配置如图所示。

 计算器控件可以用来对获得的小数进行映射，将范围映射到0到100中。首先需要指定一个常量N，值为100，类型为Number，接着将N和随机种子相乘的值存放到新的字段x中。具体配置如图所示。

最后使用字段选择控件，删除多余字段。字段选择控件配置可参考

使用kettle进行日志分析_瑾寰的博客-CSDN博客

最后获得的效果如下图所示：

 2.使用kettle设计一个能求数据标准差和均值的转换，输入数据从第一问获取。

在第1问的基础上添加一个单变量统计控件。

单变量统计控件具体配置如下图所示：

 在input field中选择需要计算的字段，对于需要输出的字段选择为true，其余为false。最后执行的结果如图所示：

3. 在第2问的基础上设计一个转换，任务是生成一个随机数，并判断它是否处于2中均值的一个标准差内。

为了完成目标，在第二问的基础上还需要使用记录关联（笛卡尔输出）控件和java代码控件，具体布局如下图所示：

 其中记录关联控件用来将不同来源的数据连接，具体配置如下：

 Java代码控件主要用来进行逻辑判断，判断数据是否满足题目要求，并增加新的字段ans作为结果，具体配置如下：

 其中的代码如下：

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException {   if (first) {     first = false;     /* TODO: Your code here. (Using info fields)     FieldHelper infoField = get(Fields.Info, "info_field_name");     RowSet infoStream = findInfoRowSet("info_stream_tag");     Object[] infoRow = null;     int infoRowCount = 0;     // Read all rows from info step before calling getRow() method, which returns first row from any     // input rowset. As rowMeta for info and input steps varies getRow() can lead to errors.     while((infoRow = getRowFrom(infoStream)) != null){       // do something with info data       infoRowCount++;     }     */   }   Object[] r = getRow();   if (r == null) {     setOutputDone();     return false;   }   // It is always safest to call createOutputRow() to ensure that your output row's Object[] is large   // enough to handle any new fields you are creating in this step.   r = createOutputRow(r, data.outputRowMeta.size());   /* TODO: Your code here. (See Sample)   // Get the value from an input field   String foobar = get(Fields.In, "a_fieldname").getString(r);   foobar += "bar";       // Set a value in a new output field   get(Fields.Out, "output_fieldname").setValue(r, foobar);   */   // Send the row on to the next step.   boolean ans = false;   double mean = Double.parseDouble(get(Fields.In, "x(mean)").getString(r));   double std = Double.parseDouble(get(Fields.In, "x(stdDev)").getString(r));   double x = Double.parseDouble(get(Fields.In, "x").getString(r));   if(x>=(mean-std) && x<=(mean+std)){    ans = true;   }   System.out.println("hha");   ans = true;   get(Fields.Out, "ans").setValue(r, ans);   putRow(data.outputRowMeta, r);   return true; }

运行结果如下图所示：