【助睿ETL】实验作业1——订单利润分流数据加工

目录一、实验背景1.1 实验目的1.2 实验环境1.3 业务场景1.4 数据加工流程二、实验步骤2.1 登录实验平台2.2 基本概念了解2.3 团队管理2.4 创建实验项目2.5 同步数据流2.6 新建转换流2.7 添加组件2.8 配置组件信息2.8.1 表输入组件配置2.8.2 记录集连接组件配置2.8.3 字段选择组件配置2.8.4 过滤记录组件配置2.8.5 Excel 输出组件配置2.9 执行转换2.10 查看执行日志2.11 查看结果三、实验结果四、核心组件说明五、问题与解决六、实验总结一、实验背景1.1 实验目的本次实验旨在熟悉助睿零代码数据集成平台ETL平台的核心功能和操作方法具体包括掌握新建转换、添加组件、配置组件信息、执行转换等基本操作流程熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法理解多表关联、数据过滤与分流处理的ETL设计思路通过本次实验我们能够独立使用助睿平台完成常见的数据加工任务为后续更复杂的数据处理场景打下基础。1.2 实验环境零代码在线实验平台本次实验使用助睿数智Uniplore作为一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能适用于数据分析教学与企业数据加工场景。产品官网为https://www.uniplore.com/本次实验的访问地址为https://lab.guilian.cn/。数据库MySQL含订单数据和产品信息表数据准备订单表business_anaylsis.order_detail、产品表business_anaylsis.product1.3 业务场景在企业的经营分析中我们经常需要将多张表关联起来计算利润并按利润正负对订单进行分类存储。本实验以订单利润分流为例通过零代码拖拽方式完成这一数据处理任务。1.4 数据加工流程二、实验步骤2.1 登录实验平台打开贵兰在线PC端链接地址https://www.guilan.cn/home点击登录进入登录页面输入账号和密码即可登录未注册用户需先学号登录。登录成功后点击【我的学习】→ 选择【实训平台】→ 进入平台首页。进入实验平台首页如下图所示。2.2 基本概念了解助睿平台是什么 ——助睿平台是一款 AI 驱动的一站式大数据智能全流程服务产品本次实验所用到的数据集成平台可以通过可视化方式实现数据ETL抽取、转换、加载。基本概念如下概念说明Pipeline转换面向数据流处理数据的一个功能单元由多个Transform组成Workflow作业面向任务完成一件完整的事由多个Action组成必须包含开始项Transform步骤转换内的最小单元如“表输入”、“字段选择”每个步骤独立线程运行Action任务项作业的执行单位如“启动”、“发送邮件”Hops节点连接数据传输通道连接步骤或任务项2.3 团队管理点击【数据集成板块】选择【团队管理】点击【新增团队】创建自己的协作团队。在弹框中填写“团队名称” 和 “团队描述”点击【确认】即可完成团队的创建点击三个点选择【添加成员】。输入用户名称可快速查询选择好后点击【添加】即可完成团队成员的添加。完成后可以看到成员已经加入了我们的团队。2.4 创建实验项目切换至【我的项目】模块选择【所属团队】点击【新建项目】。填写好“项目名称” 点击【确定】。返回后即可在数据集成页面查看到新建的项目。2.5 同步数据流点击项目卡片右上角的三个小点选择【打开项目】。项目操作页面如下资源库用于管理工作流包括新建、删除、修改、查看工作流的信息导出和导入工作空间调度管理等操作。文件库用于保存工作流中需要用到的文件和工作流中产生的文件。元数据元数据管理是数据集成的重要基石为工作流定义“运行配置”、“数据库”、“flink集群”等配置。首先我们需要获取本次实验的数据集选择菜单【元数据】→ 右键【关系数据库】→ 点击【同步数据源】点击其他菜单再切换回【元数据】菜单即可看到成功同步的“线上公告数据源(Readonly)”。2.6 新建转换流为了实现本次实验的目标我们将创建“订单利润分流处理”转换流实现订单数据与产品信息的关联删除冗余字段后根据利润的正负将数据分流为盈利订单和亏损订单分别输出到Excel文件中。整体实验逻辑订单明细表 →左外连接产品信息表 → 移除重复的ID字段 → 根据利润profit的正负分流 → 输出盈利订单表/亏损订单表切换到菜单【资源库】右键项目的根目录点击【新建转换流】。在弹框中输入 “转换流名称”点击【确定】。在目录中选中我们的转换流右键点击【打开】进入转换流的设计画布。每次进入画布都处于锁定状态需要点击解锁才可编辑画布。2.7 添加组件点击组件库查找所需组件也可通过关键词快速检索。组件作用表输入读取原始数据记录集连接根据产品ID关联两张表字段选择移除重复的ID字段过滤记录根据利润正负分流Excel输出分别输出盈利订单/亏损订单1添加表输入组件2个—— 本次实验需要将两类数据进行合并计算需要读取2个不同表的数据。搜索并将两个表输入组件拖拽到画布中。右键表输入组件点击【编辑组件】。修改该 “步骤名称” 为“详细订单”同样地将另一表输入组件的 “步骤名称” 改为“产品信息”。2添加记录集连接组件—— 本次实验在使用表输入组件读取数据后需要通过记录集连接组件将表输入组件得到的数据进关联。搜索并将记录集连接组件拖拽到画布中。点击表输入组件创建表输入组件到记录集连接组件的连线。在建立连接线时会出现“排序需要”的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的如果接受的数据是无序的可能会造成记录连接结果出错。3添加字段选择组件—— 两个表数据进行连接后会出现重复的字段“产品ID”。我们可以通过“字段选择”组件移除这个多余的字段。搜索并拖拽添加字段选择组件到画布。我们可以右键字段选择组件点击【编辑组件】将步骤名称改为“移除产品ID字段”。创建记录集连接组件到字段选择移除产品ID字段组件的连线。4添加过滤记录组件—— 本次实验需要根据订单的利润情况对订单进行分流处理。所以借助于“过滤记录”组件可以根据记录中的某个字段值对记录进行分流。搜索并拖拽过滤记录组件到画布中。创建字段选择字段组件到过滤记录组件的连线在弹出的系统提示中选择连接线类型为【主输出步骤】。5添加Excel输出组件2个—— 记录经过“过滤记录”组件后会根据条件被分成2个记录流。我们可以根据业务需求将2个记录输出到指定位置。在本次实验中我们选择将记录分别输出到2个 Excel 文件中。搜索并拖拽2个 excel 输出组件到画布中。右键点击【编辑组件】将两个组件的“步骤名称”分别改为盈利订单、亏损订单。创建过滤记录组件到Excel输出组件的连线并选择连接线类型为True输出→ 盈利订单、False输出→ 亏损订单至此本次实验的任务转换流程构建完毕如下图所示。2.8 配置组件信息在添加完组件搭建完整体转换流程后我们需要对每个组件进行相应的配置。2.8.1 表输入组件配置双击详细订单组件弹出组件配置页面。在“数据库连接”的下拉框中选择已同步的“线上公共数据源Readonly”如下图所示点击【获取SQL查询语句】自动生成SQL语句。点开“线上公共数据源” - “表”目录下滑找到“business_anaylsis.order_detail”并点击它点击【确定】。或直接在搜索栏输入关键词查找在弹出的 “是否在SQL中包含字段名” 提示中选择【确认】。之后可以看到系统自动填充了完整的SQL查询语句若系统给出的语句无法满足业务需求时也可手动在文本框中编写自定义语句。表输入组件的其他参数保持默认即可。另一表输入组件产品信息的配置也参照上述步骤获取“business_anaylsis.product”的SQL查询语句。2.8.2 记录集连接组件配置双击记录集连接组件在下拉列表中选择需要连接的数据来源“第一个Transform” 选择详细订单“第二个Transform” 选择产品信息“连接类型” 选择LEFT OUTER。点击第一个Transform的连接字段【获取连接字段】按钮即可看到在详细订单中查询到的字段。同样地获取第二个Transform的连接字段。接下来我们仅保留第一个Transform的连接字段product_id与第二个Transform的连接字段id进行左外连接。删除其余字段。2.8.3 字段选择组件配置数据经记录集连接后我们发现字段product_id与字段id内容相同只需要保留一个。因此我们接下来使用字段选择组件“移除产品ID字段”的移除选项来移除字段 id 。双击字段选择“移除产品ID字段”组件点击【移除】并右键点击【获取字段】。将获取得到的字段中除了“id”之外的字段都删掉。确认只剩下 id 字段后点击【确认】。2.8.4 过滤记录组件配置根据业务要求我们需要将盈利订单和亏损订单分开存储两个订单表可以使用利润字段profit来区分。双击过滤记录组件在弹窗的下拉列表中选择将结果发送给不同的后续处理步骤。选择profitNumber字段作为判断字段field点击【确定】。选择作为判断条件点击【确定】。点击【Value】类型选择Integer值输入0点击【确定】。完整的过滤记录组件配置如下图所示2.8.5 Excel 输出组件配置为了将接收到的结果正确地写入到Excel表中我们需要对 excel 输出组件进行配置。双击盈利订单 excel 表输出组件在配置弹窗中将 “文件名” 设置为盈利订单选择文件 “拓展名” 为xlsx [Excel 2007 and above]。点击【输出字段】右键点击【获取字段】字段成功获取后点击【确认】。同样地对亏损订单 excel 表输出组件进行上述同样的配置。2.9 执行转换将组件都配置完成后我们就可以点击启动按钮执行转换任务了。流程图中的组件上出现✔️号证明已经成功运行了。2.10 查看执行日志任务执行过程中相关的操作会记录到日志中任务执行完毕后我们可以查看执行结果及日志。2.11 查看结果点击【文件库】菜单右键根目录【刷新】即可看到得到的输出结果盈利订单和亏损订单可以右键下载到本地查看具体内容。三、实验结果输出文件内容说明盈利订单profit≥0的订单可用于进一步分析高利润产品亏损订单profit0的订单可用于追踪产品亏损的源因四、核心组件说明组件作用本实验的配置要点表输入读取数据库表配置数据源和SQL自动获取字段记录集连接多表关联选择连接类型和连接字段字段选择字段筛选与重命名移除重复的 id字段过滤记录按条件分流设置判断条件为profit≥0Excel 输出导出结果配置文件名和输出字段五、问题与解决本次实验过程中我们遇到了一个问题问题Excel 输出组件文件名未正确配置导致结果未实现分流所有数据仅生成单个默认文件导致功能失效解决方法配置两个 Excel 输出组件执行转换后仅在文件库中生成了一个名为file的表格文件分流功能未实现且系统执行逻辑异常。经检查发现编写输出组件配置时仅修改了组件的步骤名称未修改组件的输出文件名两个组件均保留了默认的file文件名导致不同分支的数据被写入了同一个文件中平台无法区分不同分支的输出。将两个输出组件的 “文件名” 分别修改为对应业务的名称后重新执行转换成功实现了数据分流两个分支的数据分别生成了独立的文件功能恢复正常。六、实验总结通过本次实验我们熟悉了助睿ETL平台的一些基本操作方法具体包括创建团队、创建项目、同步数据源、新建转换流、添加和配置组件、构建完整的转换流程图、执行转换及查看结果。掌握了表输入、记录集连接、字段选择、过滤记录、Excel输出等组件的配置方法。理解了数据处理在实际业务场景下的应用以及如何通过构建转化流实现我们的数据处理需求比如本次实验中我们就用到了多表连接左外连接、去除冗余数据、条件分流等在数据处理中的应用。相较于传统的编写SQL脚本实现数据处理助睿平台的零代码操作界面对于我们而言更加清晰友好整体的数据流向以及实现步骤都非常直观也可以快速定位和调试。