助睿实验作业1_完整版_带预留区

助睿实验作业1-订单利润分流数据加工一、实验背景1.1 实验目的本次实验旨在熟悉助睿零代码数据集成平台ETL平台的核心功能和操作方法具体包括掌握新建转换、添加组件、执行转换等基本操作流程熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法理解多表关联、数据过滤与分流处理的ETL设计思路通过本次实验学生能够独立使用助睿平台完成常见的数据加工任务为后续更复杂的数据处理场景打下基础。1.2 实验环境零代码在线实验平台本次实验使用助睿数智Uniplore作为一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能适用于数据分析教学与企业数据加工场景。产品官网为https://www.uniplore.com/ 本次实验的访问地址为 https://lab.guilian.cn/ 。数据库MySQL含订单数据和产品信息表数据准备订单表business_anaylsis.order_detail、产品表business_anaylsis.product1.3 业务场景在企业经营分析中经常需要将多张表关联起来计算利润并按利润正负对订单进行分类存储。本实验以订单利润分流为例通过零代码拖拽方式完成这一数据处理任务。1.4 数据加工流程订单明细表与产品信息表进行左外连接移除重复字段按利润是否大于等于零进行分流最后分别输出盈利订单和亏损订单到两个Excel文件。二、实验步骤3.1 登录实验平台在贵兰在线对应的课程学习页面点击“实验课1助睿ETL入门实验”点击课程实训说明中的”大数据实训l平台”即可前往实验地址https://lab.guilan.cn/从贵兰在线进入实验平台可以自动登录登录成功后进入实验平台首页3.2 基本概念了解是什么助睿一站式大数据平台中的数据集成平台通过可视化方式做数据ETL抽取、转换、加载。概念说明Pipeline转换面向数据流处理数据的一个功能单元由多个Transform组成Workflow作业面向任务完成一件完整的事由多个Action组成必须包含开始项Transform步骤转换内的最小单元如Excel输入、字段选择每个步骤独立线程运行Action任务项作业的执行单位如启动、发送邮件Hops节点连接数据传输通道连接步骤或任务项3.3 团队管理在该环节我已成功加入组长创建的小组方便后续团队实验作业的管理。进入实验平台后选择“数据集成/ETL”进入数据集成页面。组长点击“团队管理”菜单并点击“新增团队”创建小组。创建成功后组长点击团队卡片右上角的“更多”选择“添加成员”。组长通过输入我的手机号查询到我的账号勾选后点击“添加”我便成功加入了小组。3.4 创建实验项目在“我的项目”页面点击“新建项目”按钮。 在弹出的窗口中输入项目名称例如助睿ETL入门实验3点击“确定”。 创建成功后新项目会以卡片形式显示在数据集成页面中。3.5 同步数据源项目创建成功后点击该项目右上角“...”点击“打开项目”左侧有3个菜单资源库、文件、元数据资源库用于对工作流的管理包括新建、删除、修改、查看工作流的信息导出导入工作空间调度管理等操作文件库用于保存工作流中需要用到的文件和工作流产生的文件元数据管理是数据集成的重要基石可以为工作流定义“运行配置”、“数据库”、“flink集群”等配置 本次实验主要用到资源库和文件库首先获取本次的实验数据集点击“元数据”右键根“关系数据库”点击“同步数据源”切换“文件库”菜单再切换回到元数据可以看到成功同步的数据库“线上公共数据源(Readonly)”3.6 新建转换流本次实验将创建“订单利润分流处理”转换流实现订单数据与产品信息的关联并根据利润正负将数据分流为盈利订单和亏损订单分别输出到两个Excel文件。整体逻辑订单明细表 → 左外连接产品信息表 → 移除重复ID字段 → 按利润≥0分流 → 盈利订单/亏损订单分别输出各组件作用组件作用表输入订单/产品读取原始数据记录集连接按产品ID关联两表字段选择移除重复的ID字段过滤记录根据利润正负分流Excel输出分别输出盈利/亏损订单新建转换流具体操作如下 切换到资源库同样右键根目录点击“新建转换流”输入转换流名字“订单利润分流处理”点击“确定”创建成功后进入转换流设计页面转换流设计页面每次打开都是锁定状态需要解锁后才可编辑转换流点击“锁”图标进行解锁3.7 添加组件在建立转换任务后可添加相应操作组件到转换任务中。 此次实验以订单数据business_anaylsis.order_detail和产品信息数据business_anaylsis.product生成盈利订单数据和亏损订单数据为例来构建转换任务按如下顺序向转换中添加组件1添加表输入组件本次实验需要将两类数据进行合并计算所以需要添加2个表输入组件读取2个不同表的数据。 点击“组件库”由于组件库的组件数量较多可以通过关键字搜索快速获取。 在搜索输入框中输入“表输入”即可查询到“表输入”组件。将表输入组件拖拽至画布中再次拖拽表输入组件拖拽至画布中即拖拽2个表输入组件至画布中右键表输入组件点击“编辑组件”修改步骤名称中为订单_详细订单点击“确认”此时画布中的对应表输入组件被命名为“订单_详细订单”同样的另一表输入组件修改为订单_产品信息。2添加记录集连接组件使用表输入组件读取数据后需要通过记录集连接组件将表输入组件的数据进行关联。 在搜索输入框中输入“记录集连接”将记录集连接组件拖拽至画布中创建两个表输入组件到记录集连接组件的连接线如下图在建立连接线时会出现“排序需要”的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的如果接收的数据是无序的可能会造成记录连接结果出错。3添加字段选择组件两个表数据进行连接后会出现重复的字段“产品ID”。我们通过“字段选择”组件移除这个多余字段。 在搜索输入框中输入“字段选择”将字段选择组件拖拽至画布中将字段选择组件名字修改为“移除产品ID_1字段”创建记录集连接组件到字段选择组件的连接线如下图4添加过滤记录组件本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。 在搜索输入框中输入“过滤记录”将过滤记录组件拖拽至画布中创建字段选择组件到过滤记录组件的连接线如下图在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时可能有记录不满足要求导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。5添加 excel 输出组件记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置文件、数据库表。在本次实验中我们选择将记录输出到 Excel 文件中。 在搜索输入框中输入“excel 输出”将2个表输出组件拖拽至画布中2个excel 输出组件分别命名为“盈利订单”和“亏损订单”并创建过滤记录组件到两个excel 输出组件的连接线在选择连接线类型的弹窗中分别选择“True输出”和“False输出”“True输出”表示满足过滤条件的记录输出。“False输出”表示不满足过滤条件的记录输出。至此一个完整的转换任务流程构建完毕如下图所示3.8 配置组件信息组件添加完成后需要对其进行相应配置。3.8.1 表输入组件配置双击订单_详细订单表输入组件弹出组件配置页面。在数据库连接下拉框中选择已同步的“线上公共数据源(Readonly)”如下图所示点击“获取SQL查询语句”自动生成SQL查询语句。随后我们点开“线上公共数据源(Readonly)”-“表”目录下滑找到“business_anaylsis.order_detail”并点击它再点击“确定”选择对应的数据库。在系统提示弹窗中点击“确认”系统自动填写了完整的SQL查询语句点击“确认”。当自动生成的SQL语句无法满足业务需求时也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可另一个订单_产品信息表输入也参考上述配置获取“business_anaylsis.product”的SQL查询语句3.8.2 记录集连接组件配置双击记录集连接组件在下拉列表中选择需要连接的数据来源 第一个Transform选择订单_详细订单第二个Transform选择订单_产品信息连接类型选择LEFT OUTER点击第一个Transform的连接字段中的“获得连接字段”按钮即可获取表输入组件在订单_详细订单的查询到的字段。同样的获取第二个Transform的连接字段第一个Transform字段保留 produc_id第二个Transform的字段保留 id连接类型选择LEFT OUTER表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接 第一个Transform字段中除了 produc_id 外的其他字段右键点击“删除选中的行”第一个Transform字段中除了id 外的其他字段右键点击“删除选中的行”删除完后点击“确认”若删除错误可重新获取连接字段再进行删除3.8.3 字段选择组件配置通过记录集连接后我们可以发现字段produc_id与字段id内容相同只需要保留一个因此需要使用“移除产品ID_1字段”字段选择组件的移除选项移除字段 id具体操作如下 双击“移除产品ID_1字段”字段选择组件点击“移除”并点击“获取字段”在获取的字段中选中除“id”字段以外的字段右键点击“删除选中的行”可以看到字段“id”已被删除点击“确认”3.8.4 过滤记录组件配置根据业务需求需要将盈利订单和亏损订单分开存储两个订单可以使用字段利润来区分 双击“过滤记录”组件在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤如下图选择字段利润profit来作为判断字段选中“profit(Number)”后点击“确定”0作为判断条件点击“”在函数中选择“”点击“确定”点击“value”值类型选择“Integer”值输入“0”点击“确定”至此过滤条件已配置完成。3.8.5 Excel 输出组件配置将接收到的结果写入到Excel表中双击“盈利订单”excel表输出组件在配置弹窗中文件名修改为“盈利订单”选择文件拓展名“xlsx [Excel 2007 and above]”在配置弹窗中点击“输出字段”在空白表格处右键点击“获取字段”字段获取后点击“确认”“亏损订单”的excel组件也进行同样的设置3.9 执行转换组件配置完成后可执行转换任务点击启动按钮在弹出的窗口中点击“启动”执行成功3.10 查看执行日志任务执行过程中会将相关操作记录到日志中任务执行完毕后可查看执行结果及日志如下所示3.11 查看结果点击“文件库”右键根目录刷新可以看到转换任务的输出结果盈利订单和亏损订单可以右键下载查看三、实验结果输出文件内容说明盈利订单.xlsxProfit ≥ 0的订单可进一步分析高利润产品亏损订单.xlsxProfit 0的订单可用于亏损原因追踪实验成功实现了订单数据的关联与分流处理为后续的盈利分析提供了规范的数据基础。四、核心组件说明组件作用本实验配置要点表输入读取数据库表配置数据源和SQL自动获取字段记录集连接多表关联选择连接类型和连接字段字段选择字段筛选与重命名移除重复的id字段过滤记录按条件分流设置profit ≥ 0Excel输出导出结果配置文件名和输出字段五、问题与解决在本次动手实践中我主要排查并解决了以下两个问题排查难点一Excel输出组件无法获取到对应字段现象描述在最后一步配置“Excel输出”时我无论怎么点击“获取字段”按钮系统都毫无反应 。解决过程经过回溯检查前序步骤我发现根源在于“过滤记录”流向“Excel输出”的连接线类型选错了 。按照逻辑“盈利订单”必须承接条件成立的“True输出”而“亏损订单”则应该承接“False输出” 。将原来的连线删除重新拉取并选对正确的输出类型后字段列表终于成功跳出 。排查难点二输出文件“撞名”导致的任务执行崩溃现象描述在所有组件的参数都自认为配置完毕后我点击了执行转换但系统直接提示报错 。解决过程我点开配置窗口仔细核对发现两个Excel输出组件里输出文件名竟然全都保留了系统默认的“file” 。因为两个输出步骤尝试使用完全一致的文件名写入数据导致平台底层无法做区分 。我手动把它们的文件名分别重命名为“盈利订单”和“亏损订单”以作严格区分随后再次点击执行数据便顺利分流导出了 。六、实验总结总的来说这次基于助睿平台的初体验让我对ETL有了直观的认知。我不仅独立跑通了从“创建项目 - 数据源同步 - 转换流搭建 - 组件精调 - 任务执行及结果查看”的全数据加工流程 还有以下几点深刻体会1.核心技能的掌握熟练运用了“表输入”、“记录集连接”、“字段选择”、“过滤记录”以及“Excel输出”这几个关键组件的参数配置方法 。尤其是通过本次案例我真正懂得了如何在企业级业务场景中例如按利润正负分流落地多表关联和条件判断的操作 。工具视角的转变以往我认为处理海量或复杂数据必须依赖敲击大段的SQL代码或是编写复杂的脚本但这次“零代码”的拖拽玩法确实打破了我的固有印象 。效率上的显著提升这种可视化设计界面最大的优势就是“透明直观” 。数据从哪里输入、中间经历了哪些清洗和转换、最终输出到哪里整条数据链路在画布上一目了然 。这对于像我这样的初学者而言不仅极大地降低了数据处理的学习门槛还能帮助我在遇到报错时快速定位问题节点非常适合用来快速响应常见的数据加工需求 。#助睿数智 #商业数据分析 #ETL数据加工 #数据实验