助睿平台-零代码实现订单利润数据分流加工

一.实验背景1.1 实验目的本次实验旨在熟悉助睿零代码数据集成平台ETL平台的核心功能和操作方法具体包括掌握新建转换、添加组件、执行转换等基本操作流程熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法理解多表关联、数据过滤与分流处理的ETL设计思路通过本次实验学生能够独立使用助睿平台完成常见的数据加工任务为后续更复杂的数据处理场景打下基础。1.2 实验环境助容零代码在线实验平台https://lab.guilian.cn/本次实验使用助睿数智Uniplore是AI驱动的一站式数据科学平台。该平台覆盖从数据接入、ETL处理、机器学习建模到可视化展示的全链路零代码功能适用于数据分析教学与企业数据加工场景。产品官网为https://www.uniplore.com/数据库MySQL含订单数据和产品信息表数据准备订单表business_anaylsis.order_detail、产品表business_anaylsis.product1.3 业务场景在企业经营分析中经常需要将多张表关联起来计算利润并按利润正负对订单进行分类存储。本实验以订单利润分流为例通过零代码拖拽方式完成这一数据处理任务。1.4 数据加工流程本次ETL转换的核心逻辑是两表关联 → 去重 → 分流 → 分别导出。具体流程如下读取数据使用两个“表输入”组件分别读取数据库中的订单详情表和产品信息表。关联表通过“记录集连接”组件以product_id订单表和id产品表为连接字段进行左外连接LEFT OUTER JOIN将产品名称、利润等信息合并到订单数据中。字段清理连接后会产生product_id和id两个重复字段使用“字段选择”组件移除多余的id字段。数据分流利用“过滤记录”组件根据profit利润字段的值进行判断条件profit ≥ 0 → 输出到“盈利订单”分支。条件profit 0 → 输出到“亏损订单”分支。结果输出将两个分支的数据分别通过“Excel输出”组件保存为盈利订单.xlsx和亏损订单.xlsx文件存放在项目的文件库中。实验内容1.创建实验项目平台提供默认项目可以使用默认项目进行实验但为了方便管理可以为课程创建专属项目。选择创建的项目所属团队为 “商业数据分析小组”也可以是个人。点击 “新建项目”输入项目名称后点击 “确定”创建成功后即可在数据集成页面看到新创建的项目2.数据资源获取项目创建成功后点击该项目右上角 “..”点击 “打开项目”在项目页面可以看到左侧有 3 个菜单资源库、文件、元数据资源库用于对工作流的管理包括新建、删除、修改、查看工作流的信息导出导入工作空间调度管理等操作文件库用于保存工作流中需要用到的文件和工作流产生的文件元数据管理是数据集成的重要基石可以为工作流定义 “运行配置”、“数据库”、“flink 集群” 等配置本次实验主要用到资源库和文件库首先获取本次的实验数据集点击 “元数据”右键根 “关系数据库”点击 “同步数据源”切换 “文件库” 菜单再切换回到元数据可以看到成功同步的数据库 “线上公共数据源 (Readonly)”3.新建转换流本次实验将创建 “订单利润分流处理” 转换流实现订单数据与产品信息的关联转换并根据利润正负将数据分为盈利订单和亏损订单分别输出到两个 Excel 文件。整体逻辑订单明细表 → 左外连接产品信息表 → 移除重复 ID 字段 → 按利润 0 分流 → 盈利订单 / 亏损订单分别输出各组件作用表输入订单 / 产品记录集连接字段选择过滤记录Excel 输出新建转换流具体操作如下切换到资源库同样右键根目录点击 “新建转换流”输入转换流名字 “订单利润分流处理”点击 “确定”创建成功后进入转换流设计页面转换流设计页面每次打开都是锁定状态需要解锁后才可编辑转换流点击图标进行解锁4.组件下面以订单数据business_analysis.order_detail和产品信息数据business_analysis.product生成盈利订单数据和亏损订单数据为例来构建转换任务1添加表输入组件本次实验需要将两类数据进行合并计算所以需要添加 2 个表输入组件读取 2 个不同表的数据。点击 “组件库”由于组件库的组件数量较多可以通过关键字搜索快速获取在搜索输入框中输入 “表输入”即可查询到表输入组件将表输入组件拖拽至画布中再次拖拽表输入组件拖拽至画布中即拖拽 2 个表输入组件至画布中右键表输入组件点击 “编辑组件”修改步骤名称为 “订单 - 详细订单”点击确认此时画布中的对应表输入组件被命名为 “订单 - 详细订单”同样的另一表输入组件修改为 “订单 - 产品信息”双击订单_详细订单表输入组件弹出组件配置页面。在数据库连接下拉框中选择已同步的 “线上公共数据源 (Readonly)”。点击 “获取 SQL 查询语句”自动生成 SQL 查询语句。点开 “线上公共数据源 (Readonly)”-“表” 目录下滑找到business_anaylsis.order_detail并点击它再点击 “确定”。在系统提示弹窗中点击 “确认”。系统自动填写了完整的 SQL 查询语句点击 “确认”。当自动生成的 SQL 语句无法满足业务需求时也可以通过在文本框输入自定义 SQL 语句。表输入组件的其他配置参数保持默认即可。另一个订单_产品信息表输入也参考上述配置获取business_anaylsis.product的 SQL 查询语句。记录集连接组件使用表输入组件读取数据后需要通过记录集连接组件将表输入组件的数据进行关联。在搜索输入框中输入 “记录集连接”将记录集连接组件拖拽至画布中创建两个表输入组件到记录集连接组件的连接线在建立连接线时会出现 “排序需要” 的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的如果连接接收数据是无序的可能会造成记录连接结果出错。双击记录集连接组件在下拉列表中选择需要连接的数据来源第一个 Transform 选择订单_详细订单第二个 Transform 选择订单_产品信息连接类型选择LEFT OUTER点击第一个 Transform 的连接字段中的 “获得连接字段” 按钮即可获取表输入组件在订单详细订单的查询到的字段。同样的获取第二个 Transform 的连接字段。第一个 Transform 字段保留produc_id第二个 Transform 的字段保留id连接类型选择LEFT OUTER表示使用订单_详细订单的字段produc_id与订单_产品信息的字段id进行左外连接。第一个 Transform 字段中除了produc_id外的其他字段右键点击 “删除选中的行”第二个 Transform 字段中除了id外的其他字段右键点击 “删除选中的行”。删除完后点击 “确认”若删除错误可重新获取连接字段再进行删除。3添加字段选择组件两个表数据进行连接后会出现重复的字段如产品 ID我们可以通过 “字段选择” 组件移除这个多余字段。在搜索输入框中输入 “字段选择”将字段选择组件拖拽至画布中将字段选择组件名字修改为 “移除产品 ID 字段”创建记录集连接组件到字段选择组件的连接线通过记录集连接后字段produc_id与字段id内容相同只需要保留一个因此需要使用 “移除产品 ID-1 字段” 字段选择组件的移除选项移除字段id具体操作如下双击 “移除产品 ID-1 字段” 字段选择组件点击 “移除”并点击 “获取字段”。在获取的字段中选中除id字段以外的字段右键点击 “删除选中的行”。可以看到字段id已被删除点击 “确认”。4添加过滤记录组件本次实验是根据订单的利润情况对订单进行分流。使用 “过滤记录” 组件可以根据记录中某个字段的值进行记录分流。在搜索输入框中输入 “过滤记录”将过滤记录组件拖拽至画布中创建字段选择组件到过滤记录组件的连接线在选择连接线的弹窗中点击 “主输出步骤”由于在进行字段选择操作时可能有记录不满足要求导致数据被通过该连接线主输出步骤表示不满足要求的记录通过该连接线输出数据。根据业务需求需要将盈利订单和亏损订单分开存储两个订单可以使用字段利润来区分。双击 “过滤记录” 组件在的弹窗中下拉列表中选择将结果发送给不同的后续处理步骤。选择字段利润profit来作为判断字段选中 “profit(Number)” 后点击 “确定”。0作为判断条件点击 “-”在函数中选择 “”点击 “确定”。点击 “Value”值类型选择 “Integer”值输入 “0” 点击 “确定”。至此过滤条件已配置完成点击 “确认”。5添加 Excel 输出组件记录经过 “过滤记录” 组件后会被分成 2 个记录流。我们可以根据业务需求将 2 个记录流输出到指定位置文件 / 数据库表。在本次实验中我们将 2 个记录流输出到 Excel 文件中。在搜索输入框中输入 “Excel 输出”将 2 个表输出组件拖拽至画布中2 个 Excel 输出组件分别命名为 “盈利订单” 和 “亏损订单”将 “过滤记录” 组件分别连接到两个 Excel 输出组件中此时在创建的线的选择中分别选择 “true 输出” 和 “false 输出”true 输出表示满足过滤条件的记录输出false 输出表示不满足过滤条件的记录输出将接收到的结果写入到 Excel 表中双击 “盈利订单” Excel 表输出组件在配置弹窗中文件名修改为 “盈利订单”选择文件扩展名.xlsx。在配置弹窗中点击 “输出字段”在空白表格处右键点击 “获取字段”。字段获取后点击 “确认”。“亏损订单” 的 Excel 组件也进行同样的设置。执行转换任务组件配置完成后可执行转换任务点击画布上方的启动按钮播放图标。在弹出的 “执行转换” 窗口中直接点击启动即可保持默认配置。等待任务执行画布上的组件会依次高亮执行完成后显示成功状态。5.查看执行结果和日志任务执行过程中平台会自动记录操作日志执行完成后可通过以下方式查看详情·日志面板在界面下方的 “日志” 标签页中可以看到完整的执行过程信息包括每个组件的启动、结束时间和数据处理记录。步骤度量在 “步骤度量” 标签页中能直观看到每个组件的输入 / 输出记录数、执行时长、状态等关键指标方便排查性能问题。查看输出结果文件任务执行成功后生成的 Excel 文件会保存在项目的文件库中点击左侧导航栏的文件库右键根目录选择 “刷新”。可以看到本次任务生成的两个文件盈利订单.xlsx 和 亏损订单.xlsx。右键目标文件选择 “下载” 即可保存到本地查看。1.盈利订单2.亏损订单问题与解决问题1Excel输出获取不到字段现象配置Excel输出组件时点击“获取字段”按钮没有反应。原因过滤记录组件到Excel输出组件的连接线类型选错了。盈利订单应连接“True输出”满足条件亏损订单应连接“False输出”不满足条件。解决方法删除错误的连接线重新建立连接并正确选择对应的输出类型True/False之后“获取字段”恢复正常。问题2Excel输出组件因文件名相同导致执行报错现象配置完两个Excel输出组件后执行转换系统报错。原因两个组件的默认输出文件名都是“file”没有修改。两个输出步骤使用了相同的文件名导致平台无法区分不同的输出目标。解决方法将“盈利订单”和“亏损订单”两个Excel输出组件的“文件名”参数分别修改为“盈利订单”和“亏损订单”然后重新执行转换任务成功。实验总结通过本次“助睿ETL入门实验”我成功完成了从数据库读取多表数据、进行关联转换、按条件分流并输出到不同文件的全流程操作。主要收获如下掌握了Uniplore平台ETL基础操作熟练使用了“表输入”、“记录集连接”、“字段选择”、“过滤记录”、“Excel输出”五个核心组件理解了从数据源到目标输出的完整转换流构建方法。理解了数据分流处理的实现逻辑学会了利用“过滤记录”组件对数据流进行条件分支处理这是实现复杂业务规则如正负订单分离、异常数据剔除的关键技术。提升了问题排查能力实验中遇到了“Excel输出获取不到字段”和“同名文件导致执行报错”两个真实问题。通过检查组件连接线类型、修改不同输出文件名解决了问题加深了对组件间数据流向和平台执行机制的理解。本次实验为后续更复杂的数据清洗、转换及数据分析任务打下了良好的实践基础。