ETL助睿实验入门 - 订单利润分流数据加工（保姆级步骤 + 踩坑记录）

一、实验背景1.1 实验目的本次实验的核心目标是熟悉助睿零代码数据集成平台ETL 平台的核心功能与操作方法具体来说你将掌握以下技能掌握新建转换、添加组件、执行转换等 ETL 基本操作流程熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法理解多表关联、数据过滤与分流处理的 ETL 设计思路通过本次实验你能够独立使用助睿平台完成常见的数据加工任务为后续更复杂的数据分析场景打下坚实基础。1.2 实验环境本次实验基于助睿数智Uniplore一站式数据科学实验平台完成平台定位为覆盖数据接入、ETL 处理、机器学习建模到可视化分析的全链路 Agentic 零代码数据智能平台。产品官网https://www.uniplore.com/本次实验访问地址https://lab.guilian.cn/数据库公开数据集数据准备订单明细表business_analysis.order_detail产品信息表business_analysis.product1.3 业务场景在企业经营分析场景中我们经常需要将订单明细表与产品信息表关联起来计算订单利润并按利润正负对订单进行分类存储。本次实验以订单利润分流为例通过零代码拖拽的方式完成这一数据处理任务为后续的盈利分析、亏损原因追踪提供规范的数据基础。1.4 数据加工流程订单明细表与产品信息表进行左外连接 → 移除重复字段 → 按利润是否大于等于 0 进行分流 → 分别输出盈利订单和亏损订单到两个独立的 Excel 文件中。二、实验步骤2.1 登录实验平台打开贵兰在线课程学习页面找到 “实验课 1助睿 ETL 入门实验”。点击课程实训说明中的 “大数据实训平台”访问https://lab.guilian.cn/并登录从贵兰在线进入实验平台可以自动登录登录成功后进入实验平台首页。2.2 基本概念了解助睿一站式大数据平台中的数据集成平台通过可视化方式做数据 ETL抽取、转换、加载核心概念如下表格概念说明Pipeline转换面向数据流处理数据的一个功能单元由多个 Transform 组成Workflow作业面向任务完成一件完整的事由多个 Action 组成必须包含开始项Transform步骤转换内的最小单元如 “Excel 输入”“字段选择”每个步骤独立线程运行Action任务项作业的执行单位如 “启动”“发送邮件”Hops节点连接数据传输通道连接步骤或任务项2.3 团队管理可选在该环节每个小组的组长可以创建该小组的团队方便团队实验作业的管理进入实验平台后选择数据集成 / ETL进入数据集成页面。点击 “团队管理” 菜单并点击 “新增团队”。在弹出的窗口中输入团队名称和团队描述点击 “确认”。创建成功后点击团队卡片右上角的 “更多”选择 “添加成员”输入手机号查询组员勾选后点击 “添加” 即可。个人用户可直接跳过此步骤使用默认团队即可。2.4 创建实验项目平台提供默认项目也可以为课程创建专属项目选择创建的项目所属团队为 “商业数据分析小组 1”也可以是个人。点击 “新建项目”输入项目名称如 “订单利润分流处理”点击确认。创建成功后即可在数据集成页面看到新创建的项目。在项目页面可以看到左侧有 “数据集、资源库、文件、元数据” 等菜单本次实验主要用到资源库和文件库。2.5 同步数据源首先获取本次的实验数据集点击 “元数据”右键 “关系数据库”点击 “同步数据源”。切换 “文件库” 菜单再切换回到元数据可以看到成功同步的数据库 “线上公共数据源 (read-only)”。c2.6 新建转换流本次实验将订单明细和产品信息两张表关联实现订单数据与产品信息的关联并根据利润正负将数据分流为盈利订单和亏损订单分别输出到两个 Excel 文件。切换到 “资源库”同样在根目录下右键 “新建转换流”。输入转换流名字 “订单利润分流处理”点击 “确定”。创建成功后进入转换流设计页面转换设计页面每次打开都是锁定状态需要解锁后才可编辑转换流点击右上角的解锁图标进行解锁。2.7 添加组件在建立转换任务后可添加相应操作组件到转换任务中按以下顺序向转换流中添加组件1添加两个「表输入」组件在搜索框中输入 “表输入”将组件拖拽到画布中重复两次添加两个表输入组件。双击第一个表输入组件修改名称为 “订单_详细订单”双击第二个修改为 “订单_产品信息”。2添加「记录集连接」组件在搜索框中输入 “记录集连接”将组件拖拽到画布中。创建两个表输入组件到记录集连接组件的连接线将两个表输入的输出端连接到记录集连接的输入端。3添加「字段选择」组件在搜索框中输入 “字段选择”将组件拖拽到画布中修改名称为 “移除产品 ID 字段”。创建记录集连接组件到字段选择组件的连接线。4添加「过滤记录」组件在搜索框中输入 “过滤记录”将组件拖拽到画布中。创建字段选择组件到过滤记录组件的连接线。在选择连接线的弹窗中点击 “主输出步骤”。由于在进行字段选择操作时可能有记录不满足要求导致记录数据记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。5添加两个「Excel 输出」组件在搜索框中输入 “Excel”将组件拖拽到画布中重复两次添加两个 Excel 输出组件。2 个 excel 输出组件分别命名为 “盈利订单” 和 “亏损订单”并创建过滤记录组件到两个 excel 输出组件的连接线在选择连接线类型的弹窗中分别选择 “True 输出” 和 “False 输出”“True 输出” 表示满足过滤条件的记录输出。“False 输出” 表示不满足过滤条件的记录输出。至此一个完整的转换任务流程构建完毕。三、组件配置超详细步骤3.1 表输入组件配置双击 “订单_详细订单” 表输入组件弹出配置页面。在数据库连接下拉框中选择已同步的 “线上公共数据源 (read-only)”。点击 “获取 SQL 查询语句”系统会自动生成 SQL 查询语句点击确认。打开 “线上公共数据源 (read-only)” 目录下拉找到business_analysis.order_detail并点击它再点击 “确定”。用同样的方法配置 “订单_产品信息” 组件选择business_analysis.product表获取 SQL 并确认。3.2 记录集连接组件配置双击记录集连接组件在下拉列表中第一个 Transform 选择 “订单_详细订单”第二个 Transform 选择 “订单_产品信息”连接类型选择LEFT OUTER左外连接点击第一个 Transform 的 “获得连接字段” 按钮获取订单明细表的字段同样获取第二个 Transform 的字段。配置连接条件第一个 Transform 字段选produc_id第二个 Transform 字段选id删除其余字段只保留连接字段点击确认。删除多个字段可以按crtl并同时选中多个字段右键删除3.3 字段选择组件配置双击字段选择组件点击 “移除”再点击 “获取字段”。在获取的字段中选中重复的id字段产品表的 id和订单表的produc_id重复右键删除选中的行。确认后id字段就被移除了只保留订单表的字段点击确认。3.4 过滤记录组件配置据业务需求需要将盈利订单和亏损订单分开存储两个订单可以使用字段利润来区分。双击 “过滤记录” 组件在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤如下图双击过滤记录组件配置过滤条件字段选择profit利润条件选择大于等于值输入0配置完成后过滤记录的两个输出端条件为true利润≥0连接 “盈利订单” Excel 组件条件为false利润 0连接 “亏损订单” Excel 组件点击确认过滤条件配置完成。3.5 Excel 输出组件配置双击 “盈利订单” Excel 组件在配置弹窗中文件名称修改为 “盈利订单”文件格式选择Excel 2007 and above后缀名为.xlsx点击 “输出字段”右键选择 “获取字段”系统会自动获取所有字段点击确认。用同样的方法配置 “亏损订单” 组件文件名改为 “亏损订单.xlsx”获取字段后确认。四、执行转换与查看结果4.1 执行转换所有组件配置完成后点击画布上方的「启动」按钮在弹出窗口中点击 “启动”等待转换执行完成执行成功后会显示 “执行成功” 提示。4.2 查看执行日志任务执行过程中会自动记录日志执行完成后点击「日志」按钮可以查看执行结果和报错信息确认数据读取、关联、过滤、输出的每一步是否正常。4.3 查看结果回到项目页面右键刷新文件目录可以看到转换任务生成的两个 Excel 文件盈利订单.xlsx和亏损订单.xlsx。下载文件并打开后验证数据结果盈利订单文件中所有记录的利润值均≥0亏损订单文件中所有记录的利润值均 0两张表的关联字段匹配正确无重复字段或缺失数据的情况五、问题与解决问题 1Excel 输出获取不到字段问题现象配置 Excel 输出时点击 “获取字段” 没有反应。问题原因过滤记录到 Excel 输出的连接线类型选错了盈利订单应连接 “True 输出”亏损订单应连接 “False 输出”连接错误导致没有数据流入 Excel 组件。解决方法重新创建连接线并正确选择输出端修改后获取字段恢复正常。问题 2Excel 输出组件因文件名相同导致执行报错问题现象配置完两个 Excel 输出组件后执行转换系统报错。问题原因两个组件的默认输出文件名都是 “file”没有修改导致平台无法区分两个输出文件。解决方法将盈利订单和亏损订单的 “文件名” 分别修改为 “盈利订单” 和 “亏损订单”重新执行转换后成功生成文件。问题 3记录集连接后数据为空问题现象配置记录集连接组件后后续组件获取不到数据数据为空。问题原因连接字段配置错误将订单明细表的produc_id字段写错为product_id导致关联条件不匹配。解决方法重新检查并修改连接字段确保订单明细表的字段为produc_id与产品信息表的id字段对应修改后数据恢复正常。六、实验总结通过本次实验你能完整掌握助睿数智平台零代码 ETL 的核心操作流程从数据源同步、多表关联、字段处理到数据过滤与分流输出每一步都亲自动手完成对 ETL 数据处理的逻辑有了更直观的理解。助睿数智平台的零代码可视化操作方式降低了 ETL 任务的学习门槛无需编写复杂的 SQL 语句通过拖拽组件即可完成数据处理任务组件之间的数据流向清晰可见便于理解和调试。对于初学者来说这种方式降低了学习门槛能够快速上手完成常见的数据加工任务。