ECLAIR：利用基础模型实现企业自动化

人工智能咨询培训老师叶梓 转载标明出处

尽管流程自动化的概念已经存在了几十年，但实现端到端工作流程自动化的最终愿景仍然难以捉摸。斯坦福大学的研究人员提出了一种新的解决方案——ECLAIR系统，旨在通过最少的人工监督实现企业工作流程的自动化。

ECLAIR利用多模态基础模型(FM)通过视频演示学习专业知识，根据书面文档导航GUI，并审计完成的工作流程，而传统RPA依赖于硬编码的规则和手动审计。在医院案例中，研究者发现实施RPA面临的主要挑战包括高设置成本、脆弱的执行和繁重的维护。图1 展示了RPA在医院RCM中的实施情况，包括高设置成本、执行不可靠和维护困难。这些挑战导致医院在18个月内投入大量资源，但最终未能实现预期的自动化效果。

在B2B企业案例中，研究者同样发现了高设置成本、执行不可靠和维护困难的问题。图2 描述了B2B企业在发票处理中遇到的挑战，包括长时间的开发周期和高昂的成本，以及RPA机器人在处理复杂合同和发票时的低准确率和高维护需求。

ECLAIR系统的核心在于利用多模态基础模型（FMs），如GPT-4，这些模型具有广义的推理和规划能力。ECLAIR通过以下三个阶段来实现工作流程的自动化：

1. 演示（Demonstrate） ECLAIR通过观察人类演示来学习工作流程，实验显示GPT-4能够以93%的准确率识别工作流程的步骤。Table 1显示，提供工作流程描述、关键时刻的屏幕截图和动作日志（WD+KF+ACT）时，GPT-4生成的标准操作程序（SOP）能够正确完成93%的工作流程。
2. 执行（Execute） ECLAIR必须执行一系列步骤来完成工作流程，分为动作建议和动作定位两个阶段。实验发现，通过SOP提供领域知识可以显著提高工作流程完成率。Table 2显示，使用SOP指导时，GPT-4在下一步动作建议的准确度提高到0.92，但整体工作流程完成率仅为0.40，表明模型在将建议动作与适当的GUI元素关联起来时存在困难。
3. 验证（Validate） ECLAIR需要提供多个级别的验证，包括单个步骤级别和整个工作流程级别。GPT-4在评估动作是否成功执行时表现出高精确度和召回率，但在确定哪些动作在给定GUI状态下可行时表现不佳。此外，GPT-4能够自我监控工作流程的高级属性，但仍有改进空间。Table 4显示了GPT-4在自我验证任务中的性能，包括动作执行、完整性约束、工作流程完成和工作流程轨迹的评估结果。

尽管ECLAIR在自动化企业工作流程方面展现出潜力，但仍面临一些挑战，如人机协作、验证和自我改进。研究人员提出了利用数据管理技术来解决这些问题的方法。此外，ECLAIR的成功部署需要满足一定的性能标准，这可能因工作流程的不同而有所差异。

想要掌握如何将大模型的力量发挥到极致吗？叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具（限时免费）。

1小时实战课程，您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型，以发挥其最大潜力。

CSDN教学平台录播地址：https://edu.csdn.net/course/detail/39987

论文链接：https://arxiv.org/abs/2405.03710

项目链接：https://github.com/HazyResearch/eclair-agents