UFO：Windows操作系统的具象智能代理

        近年来，随着AI技术的发展，智能代理在各种应用中扮演着越来越重要的角色。微软推出的UFO（User-Focused Operator）正是这样一个出色的多代理框架，旨在通过无缝导航和操作，满足用户在Windows操作系统中跨多个应用程序的需求。今天，我将为大家介绍UFO的架构、功能亮点以及如何开始使用这个强大的工具。

https://github.com/microsoft/UFO

框架概述

UFO作为一个多代理框架，主要包含以下几个组件：

1. HostAgent 🤖：负责选择适合用户请求的应用程序。当请求跨越多个应用时，它还可以在完成部分任务后切换应用。

2. AppAgent 👾：在选定的应用程序内迭代执行操作，直至任务成功完成。

3. 应用自动化器 🎮：负责将HostAgent和AppAgent的行动翻译为与应用程序的交互，包括UI控件、原生API或AI工具的使用。

这两个代理利用GPT-Vision的多模态能力来理解应用界面并完成用户的请求。更详细的技术内容可以参考官方的技术报告和文档。

最新动态

官方一直致力于不断改进和优化UFO，以提供更高效的用户体验。以下是最近的一些更新和重要新闻：

• 2024-09-08：发布v1.1.0版本！此版本允许UFO点击应用程序的任意区域，并将其延迟减少至原来的三分之一。

• 2024-07-06：发布v1.0.0版本！详细文档已上线，欢迎大家贡献和反馈。

• 2024-06-28：官方激动地宣布，UFO的官方介绍视频已在YouTube上线！

• 2024-05-21：官方在GitHub上达到了5000颗星！✨

详细的更新日志请参考官方的技术文档，每一次更新都包含许多新功能和改进，从HostAgent重构到支持Google Gemini推理引擎，再到支持自定义用户代理等，让UFO变得更强大和易用。

媒体报道

UFO发布以来，受到了广泛的媒体关注。以下是部分媒体报道的标题和评价：

• Microsoft的UFO带来了更智能的Windows体验

• UFO & GPT-4-V：让GPT接管一切

• AI PC - 计算机的未来？微软的UFO

• 下一代智能版Windows要来了？微软推出首个Windows Agent，命名为UFO！

这些报道展示了UFO如何革新技术前沿以及其对多平台的影响。

功能亮点

UFO具有许多突出的功能：

1. Windows首个智能代理：UFO是首个能够将自然语言用户请求翻译为在Windows操作系统上可执行操作的智能代理框架。

2. 专家代理：通过从多种异构源（包括离线帮助文档、在线搜索引擎和人类示范）进行检索增强生成（RAG），使UFO成为应用程序的“专家”。

3. 丰富的技能集：UFO具备多种技能，支持全面的自动化操作，包括鼠标、键盘、原生API和“Copilot”。

4. 交互模式：UFO能够在一个会话内处理用户的多个子请求，实现复杂任务的无缝完成。

5. 代理定制化：用户可以通过提供附加信息，自定义自己的代理。代理在需要时会主动查询用户详细信息，以便更好地调整其行为。

6. 可扩展的AppAgent创建：UFO提供扩展性，允许用户和应用开发者以简单且可扩展的方式创建自己的AppAgent。

如何开始

步骤1：安装

UFO需要Python 3.10或更高版本，并运行在Windows 10及以上的操作系统上。您可以通过以下命令进行安装：

# 创建conda环境（可选）# conda create -n ufo python=3.10# conda activate ufo
# 克隆仓库git clone https://github.com/microsoft/UFO.gitcd UFO# 安装依赖pip install -r requirements.txt# 如果您想使用Qwen作为LLM，请取消注释相关库。

步骤2：配置LLM

在运行UFO之前，您需要为HostAgent和AppAgent分别提供LLM配置。您可以通过复制ufo/config/config.yaml.template并编辑相应的配置，创建您自己的ufo/config/config.yaml文件：

OpenAI:  VISUAL_MODE: True,  # 是否使用视觉模式  API_TYPE: "openai",  # API类型  API_BASE: "https://api.openai.com/v1/chat/completions",  # OpenAI API端点  API_KEY: "sk-",  # OpenAI API密钥  API_VERSION: "2024-02-15-preview",  # 默认版本  API_MODEL: "gpt-4-vision-preview",  # 唯一的OpenAI模型
Azure OpenAI (AOAI):  VISUAL_MODE: True,  # 是否使用视觉模式  API_TYPE: "aoai",  # API类型  API_BASE: "YOUR_ENDPOINT",  # AOAI API地址  API_KEY: "YOUR_KEY",  # AOAI API密钥  API_VERSION: "2024-02-15-preview",  # 默认版本  API_MODEL: "gpt-4-vision-preview",  # 唯一的OpenAI模型  API_DEPLOYMENT_ID: "YOUR_AOAI_DEPLOYMENT",  # AOAI API部署ID

您还可以为每个代理配置非视觉模型（如GPT-4），通过设置VISUAL_MODE: False和适当的API_MODEL。另外，您可以在BACKUP_AGENT字段中设置备用语言模型引擎，以防主引擎在推理过程中失败。

步骤3：RAG的附加设置（可选）

如果您想增强UFO的外部知识调取功能，可以在ufo/config/config.yaml文件中配置外部数据库用于检索增强生成（RAG）：

• 离线帮助文档：使UFO能够从离线帮助文档中检索信息。

• 在线Bing搜索引擎：利用最新的在线搜索结果增强UFO的能力。

• 自我经验：将任务完成轨迹保存到UFO的内存中，以供将来参考。

• 用户演示：通过用户演示提升UFO的能力。

步骤4：启动UFO

<|diff_marker|> ADD A1000 在Windows命令行（CLI）中执行以下命令以启动UFO：​​​​​​​

# 假设您在克隆的UFO文件夹中python -m ufo --task <your_task_name>

这将启动UFO进程，您可以通过命令行界面与之交互。如果一切正常，您将看到以下提示：

欢迎使用UFO🛸，Windows操作系统交互的UI专注代理。 _   _  _____   ___| | | ||  ___| / _ \| | | || |_   | | | || |_| ||  _|  | |_| | \___/ |_|     \___/请输入要完成的请求🛸：

步骤5：执行日志

您可以在以下文件夹中找到截屏和请求&响应日志：

./ufo/logs/<your_task_name>/

这些日志可用于调试、重播或分析代理输出。

获取帮助

若需帮助，请首先查阅官方的文档。若仍有疑问，您可以在GitHub Issue上提问或通过邮件联系[e-mail]。

评价

请参考官方技术报告附录A中的WindowsBench部分。以下是一些有助于完成请求的提示：

• 在UFO执行请求之前，请确保目标应用程序处于活动状态（可以最小化但不能关闭）。

• 请注意，GPT-V的输出可能因相同请求而异。如果未成功完成请求，请尝试重新尝试。

引用

如果您在研究中使用了UFO，请引用官方 的论文：​​​​​​​

@article{ufo,  title={{UFO: A UI-Focused Agent for Windows OS Interaction}},  author={Zhang, Chaoyun and Li, Liqun and He, Shilin and Zhang, Xu and Qiao, Bo and  Qin, Si and Ma, Minghua and Kang, Yu and Lin, Qingwei and Rajmohan, Saravan and Zhang, Dongmei and  Zhang, Qi},  journal={arXiv preprint arXiv:2402.07939},  year={2024}}

相关项目

您也可以关注TaskWeaver，一个以编码优先的LLM代理框架，用于无缝规划和执行数据分析任务。