Open-AutoGLM二次开发完全指南：从基础架构到核心功能定制

Open-AutoGLM二次开发完全指南从基础架构到核心功能定制【免费下载链接】Open-AutoGLMAn Open Phone Agent Model Framework. Unlocking the AI Phone for Everyone项目地址: https://gitcode.com/gh_mirrors/op/Open-AutoGLMOpen-AutoGLM是一个开源的手机智能助手框架它能够以多模态方式理解手机屏幕内容并通过自动化操作帮助用户完成任务。本文将详细介绍如何对Open-AutoGLM进行二次开发包括代码结构解析、核心模块定制和实际开发案例帮助开发者快速上手并扩展其功能。开发环境搭建基础环境准备二次开发前需要准备以下环境Python 3.10及以上版本安卓设备(Android 7.0)或鸿蒙设备(HarmonyOS NEXT版本以上)支持数据传输的USB数据线开发依赖包安装开发依赖pip install -e .[dev]项目结构概览Open-AutoGLM的核心代码组织在phone_agent目录下主要包含以下模块phone_agent/ ├── __init__.py # 包导出 ├── agent.py # PhoneAgent 主类 ├── adb/ # ADB 工具 │ ├── connection.py # 远程/本地连接管理 │ ├── screenshot.py # 屏幕截图 │ ├── input.py # 文本输入 (ADB Keyboard) │ └── device.py # 设备控制 (点击、滑动等) ├── actions/ # 操作处理 │ └── handler.py # 操作执行器 ├── config/ # 配置 │ ├── apps.py # 支持的应用映射 │ ├── prompts_zh.py # 中文系统提示词 │ └── prompts_en.py # 英文系统提示词 └── model/ # AI 模型客户端 └── client.py # OpenAI 兼容客户端Open-AutoGLM项目结构示意图展示了主要模块和文件组织核心模块解析PhoneAgent主类phone_agent/agent.py是框架的核心定义了PhoneAgent类负责协调整个自动化流程初始化方法配置模型、设备和回调函数run()方法执行任务的主循环step()方法单步执行用于调试_execute_step()方法执行单个步骤包括截图、模型调用、动作解析和执行关键代码片段class PhoneAgent: def __init__( self, model_config: ModelConfig | None None, agent_config: AgentConfig | None None, confirmation_callback: Callable[[str], bool] | None None, takeover_callback: Callable[[str], None] | None None, ): self.model_config model_config or ModelConfig() self.agent_config agent_config or AgentConfig() self.model_client ModelClient(self.model_config) self.action_handler ActionHandler(...) def run(self, task: str) - str: # 任务执行主循环 self._context [] self._step_count 0 result self._execute_step(task, is_firstTrue) # ... 循环执行直到任务完成或达到最大步数设备控制模块设备控制模块根据设备类型Android/鸿蒙提供统一的接口ADB模块phone_agent/adb/目录下通过ADB命令控制Android设备HDC模块phone_agent/hdc/目录下通过HDC命令控制鸿蒙设备设备工厂phone_agent/device_factory.py根据配置选择合适的设备控制器设备连接示例代码# Android设备连接 from phone_agent.adb import ADBConnection conn ADBConnection() success, message conn.connect(192.168.1.100:5555) # 鸿蒙设备连接 from phone_agent.hdc import HDCConnection conn HDCConnection() success, message conn.connect(192.168.1.100:5555)在开发者选项中开启无线调试支持远程连接设备动作处理模块phone_agent/actions/handler.py负责解析和执行模型输出的动作支持多种操作类型操作描述Launch启动应用Tap点击指定坐标Type输入文本Swipe滑动屏幕Back返回上一页Home返回桌面Long Press长按Double Tap双击Wait等待页面加载Take_over请求人工接管(登录/验证码等)模型客户端phone_agent/model/client.py实现了与AI模型的交互支持与OpenAI兼容的API接口多模态输入文本图像思维链(Chain of Thought)解析自定义开发指南修改系统提示词系统提示词定义在phone_agent/config/目录下可根据需求修改中文提示词phone_agent/config/prompts_zh.py英文提示词phone_agent/config/prompts_en.py例如修改中文提示词增强特定应用的支持# 在prompts_zh.py中添加自定义应用描述 system_prompt f 你是一个手机自动化助手可以通过ADB控制安卓手机... 特别支持以下应用: - 我的自定义应用: 包名为com.example.myapp主要功能是... 添加新应用支持要添加对新应用的支持需修改phone_agent/config/apps.pyAndroid或phone_agent/config/apps_harmonyos.py鸿蒙# 在apps.py中添加新应用 APPS { # ... 现有应用 我的应用: { package: com.example.myapp, activity: com.example.myapp.MainActivity, version: 1.0.0, supported_actions: [Launch, Tap, Type] } }扩展动作类型首先在phone_agent/actions/handler.py中定义新动作def handle_custom_action(action: dict, width: int, height: int) - ActionResult: 处理自定义动作 # 实现动作逻辑 return ActionResult(successTrue, should_finishFalse) # 在动作处理映射中添加 ACTION_HANDLERS { # ... 现有动作 CustomAction: handle_custom_action }更新系统提示词告知模型新动作的存在和用法自定义回调函数可以通过自定义回调函数处理敏感操作确认和人工接管def my_confirmation(message: str) - bool: 敏感操作确认回调 return input(f确认执行 {message}(y/n): ).lower() y def my_takeover(message: str) - None: 人工接管回调 print(f请手动完成: {message}) input(完成后按回车继续...) agent PhoneAgent( confirmation_callbackmy_confirmation, takeover_callbackmy_takeover, )调试与测试运行测试用例项目提供了测试用例可通过以下命令运行pytest tests/单步调试模式使用examples/demo_thinking.py进行单步调试python examples/demo_thinking.py --base-url http://localhost:8000/v1 你的测试任务查看Verbose输出启用Verbose模式可以查看详细的思考过程和执行步骤agent PhoneAgent( agent_configAgentConfig(verboseTrue) )Verbose模式输出示例 思考过程: -------------------------------------------------- 当前在系统桌面需要先启动小红书应用 -------------------------------------------------- 执行动作: { _metadata: do, action: Launch, app: 小红书 } 常见问题解决设备连接问题如果adb devices无法识别设备确保已开启开发者模式和USB调试检查USB数据线是否支持数据传输重启ADB服务adb kill-server adb start-server在开发者选项中确保已开启必要的调试权限模型部署验证使用检查脚本来验证模型部署是否成功python scripts/check_deployment_cn.py --base-url http://你的IP:你的端口/v1 --model 模型名称二次开发资源官方文档docs/ios_setup/ios_setup.md示例代码examples/配置文件phone_agent/config/总结Open-AutoGLM提供了灵活的架构和丰富的接口使二次开发变得简单高效。通过修改配置文件、扩展动作类型或自定义回调函数开发者可以快速适配新的应用场景和需求。希望本文能帮助你顺利开始Open-AutoGLM的二次开发之旅如需进一步了解项目细节可以参考项目中的示例代码和详细文档或加入社区与其他开发者交流经验。【免费下载链接】Open-AutoGLMAn Open Phone Agent Model Framework. Unlocking the AI Phone for Everyone项目地址: https://gitcode.com/gh_mirrors/op/Open-AutoGLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考