字节MidScene 手机自动化

1 框架介绍Midscene 是一个可通过自然语言描述目标和步骤自动规划并操作用户界面、执行自动化的框架。框架地址https://midscenejs.com/zh/支持端Android、iOS、鸿蒙、桌面、浏览器核心特性自然语言控制跨平台自动化同时支持智能执行流程与原子化精确控制将设备暴露为 MCP 服务提供直观的可视化报告帮助开发者回溯自动化流程支持 JavaScript SDK 或 YAML 格式编写自动化脚本UI 操作采用纯视觉定位不再提供 DOM 提取兼容模式代码风格自主规划风格AI 自主规划执行流程完成任务工作流风格将复杂逻辑拆分为多个步骤以提高自动化代码的稳定性2 使用 playground 进行自动化2.1 启动命令安装依赖npx --yes midscene/android-playground2.2 环境变量配置MIDSCENE_MODEL_BASE_URLhttps://open.bigmodel.cn/api/paas/v4 MIDSCENE_MODEL_API_KEYkey MIDSCENE_MODEL_NAMEautoglm-phone MIDSCENE_MODEL_FAMILYauto-glm MIDSCENE_REPLANNING_CYCLE_LIMIT50 // 规划步骤限制2.3 playground 使用效果操作界面报告展示优点无需编写代码配置好环境后启动 playground直接在浏览器打开页面即可操作可实时在浏览器查看页面状态操作完毕后自动生成报告报告包含操作思考过程、操作元素、页面截图、录屏现存问题仅能完成简单的页面操作复杂操作如房源发布需明确告知需要填写的项目无法识别 toast 提示导致部分必填项未填写模型也无法推理出需填写该内容可能与模型相关对部分页面存在理解错误例如同意发房协议时会多次进入协议页面寻找同意按钮存在默认 plan 次数限制复杂任务可能超出限制可通过修改MIDSCENE_REPLANNING_CYCLE_LIMIT参数调整选择框交互效果差经常无法选中目标元素3 使用代码进行自动化3.1 安装依赖库安装Android自动化依赖pnpm add midscene/android --save-dev3.2 编写自动化代码import { AndroidAgent, AndroidDevice, getConnectedDevices, } from midscene/android; const sleep (ms) new Promise((r) setTimeout(r, ms)); Promise.resolve( (async () { const devices await getConnectedDevices(); const device new AndroidDevice(devices[0].udid); const agent new AndroidAgent(device, { aiActionContext: If any location, permission, user agreement, etc. popup, click agree. If login page pops, modelConfig:{ MIDSCENE_MODEL_BASE_URL:https://ark.cn-beijing.volces.com/api/coding/v3, MIDSCENE_MODEL_API_KEY:d4590433-c4fc-41f5-836a-8f1ebf8e666c, MIDSCENE_MODEL_NAME:doubao-seed-2-0-lite-260215, MIDSCENE_MODEL_FAMILY:doubao-seed, MIDSCENE_REPLANNING_CYCLE_LIMIT:100 } }); await device.connect(); await agent.aiAct(打开58同城,进入租房页面,点击发房源,点击立即发布); await agent.aiAct(小区填写北窑地小区,面积填写50,户型选择2室一厅一卫,朝向填写南,入住时间随意选择一个); await sleep(5000); await agent.aiAct(向上滑动,租金填写5000,付款方式选择年付); await agent.aiAct(向上滑动,上传一张图片); await agent.aiAct(点击我承诺前边的勾选框,点发布按钮,如果有没有填写的项目,检测后重新填写); await agent.aiAssert(进入到了认证页面); })(), );3.3 运行代码npx tsx demo.ts3.4 查看自动化报告脚本执行成功后控制台会输出报告路径Midscene - report file updated: /path/to/report/some_id.html在浏览器中打开该 HTML 文件即可回放每一步交互、查询与断言操作。