GELab-Zero：面向 Android 的开源移动端 GUI Agent，让 AI 像人一样用手机

GELab-Zero面向 Android 的开源移动端 GUI Agent让 AI 像人一样用手机一、项目介绍什么是 GELab-Zero二、移动端 GUI Agent 的技术难点三、项目亮点GELab-Zero 值得学习的地方1. 模型和基础设施一起开源2. 本地运行适合关注隐私的场景3. 基于视觉理解真实屏幕4. 任务轨迹可记录、可复盘5. 支持 MCP Server 和多设备管理四、示例演示从任务看 Agent 能力五、AndroidDaily一款贴近日常生活的自建基准测试六、快速上手思路1. 准备 Python 环境2. 准备模型推理服务3. 准备 Android 设备4. 克隆项目并运行示例5. 可选启动轨迹可视化七、适合哪些人学习八、需要注意的限制九、总结十、参考内容在大模型走向 Agentic智能体的过程中模型能力不再只停留在“回答问题”而是开始进入“理解任务、观察环境、执行动作”的阶段。移动端 GUI Agent 正是这个方向里很值得关注的一类它尝试让 AI 像用户一样看手机界面再通过点击、输入、滑动等动作完成任务。手机场景足够真实也足够复杂。外卖、出行、支付、社交、购物、内容消费等高频任务都发生在移动端。只要从 Demo 进入真实手机和真实 App设备连接、权限配置、ADB 调试、模型推理服务、任务录制回放、多设备调度都会变成绕不开的工程问题。GELab-Zero 的价值就在于把模型、设备控制、任务执行和轨迹回放这些环节整合到一个开源项目里让开发者可以更专注于 Agent 策略和真实应用体验。GitHub 仓库https://github.com/stepfun-ai/gelab-zero项目主页https://opengelab.github.io/index_zh.html一、项目介绍什么是 GELab-ZeroGELab-Zero 是阶跃星辰 StepFun GELab 团队开源的移动端 GUI Agent 项目主要面向 Android 手机上的真实 App 操作场景。从官方 README 来看项目由两部分组成GELab-Zero-4B-preview一个可在本地计算机运行的 4B GUI Agent 模型。Plug-and-Play 推理基础设施负责处理 ADB 连接、依赖安装、任务执行、轨迹记录与回放等工程问题。这意味着 GELab-Zero 不是单纯开源一个模型权重而是把“模型看懂屏幕”到“真实手机执行动作”的链路一起开放出来。官方 README 中提到它提供了类似开源 GUI Agent MCP 的一键启动体验可以完全本地部署并将整个推理流程放在用户可控的环境中。具体能力可以概括为四点本地部署支持在消费级硬件上运行 4B 规模模型兼顾低延迟和隐私控制。一键启动提供统一部署管道自动处理环境依赖和设备管理。任务分配可以将任务分发到多部手机上并记录交互轨迹便于观察和复现。三种代理模式覆盖 ReAct 循环、多代理协作和计划任务等工作模式。可以把它理解成一个面向 Android 的 Phone Use Agent 框架用户给出自然语言任务系统获取手机截图多模态模型理解当前界面并规划下一步动作执行框架再通过 ADB 把点击、输入、滑动、等待等操作落到真实设备上。一个典型任务大致会经历这些环节输入自然语言任务例如“在淘宝找一双 37 码白色帆布鞋价格不超过 100 元并收藏第一个商品”。通过 ADB 获取手机当前截图。多模态模型结合任务目标、屏幕截图和历史轨迹判断下一步动作。执行框架将模型输出的动作发送到 Android 设备。每一步截图、动作和日志都会被记录用于后续复盘和调试。从 Hugging Face 模型页可以看到GELab-Zero-4B-preview属于 Image-Text-to-Text 模型模型规模为 4B页面显示 base model 为Qwen/Qwen3-VL-4B-Instruct。这类模型能够接收屏幕截图和文本任务输出与界面操作相关的决策是 GUI Agent 能跑起来的核心基础。二、移动端 GUI Agent 的技术难点让 AI 操作手机表面上像是“截图 点击 输入”实际难点在于连续、真实、不可控的移动环境。学习 GELab-Zero 时可以重点关注下面几个问题。移动生态碎片化。不同品牌、系统版本、屏幕尺寸和 App 版本都会影响界面布局。一个按钮在某台手机上可能在底部在另一台手机上可能被弹窗挡住App 一次改版也可能让原本稳定的流程失效。任务链路长。购物、打车、订票、点外卖通常不是一次点击完成而是包含搜索、筛选、判断、确认、等待加载、处理弹窗等多个步骤。Agent 需要根据每一步屏幕反馈持续调整策略。状态不可控。真实 App 里经常会遇到登录态失效、广告弹窗、网络卡顿、页面懒加载、推荐内容变化等情况。对 GUI Agent 来说这些都不是异常边角料而是真实使用中经常出现的环境变量。工程基础设施重。阿里云开发者社区相关文章也提到移动端 GUI Agent 要真正跑通需要处理多设备 ADB 连接、依赖安装、权限配置、推理服务部署、任务编排与回放等问题。GELab-Zero 选择把这些基础设施封装起来本质上是在降低研究和实践门槛。三、项目亮点GELab-Zero 值得学习的地方1. 模型和基础设施一起开源很多 GUI Agent 项目只开放模型或者只开放一个演示 Demo。GELab-Zero 比较有学习价值的一点是模型和运行基础设施一起给出。官方仓库中包含客户端、服务端、前端、工具、示例、MCP Server、可视化等模块。对于想研究 GUI Agent 的开发者来说它不仅能看模型能力也能观察一个真实移动端 Agent 系统如何组织设备控制、任务执行和日志回放。AIBase 的报道也提到GELab-Zero 关注本地部署、轻量推理、一键启动、多设备任务分发以及交互轨迹记录。这些能力更偏工程落地而不是单纯模型展示。2. 本地运行适合关注隐私的场景移动端 Agent 会读取手机屏幕而手机屏幕里可能出现聊天记录、订单、位置、联系人、支付页面等敏感信息。如果所有截图都必须发给云端模型很多真实场景会有隐私顾虑。GELab-Zero-4B-preview 的定位是可在本地计算机运行配合本地推理服务使用可以降低敏感数据外传风险。这也是移动端 Agent 和普通 Chatbot 不同的地方Chatbot 主要处理用户主动输入的文本而 GUI Agent 会观察整个屏幕环境。本地推理、日志脱敏和可控执行链路都会成为后续落地时需要重点考虑的方向。3. 基于视觉理解真实屏幕GELab-Zero 主要从屏幕截图出发让模型根据视觉信息理解界面再输出动作。这种方式和依赖 HTML、辅助树或 App 内部 API 的方案不同。后者在特定环境里可能更稳定但需要更多适配视觉方案更接近人类操作手机的方式看到页面、理解语义、决定下一步点哪里。需要注意的是视觉理解并不等于脱离设备接口。真正执行动作仍然需要 ADB。更准确地说GELab-Zero 是“视觉理解 ADB 执行 轨迹记录”的组合。4. 任务轨迹可记录、可复盘真实 Agent 开发里任务失败后最需要回答的问题是到底是哪一步错了GELab-Zero 会记录每一步截图、动作和模型输出并支持通过 Streamlit 可视化查看轨迹。每次任务会生成一个 session ID可以用来回看完整执行过程。这对调试很关键。开发者可以判断模型是误读了按钮、点击坐标偏了、页面等待不够还是历史上下文过长导致策略漂移。对于长链路 Agent 来说轨迹记录几乎是必备能力。5. 支持 MCP Server 和多设备管理官方 README 显示GELab-Zero 已支持 MCP Server用于多设备管理和任务分发。这说明它不只是单机单设备 Demo也在往更工程化的方向发展。多台手机统一调度、任务分发、执行记录和失败复盘都是移动端 Agent 从实验走向真实应用时需要补上的能力。四、示例演示从任务看 Agent 能力官方演示中GELab-Zero 覆盖了多商品购物、条件搜索、信息检索、在线答题等任务。这里保留两个比较典型的例子便于从任务形态理解它的能力边界。示例一多商品购物这个任务要求 Agent 在外卖/零售类 App 中购买多种不同规格商品。它不是简单地点击某个按钮而是要完成搜索、识别商品、加入购物车、判断数量等多个动作。从技术角度看这类任务能体现 GUI Agent 对“长链路操作”的处理能力每一步都要依赖当前屏幕状态不能完全写成固定脚本。GELab-Zero_多商品购物演示示例二条件搜索这个任务要求 Agent 根据颜色、尺码、价格等约束筛选商品并收藏符合条件的结果。它更像真实用户的模糊需求目标不是“点击第几个按钮”而是“找到符合条件的结果”。Agent 需要理解约束条件也要在搜索结果页面中持续判断哪些信息与任务目标相关。GELab-Zero_条件搜索演示这两个示例都说明移动端 GUI Agent 的关键不只是动作执行而是把“任务目标、视觉观察、历史上下文、下一步动作”串成一个连续决策过程。五、AndroidDaily一款贴近日常生活的自建基准测试GELab-Zero 还配套提出了 AndroidDaily一个面向真实日常移动场景的基准测试。很多 GUI Agent Benchmark 更偏生产力场景比如邮件、文档、浏览器。但普通用户在手机上最常做的事情其实是外卖、打车、购物、支付、社交、内容消费等生活服务任务。AndroidDaily 正是围绕这些场景构建。官方资料显示它包含静态测试3146 个动作给出任务描述和逐步截图要求模型预测每一步动作类型和值。端到端测试235 个任务在真机或模拟器环境中从头到尾执行以整体任务成功率评估。场景分布包括出行、购物、社交通讯、内容消费、本地服务等。官方 README 给出的 AndroidDaily 静态测试结果中GELab-Zero-4B-preview的准确率为0.734。作为对比GPT-4o 为0.196Gemini-2.5-pro-thinking 为0.366UI-TARS-1.5 为0.470。模型AndroidDaily 静态测试准确率GPT-4o0.196Gemini-2.5-pro-thinking0.366UI-TARS-1.50.470GELab-Zero-4B-preview0.734官方 README 还提到GELab-Zero-4B-preview在 AndroidWorld 测试中达到75.86%的成功率。这个结果说明它的价值不只在静态截图理解也体现在真实移动任务的端到端执行能力上。AndroidDaily 的意义不只是刷榜而是把 GUI Agent 的评估拉回真实生活能不能真的完成用户每天会遇到的复杂、多步骤、有约束的移动端任务。六、快速上手思路如果只是学习和体验可以先按官方推荐流程跑通最小闭环模型服务、Android 设备、示例任务、轨迹可视化。1. 准备 Python 环境官方建议 Python 3.12并推荐使用 Miniforge / Conda。conda create-ngelab-zeropython3.12-yconda activate gelab-zero2. 准备模型推理服务个人用户可以优先尝试 Ollamapipinstallhuggingface_hub hf download --no-force-download stepfun-ai/GELab-Zero-4B-preview --local-dir gelab-zero-4b-preview导入 Ollamacdgelab-zero-4b-preview ollama create gelab-zero-4b-preview-fModelfile如果电脑配置较低也可以考虑量化版本但量化可能带来性能损失。3. 准备 Android 设备需要开启开发者模式和 USB 调试并安装 ADB。adb devices如果看到设备状态为device说明连接成功。4. 克隆项目并运行示例gitclone https://github.com/stepfun-ai/gelab-zerocdgelab-zero pipinstall-rrequirements.txt python examples/run_single_task_state_compress.py5. 可选启动轨迹可视化streamlit run--server.address127.0.0.1 visualization/pages/main_page.py--server.port33503浏览器访问http://localhost:33503七、适合哪些人学习GUI Agent / 多模态 Agent 研究者。GELab-Zero 提供模型、任务、运行框架和 Benchmark适合用来观察移动端 Agent 的任务建模、动作空间和评估方式。移动端自动化开发者。相比传统脚本GUI Agent 更适合处理动态界面、模糊目标和非固定流程。即使暂时不用于生产也可以作为自动化方案的补充思路。关注本地隐私 Agent 的团队。移动端任务经常涉及敏感数据本地模型和本地执行链路能提供更强的数据控制能力。想学习开源项目工程结构的开发者。这个项目不仅有模型也有设备管理、任务执行、可视化、MCP Server 等模块适合作为移动端 Agent 工程化案例来拆解。八、需要注意的限制GELab-Zero 很有价值但不应被理解成“装上就能稳定替代真人”的万能工具。当前仍需注意主要面向 Android需要 ADB 和 USB 调试环境。真实 App 的弹窗、登录态、网络波动会影响执行稳定性。涉及支付、下单、隐私数据的任务要谨慎建议先在测试账号中运行。量化能降低部署成本但可能影响模型判断质量。GUI Agent 是连续决策系统一步误判可能影响后续整条轨迹因此日志和回放非常关键。九、总结GELab-Zero 的意义不只是开源一个 4B GUI Agent 模型而是把“看懂屏幕”到“操作真机”之间的工程链路补上了。从学习角度看它值得关注的地方有三点看模型如何理解手机截图并生成动作。看工程框架如何连接 ADB、设备、任务和轨迹回放。看 AndroidDaily 这类 Benchmark 如何把 GUI Agent 评估拉回真实生活任务。移动端 Agent 真正难的不是做一个漂亮 Demo而是让系统能连接真机、执行真实任务、记录全过程、失败可回放、策略可迭代。如果你正在关注 GUI Agent、Computer Use、Phone Use Agent或者想探索“AI 像人一样操作手机”的真实落地方式GELab-Zero 值得作为一个开源项目认真学习。十、参考内容GELab-Zero GitHub 仓库https://github.com/stepfun-ai/gelab-zeroGELab-Zero 中文 READMEhttps://github.com/stepfun-ai/gelab-zero/blob/main/README_CN.mdGELab-Zero 项目主页https://opengelab.github.io/index_zh.htmlGELab-Zero-4B-preview Hugging Face 模型页https://huggingface.co/stepfun-ai/GELab-Zero-4B-previewAndroidDaily 数据集https://huggingface.co/datasets/stepfun-ai/AndroidDailyStep-GUI Technical Reporthttps://arxiv.org/abs/2512.15431GELab-Engine 论文https://arxiv.org/abs/2512.02423AIBase 报道https://www.aibase.com/news/23245阿里云开发者社区文章https://developer.aliyun.com/article/1691104AI 分享圈介绍https://aisharenet.com/en/gelab-zero/界面新闻快讯https://m.jiemian.com/article/13704176.html科创板日报快讯https://www.cls.cn/detail/2215707