利用OpenClaw与ClawPaw将安卓手机改造为自动化智能节点

1. 项目概述将闲置安卓手机打造成自动化节点如果你手头有一台闲置的安卓手机除了偶尔当个备用机或者给孩子看动画片是不是感觉有点浪费今天分享一个我折腾了挺久的项目它能让你的旧手机“活”起来变成一个可以被远程、自动化控制的智能节点。简单来说就是通过一个叫 OpenClaw 的自动化平台配合一个手机端 App实现用自然语言指令或者预设脚本来操控你的手机完成各种任务。这个项目的核心就是klscool/clawpaw-android-control这个 Skill。你可以把它理解为一个“驱动程序”或者“适配器”它架起了 OpenClaw 大脑和你安卓手机“手”之间的桥梁。想象一下你坐在电脑前只需要说一句“帮我看看手机上有啥新通知”或者“打开微信给张三发个消息说会议推迟”电脑上的 OpenClaw 就能理解你的意图并通过这个 Skill 精准控制你的手机去执行。这对于需要多设备协同、自动化处理手机任务或者单纯想远程操控手机的场景非常实用。这个 Skill 能干的事情很全面从基础的屏幕点击、滑动、输入文字到获取截图、读取设备信息电量、位置再到需要额外授权的进阶功能比如读取通知、联系人、短信等。它支持两种连接方式一种是更稳定、管理方便的通过 OpenClaw Gateway 中心化连接另一种是更直接、适合快速测试的 HTTP 直连。无论你是想自动化日常的 App 操作比如定时打卡、自动刷资讯还是构建更复杂的多设备工作流比如手机收到特定短信后自动在电脑上记录并提醒这个工具都能提供一个坚实的技术基础。接下来我会以一个实际使用者的角度从头到尾拆解如何部署和使用这个 Skill过程中会穿插我踩过的坑和总结的经验目标是让你看完就能动手把闲置手机真正用起来。2. 核心原理与架构设计解析在开始动手之前我们有必要先搞清楚这套系统是怎么运转的。理解其背后的设计逻辑不仅能帮你更好地使用它还能在遇到问题时快速定位。整个体系可以看作一个“大脑-神经-肢体”的协作模型。2.1 三层架构OpenClaw、Skill 与 ClawPaw App整个控制链路分为清晰的三层OpenClaw大脑与决策层这是整个系统的核心“大脑”。它可能运行在你的个人电脑、服务器或者云端。它的职责是接收用户的自然语言指令比如“打开手机地图导航回家”利用大语言模型LLM理解意图并将其分解、规划成一系列具体的、可执行的操作步骤。它本身不直接操作手机而是通过调用注册在它身上的各种“Skill”技能来完成任务。clawpaw-android-control Skill神经与翻译层这就是我们本文要深入探讨的组件。它扮演着“神经中枢”和“翻译官”的角色。一方面它向 OpenClaw 注册自己声明“我能控制安卓手机”。另一方面它定义了一套 OpenClaw 能理解的、标准化的 API 接口。当 OpenClaw 决定要操作手机时就会调用这个 Skill 的相应接口。Skill 收到指令后负责将其“翻译”成 ClawPaw App 能够识别的具体协议和格式。ClawPaw App肢体与执行层这是安装在目标安卓手机上的应用程序。它作为最终的执行终端常驻在手机后台。它开放了一个服务接口通过 WebSocket 或 HTTP等待来自 Skill 的指令。一旦收到指令如{“action”: “tap”, “x”: 500, “y”: 800}App 就会调用安卓系统的无障碍服务AccessibilityService或其它系统 API在屏幕上对应的坐标执行点击操作。同时它也将手机的状态如截图、布局信息反馈回去。为什么需要 Skill 这一层直接让 OpenClaw 连接手机 App 不行吗理论上可以但那样会带来极高的耦合度。Skill 层提供了一个抽象接口让 OpenClaw 无需关心手机型号、安卓版本或具体的通信协议。未来如果换了其他手机控制方案比如用 scrcpy 的底层控制只需要换一个 Skill而 OpenClaw 的指令逻辑完全不用变。这是一种非常优雅的插件化设计。2.2 两种连接模式的深度对比与选型建议Skill 支持两种方式与 ClawPaw App 通信这对应了两种不同的部署架构选择哪种取决于你的使用场景和网络环境。模式一Gateway网关连接推荐用于生产环境这是官方推荐的方式也是更稳健、可扩展性更强的方案。工作原理ClawPaw App 主动与一个中心化的OpenClaw Gateway服务建立持久的 WebSocket 连接。你的多个手机可以同时连接到同一个 Gateway。当 OpenClaw 需要操作某个手机时它会通过 Gateway 查询在线的节点手机列表然后通过 Gateway 将指令转发给对应的手机。优点穿透内网手机可能在移动网络或家庭 WiFi主动连接到一个有公网 IP 的 Gateway解决了手机 IP 不固定、处于内网无法被直接访问的难题。集中管理可以在 Gateway 上统一查看所有在线手机的状态方便管理。更安全通常 Gateway 会提供认证机制且连接是手机主动发起的减少了在手机上暴露服务端口的风险。缺点需要额外部署和维护 Gateway 服务。模式二HTTP 直连适合本地快速测试这种方式更为直接和轻量。工作原理ClawPaw App 在手机上启动一个 HTTP 服务例如监听http://手机IP:8080。clawpaw-android-controlSkill 配置好目标手机的 IP 和端口后直接向该地址发送 HTTP 请求来发送指令。优点简单直接无需额外组件架构清晰。延迟可能更低在同局域网内点对点通信没有 Gateway 中转。缺点网络要求苛刻要求运行 OpenClaw 的主机和手机必须在同一个局域网内比如同一个 WiFi且手机需要有固定的、可被主机访问的 IP 地址。手机如果使用移动数据或切换网络连接就会中断。不便管理难以同时管理多个处于不同网络的手机。我的选型心得如果你只有一台手机和一台电脑且它们永远在同一个稳定的家庭/公司网络下只是想做一些自动化脚本HTTP 直连足够简单高效。如果你有多台手机或者手机网络环境会变化比如带出门或者希望构建一个随时可用的远程控制服务务必选择 Gateway 模式。虽然初期搭建多一步但长期来看省去了无数网络配置的麻烦。我自己的主力方案就是 Gateway手机无论在家连 WiFi 还是在外用 5G都能稳定被控制。2.3 权限模型与安全边界探讨ClawPaw App 需要申请一系列安卓权限来实现不同功能从基本的“无障碍服务”到敏感的“读取短信”、“读取联系人”。这直接关系到隐私和安全。最小权限原则App 的设计遵循了这一原则。它不是一次性要求所有权限而是根据你要使用的功能动态申请对应的权限。例如你只用到点击和截图那么只需要授予“无障碍服务”和“屏幕截图”权限即可完全不需要接触通讯录或短信。权限分类基础操作权限主要是“无障碍服务”。这是实现模拟点击、滑动、读取屏幕内容的基石。授予时系统会有明确警告这是正常流程。信息读取权限如读取通知、获取安装应用列表。这些权限在授予时系统也会明确告知。敏感数据权限如短信、联系人、日历、照片。这些权限的授予需要格外谨慎。项目文档README_PERMISSIONS.md详细列出了全部 24 项权限及其对应的功能建议在使用前仔细阅读。安全建议专用设备强烈建议使用一台不包含个人敏感信息的备用手机来运行 ClawPaw。这台手机最好只安装必要的 App不登录主要社交和金融账户。按需授权绝对不要一次性授予所有权限。先用起来当 OpenClaw 尝试执行某项需要特定权限的操作失败时再去手机设置里单独开启该项权限。网络隔离如果使用 HTTP 直连确保你的家庭网络是安全的。如果使用 Gateway确保 Gateway 服务本身有安全认证且运行在可信的环境下。理解了这些底层逻辑我们在实际部署和操作时就能做到心中有数遇到问题也知道该从哪个环节去排查。3. 环境准备与详细配置实战理论清晰了我们开始动手。这一部分我会以Gateway 连接模式为主线进行详细配置因为这是更通用的方案。同时也会涵盖 HTTP 直连模式的关键配置点。3.1 手机端ClawPaw App 的安装与核心配置首先准备好你的安卓手机Android 10建议 11。这是一切的基础。步骤 1获取与安装 App前往项目的 GitHub 仓库https://github.com/klscool/ClawPaw在 Releases 页面下载最新的 APK 安装文件。通常文件名类似clawpaw-v1.x.x.apk。将 APK 文件传输到手机并安装。安装时如果系统提示“来自未知来源”需要根据手机型号在设置中允许安装未知来源应用。步骤 2基础权限授予以小米手机为例其他品牌大同小异安装后打开 ClawPaw App你会看到一个简洁的界面显示未连接状态。首先需要授予最核心的权限。无障碍服务这是最重要的权限。在 App 内找到“开启无障碍服务”或类似按钮点击它会跳转到系统设置。在“已下载服务”或“无障碍”菜单中找到 “ClawPaw” 或 “ClawPaw Service”打开开关。系统会弹出严重警告阅读后确认开启。悬浮窗权限部分操作可能需要。在手机系统设置的“应用管理”中找到 ClawPaw进入权限管理授予“显示悬浮窗”权限。电池优化/后台常驻为了防止系统休眠杀死 ClawPaw 服务需要关闭对其的电池优化。进入系统设置 - 电池 - 电池优化或应用省电管理找到 ClawPaw设置为“不优化”或“无限制”。步骤 3配置 Gateway 连接这是让手机“上线”的关键。在 ClawPaw App 的主界面找到连接设置。通常会有一个输入框让你填写 “Gateway URL” 或 “WebSocket 地址”。这个地址就是你部署的 OpenClaw Gateway 服务的 WebSocket 地址。假设你在家里的电脑IP 为192.168.1.100上运行 Gateway且 Gateway 的 WebSocket 端口是默认的3001那么地址应填写ws://192.168.1.100:3001。如果你有公网服务器并配置了域名和 SSL则可能是wss://your-domain.com:3001。填写后保存App 会尝试连接。如果成功主界面状态会变为“已连接 Gateway”并可能显示一个唯一的节点 ID。实操心得无障碍服务开启失败的处理有时开启无障碍服务后回到 App 依然提示未开启。这通常是系统延迟或权限未及时刷新。可以尝试1) 强制关闭 ClawPaw App 再重新打开2) 在系统无障碍设置里先关闭 ClawPaw 服务再重新打开3) 重启手机。绝大多数情况下重启 App 或服务即可解决。3.2 主机端OpenClaw Gateway 的部署现在我们来部署“大脑”和“神经中枢”的连接器——Gateway。这里假设你在一个 Linux/macOS 环境或 Windows 的 WSL2 下操作。步骤 1安装 Node.js 环境Gateway 基于 Node.js需要版本 18 以上。打开终端使用node -v检查。如果没有建议通过nvmNode Version Manager安装方便管理多版本。# 安装 nvm (以 curl 方式为例) curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash # 重新打开终端或运行 source ~/.bashrc (或 ~/.zshrc) # 安装 Node.js 18 nvm install 18 nvm use 18步骤 2获取并配置 OpenClaw GatewayOpenClaw 是一个整体项目Gateway 是其中的一个组件。你需要先获取 OpenClaw 的主项目。# 克隆 OpenClaw 仓库假设你有访问权限可能需要特定方式获取 git clone openclaw-repository-url cd openclaw # 安装依赖 npm installGateway 的配置通常在一个环境变量文件或配置文件中。你需要找到 Gateway 的配置文件例如gateway/.env或config/gateway.config.js并确保其 WebSocket 服务器正确启动并监听你期望的端口如3001。配置可能涉及认证密钥请根据 OpenClaw 的具体文档进行设置。步骤 3启动 Gateway 并验证在 OpenClaw 项目目录下根据文档启动 Gateway 服务。命令可能类似npm run gateway:start # 或 cd packages/gateway node index.js启动后在终端日志中应该能看到 Gateway 服务正在监听某个端口。此时你的手机 ClawPaw App 如果配置了正确的地址应该就能连接上了。3.3 Skill 的集成与配置最后我们将clawpaw-android-control这个 Skill 安装到 OpenClaw 中让它认识你的手机。步骤 1获取 Skill 代码在你的 OpenClaw 项目目录下或你自定义的 Skills 目录克隆或下载这个 Skill。# 假设你的 Skills 放在 openclaw/skills/ 目录下 cd openclaw/skills git clone https://github.com/klscool/clawpaw-android-control.git cd clawpaw-android-control步骤 2理解配置文件Skill 目录下有一个config.yaml.template或config.yaml文件。我们需要根据连接模式来配置它。对于 Gateway 模式配置通常很简单因为手机是主动注册到 Gateway 的Skill 通过 Gateway 发现设备。你的配置可能只需要指定 Gateway 的地址或者甚至不需要额外配置Skill 会自动从 Gateway 获取节点列表。# config.yaml (Gateway 模式示例) connection: mode: gateway gateway_url: http://localhost:3000 # Gateway 的 HTTP 地址用于查询节点 # 或者 ws_url: ws://localhost:3001 # WebSocket 地址用于指令下发对于 HTTP 直连模式你需要明确指定手机的 IP 和端口。# config.yaml (HTTP 直连模式示例) devices: - name: 我的备用机 # 自定义设备名 type: android connection: mode: http_direct base_url: http://192.168.1.50:8080 # 手机 ClawPaw App 的 HTTP 地址步骤 3注册 Skill 到 OpenClawOpenClaw 需要知道这个 Skill 的存在。这通常通过修改 OpenClaw 的主配置文件或在管理界面添加来完成。具体方法取决于 OpenClaw 的版本和部署方式。常见的是在一个全局配置文件中列出所有 Skill 的路径。// 例如在 openclaw 的 config 文件中 skills: [ ./skills/clawpaw-android-control, // ... 其他 skill ]配置完成后重启 OpenClaw 主服务或 Gateway它应该就能加载并识别到这个新的 Skill。步骤 4验证集成如何验证是否成功通常 OpenClaw 会提供一个管理界面或 API 来查看已注册的 Skill 和在线节点。你可以访问 OpenClaw 的 Web UI如果有的话或者在日志中查看。当 Skill 加载成功并且手机通过 ClawPaw App 连接到 Gateway 后你应该能在 OpenClaw 中看到一个在线的 Android 设备节点。至此基础设施全部搭建完毕。你的手机已经成为了 OpenClaw 网络中的一个可被调用的“器官”。4. 核心功能实操与脚本编写指南环境通了我们来看看这个“器官”具体能做什么以及如何指挥它。所有功能都通过向 OpenClaw 发送指令来触发OpenClaw 会解析指令并调用对应的 Skill 方法。4.1 基础屏幕操作精准模拟人手这是最常用的功能集用于自动化任何需要触摸屏幕的操作。点击 (Tap)在指定坐标 (x, y) 进行点击。关键在于坐标获取。ClawPaw App 通常提供辅助功能来获取坐标或者你可以通过先截图再分析的方式。在 Skill 的SKILL.md文档中你会找到tap命令的格式。# 假设通过 OpenClaw 的自然语言接口发送指令 用户: “点击屏幕坐标 (300, 500)” # OpenClaw 会将其转化为对 Skill 的调用类似 # skill.execute({ action: tap, device: my_phone, params: { x: 300, y: 500 } })实操技巧对于需要重复点击固定位置的操作如签到按钮先手动操作一次用 ClawPaw 的调试功能或安卓开发者选项中的“指针位置”记录下坐标。对于动态位置则需要结合截图和图像识别这可能需要其他 Skill 或 OpenClaw 的视觉能力来先定位元素。滑动 (Swipe)模拟手指滑动常用于翻页、列表滚动。# 从 (x1, y1) 滑动到 (x2, y2)持续 duration 毫秒 action: swipe params: { startX: 500, startY: 1500, endX: 500, endY: 800, duration: 400 }经验之谈duration参数很重要。太快可能被系统识别为快速点击而非滑动太慢则效率低下。400-600 毫秒对于大多数滚动场景是个不错的起点。垂直滑动时startY大于endY表示向上滑动内容向下滚。长按 (Long Press)模拟手指长按操作用于触发上下文菜单、拖动等。action: longPress params: { x: 300, y: 500, duration: 1000 } # 长按1秒文本输入 (Input Text)向当前焦点输入框输入文字。这依赖于安卓的无障碍服务来定位输入框。action: inputText params: { text: Hello, OpenClaw! }避坑指南输入文本前最好先确保输入框已获得焦点。可以通过先执行一个tap动作点击输入框再执行inputText。部分复杂应用如某些游戏内的聊天框可能无法通过标准无障碍接口输入需要寻找替代方案。4.2 信息获取与状态监控让 OpenClaw 不仅能“操作”手机还能“看到”和“感知”手机状态。截图 (Screenshot)获取当前屏幕的图片。这是实现“视觉自动化”的基础。截图后图片数据会返回给 OpenClaw可以供其他 Skill 进行图像识别分析。action: takeScreenshot # 返回一个图片的 Base64 编码或文件路径性能考虑频繁截图会消耗较多 CPU 和网络资源。在自动化流程中合理安排截图间隔例如在关键操作步骤前后截图而不是持续不断。获取界面布局 (Dump Layout)获取当前屏幕的 UI 层次结构XML。这对于基于元素标识如resource-id、text进行精准定位和操作比截图更高效。action: dumpLayout进阶用法结合布局信息可以实现“找到文本为‘登录’的按钮并点击”这比依赖固定坐标要健壮得多能适应不同屏幕分辨率和应用更新。设备信息 (Device Info)获取手机型号、系统版本、电量、屏幕分辨率等。action: getDeviceInfo应用场景可以用于条件判断例如“如果电量低于20%则停止自动化任务并发送通知”。位置信息 (Location)获取手机最后已知的地理位置需要授予位置权限。action: getLocation4.3 应用管理与系统控制启动应用 (Open App)通过应用包名启动应用。action: openApp params: { packageName: com.tencent.mm } # 打开微信如何获取包名可以在 ClawPaw App 的支持列表里查找或者使用getInstalledApps动作列出所有应用。全局按键 (Key Event)模拟按下返回键、Home 键、菜单键等。action: keyEvent params: { keyCode: 4 } # 4 代表返回键4.4 高级功能与隐私权限实践这部分功能涉及用户隐私务必在专用设备或充分知情同意下使用。读取通知 (Get Notifications)获取系统通知栏的所有通知。这对于消息监控、自动化回复非常有用。action: getNotifications返回数据结构通常会包含通知的标题、内容、应用包名、发布时间等。你可以编写 OpenClaw 工作流来解析特定通知如来自老板的邮件标题并触发相应操作。读取短信/联系人/日历这些功能需要显式授权且返回的是结构化数据。例如你可以创建一个自动化流程当收到来自银行的特约验证码短信时自动提取验证码并填写到某个 App 中。编写一个完整的自动化脚本示例 假设我们想自动化完成“打开微信找到某个群聊发送一条消息”。 这个过程无法通过单一指令完成需要组合多个 Skill 动作并由 OpenClaw 的工作流引擎或你编写的脚本来调度。# 这是一个概念性的伪代码流程实际取决于你如何编排 OpenClaw 的 Skills 1. openApp - 打开微信 (com.tencent.mm) 2. tap - 点击“通讯录”Tab (坐标需预先确定或通过图像识别定位) 3. tap - 点击“群聊”入口 4. inputText - 在搜索框输入群聊名称 5. tap - 点击搜索结果中的目标群聊 6. tap - 点击输入框 7. inputText - 输入要发送的消息内容 8. tap - 点击发送按钮在实际实现中步骤 2、3、4、5 的定位是难点。最佳实践是结合dumpLayout获取界面元素信息通过元素的text或resource-id属性来定位这比依赖固定坐标稳定得多。你可以先手动操作一次并用工具记录下布局信息找到目标元素的唯一标识符。5. 常见问题排查与性能优化实录在实际使用中你肯定会遇到各种问题。下面是我总结的一些典型故障和解决方法。5.1 连接类问题问题ClawPaw App 显示“连接 Gateway 失败”或一直“连接中”。排查思路 1网络连通性检查 Gateway 地址确保 App 中填写的 Gateway URL 完全正确包括协议 (ws://或wss://)、IP、端口。在手机浏览器尝试访问http://gateway_ip:gateway_http_port如果有 HTTP 端口看是否能通。检查防火墙在运行 Gateway 的主机上确保防火墙放行了 WebSocket 端口如3001的入站连接。对于云服务器还需要检查安全组规则。检查网络环境手机和主机是否在同一网络对于直连模式是必须的如果主机在虚拟机或 Docker 中网络模式是否为桥接Bridged尝试用主机和手机互相 ping 一下。排查思路 2Gateway 服务状态在主机上检查 Gateway 进程是否正常运行ps aux | grep gateway。查看 Gateway 日志是否有错误信息。确认 Gateway 服务绑定到了正确的 IP 地址0.0.0.0而非127.0.0.1。排查思路 3认证与配置如果 Gateway 配置了认证如 API Key需要在 ClawPaw App 中正确配置。请查阅 Gateway 的配置文档。问题OpenClaw 中看不到在线的手机节点。确认连接状态首先确保 ClawPaw App 显示“已连接 Gateway”。检查 Skill 配置确认clawpaw-android-controlSkill 已正确安装并加载到 OpenClaw。查看 OpenClaw 的启动日志看是否有 Skill 加载错误。检查 Gateway 与 OpenClaw 的集成确保 OpenClaw 配置了正确的 Gateway 地址并且能访问到 Gateway 的节点查询接口。5.2 操作执行类问题问题点击、滑动等操作没有效果。首要检查无障碍服务是否真的开启了这是最常见的原因。去系统设置里确认 ClawPaw 的无障碍服务开关是打开的并且没有因为系统优化而被关闭。可以尝试在 ClawPaw App 内重新开关一次。坐标问题确认你发送的点击坐标(x, y)是否在当前屏幕范围内。不同手机分辨率不同坐标体系也不同。建议使用相对坐标或通过布局信息定位。应用兼容性某些应用特别是游戏、金融类 App会检测或屏蔽无障碍事件。这属于应用自身的限制通常难以绕过。延迟问题在操作指令之间添加适当的延迟例如sleep 1000毫秒。因为应用界面加载需要时间如果上一条“打开应用”的指令刚发出下一条“点击按钮”的指令就到了按钮可能还没出现。问题inputText输入文本失败。焦点问题确保在执行inputText前目标输入框已经获得焦点。通常需要先执行一个tap动作点击输入框。输入法问题部分场景下系统输入法可能会干扰。可以尝试在手机设置中将默认输入法切换为系统自带的“Android 键盘AOSP”进行测试。权限问题确保 ClawPaw App 有“修改系统设置”或“安全输入”相关权限如果需要。5.3 性能与稳定性优化建议使用 Gateway 模式再次强调对于长期使用和移动网络环境Gateway 模式远比 HTTP 直连稳定。精简权限只开启当前工作流必需的权限减少 App 的内存占用和潜在冲突。合理编排任务在 OpenClaw 的工作流中在关键操作步骤之间如打开应用后、页面跳转后加入 1-3 秒的等待时间让界面稳定下来。备用机专用使用一台性能尚可但专用于自动化的手机。关闭不必要的后台应用、系统动画在开发者选项中可以提升操作响应速度。异常处理与重试在你的自动化脚本中加入异常处理逻辑。例如如果tap操作后没有达到预期效果可通过后续截图判断可以加入重试机制或 fallback 操作。日志监控密切关注 OpenClaw、Gateway 和 ClawPaw App 的日志输出。很多问题都能从日志中找到线索。5.4 安全与隐私再提醒网络传输安全如果 Gateway 暴露在公网强烈建议使用wss://(WebSocket Secure) 并配置有效的 SSL 证书避免指令被窃听。访问控制为 Gateway 设置强密码或 API Key 认证防止未授权设备连接。敏感操作审计对于读取短信、联系人等敏感操作可以在 OpenClaw 中配置审批流程或在日志中详细记录便于审计。物理安全确保运行 OpenClaw 和 Gateway 的主机本身是安全的。通过以上详细的拆解、实操和问题排查指南你应该已经能够将一台普通的安卓手机深度集成到你的自动化生态中。从简单的定时任务到复杂的多应用工作流clawpaw-android-control这个 Skill 提供了一个强大而灵活的底层控制能力。剩下的就取决于你的想象力和 OpenClaw 工作流的编排能力了。记住从简单的自动化开始逐步迭代让技术真正服务于你的效率提升。