System-Controller完整能力手册

System Controller 完整能力手册基于你电脑的实际硬件小米笔记本 i5-6200U / 8GB / 940MX / 1080p和 System Controller 技能的全部能力边界。一、能力总览用户自然语言指令 ↓ ┌───────────────────────────────────────────┐ │ System Controller │ │ │ │ ┌─────────┐ ┌─────────┐ ┌─────────────┐ │ │ │ 窗口管理 │ │ 进程管理 │ │ 硬件控制 │ │ │ └────┬────┘ └────┬────┘ └──────┬──────┘ │ │ └──────────┼───────────────┘ │ │ ↓ │ │ ┌─────────────────────────────────────┐ │ │ │ GUI 自动化引擎 │ │ │ │ 鼠标 · 键盘 · 截图 · OCR · 视觉 │ │ │ └──────────────┬──────────────────────┘ │ │ ↓ │ │ ┌──────────┐ ┌───────────┐ ┌──────────┐ │ │ │ 串口通信 │ │ IoT 控制 │ │ 条件逻辑 │ │ │ └──────────┘ └───────────┘ └──────────┘ │ │ │ └───────────────────┬───────────────────────┘ ↓ 系统物理动作硬件/软件/网络6 个模块任意串联无步骤上限。二、六大模块详细能力模块 1窗口管理器 (window_manager.py)操作命令说明列出所有窗口list获取标题、PID、位置、大小激活窗口activate --title xxx调到前台关闭窗口close --title xxx关闭指定窗口最小化minimize --title xxx收到任务栏最大化maximize --title xxx全屏窗口调整大小resize --title xxx --w 800 --h 600 --x 100 --y 50自定义尺寸位置发送按键send-keys --title xxx --keys ctrls向目标窗口发键盘输入模块 2进程管理器 (process_manager.py)操作命令说明列出进程list或list --name chromePID、内存、CPU 占用终止进程kill --name notepad或kill --pid 1234强制结束启动程序start notepad.exe运行任意 .exe进程详情info --pid 1234详细资源占用系统状态system整体运行概览模块 3硬件控制器 (hardware_controller.py)音量操作命令获取当前音量volume get设置音量 (0-100)volume set --level 50静音volume mute取消静音volume unmute屏幕操作命令获取亮度screen brightness get设置亮度 (0-100)screen brightness set --level 80显示器信息screen info电源操作命令危险等级锁屏power lock 低睡眠power sleep 中休眠power hibernate 中关机power shutdown 高重启power restart 高取消关机/重启power cancel 低网络操作命令列出网卡network listWiFi 扫描network wifi启用/禁用网卡network enable/disable --adapter Wi-Fi网络信息network infoUSB操作命令列出 USB 设备usb list模块 4串口通信 (serial_comm.py) ⚠️ 需要硬件接入操作命令说明扫描 COM 口list发现所有可用串口自动检测波特率detect --port COM3智能匹配发送数据send --port COM3 --data LED_ON写入串口收发对话chat --port COM3 --data GET_TEMP发送并等待回复持续监听monitor --port COM3 --duration 60实时打印收到的数据适用设备Arduino、ESP32、STM32、3D 打印机、传感器模块、PLC 等。模块 5IoT 控制器 (iot_controller.py) ⚠️ 需要配置Home Assistant操作命令列出设备homeassistant --url URL --token TOKEN list查看状态homeassistant --url URL --token TOKEN get --entity-id light.living_room打开设备homeassistant --url URL --token TOKEN on --entity-id light.living_room关闭设备homeassistant --url URL --token TOKEN off --entity-id climate.bedroom切换状态homeassistant --url URL --token TOKEN toggle --entity-id switch.fan调用服务homeassistant --url URL --token TOKEN service --domain light --service turn_on --entity_id light.desk通用 HTTP API操作命令GET 请求http --url https://api.example.com get --path /dataPOST 请求http --url https://api.example.com post --path /data --body {key:value}PUT 请求http --url https://api.example.com put --path /data/1 --body {status:ok}模块 6GUI 自动化引擎 (gui_controller.py) — 核心交互层️ 鼠标操作操作命令说明移动mouse move --x 500 --y 300移到坐标点左键点击mouse click --x 500 --y 300标准点击右键点击mouse right-click --x 500 --y 300上下文菜单双击mouse double-click --x 500 --y 300双击操作拖拽mouse drag --start-x 100 --start-y 200 --end-x 500 --end-y 400按住移动后松开滚动mouse scroll --direction down --clicks 10页面滚动获取位置mouse position当前鼠标在哪⌨️ 键盘操作操作命令示例输入文字keyboard type --text Hello World支持中文快捷键keyboard press --keys ctrlc组合键按键按下keyboard key-down --key shift长按开始按键释放keyboard key-up --key shift长按结束 截图操作操作命令说明全屏截图screenshot full整个桌面区域截图screenshot region --x 0 --y 0 --w 1920 --h 1080指定矩形区域当前窗口截图screenshot active-window只截活动窗口屏幕分辨率screenshot size返回宽高列出截图screenshot list已保存的截图列表️ 视觉识别操作命令说明OCR 文字提取visual ocr全屏文字识别区域 OCRvisual ocr --x 100 --y 100 --w 800 --h 600指定区域识别图像模板查找visual find --template button.png在屏幕上找图片找到并点击visual click-image --template submit.png找到图片位置自动点击取像素颜色visual pixel --x 200 --y 200该点的颜色值三、复杂度分级Level 1 — 单模块简单操作3-5 步场景操作链耗时快速静音开会音量 mute → 截图确认~2s清理后台程序列进程 → 过滤非系统 → kill 全部~5sUSB 设备检查usb list → 串口 scan → 报告~3s一键锁屏离开截图存档 → lock~1sWiFi 切换wifi scan → 连接指定网络~4sLevel 2 — 跨模块协作5-10 步场景操作链跨模块数开发环境启动启动 VSCode 终端 浏览器 → 排列窗口(左中右) → 亮度调高 → 音量适中3演示模式准备关闭非必要窗口 → 全屏 PPT → 亮度 100% → 静音 → 截屏存档3夜间模式亮度降到 20% → 夜间模式(Win 设置) → 关通知 → 静音2文件传输到手机USB list → 识别手机 → 串口/ADB 发送文件2-3智能家居离家Home Assistant 全关灯 → 关空调 → 锁屏 → ARM 安防系统2Level 3 — 条件判断 循环10-20 步场景操作链复杂度来源智能内存清理查看内存占用 → 列出高内存进程 → 判断哪些可安全关闭 → 逐个 kill → 再次检查确认释放效果条件分支自动截屏汇报截全屏 → OCR 提取文字 → 识别当前在做什么 → 拼接成报告 → 存档逻辑判断多窗口工作区恢复扫描已打开窗口 → 按类型分类(浏览器/IDE/聊天) → 自动排列到预设位置智能布局下载完成监控监控下载文件夹变化 → 循环检测新文件 → 完成后弹窗音量提醒文件监控通知远程协助录屏循环截图(每 n 秒) → 压缩打包 → 通过 IoT API 上传服务器定时任务APILevel 4 — 高级自动化20-50 步场景操作链复杂度来源全自动开发部署Git pull → 编译项目 → 运行测试 → 解析结果 → 成功则启动服务/失败打开日志发消息多工具链错误处理桌面整理机器人截屏 → OCR 识别每个图标 → 按类别归类(文档/图片/安装包) → 创建文件夹 → 拖拽移动 → 清空回收站视觉识别大量 GUI智能家居场景联动检测时间→日落开灯→检测温度→28°C 开空调→检测门窗未关推送警告→写入日志多传感器多设备条件链RPA 表单自动填写打开网页 → OCR 读字段名 → 从数据源取值 → 逐字段填入 → 提交 → 验证结果 → 下一页重复循环验证容错屏幕内容监控告警每 30 秒截图 → 与上一帧对比 → 差异超阈值 → OCR 识别变化内容 → 通过 HTTP 推送到手机图像差分API 推送Level 5 — 极限复杂50 步需脚本编排场景说明无人值守工作站定时唤醒 → 检查邮件/消息 → 自动回复常规问题 → 备份数据 → 整理磁盘 → 发送日报 → 待机。全程无需人工干预多应用 RPA 流程从 A 系统导出数据 → 格式化处理 → 导入 B 系统 → 校验 → 出错回滚报警 → 生成审计报告游戏辅助挂机截图 → 图像识别游戏界面 → 根据状态决策(战斗/采集/交易) → 循环执行 → 异常检测 → 自动退出智能会议助手会议前开设备调音量亮度打开会议软件共享屏幕会议中录音记录动作会后生成纪要发送参会人四、五大应用场景场景一全屋智能中枢所需设备笔记本 ──┬── WiFi ──→ 小米空调 / 米家台灯 / 扫地机器人 ├── 蓝牙 ──→ 智能门锁 ├── USB ──→ Arduino 主控板 │ ├── DHT22 温湿度传感器 │ ├── 继电器模块 → 灯具电源 │ ├── 舵机 → 窗帘轨道 │ └── 红外发射器 → 电视/风扇 └── HTTP API → Home Assistant 服务器 └── 智能插座鱼缸加热棒等一句话指令集你说自动执行的操作序列“我到家了”开灯 → 开空调 26°C → 解除安防 → 拉窗帘 → 播报欢迎回家室温 XX 度“我要睡了”全屋灯光渐暗 → 关电视 → 空调睡眠模式 27°C → 启动安防 → 门锁上锁“太热了”读温湿度传感器 → 若 28°C 开空调 24°C → 关窗帘挡阳 → 检查鱼缸加热棒 → 提醒补水“出门模式”关所有灯和电器 → 开启扫地机器人 → 空调关闭 → 门锁布防 → 手机推送确认“看电影”灯光 15% → 窗帘全关 → TV 开启 → 音量 40% → 笔记本 HDMI 输出画面场景二桌面工作站自动化所需配置笔记本 ── 扩展坞 ──┬── 2K 外接显示器 ×2 ├── 机械键盘 鼠标 ├── USB 音频接口 → 监听音箱 ├── 千兆网线 └── 外置硬盘阵列备份盘工作流快捷指令你说自动执行“开始工作”双屏排列左代码右文档→ 打开 VS Code Chrome 终端 → 加载项目 → 音乐播放 → 音量 30%“开会了”静音 → 截屏保存工作状态 → 打开 Zoom/腾讯会议 → 共享屏幕 → 开摄像头“代码写完了”Git commit push → 运行测试 → 通过后群消息通知团队 → 备份代码到外置硬盘“我要专注”关闭非 IDE 窗口 → 屏幕亮度 80% → 断 WiFi保留有线网→ 每 45 分钟弹窗提醒休息“收工了”所有窗口截图存档 → 关 IDE/浏览器 → 今日变更摘要 → 同步云盘 → 锁屏场景三创客实验室接入硬件USB ──┬── Arduino Uno ──┬── 超声波测距倒车雷达 │ ├── LCD1602 显示屏 │ └── 蜂鸣器报警 │ ├── ESP32 DevKit ──┬── OLED 显示天气/时间 │ └── 触摸按钮面板 │ └── 3D 打印机串口 G-code 通信创意玩法你说效果“开始打印这个模型”切片软件加载 STL → 生成 G-code → 串口发送给打印机 → 实时监控温度/进度 → 完成蜂鸣提示手机推送“做个倒车雷达演示”Arduino 进入 PARKING 模式 → 循环测距 → 20cm 蜂鸣加速 → LCD 显示距离 → 电脑同步可视化波形“做个智能时钟”ESP32 获取成都天气时间 → OLED 刷新显示 → 30°C 闪烁红色警告 → 触摸切换显示模式“记录一周室温变化”每小时读一次温度 → 写入 CSV → 一周后自动生成折线图 → 异常波动邮件提醒场景四RPA 数字员工替代日常重复劳动场景操作流程节省时间每日财务报表打开网银 → 登录 → 导出交易记录 → 格式化 Excel → 分类统计 → 生成月报 → 发邮件每天 30 分钟 →全自动电商订单处理刷新后台 → 筛选新订单 → 复制地址 → 填快递单号 → 标记发货 → 回复买家每单 3 分钟 →批量处理数据采集爬虫打开目标网站 → 搜索关键词 → 翻页采集 → OCR 提取表格数据 → 存数据库 → 下一页手动 2h →后台跑完通知批量文件整理扫描下载文件夹 → 按类型分类(PDF/图片/安装包/文档) → 重命名加日期 → 归档目录 → 清空回收站每周 1h →一键搞定抢名额/抢票提前打开页面 → 填好信息 → 到点自动刷新提交 → 成功弹窗声音提示 → 失败重试手速不够 →毫秒级响应场景五游戏辅助⚠️ 仅展示技术能力实际使用需遵守各平台规则操作技术原理自动挂机打金截图识别界面 → 判断角色状态 → 决策移动/攻击/拾取 → 循环执行 → 异常掉线重连自动钓鱼/种田定时点击特定坐标 → 识别收获提示 → 重复操作小地图解析截取小地图 → 图像分析 → overlay 显示敌人方位/资源点五、能力边界✅ 能做到的任何可见的 GUI 操作屏幕上能看到就能点击/输入/拖拽任何有窗口的程序的生命周期控制和外观调整任何系统硬件设置音量、亮度、电源、网络、USB任何支持 API 的设备通过 HTTP/串口接入任意长度的操作序列Python 脚本无步骤上限多模块自由组合窗口GUI硬件IoT 一起上❌ 做不到的或很勉强限制原因替代方案无法绕过 CAPTCHA验证码需人工介入第三方打码平台 API无法对抗反自动化游戏反作弊、银行 U 盘等硬件级保护无解OCR 准确率有限复杂排版/手写体/低分辨率下出错装 Tesseract 中文语言包可提升图像模板依赖 UI 稳定性UI 变化后旧模板失效需重新截图更新模板无持久化记忆每次从零开始不记住上次状态配合 MEMORY.md 或外部数据库操作速度受限GUI 操作是实时的无法并行加速可多线程但受限于物理屏幕BIOS/UEFI 设置不在操作系统层面需重启进入固件界面CPU/GPU 物理频率硬限i5-6200U 最高 2.8GHz 超不了硬件限制不可突破内存容量8GB 是物理插槽上限需更换硬件当前联网网卡禁用会断开自己的连接有保护机制会拦截/警告六、你的电脑现状 vs 满配状态当前状态基础版小米笔记本 i5-6200U ├── CPU: 2核4线程 2.3GHz ├── 内存: 8GB DDR ├── 显卡: Intel HD520 NVIDIA 940MX (1GB) ├── 硬盘: Samsung NVMe SSD 477GB ├── 显示器: 1920×1080 内置屏幕 ×1 ├── 网络: Intel AC 8260 WiFi Bluetooth ├── USB: 小米摄像头唯一外设 └── 音频: Realtek HD 英特尔显示器音频当前可控范围音量、亮度、电源、WiFi、鼠标键盘、窗口、进程、截图/OCR、蓝牙。体验评级⭐⭐能做但没什么好做的入门升级加 ¥30-100 设备当前 ESP32 开发板 (¥25) 杜邦线/面包板 (¥10) DHT22 温湿度传感器 (¥15) LED 舵机 继电器 (¥20) 总投入约 ¥70新增能力温湿度读取、LED 控制、舵机驱动、继电器开关、OLED 显示、触摸交互。体验评级⭐⭐⭐能操控物理世界了中阶升级加 ¥300-500 设备入门版 Arduino Uno (¥40) 超声波传感器 (¥10) LCD1602 显示屏 (¥25) 红外发射模块 (¥8) 3D 打印机或已有打印机串口接入 Home Assistant (树莓派/Docker 免费) 累计约 ¥150-500新增能力测距、倒车雷达、红外遥控家电、3D 打印控制、全屋米家设备联动。体验评级⭐⭐⭐⭐智能家居雏形满配状态完整工作站中阶版 2K 外接显示器 ×2 扩展坞 (¥200) 机械键盘鼠标 监听音箱 音频接口 外置备份硬盘 (¥400) 千兆有线网络 米家全套设备空调/台灯/扫地机/门锁/插座 累计约 ¥2000-5000新增能力双屏工作站、专业音频、全自动 RPA 工作流、全屋智能控制中心。体验评级⭐⭐⭐⭐⭐初级贾维斯七、快速上手建议最快的价值感知路径今天就能做找一个每天重复的电脑操作告诉我我帮你自动化本周可做花 ¥70 买个 ESP32 传感器套件我带你做出第一个物理交互项目比如桌面温湿度仪表盘本月可做搭一个 Home Assistant Docker接入米家设备实现语音/文字控制全屋长期目标把常用流程写成独立 Python 服务 Windows 计划任务实现真正的无人值守自动化手册版本2026-04-03适用硬件小米笔记本 Timi TM1613 (i5-6200U)技能版本System Controller v1.0