Android 智能操作系统: 通过 AppFunctions 与界面自动化构建智能体生态

作者 / 产品管理副总裁、Android 开发者 Matthew McCullough用户对设备上 AI 的期望正在从根本上改变他们与应用交互的方式。相较于打开应用按部就班地执行任务用户现在更倾向于将繁杂的操作交由 AI 代劳。在这种新的交互模式中成功的定义正在从 让用户打开您的应用 转变为 成功完成各种任务并帮助他们更高效地达成目标。为了帮助您打造适应智能体未来发展的应用我们推出了早期开发者能力以打通您的应用与智能体应用以及个性化助手 (如 Google Gemini) 之间的壁垒。虽然我们正处于这一进程的早期测试阶段在探索应用生态系统这一范式转变的第一步中我们依然将隐私和安全作为这些设计的核心。使用 AppFunctions 助力应用开发Android AppFunctions 允许应用直接向 AI 智能体和助手开放数据和功能。借助 AppFunctions Jetpack 库和平台 API开发者可以创建自描述函数供智能体应用通过自然语言发现和执行。AppFunctions 为 Android 应用提供了一套端侧解决方案。它借鉴了 MCP 云服务器声明后端能力的机制并且与 WebMCP 类似——所有函数均在设备本地运行而非依赖服务器。AppFunctionshttps://developer.android.com/ai/appfunctionsJetpack 库https://developer.android.com/jetpack/androidx/releases/appfunctions平台 APIhttps://developer.android.com/reference/android/app/appfunctions/package-summaryWebMCPhttps://developer.chrome.com/blog/webmcp-eppGalaxy S26 系列上已集成 Gemini 的 Samsung 相册展示了 AppFunctions 的实际应用。比如您现在无需手动浏览相册只需对 Gemini 发出指令 从 Samsung 相册中找找我猫咪的照片Gemini 会接收用户查询智能识别并触发相应的函数并直接在 Gemini 应用中呈现从 Samsung 相册返回的照片这样用户就无需离开当前界面。这种体验是多模态的可以通过语音或文字完成。用户甚至可以在后续对话中使用返回的照片例如通过短信发送给朋友。此集成目前可在 Galaxy S26 系列上使用并将很快扩展到运行 OneUI 8.5 及更高版本的 Samsung 设备。通过 AppFunctionsGemini 已经可以在多个制造商的设备上实现日历、备忘录和任务等应用类别的自动化操作。无论是协调日历活动、整理备忘录还是设置待办事项提醒用户都可以集中简化日常活动管理。日历https://support.google.com/gemini/answer/15305236?hlenref_topic16695931sjid2355454043249888712-NCcoGENIE.Platform%3DAndroidoco1备忘录https://support.google.com/gemini/answer/15230597?hlenref_topic16695931sjid2355454043249888712-NCcoGENIE.Platform%3DAndroidoco1任务https://support.google.com/gemini/answer/15230285?hlenref_topic16695931sjid2355454043249888712-NCcoGENIE.Platform%3DAndroidoco1通过智能界面自动化为智能体应用赋能虽然 AppFunctions 为应用与 AI 智能体和助手之间的通信提供了结构化的框架和更多的控制权但我们知道并非所有交互都已拥有专属的集成方案。我们还在为 AI 智能体和助手开发一套界面自动化框架以便智能地在用户安装的应用上执行通用任务并内置了用户透明度和控制权机制。此平台承担了繁杂的工作开发者无需编写代码即可实现各种智能体功能。这是一种低成本的方式无需在当下进行大规模的工程开发即可扩展其覆盖范围。为了在改进此框架时获得反馈我们将首先在 Galaxy S26 系列及部分精选的 Pixel 10 设备上推出早期预览版用户只需长按电源按钮即可将多步骤任务委托给 Gemini。在 Gemini 应用中推出的测试版功能将率先支持美国和韩国地区在外卖、杂货及网约车等领域的精选应用。无论用户需要为口味各异的家庭成员订购复杂的披萨订单、与同事协调有多个下车点的网约车行程还是复购上次的杂货商品Gemini 都可以利用应用中已有的信息来协助完成任务无需开发者进行任何额外工作。当任务通过界面自动化在后台执行时用户始终拥有控制权。对于任何自动化操作用户都可以选择通过通知或 实时视图 来监控任务的进度并可以随时切换到手动控制模式以接管任务。Gemini 也被设计为在完成敏感任务 (比如进行购买) 之前提醒用户。展望未来在 Android 17 中我们希望扩展这些能力以覆盖更多用户、开发者和设备制造商。我们目前正与一些应用开发者协作打造这些体验随着生态系统的发展我们将专注于提供高质量的用户体验并计划在今年晚些时候分享有关如何使用 AppFunctions 和界面自动化为您的应用集成智能体的更多详细信息。欢迎您关注 谷歌开发者 微信公众号及时了解更多开发技术和产品更新等资讯动态