跨设备无缝切换的 Agent 体验设计

跨设备无缝切换的 Agent 体验设计打破“设备孤岛”让智能服务“如影随形”你有没有过这样的经历早上在地铁上用手机打开智能写作Agent刚构思好一篇技术大纲的开头地铁到站了你必须放下手机赶去公司到了工位打开电脑却发现刚才的思路断了手机上Agent的上下文也没自动同步过来只能重新输入、回忆、调整浪费了整整15分钟的黄金工作时间又或者周末在家用电视搭配语音助手和家庭娱乐Agent看纪录片《星际穿越》看到黑洞“卡冈图雅”的镜头时突然想立刻用平板查一下引力波和相对论的详细科普再用家里的打印机打印一份手写笔记模板同时让家里的扫地机器人暂停清扫客厅……结果你手忙脚乱地换设备、开新App、给不同的设备下达重复的指令好半天才能完成这一系列动作刚才看纪录片的沉浸感早就消失得无影无踪了这两个场景相信很多人都不陌生。在移动互联网和物联网IoT高速发展的今天我们身边的智能设备越来越多手机、平板、笔记本电脑、台式电脑、智能手表、智能眼镜、智能电视、智能家居控制中心、车载语音助手……它们每一个都有自己的优势和适用场景但同时也都变成了一个小小的“设备孤岛”——设备之间的数据不通、任务不连贯、体验不统一让我们在享受单个设备带来的便利的同时也不得不承受“在不同设备之间反复切换、重复劳动”的痛苦。而Agent技术的出现特别是大语言模型LLM驱动的通用Agent技术的成熟为解决这个问题提供了一个全新的、革命性的思路。如果我们能设计出一套跨设备无缝切换的Agent体验让智能服务不再局限于某一个特定的设备而是能够“感知”用户当前的环境和需求“理解”用户正在进行的任务“自动”在最合适的设备之间传递上下文、迁移任务、统一交互那会是一种什么样的体验想象一下刚才的第一个场景早上在地铁上用手机写大纲刚敲完“黑洞卡冈图雅的科普与科幻作品中的应用”地铁到站了你下意识地说了一句“继续写”当你到了工位打开装有Agent客户端的电脑屏幕上立刻弹出了一个提示框“是否继续刚才在地铁上的写作任务当前进度大纲开头已完成接下来需要列出‘引力波的基本原理’‘卡冈图雅的特效制作’‘科幻作品中的黑洞形象对比’三个章节的要点”你点击“继续”手机上Agent的上下文包括刚才输入的文字、你之前的写作习惯、你收藏过的相关科普文章链接就自动同步到了电脑上而且Agent还根据你现在的环境安静的办公室、大屏幕的电脑、键盘鼠标的输入方式调整了自己的交互模式——从地铁上的语音优先短文本推荐变成了办公室里的文本优先结构化大纲自动生成长文本自动润色刚才中断的思路立刻就接上来了你可能只需要再花5分钟就能把整个大纲完成。再想象一下刚才的第二个场景周末在家看《星际穿越》看到卡冈图雅的镜头你对着客厅的智能电视说了一句“卡冈图雅太震撼了暂停一下纪录片用平板给我查引力波和广义相对论的通俗易懂的科普同时用打印机打印一份带思维导图框架的手写笔记模板让扫地机器人去打扫书房”客厅的Agent立刻“理解”了你的这一系列复合指令它先暂停了电视上的纪录片然后“感知”到你家里有平板你刚才吃饭的时候用过在沙发旁边充电、打印机连接在书房的电脑上、扫地机器人在客厅充电待机接着它把查科普的任务分配给了平板平板的屏幕比手机大比电脑便携适合躺着看把打印笔记模板的任务分配给了打印机由书房的电脑Agent代理执行把打扫书房的任务分配给了扫地机器人最后它把平板上查好的科普内容的“预览链接”和“投屏提示”推送到了电视的屏幕上告诉你“平板上的科普内容已经准备好了你可以点击平板上的Agent图标继续查看也可以把内容投屏到电视上和家人一起看”你拿起沙发旁边的平板平板上的Agent已经自动打开了科普内容的排版已经根据平板的屏幕大小和你的阅读习惯之前在平板上看科普文章的时候喜欢字体大一点、行距宽一点、插图多一点调整好了而且平板上的Agent还自动同步了电视上刚才播放的纪录片的时间节点卡冈图雅出现的具体时间是第1小时23分45秒在科普内容的开头给你加了一个小提示“这是刚才《星际穿越》中卡冈图雅出现时的相关科普内容我们可以先从‘引力透镜效应’开始看起”等你看完科普内容你可以对着平板或者客厅的智能电视说一句“继续播放纪录片”电视上的纪录片就会从刚才暂停的地方继续播放同时平板上的Agent还会自动弹出一个提示框“是否需要把刚才查科普的时候产生的想法和疑问自动添加到刚才打印的笔记模板的电子版里”这种“如影随形、随时随地、无感切换”的智能服务体验是不是你梦寐以求的这就是跨设备无缝切换的Agent体验设计所要追求的终极目标。在接下来的这篇技术博客文章里我将扮演“知识架构师思维导师教育传播者”的角色用“知识金字塔”的构建方法从基础理解核心概念、问题背景、直观类比开始到层层深入原理机制、技术细节、底层逻辑再到多维透视历史视角、实践视角、批判视角、未来视角最后到实践转化应用原则、操作步骤、实战案例和整合提升核心观点回顾、知识体系重构、拓展任务设计带你全方位、多角度地深入理解“跨设备无缝切换的Agent体验设计”这个主题。我会尽量用生活化的比喻和类比、直观的示例和案例、清晰的概念图和流程图、简洁的数学模型和算法源代码让即使是对Agent技术和物联网技术不太熟悉的读者也能轻松理解其中的核心内容同时我也会加入一些专业的技术细节和底层逻辑分析让对这个领域有一定了解的读者也能获取到有价值的新见解。准备好了吗让我们一起踏上这段“打破设备孤岛让智能服务如影随形”的探索之旅吧1. 基础理解什么是“跨设备无缝切换的Agent体验”在开始深入探讨“跨设备无缝切换的Agent体验设计”之前我们首先需要明确一些核心概念了解一下问题背景然后再通过一些直观的类比和示例建立起对这个主题的初步认识。1.1 核心概念拆解“跨设备”“无缝切换”“Agent”“体验设计”为了避免概念混淆我们先把“跨设备无缝切换的Agent体验设计”这个长标题拆解成四个核心关键词跨设备、无缝切换、Agent、体验设计然后逐个进行定义和解释。1.1.1 核心概念一跨设备Cross-Device直观定义跨设备就是“跨越不同的智能设备”比如从手机到电脑从平板到电视从智能手表到智能家居控制中心从车载语音助手到智能眼镜等等。专业定义跨设备是指“在由多个异构智能设备组成的分布式计算环境中用户可以同时或先后使用不同的设备完成同一个或一系列相关的任务”。这里的“异构智能设备”是指硬件架构不同比如ARM架构的手机和x86架构的电脑、操作系统不同比如iOS、Android、Windows、macOS、Linux、HarmonyOS、交互方式不同比如触控、语音、手势、键盘鼠标、眼球追踪、使用场景不同比如移动、办公、居家、车载、户外的智能设备。1.1.2 核心概念二无缝切换Seamless Handoff/Seamless Transition直观定义无缝切换就是“没有缝隙的切换”或者说“用户感觉不到明显中断的切换”。比如我们平时看电视的时候遥控器从一个台换到另一个台信号几乎是瞬间接过来的画面和声音都没有明显的卡顿或者中断这就是一种“无缝切换”的体验当然电视换台的无缝切换和我们这里讲的跨设备任务的无缝切换本质上是不一样的但它们给用户的“无中断感”是相同的。专业定义无缝切换是指“在由多个异构智能设备组成的分布式计算环境中当用户从一个设备切换到另一个设备时正在进行的任务的上下文可以自动、快速、完整地同步到目标设备目标设备可以自动承接该任务目标设备可以根据自身的硬件特性、操作系统特性、交互方式特性、当前的使用场景特性自动调整任务的交互模式和输出形式整个切换过程对用户来说是透明的、无感的不会造成明显的任务中断或者体验下降”。1.1.3 核心概念三Agent智能体直观定义Agent就是“一个能听懂你的话、能理解你的意图、能帮你做事、能主动为你提供服务的‘智能助手’或者‘虚拟管家’”。比如苹果的Siri、亚马逊的Alexa、谷歌的Assistant、华为的小艺、小米的小爱同学都是早期的“单模态Agent”或者“弱通用Agent”而最近几年出现的GPT-4o、Claude 3 Opus、Gemini Ultra 1.5、通义千问2.5、文心一言4.0等大语言模型驱动的Agent则是“多模态Agent”或者“准通用Agent”它们不仅能听懂你的话、看懂你的图还能帮你写代码、做PPT、分析数据、甚至控制智能家居设备。专业定义Agent是指“一个具有感知能力Perception、认知能力Cognition、决策能力Decision-Making、行动能力Action、学习能力Learning的自主实体它可以在特定的环境Environment中运行通过感知环境的变化理解用户的意图制定合理的行动计划执行相应的操作最终达成用户的目标”。这里的“自主实体”是指Agent不需要用户的持续干预就能自主地完成一些任务这里的“特定的环境”可以是虚拟环境比如互联网、游戏世界也可以是物理环境比如智能家居环境、车载环境、办公环境。为了让大家更直观地理解Agent的五个核心能力我给大家画了一个简单的Agent工作原理图渲染错误:Mermaid 渲染失败: Parse error on line 3: ...[认知模块 Cognition(意图理解/上下文构建/知识检索)] -----------------------^ Expecting SQE, DOUBLECIRCLEEND, PE, -), STADIUMEND, SUBROUTINEEND, PIPE, CYLINDEREND, DIAMOND_STOP, TAGEND, TRAPEND, INVTRAPEND, UNICODE_TEXT, TEXT, TAGSTART, got PS1.1.4 核心概念四体验设计Experience Design直观定义体验设计就是“设计用户在使用产品或服务时的整个感受和体验”。比如我们设计一个手机App不仅要考虑它的功能是否强大、性能是否稳定还要考虑它的界面是否美观、操作是否简单、交互是否流畅、是否能满足用户的情感需求等等这些都是体验设计的范畴。专业定义体验设计是指“以用户为中心通过对用户的需求、行为、偏好、情感进行深入的研究和分析设计出产品或服务的整个用户旅程User Journey包括用户在使用产品或服务之前、之中、之后的所有感受和体验最终达到‘满足用户需求、提升用户满意度、增强用户粘性’的目标”。1.2 问题背景为什么我们需要“跨设备无缝切换的Agent体验”现在我们已经明确了四个核心概念接下来我们来了解一下问题背景为什么我们现在迫切需要“跨设备无缝切换的Agent体验”这个问题的答案主要可以从以下三个方面来分析1.2.1 问题背景一智能设备数量爆炸式增长“设备孤岛”问题日益严重根据国际数据公司IDC发布的《全球物联网设备支出指南》Worldwide IoT Spending Guide和《全球智能手机出货量报告》Worldwide Smartphone Shipment Report截至2023年底全球智能手机的保有量已经超过了60亿部平板电脑的保有量已经超过了15亿台笔记本电脑的保有量已经超过了12亿台台式电脑的保有量已经超过了8亿台智能家居设备的保有量已经超过了30亿台车载智能设备的保有量已经超过了10亿台可穿戴智能设备的保有量已经超过了18亿台……全球智能设备的总保有量已经超过了150亿台而且这个数字还在以每年20%以上的速度增长预计到2030年全球智能设备的总保有量将超过500亿台。随着智能设备数量的爆炸式增长我们身边的智能设备越来越多每一个智能设备都有自己的优势和适用场景智能手表便携性强适合随时查看时间、接收通知、监测健康数据、进行短语音输入智能手机便携性和功能性都很强适合移动场景下的大部分任务比如打电话、发短信、拍照、录像、上网、玩游戏、使用各种App平板电脑屏幕比手机大比电脑便携适合移动场景下的阅读、看视频、做笔记、画图笔记本电脑便携性和生产力都很强适合移动办公场景下的复杂任务比如写代码、做PPT、分析数据台式电脑屏幕大、性能强、输入输出设备齐全键盘、鼠标、显示器、打印机、扫描仪适合固定办公场景下的高强度、高复杂度的任务智能电视屏幕最大、音响效果最好适合家庭娱乐场景下的看电影、看电视、玩游戏、视频通话智能家居控制中心可以连接和控制家里的所有智能家居设备适合家庭场景下的设备控制车载语音助手适合车载场景下的导航、打电话、发短信、播放音乐、控制车载设备智能眼镜适合增强现实AR场景下的信息展示、导航、拍照、录像、远程协作。但是正如我们在开头提到的那样这些智能设备每一个都变成了一个小小的“设备孤岛”数据不通不同设备上的App数据往往不能自动同步比如你在手机上的微信读书App里看到一半的书在电脑上的微信读书Web版里需要手动登录才能继续看而且有时候阅读进度还会同步出错任务不连贯你在一个设备上开始的任务往往不能自动迁移到另一个设备上继续完成比如你在手机上写了一半的邮件在电脑上需要重新打开邮件App手动复制粘贴内容才能继续写体验不统一不同设备上的同一个App或者同一个服务交互方式和界面设计往往不一样比如你在手机上用的是触控和语音的交互方式在电脑上用的是键盘和鼠标的交互方式在智能电视上用的是遥控器和语音的交互方式这会让你在不同设备之间切换的时候需要重新学习和适应体验非常不流畅。1.2.2 问题背景二用户的“跨设备使用行为”越来越频繁“任务中断感”越来越强烈根据谷歌发布的《跨设备使用行为研究报告》Cross-Device Behavior Research Report和苹果发布的《用户体验研究报告》User Experience Research Report现在的用户平均每天要使用3-5个不同的智能设备平均每天要在不同的设备之间切换10-20次有超过80%的用户表示他们经常会在一个设备上开始一个任务然后在另一个设备上继续完成这个任务有超过70%的用户表示他们在不同设备之间切换的时候会遇到“数据不同步”“任务不连贯”“体验不统一”的问题有超过60%的用户表示这些问题会造成明显的“任务中断感”影响他们的工作效率和生活质量。我们可以举一个更具体的例子来说明用户的“跨设备使用行为”和“任务中断感”假设你是一个产品经理你正在负责一个新的社交App的产品设计工作你的一天可能是这样度过的7:00-8:00在家吃早餐用智能手表接收工作邮件和Slack消息用智能电视看行业新闻和竞品动态8:00-9:00坐地铁去公司用智能手机回复工作邮件和Slack消息用智能手机上的Notion App写新功能的用户需求文档PRD的开头9:00-12:00在公司办公用台式电脑继续写PRD用台式电脑上的Figma App画新功能的原型图用智能手机和团队成员进行微信语音通话讨论原型图用平板电脑展示原型图给旁边的UI设计师看12:00-13:00在公司食堂吃午餐用智能手机看用户反馈用智能手机上的Todoist App整理下午的工作任务13:00-18:00在公司办公继续用台式电脑修改PRD和原型图用笔记本电脑参加远程会议用智能手表接收会议提醒18:00-19:00坐地铁回家用智能手机继续修改PRD的细节用智能手机上的Spotify App听音乐19:00-21:00在家吃晚餐陪家人聊天用智能电视看电影21:00-22:00在家书房用笔记本电脑最终定稿PRD用打印机打印PRD给明天的会议用用智能手机给团队成员发送PRD的链接。在这一天里你一共使用了智能手表、智能手机、平板电脑、笔记本电脑、台式电脑、智能电视、打印机7个不同的智能设备一共在不同的设备之间切换了至少25次而且你在写PRD的任务上就先后使用了智能手机、台式电脑、笔记本电脑3个不同的设备——如果你没有一套“跨设备无缝切换的Agent体验”你在这一天里会遇到多少次“数据不同步”“任务不连贯”“体验不统一”的问题会浪费多少时间在重复劳动和重新适应上会有多少次“任务中断感”工作效率会下降多少1.2.3 问题背景三大语言模型LLM驱动的通用Agent技术成熟为解决“设备孤岛”问题提供了全新的思路在大语言模型LLM出现之前虽然也有一些“跨设备同步”或者“跨设备协作”的技术和产品比如苹果的Handoff、Continuity Camera、Universal Clipboard谷歌的Chrome Sync、Google Drive微软的OneDrive、Your Phone华为的多屏协同、一碰传小米的MIUI等等但这些技术和产品都存在着一些明显的局限性局限性一设备生态封闭比如苹果的Handoff只能在iOS、iPadOS、macOS、watchOS、tvOS之间使用谷歌的Chrome Sync只能在Chrome浏览器之间使用微软的OneDrive虽然可以跨平台使用但同步速度和同步稳定性都不太好而且只能同步文件不能同步任务的上下文和交互模式局限性二功能单一比如苹果的Universal Clipboard只能同步剪贴板的内容Continuity Camera只能把iPhone或者iPad的摄像头当作Mac的摄像头华为的多屏协同只能把手机的屏幕投屏到电脑上或者在电脑上操作手机的App这些功能都只能解决“跨设备同步”或者“跨设备协作”的某一个具体的小问题不能解决“跨设备无缝切换任务”的大问题局限性三需要用户主动操作比如苹果的Handoff需要用户主动点击目标设备上的Handoff图标才能把任务从源设备迁移到目标设备上不能做到“自动感知用户的需求和环境自动迁移任务”局限性四不能理解用户的意图比如这些技术和产品都只能“被动地”同步用户指定的内容或者任务不能“主动地”理解用户的意图不能“主动地”为用户推荐最合适的设备不能“主动地”根据用户的环境和需求调整任务的交互模式和输出形式。而大语言模型LLM驱动的通用Agent技术的成熟为解决这些局限性提供了一个全新的、革命性的思路优势一强大的意图理解能力大语言模型LLM驱动的通用Agent可以理解用户的自然语言输入甚至可以理解用户的“隐含意图”比如用户说“今天的天气真好”Agent可能会理解为用户想出去散步或者想打开窗户通风优势二强大的上下文理解能力大语言模型LLM驱动的通用Agent可以记住用户的长期上下文比如用户的姓名、年龄、职业、兴趣爱好、写作习惯、阅读习惯和短期上下文比如用户正在进行的任务、用户之前说过的话、用户之前打开过的文件优势三强大的任务规划能力大语言模型LLM驱动的通用Agent可以把用户的一个复杂的复合指令分解成一系列简单的子任务然后制定合理的行动计划优势四强大的工具调用能力大语言模型LLM驱动的通用Agent可以调用各种各样的工具比如搜索引擎、计算器、日历、邮件、笔记App、画图App、智能家居控制API、车载控制API优势五强大的学习能力大语言模型LLM驱动的通用Agent可以通过用户的反馈不断学习用户的偏好和习惯不断优化自己的服务优势六跨平台、跨生态的潜力只要大语言模型LLM驱动的通用Agent有合适的API接口它就可以连接和控制各种各样的异构智能设备不管这些设备属于哪个生态系统。1.3 直观类比把“跨设备无缝切换的Agent”比作什么为了让大家更直观、更形象地理解“跨设备无缝切换的Agent体验”我给大家举几个生活化的类比1.3.1 类比一贴身的“虚拟管家”第一个类比也是最常用的一个类比就是把“跨设备无缝切换的Agent”比作一个贴身的“虚拟管家”。我们可以想象一下在古代的贵族家庭里都会有一个“大管家”这个大管家负责管理家里的所有仆人、所有财产、所有事务他对主人的性格、习惯、偏好、需求了如指掌他会主动为主人安排好一天的生活和工作他会根据主人的环境和需求为主人提供最合适的服务。比如早上主人起床的时候大管家已经安排仆人准备好了主人喜欢的早餐准备好了主人今天要穿的衣服根据今天的天气和主人今天要参加的活动选择准备好了主人今天要看的报纸和信件主人出门的时候大管家已经安排仆人准备好了主人的马车或者汽车准备好了主人今天要带的东西比如公文包、雨伞、水杯主人在外面的时候大管家会主动给主人打电话或者发短信告诉主人家里的情况或者提醒主人接下来要参加的活动主人回家的时候大管家已经安排仆人准备好了热水澡准备好了主人喜欢的晚餐准备好了主人喜欢的音乐或者电影主人在不同的房间之间走动的时候大管家会主动安排仆人把主人正在看的书、正在听的音乐、正在看的电影从一个房间转移到另一个房间。而“跨设备无缝切换的Agent”就像是一个24小时在线的、贴身的“虚拟管家”它负责管理你身边的所有智能设备它对你的性格、习惯、偏好、需求了如指掌它会主动感知你的环境和需求它会主动为你安排好任务它会主动把你的任务从一个设备迁移到另一个设备它会主动根据你的环境和需求调整任务的交互模式和输出形式——唯一的区别是这个“虚拟管家”不是一个真人而是一个由大语言模型LLM驱动的智能程序。1.3.2 类比二能“瞬间移动”的“智能助手”第二个类比是把“跨设备无缝切换的Agent”比作一个能“瞬间移动”的“智能助手”。我们可以想象一下如果你有一个能“瞬间移动”的“智能助手”不管你在哪里不管你在使用什么设备这个“智能助手”都能瞬间出现在你身边帮你做事。比如你在地铁上用手机写大纲刚敲完开头地铁到站了你说了一句“继续写”这个“智能助手”就瞬间从你的手机里“移动”到了你的心里或者说“云端”记住了你刚才的所有上下文你到了工位打开电脑这个“智能助手”就瞬间从云端“移动”到了你的电脑里提醒你继续刚才的写作任务并且把所有的上下文都同步到了你的电脑里你在电脑上写了一会儿大纲突然想画图说明一下你的思路你说了一句“用平板画图”这个“智能助手”就瞬间从你的电脑里“移动”到了你的平板里帮你打开了画图App并且把你刚才在电脑上写的大纲同步到了平板里你在平板上画完图突然想和团队成员讨论一下你说了一句“用笔记本电脑参加远程会议”这个“智能助手”就瞬间从你的平板里“移动”到了你的笔记本电脑里帮你打开了远程会议App并且把你刚才在电脑上写的大纲和在平板上画的图都同步到了远程会议App里。而“跨设备无缝切换的Agent”就像是一个能“瞬间移动”的“智能助手”——当然它不是真的“瞬间移动”而是通过云端同步和设备间的短距离通信比如蓝牙、Wi-Fi Direct、NFC快速、完整地把上下文从源设备同步到目标设备让用户感觉它好像是“瞬间移动”过去的一样。1.3.3 类比三能“变形”的“超级英雄”第三个类比是把“跨设备无缝切换的Agent”比作一个能“变形”的“超级英雄”比如漫威电影里的“蚁人”或者“变形金刚”。我们可以想象一下“蚁人”可以根据环境的需要变大或者变小“变形金刚”可以根据任务的需要变成汽车、飞机、坦克、机器人等等不同的形态。而“跨设备无缝切换的Agent”就像是一个能“变形”的“超级英雄”它可以根据你的环境和需求根据你正在使用的设备的硬件特性、操作系统特性、交互方式特性“变形”成最合适的形态为你提供最合适的服务。比如当你在地铁上使用手机的时候这个“超级英雄”会“变形”成“小而灵活的语音短文本助手”因为地铁上比较吵你可能不太方便打字手机的屏幕也比较小不适合展示长文本当你在办公室使用台式电脑的时候这个“超级英雄”会“变形”成“大而强大的文本结构化工具助手”因为办公室里比较安静你可以方便地使用键盘和鼠标台式电脑的屏幕也比较大性能也比较强适合展示长文本、使用结构化工具比如画图App、做PPT的App、分析数据的App当你在客厅使用智能电视的时候这个“超级英雄”会“变形”成“大而震撼的语音多媒体助手”因为客厅里的智能电视屏幕最大、音响效果最好适合展示多媒体内容比如电影、电视、音乐、图片而且你可能躺在沙发上不太方便使用触控或者键盘鼠标的交互方式更适合使用语音的交互方式当你在开车的时候使用车载语音助手的时候这个“超级英雄”会“变形”成“安全第一的语音简洁提示助手”因为开车的时候最重要的是安全你不能分心去看屏幕或者打字所以这个“超级英雄”只会用语音和你交互只会给你展示最简洁、最必要的提示。1.4 直观示例一个完整的“跨设备无缝切换的Agent体验”场景为了让大家更直观地理解“跨设备无缝切换的Agent体验”到底是什么样的我给大家设计一个完整的、详细的场景示例1.4.1 场景设定人物小明28岁互联网公司的软件工程师时间202X年的一个普通的周六天气晴朗气温22-28℃智能设备智能手表Apple Watch Ultra 2、智能手机iPhone 15 Pro Max、平板电脑iPad Pro 12.9英寸 M4、笔记本电脑MacBook Pro 16英寸 M3 Max、智能电视Sony A95L 85英寸、智能家居控制中心Apple TV 4K、扫地机器人Roborock S8 MaxV Ultra、空气净化器Dyson Purifier HotCool Formaldehyde、智能门锁August Wi-Fi Smart Lock、智能窗帘Somfy Tahoma、车载语音助手Tesla Model Y的车载语音助手Agent由GPT-4o驱动的“小明的专属智能管家”我们暂时叫它“小帮”前提条件小帮已经连接和控制了小明身边的所有智能设备小帮已经学习了小明的性格、习惯、偏好、需求比如小明喜欢在周六早上8点起床喜欢吃全麦面包、煎蛋、牛奶、蓝莓作为早餐喜欢在周六上午写代码喜欢在周六下午看电影或者看书喜欢在周六晚上和朋友视频通话或者玩游戏小明的写作习惯是用Markdown格式写代码笔记小明的阅读习惯是字体大小16号、行距1.5倍、背景颜色浅黄色。1.4.2 场景流程步骤1早上起床智能手表和智能电视联动时间8:00触发事件小明的智能手表Apple Watch Ultra 2检测到小明已经起床通过加速度传感器和心率传感器小帮的动作感知环境小帮通过智能家居控制中心Apple TV 4K的传感器感知到现在的时间是周六早上8点天气晴朗气温22℃室内的温度是20℃湿度是40%甲醛浓度是0.01mg/m³符合国家标准理解意图小帮根据小明的习惯理解到小明现在起床了接下来需要打开智能窗帘打开空气净化器的暖风模式把室内温度升到24℃播放小明喜欢的轻音乐准备早餐展示今天的日程安排和天气情况任务规划小帮把这些需求分解成一系列子任务并且选择最合适的设备来执行这些子任务子任务1打开智能窗帘 → 执行设备智能窗帘Somfy Tahoma子任务2打开空气净化器的暖风模式把室内温度升到24℃ → 执行设备空气净化器Dyson Purifier HotCool Formaldehyde子任务3播放小明喜欢的轻音乐莫扎特的钢琴曲 → 执行设备智能电视Sony A95L 85英寸因为音响效果最好子任务4提醒小明准备早餐小明的早餐是全麦面包、煎蛋、牛奶、蓝莓这些食材都在冰箱里小明需要自己做或者可以选择点外卖但小帮知道小明喜欢自己做早餐 → 执行设备智能手表Apple Watch Ultra 2因为小明刚起床可能还在卧室手表在手上最方便子任务5展示今天的日程安排和天气情况 → 执行设备智能电视Sony A95L 85英寸因为屏幕最大看得最清楚执行任务小帮通过Somfy Tahoma的API打开了智能窗帘阳光洒进了客厅小帮通过Dyson的API打开了空气净化器的暖风模式设定温度为24℃小帮通过Apple TV 4K的API打开了Spotify App播放了小明收藏的“莫扎特钢琴曲精选” playlist音量设定为30%小帮通过Apple Watch的API给小明发送了一个轻微的震动提醒并且在手表的屏幕上显示了一条消息“早上好小明今天是周六天气晴朗气温22-28℃适合出去散步。智能窗帘已经打开空气净化器已经打开暖风模式轻音乐已经播放。早餐食材都在冰箱里需要我帮你点外卖吗”小帮通过Apple TV 4K的API在智能电视的屏幕上显示了今天的日程安排今天上午9:00-12:00写代码完成上个月项目的技术总结今天下午2:00-4:00看电影《奥本海默》今天晚上7:00-9:00和大学同学视频通话和天气情况包括今天的天气、明天的天气、未来一周的天气、空气质量指数、紫外线指数等待用户反馈小帮等待小明的反馈。步骤2小明回复智能手表小帮调整任务时间8:01用户输入小明对着智能手表说了一句“不用点外卖我自己做早餐。另外把今天上午写代码的时间改成10:00-13:00我想先出去跑半小时步再回来吃早餐。”小帮的动作感知环境小帮通过智能手表的GPS传感器感知到小明现在在卧室理解意图小帮理解了小明的两个意图意图1自己做早餐不用点外卖意图2调整今天的日程安排——把写代码的时间从9:00-12:00改成10:00-13:00先出去跑半小时步8:15-8:45再回来吃早餐任务规划小帮调整了之前的任务规划并且选择最合适的设备来执行新的子任务保留的子任务打开智能窗帘已完成、打开空气净化器的暖风模式已完成、播放轻音乐已完成、展示今天的日程安排和天气情况已完成取消的子任务提醒小明准备早餐暂时取消等小明跑步回来再提醒新增的子任务子任务6调整今天的日程安排 → 执行设备小明的Todoist App同步到所有设备子任务7准备跑步的东西比如运动耳机、运动水壶、毛巾 → 执行设备智能手表Apple Watch Ultra 2提醒小明子任务8暂停轻音乐 → 执行设备智能电视Sony A95L 85英寸因为小明要出去跑步不需要听音乐了子任务9等小明跑步回来提醒小明准备早餐并且把轻音乐的音量调到40% → 执行设备智能手表Apple Watch Ultra 2和智能电视Sony A95L 85英寸执行任务小帮通过Todoist的API调整了今天的日程安排删除了原来的“9:00-12:00写代码”任务新增了“8:15-8:45出去跑步”任务新增了“10:00-13:00写代码完成上个月项目的技术总结”任务把这些任务同步到了小明的所有设备智能手表、智能手机、平板电脑、笔记本电脑上小帮通过Apple Watch的API给小明发送了一个轻微的震动提醒并且在手表的屏幕上显示了一条消息“好的小明日程安排已经调整好了。现在是8:02你还有13分钟准备跑步的东西。需要我帮你打开跑步机吗你家里有一台Peloton Bike但小帮知道小明喜欢在户外跑步”小帮通过Apple TV 4K的API暂停了Spotify App的轻音乐小帮设置了一个定时器等小明的智能手表检测到小明回到家通过GPS传感器和智能门锁的传感器就提醒小明准备早餐并且把轻音乐的音量调到40%等待用户反馈小帮等待小明的反馈。步骤3小明出去跑步智能手表记录跑步数据时间8:15-8:45用户输入小明对着智能手表说了一句“不用了我在户外跑步。开始记录跑步数据吧”小帮的动作感知环境小帮通过智能手表的GPS传感器感知到小明现在在楼下的小区里理解意图小帮理解到小明要在户外跑步并且要记录跑步数据任务规划小帮选择最合适的设备来执行这个任务子任务10开始记录跑步数据包括配速、距离、时间、心率、消耗的卡路里、跑步路线 → 执行设备智能手表Apple Watch Ultra 2因为它是专门的运动手表记录跑步数据最准确子任务11播放小明喜欢的跑步音乐周杰伦的《晴天》《七里香》《以父之名》等 → 执行设备小明的AirPods Pro 2通过智能手表连接执行任务小帮通过Apple Watch的API打开了Workout App选择了“户外跑步”模式开始记录跑步数据小帮通过Apple Watch的API连接了小明的AirPods Pro 2打开了Spotify App播放了小明收藏的“跑步音乐精选” playlist音量设定为50%实时反馈在小明跑步的过程中小帮会实时通过智能手表和AirPods Pro 2给小明反馈每跑1公里小帮会通过AirPods Pro 2告诉小明“你已经跑了1公里配速是5分30秒心率是140次/分钟消耗了80卡路里”当小明的心率超过160次/分钟的时候小帮会通过AirPods Pro 2提醒小明“你的心率有点高建议放慢速度”当跑步时间到了45分钟的时候小明本来计划跑30分钟但可能跑得太尽兴了小帮会通过AirPods Pro 2提醒小明“你已经跑了45分钟距离是8.2公里消耗了600卡路里建议回家休息”结束任务当小明回到家对着智能手表说了一句“结束跑步”小帮会通过Apple Watch的API结束Workout App的记录并且把跑步数据同步到小明的Health App和Strava App同步到所有设备。步骤4小明回到家准备早餐智能手机播放视频教程时间8:50触发事件小明的智能手表检测到小明回到家通过GPS传感器智能门锁检测到小明用指纹打开了门小帮的动作感知环境小帮通过智能家居控制中心Apple TV 4K的传感器感知到小明现在回到家了室内的温度已经升到了24℃理解意图小帮根据之前的设置理解到小明现在需要准备早餐任务规划小帮选择最合适的设备来执行这个任务子任务12提醒小明准备早餐 → 执行设备智能手表Apple Watch Ultra 2子任务13播放轻音乐 → 执行设备智能电视Sony A95L 85英寸音量设定为40%子任务14如果小明需要播放煎蛋的视频教程 → 执行设备智能手机iPhone 15 Pro Max因为小明在厨房手机放在口袋里或者放在厨房的台面上最方便屏幕大小也合适执行任务小帮通过Apple Watch的API给小明发送了一个轻微的震动提醒并且在手表的屏幕上显示了一条消息“欢迎回家小明跑步辛苦了室内温度已经升到了24℃轻音乐已经播放。现在准备早餐吧需要我帮你播放煎蛋的视频教程吗”小帮通过Apple TV 4K的API继续播放Spotify App的“莫扎特钢琴曲精选” playlist音量设定为40%等待用户反馈小帮等待小明的反馈时间8:51用户输入小明从口袋里拿出智能手机对着智能手机说了一句“好的播放一个‘如何煎出完美的溏心蛋’的视频教程时长不要超过5分钟。”小帮的动作感知环境小帮通过智能手机的GPS传感器感知到小明现在在厨房理解意图小帮理解到小明需要一个时长不超过5分钟的“如何煎出完美的溏心蛋”的视频教程任务规划小帮选择最合适的工具和设备来执行这个任务子任务15用搜索引擎搜索“如何煎出完美的溏心蛋 时长不超过5分钟”的视频教程 → 执行工具Google Search子任务16从搜索结果中选择一个观看量最高、评分最高、时长不超过5分钟的视频教程 → 执行工具小帮自己的判断能力基于大语言模型子任务17在智能手机上播放这个视频教程 → 执行设备智能手机iPhone 15 Pro Max的YouTube App执行任务小帮调用Google Search的API搜索了“如何煎出完美的溏心蛋 时长不超过5分钟”的视频教程小帮从搜索结果中选择了一个观看量1000万、评分4.9/5、时长4分30秒的视频教程来自美食博主“小高姐的魔法调料”小帮通过智能手机的API打开了YouTube App播放了这个视频教程并且根据小明的阅读习惯调整了视频的字幕大小大号字幕、字幕颜色白色字幕黑色背景