大模型的探索与实践-课程笔记（四）：Agent与Multi-Agent

Take-away MessagesAgent智能体让大模型能够调用工具规划、记忆、行动Manus / OpenManus在本地部署OpenManusMulti-Agent任务分解、任务联动Coze利用Coze构建智能体1.1 从大模型LLM到智能体Agent1. 概念演进为什么需要 AgentPrompt 角色扮演的局限传统的 Prompt如“你现在是唐代诗人李白...”只能改变模型的输出风格和分布但它没有行动能力。纯 LLM 无法帮你“定闹钟”、“自动扫码签到”。Agent 的本质Agent 是拓宽了大模型边界的系统。它以大模型为“大脑”赋予其自主调用工具的能力使其能够与外部环境交互从而完成复杂的现实任务。如果只用prompt有哪些任务无法完成AI 无法直接帮你设定闹铃AI 无法直接帮你课堂签到如何让AI更加自主的完成任务 -- agent2. Agent 与传统 Workflow 的区别Workflow工作流流程是定死的例如必然先查文献 → 再写摘要 → 再写正文缺乏灵活性。Agent智能体流程是动态且自主的。大模型先给出总规划在执行第一步后如果发现结果不好或方向不对大脑会自主修正下一步的计划无需人类干预。1.2 Agent 的三大核心能力一个合格的 Agent 必须具备以下三大支柱能力缺一不可1.2.1 能力一规划Planning / 感知与决策感知多模态能力要求 Agent 既能看懂文本也能处理图像、语音甚至能统一理解不同软件工具的“工作语言”。将多种模态“翻译成同一语言”映射到同一空间将多种模态“拼接在一起”决策任务拆解AI根据既定模糊目标自主拆解出子任务判断执行顺序并应对潜在变量。大模型能够将模糊的目标转化为可落地的结构化方案。举例“制定北京三日游计划” ——查交通 → 查酒店 → 排景点 → 算预算1.2.2 能力二行动Action调用工具Agent 可以调用 API 或运行程序。如调用 Python 环境执行代码Cursor/Trae 的底层逻辑或调用网络搜索接口。大模型直接输出程序代码有问题用大模型调用python大模型可能不知道最新的论文用大模型调用arxiv的API多步任务与思维链CoT, Chain of Thought处理复杂任务时Agent 需要拆解步骤。Zero-shot CoT只需在提示词加入“Lets think step by step”。Few-shot CoT在给模型的样例中不仅给答案还写出详细的中间推导过程。问题目前学界正在反思大模型生成的 CoT 究竟是它“真的在思考”还是它只是在生成“看起来像在思考”的文本1.2.3 能力三记忆Memory解决早期大模型“聊几句就忘了自己是谁”的健忘症。为什么AI突然“忘了”自己是谁 ——大模型对长文本任务表现往往不够好忘记自己的身份信息忘记以往的对话信息对于多轮对话来说不明确依赖对话历史的单纯的交互难以保持角色设定的一致性以及对于上下文的理解短期记忆对话历史压缩将System Prompt系统预设如“你是福尔摩斯”Chat History历史对话打包送给模型。由于目前长文本技术的发展大模型可轻松处理 200k tokens短期记忆问题已基本解决。工程实现中引入了对话记忆机制。我们可以选择将对话历史直接插入提示词中但随着对话的积累如何写入、管理记忆、构造提示词又引发了新的疑问。长期记忆Memory Bank / RAG面对超长的交互如阅读成千上万行代码单纯增加上下文窗口不够用。需要使用专门的机制将历史对话总结成事件和用户画像存入外部数据库需要时通过 RAG检索增强生成提取相关记忆。2.1 多智能体Multi-Agent的设计哲学1. 什么是多智能体Multiagent通过赋予单个agent专门的职责设定构建agents之间的通信 从而提供任务分解和专业化分而治之降低单个任务的复杂性提供鲁棒性与容错性例如代码审查模拟复杂系统模拟真实世界的社会、经济或组织动态2. 为什么需要多智能体单一模型的局限不够专精如果一个事物想越“通用”它在垂直领域往往表现就越差什么都懂一点 什么都不精通。分而治之Multi-Agent 类似于 Agent 领域的CoT。通过赋予不同 Agent专门的职责设定让它们分别做自己最擅长的事然后相互通信从而降低单个复杂任务的错误率。对抗与协作机制例如写代码任务不要让一个模型直接输出。可以设计两个 Agent一个Programmer程序员负责写代码一个Inspector审查员负责找 Bug 并出教程两者自动循环纠错直到输出完美结果。动手来制作属于自己的agent吧2.2 Coze (扣子) 进阶开发Coze是字节跳动推出的一站式 AI 应用开发平台支持无代码 / 低代码方式通过拖拽模块、集成插件与知识库等功能快速构建 AI 智能体或应 用并可发布至多平台或集成到业务系统大幅降低 AI 开发门槛。本节课手把手拆解了在 Coze 创建高质量 Agent 的底层参数调优与避坑逻辑1. Prompt 的结构化与优化自动优化功能不要自己干想先写出简单需求如写一首周杰伦曲风的歌直接点击左上角“自动优化提示词”Coze 会自动帮你扩写成标准的【角色设定】【技能列表】【限制条件】的结构化 Prompt。2. 模型选择与参数精调选择合适的模型尤其注意是否需要视觉能力设置上下文轮数与最大回复长度Top P多样性控制数值越大模型生成的词汇越多样、越有创意数值越小模型会截断低概率词汇生成越死板但精确。写诗、写歌、做游戏调大到0.9左右偏创意写严肃论文、搜资料调小到0.3~0.4偏精确。重复句惩罚Repetition Penalty原理大模型尤其带深度思考的模型极易陷入“车轱辘话”死循环。实操建议务必添加适量惩罚值如 0.01~0.02迫使模型输出新信息。上下文轮数Context Turns文字游戏类 Agent 必须调高否则聊到后面模型会忘记开头的人设和规则。3. MCP 插件使用不要贪多给大模型挂载的工具不是越多越好 插件过多会导致大模型不知道该掉用哪一个最终报错或装死。检查 API依耐性很多第三方插件事实上需要你在参数里填入自己的Base URL或API Key如果不填调用必定失败体现为模型拒绝输出结果或报超时错。2.3 Workflow工作流的搭建与逻辑1. 什么是工作流将多个大模型、插件通过可视化连线输入 → 输出组合在一起。2. Agent 与 Workflow 的核心区别Agent告诉它有哪些“技能插件/模型”它自己动脑子决定先用哪个、后用哪个。Workflow把流程定死了必须按你连的线一步步走。何时用工作流对于流程极度固定、步骤明确的任务如长文分段写作、固定格式打分用 Workflow 更稳定可避免 Agent 的“想太多”导致的幻觉。注意Workflow 必须“发布”后才能在智能体中稳定供其自主调用。2.4 底层架构对比在处理复杂任务时三种架构的能力对比架构模式运行机制核心能力特征优缺点对比Single LLM (单大模型)原生对话靠 Prompt 引导任务无外部工具无分工最弱。无法融合不同专精的模型如用模型A写词、模型B编代码。Workflow (工作流)节点被连线“定死”按顺序强行执行No Planning (无规划能力)优流程绝对可控无视模型脾气。缺一旦中间一个节点挂了后续全部完蛋不能跳步。Multi-Agent (多智能体)多个专精 Agent 相互配合共同完成任务Has Planning (有自主规划能力)优灵活性极高。遇到某个 Agent 报错卡死它能自主跳步/绕路找别的办法完成任务。缺不太听话有时不按预期路线走。延伸前沿概念世界模型World Model与 Sora世界模型World Model的定义判断一个 AI 是否具有世界模型核心在于它是否感知并掌握了人类世界的物理规律Physics。大模型的痛点传统的文本大模型不知道“苹果松手会掉在地上”它只是概率预测。Sora 的突破在视频生成中展现了极强的空间能力、时间连续性和物理规律流体碰撞、遮挡关系。它不仅是在画图而是在大脑中“建构了一个符合物理常识的三维世界”。核心 AI 工具本节课重点展示并解析了多个应用级与底层 AI 工具/模型汇总如下工具/模型名称类别核心功能与特色应用领域Manus商业级 Agent现象级多功能聚合智能体。能根据模糊指令自主拆解任务、调研资料、编写代码并生成最终产物如开题报告、小游戏、PPT。注意目前国内IP受限且价格昂贵。全自动任务闭环日常办公、简单游戏开发、资料汇总等自动化处理。OpenManus开源 Agent 框架Manus 的开源简易复现版。支持本地部署可接入第三方大模型 API如 DeepSeek来实现类似 Manus 的自主任务规划与执行。本地化 Agent 开发与部署适合开发者自定义、低成本体验 Agent 能力。CLIP多模态模型方案OpenAI 提出的对比学习模型。将“图片”和“描述图片的文字”映射到同一个“概念空间”翻译成同一语言实现跨模态理解。感知与识别为 Agent 提供基础的图文匹配与多模态感知能力。Flamingo多模态模型方案DeepMind 提出的模型。在冻结的语言模型中插入交叉注意力层将多种模态“拼接”在一起实现强大的少数样本学习和视觉理解。视觉理解赋予大模型Agent大脑“看”的能力。ArXiv API学术工具接口学术预印本平台 ArXiv 提供的接口。Agent 可通过调用该 API直接获取最新的未排版学术论文如 LaTeX 源码解析准确率远高于直接读取 PDF。学术检索与工具调用Agent 获取最新科研前沿数据的核心抓手。工具/项目名称工具类别核心功能与特色在本课/应用领域的场景Coze (扣子)智能体开发平台字节跳动推出的一站式低代码 AI 开发平台。支持插件调用MCP、工作流编排和多平台一键发布。搭建专属 Agent如带人设的单人剧本杀、测试问卷、自动做歌/写文案机器人。Suno / Suno AIAI 音乐生成强大的音乐生成模型所作歌曲具极高“流行度”和“抓耳感”。可通过 API 接入 Coze 成为插件。音乐创作根据大模型写出的偏好、歌词全自动谱曲并演唱。SoraAI 视频生成大模型具备惊人的“世界模型”能力能理解物体在三维空间的关系与物理碰撞规律生成电影级运镜视频。视频自动化生成输入 Prompt 生成高逼真度物理规律和人物互动的短片。AI Town / 生成式智能体多智能体模拟环境斯坦福/港大等研究的项目。在一个电子小镇中投放几百个拥有独立性格、记忆的 Agent让其自主社交、生活。社会学/经济学模拟无需真人实验通过 Multi-Agent 模拟人类社群行为。Claude大语言模型被老师特别提及在纯文本/非图形界面的 Prompt 编写和深度逻辑表现上体验甚至优于 GPT。强逻辑文本处理与代码辅助。