Eino：Agent的LLM抽象

拨开迷雾看本质从零推导 ChatModelAgent模型适配层与 Agent 运行时在 react.md 里看到的是“ReAct 作为范式”的推导而本篇把视角切到 chatmodel.go 作为工程实现它不只是“为了 ReAct 画图”更是把模型层SDK/MCP变成可观测、可插拔、可恢复的 Agent 运行时。0. 前置基建大模型 API 的抽象演进在深入推导 ChatModelAgent 之前我们必须先弄清楚底层的 LLM 到底是个什么东西从模型厂商提供的原生 SDK 到 Eino ADK 里的ChatModelAgent这中间经历了怎样的抽象演进0.1 寻找“第一性原理”原生厂商 SDK 与手写 HTTP最原始的业务需求是把一串对话发给模型拿回一串回答。如果不使用任何框架我们直接调用 OpenAI 的 SDK代码是这样的// 第一性原理原生厂商 SDKfuncCallOpenAI(history[]openai.ChatCompletionMessage)string{req:openai.ChatCompletionRequest{Model:openai.GPT4,Messages:history,Tools:[]openai.Tool{{...}},// 绑定一堆工具 Schema}resp,err:client.CreateChatCompletion(ctx,req)returnresp.Choices[0].Message.Content}痛点与危机厂商绑定Vendor Lock-inOpenAI 的Message结构体和 Anthropic (Claude) 的结构体完全不一样。如果业务想切模型整个系统的代码都要重写。多模态与工具调用的碎片化怎么传图片怎么传工具结果各家的 JSON 格式千奇百怪。并发安全危机状态突变注意看Tools是绑在Request上的。如果你在一个全局单例的 Client 上调用BindTools()很多早期框架的设计当并发请求进来时A 用户的工具会覆盖 B 用户的工具0.2 第一次演进组件层的大一统接口 (components/model)为了解决上述痛点Eino 在最底层components包做了一次极其关键的接口抽象。目标是抹平所有模型厂商的差异定义统一的对话与工具挂载协议。在 components/model/interface.go 中我们看到了演进后的本质代码// 统一的消息结构抹平 OpenAI、Claude 差异typeMessagestruct{Role RoleType ContentstringToolCalls[]ToolCall}// 演进一最基础的生成接口typeBaseChatModelinterface{Generate(ctx,input[]*schema.Message)(*schema.Message,error)Stream(ctx,input[]*schema.Message)(*schema.StreamReader,error)}// 演进二解决并发工具挂载的终极形态不可变模式typeToolCallingChatModelinterface{BaseChatModel// 极其关键的设计WithTools 必须返回一个新的实例// 绝对不能修改当前实例的状态彻底解决并发工具覆盖的 BugWithTools(tools[]*schema.ToolInfo)(ToolCallingChatModel,error)}至此底层的基建已经完成。我们得到了一个绝对干净、并发安全、支持工具挂载的标准化模型底座。但这只是“执行器”还缺一个“大脑引擎”来驱动它。这就是adk.ChatModelAgent诞生的背景。1. 第一性原理ChatModelAgent 解决的是什么问题components/model已经能让我们“调模型拿回答”。但真实业务要的是一个Agent 运行时它需要把“模型调用”变成可观测的事件流对外统一输出AgentEvent支持打字机与工具结果。可插拔的生命周期允许在模型调用前后改写消息、指令、工具清单、重试策略。可恢复的执行现场支持 Human-in-the-loop 的挂起与恢复Interrupt/Resume。可组网的控制流支持 Transfer/Exit 这种改变控制权的动作语义。这些职责才是 chatmodel.go 的存在理由。2. 抽象主线一事件流把模型与工具统一成AgentEvent2.1 模型事件从schema.Message到AgentEvent过程How模型输出原本是*schema.Message或其流。ChatModelAgent 通过事件发送包装器把它转成AgentEvent并推到外层 Iterator。源码对应NewEventSenderModelWrapper见 wrappers.go#L239-L3202.2 工具事件工具结果也必须进入同一根事件管道过程How工具执行的输出会被包装为 ToolMessage再转成 Tool 事件发出去并且允许工具“附带一个 Action”。源码对应ToolCall middleware 的顺序声明见 chatmodel.go#L361-L376eventSenderToolHandler见 wrappers.go#L344-L483动作类比模型吐字像“口述”。工具返回像“递交一张凭证”。AgentEvent像“加盖了身份与角色的公文”便于流式 UI、日志、调度器统一消费。3. 抽象主线二状态与中间件把模型调用升格为可重写生命周期3.1stateModelWrapper模型调用的交通枢纽过程How从 compose 的 State 读出当前会话消息。执行旧式AgentMiddleware的前后钩子。执行新式ChatModelAgentMiddleware的前后钩子可返回新 ctx可改写 state。调用真实模型再把结果写回 State。源码对应stateModelWrapper.Generate/Stream见 wrappers.go#L611-L7453.2 关键收益中间件不仅能“看”还能“改”这意味着很多能力不需要侵入核心引擎而能以切面方式落地例如动态裁剪工具只把相关的 5 个工具发给模型看。注入/改写指令system prompt 拼接规则。模型重试按策略重放 Generate/Stream。为什么“之前做不到”核心差别是能不能在正确的时机改到“真正生效”的东西很多人直觉里的“中间件”只是Before()/After()两个回调调用模型前做点事调用模型后做点事。这在“只需要打日志/计时”时够用但在“要改变模型的输入、要改变工具清单、要改变重试行为、还要对流式输出生效”时就会失效。下面用三个非常具体的对比解释“旧做不到/现在能做到”的本质。动态裁剪工具以前往往只能改‘提示词’改不了‘发送给模型的 Tools 列表’旧做法做不到的点很多系统只能在 Prompt 里写“你现在可用工具有 A/B/C”。但 Function Calling 真正起作用的是 API 请求里的tools字段。你改提示词模型依然看见 100 个工具的 schema就仍然会“选错/幻觉/超 token”。现在怎么做How在ChatModelAgentMiddleware.BeforeModelRewriteState或WrapModel里基于当前上下文筛选出 5 个工具并通过模型 option 的方式绑定到本次调用。stateModelWrapper会在调用模型前构造ModelContext{Tools: ...}并把它传给 handler见 wrappers.go#L628-L637从而做到“本次调用真正只发 5 个工具给模型看”。具象例子你有 100 个工具其中 80 个是运维危险操作。如果用户只在问“解析 JSON”裁剪后只发parse_json、read_file等 5 个工具模型不会再误触发delete_db之类的工具。注入/改写指令以前只能拼字符串现在能改‘状态机里的消息序列’旧做法做不到的点只在最外层拼一个 System Prompt 字符串无法保证它在每次模型调用前都能和历史消息以一致的策略合并更无法在恢复Resume后对历史做局部补丁。现在怎么做HowstateModelWrapper在每次 Generate/Stream 前把state.Messages交给BeforeModelRewriteState允许你把某些消息替换、插入、降噪然后再写回 compose 的 State见 wrappers.go#L639-L642。这属于“改状态机的事实”不是“改一句提示词的愿望”。动作类比以前你只能在会议前发一封邮件强调纪律现在你能直接改会议纪要把关键事实加粗写进正式记录所有后续决策都会基于这份纪要。模型重试流式场景下的“预检阻塞”机制解决半截报错痛点旧做法外层 for 循环的灾难在普通的流式输出中一旦Stream()调用成功返回普通的for循环重试就失效了因为它只管“建立连接”成功与否。如果流读到第 10 个 token 时网络断了外层重试会开启一个新流再次发送第 1 到 10 个 token导致前端 UI 出现严重的“重复叠字”或“事件序号错乱”。现在怎么做HowRetryWrapper采用了一种极其极端的Copy Consume (双胞胎预检)策略调用底层Stream后使用stream.Copy(2)复制出两个流。预检阻塞拦截器会阻塞地把第一个流从头读到尾只为了检查中间有没有报错见 retry_chatmodel.go#L213-L274 的consumeStreamForError。如果预检发现错误且允许重试直接丢弃第二个流进入下一次重试只有预检成功跑到 EOF才把第二个完好的流返回给上层和前端。代价Why Trade-off这种设计完美解决了“半截报错导致前端脏数据”的问题但付出了巨大的代价——牺牲了 TTFT (Time To First Token)。用户侧无法实时看到 token 逐个蹦出而是会经历一段较长的空白期然后瞬间拿到全部结果流式输出在某种意义上变成了“伪流式”。这是为了在不可靠网络下保证内容绝对一致性而做出的工程妥协。4. ChatModelAgent 并不等于 ReAct它决定何时走图何时不走图4.1 无工具模式不走 ReAct直接跑降级捷径过程How工具列表为空时buildRunFunc会选择 no-tools 的运行函数避免图编译开销。源码对应buildRunFunc的分支选择见 chatmodel.go#L884-L9054.2 有工具模式才进入 ReAct 图react.go 只是拓扑生成器过程How有工具时才构建 ReAct 的runFunc最终由Run决定走Invoke还是Stream并处理OutputKey的会话存储。源码对应Run的 Invoke/Stream 与 OutputKey见 chatmodel.go#L820-L8555. 抽象主线三运行时改写、缓存与冻结“一次编译多次运行”5.1once frozen为什么要冻结过程How第一次运行后Agent 会被冻结冻结后不能再改 subAgents 等结构性配置。源码对应buildRunFunc见 chatmodel.go#L884-L910OnSetSubAgents的冻结保护见 chatmodel.go#L514-L517Why防止“运行了一半才改图拓扑”的不可恢复状态保证 checkpoint 的可解释性。5.2applyBeforeAgent为什么还允许每次 Run 动态改写痛点与危机既然在NewChatModelAgent阶段所有的工具和配置都已经初始化并固化成了闭包那为什么还要在每次调用Run()的时候通过中间件提供一个BeforeAgent钩子来允许动态修改呢答案是为了实现“上下文感知”的动态能力。有些业务场景下Agent 拥有的能力不是静态的而是随着用户状态或环境动态变化的动态工具发现Tool Discovery一个“企业级助手”Agent 可能对接了内部上千个系统 API。如果把一千个工具的 Schema 在初始化时全塞给模型Context Window 会当场爆炸。因此最佳实践是初始化时不带任何工具而在BeforeAgent阶段根据用户当前输入的问题利用向量检索找出最相关的 5 个 API临时把它们挂载上去。基于权限的工具挂载 (Permission-based Access)同一个 Agent 模板管理员调用时动态注入delete_database工具普通用户调用时不注入。千人千面的配置不同的用户调用同一个 Agent可能需要加载不同的系统指令比如 VIP 用户和普通用户的语气不同。它会破坏 Checkpoint (断点续传) 吗这是一个极其尖锐且关键的架构拷问因为 Checkpoint 记录的是“历史状态”如果在恢复Resume时Agent 的工具列表突然变了状态机难道不会崩溃吗Eino 的精妙解法意图与物理结构的解耦框架不仅不会崩溃反而原生支持了这种动态性。这背后依赖于三个步骤的严密配合缺一不可重新触发拦截器 (BeforeAgent)在源码中adk/chatmodel.go#L1004无论是首次Run还是中继点Resume都会重新走一遍getRunFunc这意味着所有的BeforeAgent钩子会被重新执行。为什么光有这一步不够因为BeforeAgent只是在逻辑上Config/Context 层面修改了你想用的工具。但底层的compose.Graph在编译后是静态冻结的如果底层图压根没有处理工具的节点你光改配置是没用的。底层图的即时重构 (Rebuild Graph)你可能会问“只是给个 Tool 说明不行吗为什么要重新编译图”这是因为 Eino 底层的compose.Graph在拓扑上对“有无工具”是极其敏感的。如果初始化时没有工具编译出的是一张线性图只有 ChatModel 节点跑完直接结束。如果初始化时有工具编译出的是一张ReAct 循环图包含 ChatModel 节点、Branch 分支、ToolsNode 节点。为什么不能事先连接一个空的 Tool Node这是一个非常好的质疑如果框架在初始化时不管有没有工具都强制画一张“带有空 ToolNode 的 ReAct 循环图”不就不需要 Rebuild 了吗Eino 放弃这种做法是基于性能、状态管理与语义正确性的三重考量执行开销的降维打击无工具的buildNoToolsRunFunc是一条极简的线性链 (Chain)(START - ChatModel - END)没有分支判断没有沉重的 State 状态机。而 ReAct 图每次模型吐字后都要跑一遍Branch函数去检查有没有 ToolCall还要维护迭代次数防止死循环。如果一个纯聊天的 Agent 被迫跑在 ReAct 图上是对计算资源的纯粹浪费。语义防错大模型偶尔会产生“幻觉Hallucination”。如果你给它一张带 ToolNode 的图哪怕工具列表是空的模型也有极小概率因为提示词污染而强行生成一个不存在的 ToolCall。如果图里有分支它就会跳进去报错如果是线性图它根本没有跳出去的物理轨道从根本上阻断了这种幻觉路径。类比线性图就像是“直达电梯”ReAct 图就像是“带有安检和循环分拣的传送带”。如果顾客开发者明确表示没有包裹工具强迫他们走安检传送带是不合理的。因此只有当包裹真的出现时框架才不惜代价去重建那条复杂的传送带。状态注入新图重构完图结构后最致命的问题来了新编译的图是“空白”的没有记忆。所以最后一步框架必须把从 Checkpoint 数据库里捞出来的“历史对话消息Messages”和“中断位点”像灵魂注入躯体一样精准地注入到这张新图里继续跑。总结BeforeAgent决定了改什么意图Rebuild Graph负责让改动在物理上生效拓扑结构状态注入保证了历史记忆的延续。这三者共同配合将“历史对话状态存在 DB 里”和“运行时环境契约每次 Run/Resume 时动态生成”彻底解耦。6. Interrupt/Resume把图引擎中断翻译成 Agent 级挂起恢复6.1 中断抽取 interrupt info 拉取 checkpoint bytes 组装复合中断事件过程How当底层返回 interrupt errorChatModelAgent 从 bridgeStore 拉到 checkpoint 数据并打包成CompositeInterrupt事件发送给外层。源码对应interrupt 提取与 checkpoint 读取见 chatmodel.go#L856-L8816.2 恢复允许注入新信息HistoryModifier过程HowResume从InterruptState取回 checkpoint bytes如果用户提供ChatModelAgentResumeData可以在恢复前对历史做一次函数式改写。源码对应Resume的 HistoryModifier见 chatmodel.go#L1001-L1052resume 执行见 chatmodel.go#L1054-L1077动作类比恢复前的 HistoryModifier 像“把补充材料钉进工单首页”确保后续推理基于最新事实继续。7. 批判性总结强在哪里代价是什么优势模型与工具都被统一进AgentEvent天然适配 UI/日志/调度器。模型调用被中间件化很多能力变成可插拔切面。中断与恢复以 bytes checkpoint 作为桥接让 Human-in-the-loop 工程化落地。代价与局限chatmodel.gowrappers.go形成厚胶水层协议转换、状态读写、图适配、兼容旧中间件全部叠加调试成本高。更 Unix 的演进方向收敛两套中间件 API把旧AgentMiddleware逐步退役只保留接口型中间件。进一步解耦“执行策略”例如 ReAct 图与 “Agent 运行时”让用户显式选择策略而不是只能靠固化拓扑 Hack 中间件。