LangGraph：构建有状态智能体工作流的底层编排框架

1. 项目概述LangGraph一个为状态智能体而生的底层编排框架如果你正在构建基于大语言模型的智能体应用并且已经受够了那些只能处理简单、无状态对话的玩具级框架那么LangGraph的出现或许能解决你真正的痛点。简单来说LangGraph是一个用于构建、管理和部署长期运行、有状态的智能体工作流的底层编排框架。它不像一些高级封装库那样给你一个“开箱即用”但功能受限的黑盒而是提供了一套强大、灵活的基础设施让你能够像搭积木一样设计出能够处理复杂、多步骤、需要记忆上下文任务的智能系统。想象一下你需要构建一个客户服务智能体它不仅要能回答当前问题还要能记住用户之前咨询过的订单信息在后续对话中主动引用甚至能在处理一个长达数小时的复杂退换货流程中随时暂停等待人工审核并在审核后从断点处无缝恢复。这种“状态持久化”和“流程编排”能力正是LangGraph的核心价值所在。它由LangChain团队打造但设计上完全独立可以与任何LLM组件配合使用目前已被Klarna、Replit、Elastic等前沿公司用于构建其核心的智能体产品。2. 核心设计理念与架构解析2.1 为什么需要“有状态”与“编排”传统基于LLM的聊天应用大多是“一问一答”的无状态模式。每次请求都是独立的模型不记得之前的对话历史除非显式地将历史记录作为上下文传入。这对于简单查询尚可但一旦涉及需要多轮交互、决策分支、工具调用序列的复杂任务这种模式的局限性就暴露无遗。状态是智能体“记忆”和“情境”的载体。它不仅仅指对话历史还包括工作内存当前任务执行中的临时变量如已收集的用户信息、中间计算结果。长期记忆跨会话保存的用户偏好、知识库索引等。执行上下文当前流程走到了哪一步下一个该调用什么工具。编排则是管理状态如何随着智能体的每一步行动调用LLM、执行工具、等待用户输入而演变的规则。LangGraph将智能体工作流抽象为一个有向图图中的节点代表一个可执行的动作如“调用LLM分析用户意图”、“调用API查询数据库”边则定义了基于当前状态下一步应该执行哪个节点。这种图结构带来了几个关键优势显式控制流你可以清晰地定义循环、条件分支if-else、并行执行等复杂逻辑这是编写线性提示词或简单链式调用难以实现的。状态集中管理所有数据流动都在一个中心化的状态对象中便于调试、持久化和人工干预。模块化与复用每个节点或子图可以独立开发和测试然后像乐高一样组合成更复杂的工作流。2.2 LangGraph 的核心抽象StateGraphLangGraph最核心的类是StateGraph。你需要为其定义一个状态模式通常是一个Pydantic模型然后添加节点和边。from typing import TypedDict, Annotated from langgraph.graph import StateGraph, END import operator # 1. 定义状态模式 class AgentState(TypedDict): # 用户输入的问题 question: str # 累积的对话历史 messages: Annotated[list, operator.add] # 从知识库检索到的相关文档 context: str # LLM生成的最终答案 answer: str # 2. 初始化图 workflow StateGraph(AgentState) # 3. 定义节点函数 def retrieve_node(state: AgentState): # 模拟检索过程这里可以根据state[‘question’]去查询向量数据库 retrieved_docs “相关文档内容...” return {“context”: retrieved_docs} def generate_node(state: AgentState): # 组合问题和上下文调用LLM生成答案 prompt f“基于以下上下文{state[‘context’]} 回答问题{state[‘question’]}” # 假设调用LLM llm_response “生成的答案...” return {“answer”: llm_response, “messages”: [(“assistant”, llm_response)]} # 4. 添加节点 workflow.add_node(“retrieve”, retrieve_node) workflow.add_node(“generate”, generate_node) # 5. 设置入口点 workflow.set_entry_point(“retrieve”) # 6. 添加边定义流程 workflow.add_edge(“retrieve”, “generate”) workflow.add_edge(“generate”, END) # 7. 编译图 app workflow.compile()这个简单的例子构建了一个“检索-生成”工作流。但LangGraph的强大之处在于其条件边和循环。2.3 实现复杂逻辑条件边与循环假设我们想让智能体在生成答案后自我检查答案的质量如果不够好就重新检索或生成。from langgraph.graph import StateGraph, END from langgraph.checkpoint import MemorySaver from langgraph.prebuilt import ToolNode from langchain_core.tools import tool # 定义一个自我评估的工具/节点 tool def evaluate_answer(question: str, answer: str) - str: “”“评估答案是否充分回答了问题。返回 ‘good’ 或 ‘bad’。 ”“” # 这里可以调用另一个LLM进行评估 return “good” if len(answer) 20 else “bad” def routing_node(state: AgentState): # 根据评估结果决定下一步 eval_result state.get(“evaluation”) if eval_result “good”: return “end” else: return “revise” # 创建图... workflow StateGraph(AgentState) workflow.add_node(“retrieve”, retrieve_node) workflow.add_node(“generate”, generate_node) workflow.add_node(“evaluate”, ToolNode([evaluate_answer])) workflow.add_node(“revise”, some_revision_function) workflow.set_entry_point(“retrieve”) workflow.add_edge(“retrieve”, “generate”) workflow.add_edge(“generate”, “evaluate”) # 关键条件边 workflow.add_conditional_edges( “evaluate”, routing_node, # 这个函数返回下一个节点的名字 { “end”: END, “revise”: “revise” } ) workflow.add_edge(“revise”, “evaluate”) # 形成循环修订后再次评估 app workflow.compile()通过add_conditional_edges我们实现了基于动态评估结果的分支逻辑并且通过将“修订”节点指回“评估”节点形成了一个潜在的循环直到答案被评估为“good”为止。这是构建具有自我修正能力的智能体的基础。注意在定义循环时务必确保存在一个明确的退出条件比如重试次数上限、评估通过否则工作流可能会陷入无限循环。3. 核心特性深度剖析与实操3.1 持久化执行构建“打不死”的智能体这是LangGraph区别于许多框架的杀手级特性。持久化执行意味着智能体的状态可以被保存到外部存储数据库、Redis、文件系统并在中断后如进程崩溃、服务器重启、计划暂停精确地从断点恢复。实现原理LangGraph通过“检查点”机制实现。在每个节点执行后框架可以选择将当前完整状态序列化并存储。恢复时只需加载最新的检查点图就会从该节点继续执行。实操示例使用内存检查点from langgraph.checkpoint import MemorySaver memory MemorySaver() # 内存存储适用于演示。生产环境需用RedisSaver等。 app workflow.compile(checkpointermemory) # 第一次执行传入一个线程IDthread_id来标识这个会话 config {“configurable”: {“thread_id”: “user_123_session_1”}} initial_state {“question”: “LangGraph是什么”, “messages”: []} result app.invoke(initial_state, configconfig) print(result[“answer”]) # 模拟中断... 程序重启 # 恢复执行使用相同的thread_id无需传入初始状态 # LangGraph会自动加载该线程的最新状态并询问下一步该执行哪个节点 continued_result app.invoke({“question”: “它和LangChain有什么区别”}, configconfig) # 此时新的问题会被追加到状态中并且工作流会基于已有的上下文继续运行。生产环境配置对于需要高可用的服务应使用持久化存储。LangGraph提供了RedisSaver、PostgresSaver等扩展。# 示例使用Redis需安装langgraph-redis from langgraph_redis import RedisSaver import redis redis_client redis.Redis.from_url(“redis://localhost:6379”) checkpointer RedisSaver(redis_client) app workflow.compile(checkpointercheckpointer)实操心得thread_id的设计非常巧妙。它不仅可以用于恢复会话还可以用于实现“用户隔离”。每个用户或每个对话线程拥有独立的ID确保状态不会互相污染。在设计系统时可以将user_id和session_id组合起来生成thread_id。3.2 人工介入将人类智能融入自动化流程在关键决策点引入人工审核是确保AI应用安全、可靠的重要手段。LangGraph的“中断”机制让这变得异常简单。核心概念在图的特定节点你可以声明一个“中断”。当执行流到达该节点时整个工作流会暂停并将当前状态暴露出来等待外部信号如人工在UI上点击“批准”后再继续。实操示例from langgraph.graph import StateGraph, END from langgraph.checkpoint import MemorySaver class StateWithApproval(TypedDict): input: str draft_response: str final_response: str approved: bool def draft_node(state: StateWithApproval): # 生成草稿回复 return {“draft_response”: “这是生成的草稿...”} def human_review_node(state: StateWithApproval): # 这个节点什么都不做只是触发一个中断等待人工输入。 # 关键返回一个标记告诉框架需要暂停。 return {“approved”: None} # 或者抛出一个特定异常新版API有更优雅的方式 def publish_node(state: StateWithApproval): if state[“approved”]: return {“final_response”: state[“draft_response”]} else: return {“final_response”: “请求已被人工驳回。”} workflow StateGraph(StateWithApproval) workflow.add_node(“draft”, draft_node) workflow.add_node(“human_review”, human_review_node) workflow.add_node(“publish”, publish_node) workflow.set_entry_point(“draft”) workflow.add_edge(“draft”, “human_review”) # 注意从human_review到publish的边不是固定的取决于人工输入后的状态。 workflow.add_conditional_edges( “human_review”, # 这个路由函数现在会检查人工审核后更新的state[‘approved’]值 lambda s: “publish”, {“publish”: “publish”} ) workflow.add_edge(“publish”, END) app workflow.compile(checkpointerMemorySaver()) # 执行到人工审核节点会暂停 config {“configurable”: {“thread_id”: “review_1”}} try: result app.invoke({“input”: “需要审核的内容”}, configconfig) except Exception as e: # 这里会捕获到中断异常在实际应用中这个异常信息会被前端捕获 print(“工作流已暂停等待人工审核。”) # 此时可以从检查点中加载出当前状态展示给审核员 # snapshot app.get_state(config) # print(snapshot.values[‘draft_response’]) # 模拟人工在UI上点击“批准” # 我们需要更新状态中的 ‘approved’ 字段然后继续执行 app.update_state(config, {“approved”: True}) # 继续执行 final_result app.invoke(None, configconfig) # 传入None表示从暂停处继续 print(final_result[“final_response”])在实际部署中你的后端服务会捕获中断将thread_id和当前状态存入数据库并通知前端。审核员在界面上看到草稿点击按钮后后端调用app.update_state更新状态并触发app.invoke继续执行。3.3 与LangChain生态的集成虽然LangGraph可独立使用但与LangChain结合能极大提升开发效率。你可以直接使用LangChain的LCELLangChain Expression Language来定义节点并集成海量的工具、检索器等组件。from langchain_openai import ChatOpenAI from langchain_community.tools import DuckDuckGoSearchRun from langgraph.prebuilt import ToolNode, create_react_agent from langgraph.graph import StateGraph, MessagesState # 使用LangChain的ChatModel和Tools llm ChatOpenAI(model“gpt-4-turbo”) tools [DuckDuckGoSearchRun()] # 方法1使用预建的ReAct智能体 # create_react_agent内部已经构建好了一个标准的思考-行动-观察循环图 agent create_react_agent(llm, tools) # 方法2自定义图但节点使用LangChain组件 def llm_node(state: MessagesState): # state[‘messages’] 是一个LangChain格式的消息列表 response llm.invoke(state[‘messages’]) return {“messages”: [response]} def tool_node(state: MessagesState): # 使用预建的ToolNode它能自动根据消息内容选择并执行工具 tool_node ToolNode(tools) return tool_node.invoke(state) workflow StateGraph(MessagesState) workflow.add_node(“agent”, llm_node) # 思考 workflow.add_node(“action”, tool_node) # 行动 workflow.add_edge(“agent”, “action”) workflow.add_edge(“action”, “agent”) # 形成ReAct循环 # 还需要条件边来决定何时结束这里简化了集成心得ToolNode和create_react_agent这类预构建模块能快速搭建原型。但在复杂场景下你往往需要更精细的控制例如定制工具的选择逻辑、修改ReAct的提示词模板。这时理解底层图结构自己从头构建或继承修改这些预建模块是更优的选择。4. 生产环境部署与调试实战4.1 利用LangSmith进行深度可观测性当你构建的智能体工作流拥有几十个节点和复杂分支时仅靠打印日志来调试将是噩梦。LangSmith提供了对LangGraph工作流的原生深度支持。核心功能轨迹可视化以图的形式完整展示一次调用的执行路径哪个节点被执行了输入输出状态是什么一目了然。状态快照查看每个步骤前后状态的完整差异精准定位数据是如何被修改的。性能指标记录每个节点LLM调用、工具执行的耗时帮助进行性能优化。在线调试可以直接在LangSmith UI中修改某个节点的输入重新运行后续流程进行“时间旅行”调试。配置步骤设置环境变量。export LANGCHAIN_TRACING_V2true export LANGCHAIN_API_KEY“your_langchain_api_key” export LANGCHAIN_PROJECT“your_project_name” # 可选默认为default正常执行你的LangGraph应用。所有调用轨迹会自动发送到LangSmith。登录LangSmith平台在“Traces”页面即可查看详细的执行记录。调试案例假设你的智能体在某个节点给出了错误答案。你可以在LangSmith中打开这次轨迹点击出错的节点查看当时传入该节点的完整state是什么LLM接收到的提示词是否准确工具返回的结果是否正确。你甚至可以复制该节点的状态在Playground中修改提示词或参数重新运行看结果是否改善。4.2 部署策略与模式将LangGraph应用部署为长期运行的服务需要考虑以下几个关键点1. 无状态服务 外部检查点存储这是推荐的主流架构。你的Web服务器如FastAPI本身是无状态的它只承载业务逻辑和LangGraph图的定义。所有会话状态都通过RedisSaver或PostgresSaver保存在外部数据库中。优点服务可以水平扩展任何一台服务器实例都能处理任何用户的请求只需从共享存储中加载对应的检查点。架构示例用户请求 - [负载均衡器] - [Web服务器实例 (FastAPI LangGraph App)] | v [Redis/Postgres (存储检查点)] | v [LangSmith (监控)] [LLM API (如OpenAI)]2. 异步与流式响应对于需要长时间运行的任务如文档处理、复杂数据分析应使用异步端点避免阻塞HTTP请求。同时利用LangGraph和LLM的流式输出能力逐步将结果返回给客户端提升用户体验。from fastapi import FastAPI, BackgroundTasks from pydantic import BaseModel import asyncio app_fastapi FastAPI() # 假设这是你已经编译好的LangGraph应用 langgraph_app workflow.compile(checkpointerRedisSaver(...)) class TaskRequest(BaseModel): thread_id: str input: str app_fastapi.post(“/run”) async def run_agent(request: TaskRequest, background_tasks: BackgroundTasks): # 异步执行长任务 background_tasks.add_task(execute_agent, request.thread_id, request.input) return {“message”: “任务已开始”, “thread_id”: request.thread_id} async def execute_agent(thread_id: str, user_input: str): config {“configurable”: {“thread_id”: thread_id}} initial_state {“messages”: [(“user”, user_input)]} # 如果是支持流式的图可以使用 .astream() async for event in langgraph_app.astream(initial_state, configconfig): # 处理流式事件例如发送到WebSocket # event 类型可能是 ‘on_chain_start‘, ‘on_chain_end‘, ‘on_llm_stream‘ 等 if hasattr(event, ‘data’) and hasattr(event.data, ‘chunk’): # 假设我们只处理LLM的token流 token event.data.chunk.content # 通过WebSocket发送token给前端 # await websocket.send_text(token) pass3. 错误处理与重试在节点函数中实现健壮的错误处理。对于暂时性错误如网络超时可以使用指数退避策略进行重试。LangGraph的持久化特性使得重试非常安全即使重试过程中服务器重启也能从上一个成功检查点继续。from tenacity import retry, stop_after_attempt, wait_exponential import httpx retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def call_external_api_safely(params): # 调用外部API失败时会自动重试最多3次 response httpx.post(“https://api.example.com”, jsonparams, timeout30.0) response.raise_for_status() return response.json() def my_risky_node(state): try: result call_external_api_safely(state[‘query’]) return {“api_result”: result} except Exception as e: # 如果重试后仍然失败可以更新状态让工作流进入错误处理分支 return {“error”: str(e), “status”: “failed”}4.3 性能优化与成本控制节点粒度节点的设计不宜过粗也不宜过细。过粗一个节点做太多事不利于复用和调试过细每个LLM调用都是一个节点会增加图遍历的开销。一个好的实践是将一次完整的“思考-行动”循环或一个清晰的业务步骤作为一个节点。状态设计状态对象应只包含必要的数据。避免将大型、不常修改的对象如整个知识库索引放在状态中频繁序列化/反序列化。可以将它们放在节点的闭包或全局上下文中状态里只保存引用ID。LLM调用优化缓存对内容确定、结果可复用的LLM调用如固定指令的格式化使用缓存。LangChain支持多种缓存后端InMemory, Redis, SQLite。批处理如果应用场景允许将多个独立的问题批量发送给LLM API可以显著降低延迟和成本。模型选型在非关键路径或简单任务上使用小型、快速的模型如gpt-3.5-turbo只在复杂推理时使用大模型如gpt-4。5. 常见问题与排查技巧实录在实际开发和运维中你肯定会遇到各种问题。以下是一些典型场景及解决思路。5.1 状态管理相关问题问题1状态对象在节点间传递时数据丢失或覆盖。原因每个节点返回的字典用于更新全局状态。如果返回{“key”: “new_value”}它会完全替换掉状态中原有的key字段。对于列表等可变对象直接赋值会导致旧数据丢失。解决方案使用Annotated类型提示。这是LangGraph推荐的方式它定义了如何合并更新。from typing import TypedDict, Annotated import operator class MyState(TypedDict): # 使用 operator.add 来合并列表 conversation_history: Annotated[list, operator.add] # 对于字典可以使用 operator.or_ 来合并更新 metadata: Annotated[dict, operator.or_] # 标量值直接替换 current_step: str排查工具在LangSmith中查看每个节点执行前后的状态差异Diff视图这是定位数据流问题的利器。问题2检查点文件过大导致存储和加载缓慢。原因状态中存储了大型二进制数据如图片、长文档文本。解决方案外部存储将大文件存储到对象存储如S3或文件系统在状态中只保存其URL或文件路径。惰性加载在节点函数中根据路径动态加载所需的数据而不是在初始化状态时就全部载入。压缩如果必须存储文本考虑使用zlib等库进行压缩。5.2 工作流执行逻辑问题问题3智能体陷入无限循环无法结束。原因条件边add_conditional_edges的路由函数逻辑有误或者循环缺少终止条件。排查步骤打印路由决策在路由函数中加入日志输出其判断逻辑和返回值。使用LangSmith可视化查看轨迹图循环路径会非常明显。设置最大迭代次数这是最有效的防护措施。可以在状态中增加一个计数器如iteration_count在循环节点中递增它并在路由函数中检查是否超过阈值。def routing_node(state): if state.get(“iteration_count”, 0) 10: return “force_end” # ... 原有的路由逻辑问题4人工中断后无法正确恢复执行。原因恢复执行时传入的config特别是thread_id与中断时不匹配或者中断节点的状态更新逻辑有误。检查清单确保前端传递的thread_id与创建会话时完全一致。确保在调用app.update_state(config, update_dict)时update_dict中包含能改变路由决策的关键字段例如将approved从None改为True。检查中断节点的设计确保它确实会触发等待例如在旧版中可能通过抛出HumanInTheLoop异常实现新版有更明确的interrupt机制。5.3 与外部系统集成问题问题5工具调用如API请求失败导致整个工作流阻塞。原因网络波动、第三方服务不可用、参数错误等。解决方案节点内部重试如前文所述使用tenacity等库在节点函数内部实现重试逻辑。设置备用路径在图中设计一个“降级”或“错误处理”节点。当工具节点失败时通过条件边将状态路由到该节点执行备用逻辑如返回缓存数据、提示用户稍后重试。超时控制为所有外部调用设置合理的超时时间避免长时间阻塞。问题6并发执行时同一thread_id的状态发生冲突。原因两个并发的请求如来自同一用户的快速连续点击试图同时修改同一个检查点。解决方案乐观锁许多检查点存储实现如RedisSaver支持乐观并发控制。确保你使用的存储后端支持此功能。请求队列对于关键工作流在网关层对同一thread_id的请求进行序列化处理确保同一时间只有一个请求在处理。设计幂等性确保你的节点函数和工作流是幂等的即使被重复执行最终结果也是一致的。结合检查点机制这能有效缓解并发问题。构建基于LangGraph的智能体系统是一个将复杂业务逻辑清晰化、模块化的过程。它要求开发者从“链式思维”转向“图思维”更关注状态流转和决策逻辑。初期学习曲线可能稍陡但一旦掌握你将获得构建真正强大、可靠、可维护的AI应用的能力。从我个人的经验来看从简单的线性流程开始逐步引入条件分支、循环和人工中断是快速上手的最佳路径。多利用LangSmith进行调试和观察它能让你直观地理解你的智能体是如何“思考”和“行动”的这是任何日志都无法替代的。