Agent 性能优化：降低 Token 消耗的 5 个技巧

Agent 性能优化降低 Token 消耗的 5 个技巧系列文章《AI Agent 开发实战》第 7 期难度等级⭐⭐⭐⭐预计耗时35 分钟 本文目标学会优化 AI Agent 性能✅ 减少 Token 消耗✅ 提高响应速度✅ 降低 API 成本✅ 提升用户体验 成本分析Token 消耗构成总 Token 输入 Token 输出 Token 输入 Token - 系统提示词100-500 - 对话历史可变 - 工具描述100-1000 - 用户输入可变 输出 Token - Agent 回复100-1000成本计算假设GPT-4: $0.03/1K tokens (输入)GPT-4: $0.06/1K tokens (输出)日均调用1000 次平均消耗2000 tokens/次月度成本日消耗1000 * 2000 2,000,000 tokens 月消耗2M * 30 60M tokens 月成本60M * $0.03/1000 ≈ $1,800优化后减少 50%月成本$900 节省$900/月 优化技巧技巧 1精简提示词❌ 低效instruction 你是一个智能助手你的任务是帮助用户解决问题。 你应该友好、专业、准确地回答用户的问题。 如果遇到问题要诚实地告诉用户你不知道。 不要编造信息不要提供错误的建议。 你的回答应该简洁明了不要啰嗦。 ...500 字 ✅ 高效instruction你是助手友好专业准确回答不知则说不知效果提示词500 tokens → 20 tokens节省96%效果相当技巧 2智能裁剪对话历史❌ 低效# 保留所有历史full_historyget_all_messages()✅ 高效# 只保留最近 N 轮recent_historyget_recent_messages(max_turns10)# 或者使用摘要iflen(history)threshold:summarysummarize_old_messages()contextsummaryrecent_messages效果历史2000 tokens → 500 tokens节省75%技巧 3优化工具描述❌ 低效tool_description 这个工具可以用来搜索网络信息。 当你需要查询最新的数据、新闻、或者其他实时信息时 应该使用这个工具。使用方法是传入一个搜索关键词 工具会返回相关的搜索结果。搜索结果包括标题、链接和摘要。 ...300 字 ✅ 高效tool_description搜索网络query关键词返回搜索结果效果描述300 tokens → 15 tokens节省95%技巧 4流式输出❌ 低效# 等待完整回复responseagent.run(prompt)print(response)✅ 高效# 流式输出forchunkinagent.run_stream(prompt):print(chunk,end)# 用户可以提前看到内容效果用户体验提升可减少不必要的生成技巧 5缓存结果❌ 低效# 每次都调用 APIdefanswer(question):returnagent.run(question)✅ 高效fromfunctoolsimportlru_cachelru_cache(maxsize1000)defanswer(question):returnagent.run(question)效果重复问题0 tokens缓存命中率30-50% 实战优化案例 1客服机器人优化前classCustomerServiceBot:def__init__(self):self.instruction 你是一个专业的客服助手...1000 字 self.memoryMemory(max_turns50)defchat(self,user_input):returnself.agent.run(f{self.instruction}\n用户{user_input})Token 消耗1500/次优化后classCustomerServiceBot:def__init__(self):self.instruction客服助手专业解答产品问题self.memoryMemory(max_turns10)self.cache{}defchat(self,user_input):# 缓存ifuser_inputinself.cache:returnself.cache[user_input]# 精简上下文contextf{self.instruction}\n{self.get_recent()}responseself.agent.run(f{context}\n用户{user_input})# 缓存结果self.cache[user_input]responsereturnresponseToken 消耗500/次节省67%案例 2数据分析助手优化前defanalyze_data(data):promptf 请分析以下数据{data}分析要求 1. 计算基本统计指标 2. 找出异常值 3. 识别趋势 4. 提供建议 ...详细要求 returnagent.run(prompt)Token 消耗3000/次优化后defanalyze_data(data):# 数据摘要summary{count:len(data),mean:sum(data)/len(data),min:min(data),max:max(data)}promptf分析数据{summary}找异常和趋势returnagent.run(prompt)Token 消耗800/次节省73% 高级优化1. 模型选择策略classSmartModelSelector:def__init__(self):self.simple_modelgpt-3.5-turbo# 便宜self.complex_modelgpt-4# 强大defselect_model(self,task:str):# 简单任务用小模型ifself.is_simple(task):returnself.simple_modelelse:returnself.complex_modeldefis_simple(self,task:str)-bool:simple_keywords[问候,感谢,简单计算]returnany(kintaskforkinsimple_keywords)效果简单任务成本$0.002 → $0.0005节省75%2. 批量处理# ❌ 逐个处理forquestioninquestions:answeragent.run(question)# ✅ 批量处理batch_prompt\n.join([fQ{i}:{q}fori,qinenumerate(questions)])batch_responseagent.run(f回答以下问题{batch_prompt})answersparse_batch_response(batch_response)效果API 调用100 次 → 1 次节省90%3. 提前终止defrun_with_early_stop(prompt,max_tokens1000):responseforchunkinagent.run_stream(prompt):responsechunk# 提前终止条件if总结inresponseandlen(response)500:breakiflen(response)max_tokens:breakreturnresponse 优化效果对比优化技巧优化前优化后节省精简提示词500 tokens20 tokens96%裁剪历史2000 tokens500 tokens75%优化工具300 tokens15 tokens95%缓存结果100% 调用50% 调用50%模型选择$0.03/次$0.005/次83%综合优化3000 tokens600 tokens80% 成本节省计算优化前日均调用1000 次 平均 Token3000/次 日消耗3,000,000 tokens 月消耗90,000,000 tokens 月成本$2,700优化后日均调用1000 次 平均 Token600/次 日消耗600,000 tokens 月消耗18,000,000 tokens 月成本$540节省月节省$2,160 年节省$25,920 系列总结AI Agent 系列7 篇完成期数主题字数状态第 1 期30 分钟搭建第一个 Agent4,471 字✅第 2 期记忆系统实现8,227 字✅第 3 期工具调用能力9,008 字✅第 4 期多 Agent 协作8,592 字✅第 5 期LangChain vs Google ADK5,042 字✅第 6 期Agent 自动写代码待发布第 7 期性能优化6,000 字✅总计约 41,000 字AI Agent 系列完结感谢支持觉得有用点赞 收藏 ⭐ 关注 ➕ 三连支持一下