MultiAgentBench：一套真正评测多智能体协作与博弈能力的基准

摘要大语言模型已经展现出作为自主智能体的显著能力但现有基准要么只关注单智能体任务要么局限于狭窄领域无法刻画多智能体协作与竞争的动态过程。本文提出 MultiAgentBench这是一个面向 LLM 多智能体系统的综合性评测基准覆盖多种交互式场景。该框架不仅评估任务完成情况还通过新提出的、基于里程碑的关键绩效指标来衡量协作与竞争质量。此外作者系统评估了多种协调协议包括 star、chain、tree 和 graph 拓扑以及 group discussion 和 cognitive planning 等策略。实验表明gpt-4o-mini 平均任务分最高在 research 场景中graph 结构是最优协调协议cognitive planning 可将里程碑达成率提升 3%。代码和数据集已开源https://github.com/ulab-uiuc/MARBLE其他信息论文同时提出了 benchmark 和运行框架 MARBLEMulti-agent cooRdination Backbone with LLM Engine覆盖 6 类场景research、Minecraft、database、coding、Werewolf、bargaining重点不只评最终任务结果还评估 planning、communication、milestone progression 和 competition论文动机这篇论文的本质很直接大家都在说 LLM agent 能协作、能分工、能博弈但此前 benchmark 大多测的是单智能体或者只测某个窄任务几乎没有系统回答一个核心问题一群 LLM agent 放到真实交互环境里到底会不会合作合作质量如何竞争时又会不会出现真正的策略行为。论文要解决的旧问题主要有三类只看结果不看过程。以往 benchmark 常只看任务是否做完却不看中间是谁推动了进展、沟通有没有价值、计划是否合理。只看单体不看群体。多智能体最关键的是 communication、role assignment、trust、conflict但旧 benchmark 很少显式测这些。只看合作不看竞争。真实世界里很多场景既有协作也有对抗比如狼人杀、谈判过去缺少统一评测。作者因此提出 MultiAgentBench 和底层框架 MARBLE目标不是再造一个 agent system而是造一把“尺子”既量任务完成也量 coordination还量 competition。先看总览图图里已经把论文主线说清楚了多智能体系统在不同环境中交互最后从任务表现和协同表现两条线评测。MultiAgentBench 总览这篇论文的一个关键判断是多智能体系统不能只用最终分数衡量因为很多任务是迭代推进的所以他们引入 milestone-based KPI。这个设计背后的直觉很像项目管理不是只看最后论文写没写完而是看中间有没有完成文献调研、方法设计、实验计划这些关键节点。提出的方法论文方法分成两层一层是运行框架 MARBLE让多个 agent 真能在环境里协同。一层是评测框架 MultiAgentBench定义场景、指标和比较方式。MARBLE 框架的本质MARBLE 的核心不是“让 agent 更聪明”而是把多智能体系统拆成几个必要部件关系图、认知模块、协调引擎、记忆、环境、通信、动作。整体结构见图MARBLE 框架图中最重要的是两点agent 之间不是任意通信而是按图结构通信planning 和 acting 被拆开planner 负责分解任务actor 负责执行。1.1 Agent Graph作者把多智能体系统形式化为图其中 是 agent 集合 是边集。每条边写成三元组这里 表示关系类型比如 collaborates、supervises、negotiates。这公式看似简单实质上是在说多智能体不是“多人同时调用同一个 LLM”而是一个带关系约束的社会结构。边决定了谁能和谁说话怎么说话。这个设计把“组织结构”正式纳入 benchmark。1.2 Cognitive Module这一部分没有复杂公式但很关键。作者认为多智能体协作不是只靠 prompt 轮流对话还需要内部状态personaagent 间关系reasoning strategy历史经验它有点像给每个 agent 配了一个“社会化脑内模型”。例如狼人杀中Seer 不只是做推理还要考虑“我现在暴露身份会不会被刀”“别人会不会相信我”。1.3 Coordination Engine这里是系统调度核心。作者区分了两种角色planner做任务分解、分配、统筹actor真正去和环境、工具、其他 agent 交互这很像公司里“项目经理”和“执行人员”的分工。作者比较了四种 coordination protocol如图 3 所示协调协议与规划策略协调协议与规划策略-续四种结构的本质区别Star一个中心 planner 指挥所有人。控制强但容易瓶颈。Tree分层管理。比 star 更可扩展但层级传递可能失真。Graph网状互联。最灵活支持并行协作。Chain串行传递。适合依赖链明确的任务但并行性差。这部分其实就是在问多智能体协作组织结构本身是不是性能变量。论文答案是是的而且影响很大。1.4 四种 planning strategy在 centralized setting 下planner 又分四种提示策略Vanilla promptingChain-of-ThoughtGroup discussionCognitive self-evolving planning其中最值得分析的是 cognitive self-evolving planning。它借鉴 Reflexion核心流程是先生成对任务进展的预期把预期存入 memory后续执行后把真实结果和预期比较形成经验修正后续规划。本质上就是把“计划-执行-复盘”做成闭环而不是一次性规划。Benchmark 设计作者构造了 6 类场景分成两大类2.1 共同目标任务ResearchMinecraft buildingDatabase diagnosisCoding这些任务里 agent 目标一致要分工协作。2.2 冲突目标任务WerewolfBargaining这些任务里 agent 有冲突利益要在对抗中表现社交策略。场景设计示意见图Benchmark 构建与里程碑检测这张图最关键的点在于 milestone generation 和 dynamic milestone detection。作者不是把任务粗暴地打一个最终分而是把过程拆成多个可检测进展点。评测指标这部分是全文最重要的“方法贡献”。3.1 KPI过程推进指标设总 milestone 数为 第 个 agent 参与完成的 milestone 数为 则单个 agent 的 KPI 是整体 KPI 为这公式表面是平均值实际测的是“团队平均参与进度推进的程度”。仔细看它的性质如果少数 agent 包办全部 milestone而其他 agent 基本无贡献那么 overall KPI 不会特别高。如果多数 agent 都参与推进 milestoneKPI 会提升。所以它不是单纯测任务是否推进而是在奖励“分布式贡献”。举个直观算例。假设有 个 agent任务共 个 milestoneagent1 贡献 5 个agent2 贡献 3 个agent3 贡献 1 个agent4 贡献 1 个则如果换成四个 agent 都各贡献 3 个 milestone总和也是 12但说明该指标鼓励更均衡的协作。3.2 Task ScoreKPI 只看过程不看最终产出质量所以还要有 Task Score。Research、Bargaining用 LLM rubric 打分Minecraft、Werewolf、Database、Coding尽量用 rule-based accuracy 或明确规则这很合理因为开放式任务难有标准答案只能做 rubric封闭式任务则应尽量规则评测。3.3 Coordination Score作者把 coordination 拆成两个子项Communication Score沟通是否清晰、有效、符合角色关系Planning Score任务分工是否清晰、角色是否合理、策略是否调整最终这个式子很直接就是取平均。但它隐含一个观点沟通和规划同等重要。一个系统即使计划很好但沟通混乱也不算真会协作反之亦然。3.4 环境交互公式附录中环境交互被写成含义是当前动作 由 agent 状态和记忆共同决定环境再返回下一步观测 。这就是标准 agent loop但这里特别强调 shared memory 和 individual memory 同时参与决策。记忆集合写为本质上是团队公共白板是个人笔记本这对多智能体尤其关键因为协作失败很多时候不是推理不行而是“信息没有共享”或“共享太多导致噪声”。实验实验总设定模型包括Meta-Llama-3.3-70BMeta-Llama-3.1-70B-Instruct-TurboMeta-Llama-3.1-8B-Instruct-TurboGPT-3.5-turbo-0125GPT-4o-mini统一设置大致为max token 1024temperature 0.7top_p 1.0communication iteration 最多 5graph-mesh 作为主实验默认协议这里一个值得注意的点是主实验默认 graph-mesh其实已经先验地偏向“去中心化更强”的设定后面协议对比再专门单独做。主实验一不同模型跨场景表现主结果表如下主实验表 1作者的核心结论很明确模型能力仍然是第一决定因素multi-agent coordination 不是“低能模型组团就能逆袭”。2.1 gpt-4o-mini 的总体最强例如 Research 里gpt-4o-mini 的 TS 是 高于 Meta-Llama-3.1-8B 的 和 Meta-Llama-3.1-70B 的 。Coding 中也领先。本质解释coordination 能放大能力但放大的是已有能力不是凭空创造能力。2.2 CS 和 TS 不总是同步论文给出的典型例子是 MinecraftMeta-Llama-3.1-70B 的 CS 高达 75.00但 TS 只有 0.21。这说明一个很重要的事实会“聊”不等于会“做”。如果 function call 执行失败再高的交流分也救不了任务完成。后面附录分析表明这个模型在 Minecraft 上 function call executability 很低几乎是硬伤。2.3 不同模型在不同任务有偏科例如某些模型在 Werewolf 或 Research 上 coordination 分高但任务分不一定最高。这说明 benchmark 设计是有效的它把“社交协作能力”和“任务执行能力”部分解耦了。主实验二不同协作协议和 planning 策略3.1 协作协议比较图 5 展示了 Research 场景下不同协议的比较不同协调协议比较结论非常清楚Graph 最好task performance、planning efficiency、token usage 综合最优Star 接近 GraphTree 最差token 消耗高TS 和 CS 都低Chain 居中这个结果很有意思。直觉上 tree 应该兼顾控制和扩展性但实验反而最差。原因并不神秘层级越多信息失真越严重planner 的理解误差会逐层放大还会引入额外 token 消耗。Graph 最优的原因是它最像现实中的高效小组成员能直接交换信息不必层层上报。3.2 规划策略比较图 6 展示不同 planning prompt 的效果不同规划策略比较结论Cognitive Evolving Planning 的 CS 最好任务分与最佳的 CoT 接近Group Discussion 最差这里最值得讲的是 Group Discussion 为什么差。论文解释是“规划组太大反而低效”这很像现实里的大群开会讨论热闹但不推进决策。多智能体并不是 agent 越多、讨论越充分越好关键是信息是否转成有效决策。而 cognitive planning 提升 milestone achievement rate 约 这说明“复盘式规划”确实能让系统更稳步推进。消融实验4.1 最大迭代次数图 7不同迭代次数消融结果从 1 到 7 次迭代TS 和 coordination 分数上升到 10 次时明显下跌到 20 次时 TS 回升一些但 coordination 不再提升这揭示一个非常现实的问题多轮协作不是越久越好。轮次增加会带来两类成本communication overheadconflicting directives简单说讨论多了会跑偏、会重复、会互相覆盖。这和真实团队完全一致少量同步有益过度同步反而拖慢。4.2 agent 数量图 8agent 数量扩展实验结论从 1 到 3 个 agentcoordination score 提升明显task score 也上升但更平缓agent 继续增多时overall KPI 下降这说明多智能体存在一个“甜点区间”。少量 agent 能形成分工协同过多 agent 则带来 coordination tax。不是人越多越强而是管理复杂度上升得更快。Emergent Behavior 分析这部分是论文最有意思也最容易被包装的地方。去掉包装后本质就是在复杂社交博弈环境里LLM agent 会出现一些类人的策略模式而且这些模式能被统计到。作者定义三类 emergent behaviorsStrategic Information SharingTrust-Polarized CollaborationRole-Driven Strategy Iteration5.1 Werewolf 中的涌现行为统计表如下Werewolf 涌现行为统计结论Strategic Information Sharing 和 Trust-Polarized Collaboration 很常见Role-Driven Strategy Iteration 相对少这很合理。狼人杀本来就是“信息选择性披露”和“信任分裂”驱动的游戏。角色策略迭代较少是因为游戏轮数有限还没长到足够形成复杂长期策略。5.2 Bargaining 中的涌现行为统计表如下Bargaining 涌现行为统计结果与 Werewolf 不同Strategic Information Sharing 仍然最常见Trust-Polarized Collaboration 很少Role-Driven Strategy Iteration 频繁也合理。谈判主要是双边互动没有狼人杀那种阵营联盟和集体怀疑所以“信任极化”弱但买卖双方会不断根据角色调整出价策略所以 role-driven iteration 更常见。人类评估与自动评估一致性作者专门做了 human evaluation。相关结果如下人机评估对比表 4协调分数统计表 5相关性与标注一致性表 6/7相关性与标注一致性补充结论是机器打的 communication / planning 分和人类判断相关性较强尤其 communication 更稳定。这意味着他们的 LLM-as-a-judge 不是完全悬空的至少在 Werewolf 场景中和人类观感基本同向。各任务场景细节与关键结论7.1 ResearchResearch 场景要求 agent 基于论文 introduction 生成一个 5Q 研究提案。任务案例Research 任务示例agent profile 案例Research agent profile5Q 输出案例5Q 输出示例Research 的 task score 本质上评三件事InnovationSafetyFeasibility这里 KPI prompt 和 5Q prompt 非常关键因为 milestone 就是围绕 “form 5q” 和 “improve 5q” 判断的。它等价于在看团队是不是逐步把一个研究 idea 从模糊讨论推到成型 proposal。7.2 WerewolfWerewolf 是全论文最能测 social reasoning 的场景。其评分既看单日任务也看 full-game net score。net score 和 result score 的关系图如下Werewolf net score vs result score这个图说明当 net score 接近 5 时村民几乎必胜在 0 到 5 之间输赢摇摆低于 0 往往狼人压制。单日和全局结果表如下Werewolf 单日结果Werewolf 全局结果一个非常亮眼的结果是Llama-3.3-70B 在村民侧表现最好甚至超过生成 archive 的 gpt-4o baseline。说明更强的协作行为并不总和最强生成模型绑定某些模型在特定社交博弈上的角色利用更有效。论文还给了几个很好的 case study。比如 gpt-4o 的 Seer 和 Witch 虽然推理强但因为过度谨慎、不愿共享信息反而输掉优势局。这非常点题在多智能体博弈里能力不等于合作合作不只靠智力还靠 trust。Llama3.3-70B 对 gpt-4o 的案例中村民通过及时暴露身份、传 sheriff badge、共享 Seer 信息赢下比赛说明真正关键的是“关键时刻的信息公开与信任传递”。7.3 DatabaseDatabase 环境是 5 个 agent 查数据库异常根因。它的难点不是 SQL 本身而是数据库里会同时出现多种异常迹象真正 root cause 未必只有一个benign queries 和 anomaly queries 混在一起评分方式比较务实50 个样本上看 root cause prediction accuracy允许报两个原因只要其中一个命中就算对。这任务测的是“分工式诊断”不同 agent 分头查不同异常再汇总成判断类似专家会诊。7.4 CodingCoding 场景从 SRDD 适配而来强调真实软件协作中的几种 coordination strategyadaptive task executiondependency managementcross-domain collaborationtest-driven development评分不是只看能不能跑还看instruction followingexecutabilityconsistencyquality这说明 benchmark 不是把 coding 简化成 HumanEval而是更像一个轻量软件团队协作任务。7.5 BargainingBargaining 场景是 2 seller 对 2 buyer多方谈判。数据来自 Amazon products。人格采用 Big Five谈判策略由 GPT 生成。产品案例Bargaining 任务案例buyer profile 案例Buyer 谈判策略案例人格分布表人格分布表协作分数表Bargaining 协作分数表任务分表Bargaining 任务分表关键结论gpt-4o-mini 的 Bargaining 总分最高各模型作为 seller 普遍比作为 buyer 更强原因不难理解seller 的目标通常更容易“防守式”表达比如强调品质、维持价格锚点buyer 需要在预算、质量、让步时机之间动态平衡更难。7.6 MinecraftMinecraft 是 embodied-style 协作建造任务。评分公式是这公式很干净看最终建造中正确方块所占比例。正确不仅指 block type还包括 location 和 orientation。block 数量分布如下Minecraft 任务难度分布模型性能与 block 数关系如下Minecraft 难度与命中率关系结论任务越复杂所有模型都会退化。function call 可执行率如下函数调用可执行率这里有个关键发现Llama-3.1-70B 在 Minecraft 上不是“不会规划”而是“不会稳定调工具”。可执行率不足 50%所以任务分接近归零。这是一个很重要的 benchmark 启示在 agent 场景里tool-use robustness 是一等公民。总结这篇论文的核心贡献可以浓缩成四句话它把多智能体 benchmark 从“只看结果”推进到“结果 过程 协调 竞争”。它提出 milestone-based KPI让“谁推动了进展”可以量化。它系统比较了组织结构和规划策略证明 graph coordination 和 cognitive planning 更有效。它展示了 LLM agent 在狼人杀、谈判等场景中会出现初步的社会性涌现行为但这些行为仍然脆弱远谈不上稳定可靠。对现有工作的启发主要有这些多智能体研究不能只报 final success rate必须拆开看 planning、communication、milestone progression。模型能力仍是底座协作机制更多是放大器不是替代品。组织结构是重要自变量graph 往往优于过强层级化结构。社会性任务里trust management 比纯 reasoning 更关键。tool-use 成功率会直接决定 agent benchmark 结果尤其在 embodied 或 coding 任务里。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】