Collab-Overcooked:专注于多智能体协作的语言模型基准测试平台

2025-02-27，由北京邮电大学和理想汽车公司联合创建。该平台基于《Overcooked-AI》游戏环境，设计了更具挑战性和实用性的交互任务，目的通过自然语言沟通促进多智能体协作。

一、研究背景

近年来，基于大型语言模型的智能体系统在复杂任务分解和规划方面展现出巨大潜力，成为自然语言处理领域的研究热点。然而，随着研究的深入，人们发现单个智能体在处理复杂任务时存在局限性，而多智能体系统通过协作能够显著提升任务效率，解决单个智能体难以完成的挑战。

目前遇到的困难和挑战：

协作能力评估不足：现有基准测试大多关注任务完成效率，忽视了协作过程中的关键指标，导致无法准确衡量智能体的协作能力。

缺乏严格协作机制：许多平台允许智能体独立完成任务，即使任务被标记为“协作”，也难以区分协作对任务成功的真实贡献。

评估指标单一：现有研究多依赖于任务完成率等结果导向的指标，缺乏对协作过程的动态评估，难以提供优化协作策略的依据。

链接地址：Collab-Overcooked|多智能体系统数据集|协作数据集

二、让我们一起来看一下Collab-Overcooked

Collab-Overcooked 是一个基于《Overcooked-AI》游戏环境的多智能体协作基准测试平台，专注于通过自然语言沟通促进智能体间的协作。

Collab-Overcooked 的构建基于以下关键设计：

资源隔离：智能体在独立的环境中操作，必须通过共享的“柜台”进行资源交换。

任务知识不对称：只有部分智能体知道完成任务的具体方法，智能体之间需要通过沟通同步任务信息。

自然语言沟通：智能体通过自然语言发起和响应协作请求，模拟真实世界中的协作场景。

Collab-Overcooked的特点：

严格的协作依赖：任务设计确保智能体必须通过协作才能完成任务。

多样化任务和目标：提供 30 个不同复杂度的任务，涵盖多种协作场景。

过程导向的评估指标：引入 TES 和 ITES 等指标，能够从粗粒度和细粒度两个层面评估智能体的协作能力。

基准测试：

Collab-Overcooked 提供了 10 种不同规模的语言模型（包括开源和闭源模型）的基准测试结果。测试结果显示，尽管语言模型在目标理解方面表现出色，但在主动协作和持续适应复杂任务方面存在显著差距。这一发现为改进语言模型在多智能体系统中的协作能力提供了重要参考。

第一部分介绍了协作过程，分为发起协作和响应协作，并提供了一个一般示例。第二部分概述了 Collab-Overcooked Benchmark 的设计，强调了其资源隔离和非对称任务知识的特点，并提供了一个智能体协作完成任务的例子。

三、让我们一起来看一下Collab-Overcooked应用场景：

自然语言沟通优化案例：基于Collab-Overcooked的多智能体协作优化

比如在一个烹饪任务中，两个智能体（Agent Alice和Agent Bob）需要协作完成一道“烤南瓜汤”。任务要求Agent Alice从食材区获取南瓜，将其切成片，并将南瓜片放在共享的“柜台”上；Agent Bob则需要从柜台取南瓜片，放入烤箱烤制，最后将烤好的南瓜汤装盘并交付。

优化前的沟通与协作

Agent Alice：在任务开始时，Alice直接执行了“获取南瓜”和“切南瓜”的动作，但没有与Bob沟通下一步的计划。Bob在等待Alice完成动作时，没有明确的指示，导致任务进度缓慢。

Agent Bob：Bob在Alice完成切南瓜后，没有及时确认南瓜片是否已经准备好，导致烤箱空闲，任务进度受阻。

优化后的沟通与协作

研究人员通过分析沟通内容和协作效果，提出以下优化策略：

1、明确沟通内容：Alice在完成切南瓜后，主动通过自然语言向Bob发送消息：“我已经切好了南瓜片，你可以开始烤制了。”

2、实时反馈与确认：Bob在收到消息后，立即回复：“收到，我马上开始烤制。”同时，Bob在烤制过程中，如果发现任何问题（如南瓜片数量不足），会及时与Alice沟通。

3、任务分解与分工：在任务开始前，两个智能体通过自然语言协商任务分工。Alice负责食材的准备和切割，Bob负责烤制和装盘。每个步骤都有明确的沟通节点，确保双方对任务进度有清晰的了解。

通过Collab-Overcooked平台的实验，研究人员发现优化自然语言沟通策略可以显著提升多智能体协作的效率和成功率。明确的沟通内容、实时反馈和任务分工是优化的关键点

想要了解经典数据集，请打开：

经典数据集从千万数据集中千里挑一，经过了时间和应用的考研，已成为算法和模型性能评估的基准，是各个领域的数据集代表https://www.selectdataset.com/classics