CollabBench 发布：评估与训练 LLM 多玩家协作能力的基准

CollabBench 发布：评估与训练 LLM 多玩家协作能力的基准

大语言模型在单任务处理上表现优异，但与真实人类伙伴的有效协作仍是挑战。为此，研究团队提出 CollabBench——一个专门评估与训练 LLM 多玩家协作能力的基准。它通过合作游戏环境，让智能体在情境化、沉浸式的场景中与模拟的多样化玩家互动，解决现有对话级协作研究缺乏接地互动和具体行为执行的问题。该基准附带一套 Diverse Player Profile Simulation 管线，用来生成不同风格和策略的虚拟玩家，从而系统性地测试和提升 AI 的协作表现。

现有协作研究的局限与 CollabBench 的改进

大多数已有协作研究停留在对话层面，缺少实际游戏或任务中的物理交互与行为反馈。玩家往往只通过文字交流，却没有真正共同操作一个游戏界面或完成一个需要连续决策的目标。CollabBench 将这些场景落地到合作游戏中——例如需要两名玩家配合才能通关的关卡——智能体必须实时感知局面、与模拟玩家协调行动，并在有限回合内共同达成目标。这种设置更贴近真实世界的协作场景，也为训练更灵活的协作策略提供了基础。

基准的构成：合作游戏与多样化玩家模拟

CollabBench 包含多个精心设计的合作游戏任务，每个任务都要求 LLM 智能体与至少一名模拟玩家形成协作关系。模拟玩家通过 Diverse Player Profile Simulation 管线生成，其行为模式可涵盖从“积极协助”到“保守拖延”等多种风格。评估指标则包括任务完成率、沟通效率、角色分工适应性等多个维度。研究团队在摘要中表示，该基准旨在为多玩家协作能力的量化评测和训练提供一个标准化的平台。

对 AI 行业的实际意义

随着 LLM 被嵌入更多需要人机协作的应用——如在线客服、虚拟搭档、多智能体系统——仅靠单智能体能力已不足以满足需求。CollabBench 填补了评估“协作智能”的空缺，使得开发者能像测试阅读理解或数学推理那样，系统测试和优化模型的团队合作能力。尤其对于需要与真实用户实时配合的场景，如游戏 AI 陪玩、远程协助机器人，这一基准能帮助开发者提前发现协作短板。

未来方向与训练应用

CollabBench 不仅可以用于评估，也能作为训练环境：通过让 LLM 在不同风格的模拟玩家中反复试错，从而习得更稳健的协作策略。研究团队期望该基准能激发更多关于多智能体协作的研究，并推动 LLM 从“单兵作战”迈向“团队协同”。目前论文以预印本形式发布在 arXiv 上，供研究者参考和使用。