DecisionBench：面向长期代理工作流紧急委托的多模型基准测试

DecisionBench基准测试近期由研究团队公开，它面向长期代理工作流中的紧急委托场景，为多模型协作提供了一套标准化的评估框架。这项来自arXiv预印本的工作，核心在于解决代理大模型协同任务中的“谁更适合做什么”这个问题。

为什么需要这样一套基准？其实，现有的AI智能体系统日益复杂，单一模型往往无法独立完成长周期任务，频繁需要向其他模型发起委托——比如call_model接口就是关键的委托通道。DecisionBench正是为了量化这种委托行为而设计的。

该基准固定了任务套件，包含GAIA、tau-bench以及BFCL multi-turn，覆盖了从通用智能到对话代理、函数调用的多个维度。同行模型池规模也挺可观，纳入11个模型，横跨7个不同的供应商家族。没错，这个模型池让对比实验有了坚实的参照系。

在委托接口层，除了基础的call_model，还设计了可选的read_profile通道——这允许委托模型读取调用者的上下文背景。加上确定性技能注释层，研究者能精准追踪每一次委托的意图与效果。这套机制确实保证了测试的可重复性。

度量方面更有意思。多轴度量套件覆盖质量分数、执行成本、响应延迟、委托频率，还专门设置了路由保真度指标。最关键的是它引入了供应商自偏好与反事实委托上限的概念。凭什么相信委托方不偏爱自家模型？反事实委托上限提供了一个天花板式的对照，评估实际配置与理想配置之间的差距。

值得强调的是，整个框架对同行模型如何实现委托是无关的。这意味着无论委托策略多么花哨，都能在同一套指标下被公平比较。Agent之间的协作能力，咱们终于可以用可量化的实验来测量了。这难道不是推动多智能体系统走向落地的重要一步吗？