模型路由很简单。直到它不再。

作者：袖梨 2026-07-17

IBM 研究中心的头像

Merve Unuvar 的头像

在您的智能体中构建路由器听起来很容易。向更便宜的模型发送简单的请求，为更困难的任务保留昂贵的请求，或者按专业路线 - Claude 用于代码，Gemini 用于多式联运，等等。分类器或启发式方法做出决定，成本下降，性能保持不变。完毕。

但事实并非如此。大多数路由系统假设模型选择是一个分类问题。根据我们在智能体系统中构建路由的经验，看起来像模型选择问题的问题很快就变成了系统优化问题。三个维度让这对我们来说出奇地困难。

1. 成本不仅仅是模型定价

我们预计 GPT-4.1 会比 Claude Sonnet 4.6 便宜。事实并非如此。

在使用相同 CodeAct 智能体的 AppWorld 测试挑战赛的 417 项任务中，Sonnet 总共花费 79 美元（0.19 美元/任务），而 GPT-4.1 花费 155 美元（0.37 美元/任务）——几乎是两倍。从纸面上看，这是没有意义的。 GPT-4.1 的输入和输出的代币定价都较低，而 Sonnet 完成相同任务所需的推理步骤大约是三倍。仅从标价来看，GPT-4.1 应该轻松获胜。

解释？缓存——大多数路由讨论完全忽略的东西。智能体工作负载倾向于跨步骤重用大量上下文。当缓存命中率很高时，有效输入成本会急剧下降。 Sonnet 较低的缓存读取定价意味着它从这种模式中受益匪浅，足以克服其较高的基本定价和较长的发展轨迹。

结论：实际成本取决于模型、工作负载和服务基础设施之间的交互。仅查看定价表的路由器正在针对错误的数字进行优化。

2.复杂性不仅仅是任务难度

常见的路由策略是估计任务的难度并将更难的任务发送给更强大的模型。很直观，但它有两种分解方式。

首先，困难在布线时通常是不可见的。像“总结这份合同”这样的请求看起来很简单，但在完成之前可能会触发检索、合规性检查、工具使用和多轮细化。同时，技术性高的提示可以通过较小的专业模型有效地处理。在执行之前，你通常不知道任务实际上有多难。

其次，即使你可以完美地估计难度，这也只是众多信号中的一个。在生产中，路由器需要同时平衡成本、延迟、模型专业化和可靠性。企业部署涉及更多内容：合规性要求、数据驻留规则、隐私约束、批准的模型列表。由于治理的原因，理想情况下应由一个模型执行的任务可能需要执行到其他地方，而路由器必须妥善处理这一问题。

路由器并不能解决一个问题。他们不断地同时兼顾成本、质量、延迟、合规性和可靠性。

3. 延迟比模型速度更重要

人们很容易认为延迟纯粹是根据模型大小来考虑的——较大的模型较慢，较小的模型较快。但用户的实际体验远不止于此。

路由本身会增加开销。基础设施因素——模型运行的硬件、缓存是否正常、端点有多忙——通常主导着端到端的响应时间。如果服务条件不合适，理论上更快的模型仍然会产生更慢的体验。

然后是路由粒度。每个任务路由一次会增加最小的开销。但每一步的路由（这为您提供了更大的灵活性来适应中间执行）意味着每个额外的决策点都会带来延迟和操作复杂性。

忽略服务系统的路由器正在针对错误的现实进行优化。

那么我们是如何处理这个问题的呢？

这些经验教训塑造了我们构建路由器的方式。关键的转变：我们不再将路由视为分类问题，而是开始将其视为优化问题。我们的算法不是问“哪种模型最适合这项任务？”，而是同时优化成本、质量和延迟，同时保持足够的轻量以避免本身成为瓶颈。

下图显示了使用 CodeAct 智能体进行 AppWorld 测试挑战赛的结果。每个蓝色方块都是我们路由器的不同配置，描绘出成本准确性边界。重要的不是任何一个点，而是路由器为您提供了一系列操作点供您选择，具体取决于您是否要优先考虑成本、延迟或准确性。配置 1（延迟优化）在 93 美元和 83 秒内实现了 84% 的准确率，与单独运行 Opus 相比，成本降低了 21%，延迟降低了 9%，准确率仅下降了 4%。配置 2 进一步降低了成本。

请注意，标准的基于难度的路由器（青色菱形）具有相似的精度范围，但成本更高 - 它无法像基于优化的方法那样探索完整的权衡空间。而且由于优化本身是轻量级的（每个任务大约 6 ms 和 2 kB 内存），因此路由器不会成为我们之前警告的瓶颈。