能预判做错却选不对协作：4181道竞赛题揭示多智能体路由困境
LLMs Can Predict Failure Risk, But Struggle to Predict Which Collaboration Protocol Pays Off: Cost-Aware Protocol Routing Across Reasoning Tasks
在推理模型竞相展示“更深思考”与“群体智能”的今天，多智能体协作（Multi-Agent Collaboration）常被视为攻克高难度推理的终极利器。无论是引入“规划者-执行者-审查者”（PER）的角色分工，还是让多个智能体开展多轮辩论与投票（Broadcast），模型的解题正确率通常能伴随计算量的攀升而显著提高。
ArXiv URL：https://arxiv.org/abs/2608.14927v1
然而，这种性能飞跃暗藏着极高的算力代价。在实际部署中，单次直接求解（Baseline）可能只需要数万 Token，而一套复杂的多智能体协商协议往往会直接消耗数十万甚至上百万 Token。如果对每一个输入问题都不加甄别地启用最重型、最多轮的协作机制，推理成本将呈几何级数膨胀。
来自阿贡国家实验室（Argonne National Laboratory）与俄勒冈州立大学（Oregon State University）的研究团队，在最新研究中直击这一核心矛盾。他们通过构建严格控制变量的匹配测试，首次系统评估了“成本感知型协议路由”（Cost-Aware Protocol Routing）。研究表明，大模型在判断“自己是否做错了”这件事上展现出了极高的敏锐度；但在进一步判断“该用哪种协作协议挽救错误才最划算”时，现有的所有路由策略几乎全线受挫。这一不对称现象，给盲目迷信多智能体架构的工业落地敲响了警钟。
控制变量实验：四种协作协议与算力阶梯
很多关于多智能体的实验往往伴随着底层基座模型、提示词工程乃至工具库的动态变化，导致外界很难分清性能提升究竟源自多智能体拓扑本身，还是基座模型的隐性能力。为了彻底隔离干扰变量，研究人员在每个评测环境下严格锁定同一求解器底座（如开源权重模型 gpt-oss-120b 与 Gemma-4-31B-it），并将同一道题分别放入四种计算成本阶梯式递增的协议中独立运行。
这四种协议构成了清晰的算力与交互谱系：
第一种是基线直接求解（Baseline），模型仅根据问题进行一次零样本或标准思维链解答，没有任何后续的自纠错或外部交互。在测试集中，该基线平均消耗约 1.82 万 Token，解题成功率为 56.3%。
第二种是单模型迭代自纠错（Single），模型在产出答案后被要求自我审视、验证并修正潜在逻辑缺陷。该协议的平均计算量上升至 4.76 万 Token，解题率提升至 78.5%。
第三种是经典的“规划-执行-评审”框架（PER，Planner-Executor-Reviewer），将推理过程解耦为明确的角色分工，通过结构化协作来控制长链条推理中的逻辑漂移。此协议平均消耗 40.19 万 Token，解题率进一步攀升到 84.9%。
第四种则是多智能体广播协商（Broadcast），由多个对等智能体共同发散候选答案，并展开点对点的同行评审与共识表决。这一机制榨干了测试环境的算力配额，平均单题消耗高达 62.21 万 Token，解题率达到最高的 88.9%。
主基准选用经过人工清洗与校准的 Omni-MATH 2 数据集，包含 4,181 道竞赛级高难度数学题目，同时辅以生物学实验设计基准（LAB-Bench CloningScenarios）及更广阔的科学推理任务。所有问题在四种协议下均采用贪婪采样（Temperature 0.0）运行到底，为离线量化分析沉淀了详尽的轨迹数据与真实开销。
设立理想标尺：固定顺序预言机
为了量化不同路由策略的表现，研究团队没有简单采用离散的“路由准确率”，而是引入了“事后固定顺序预言机”（Fixed-Order Oracle）作为诊断上限。
该预言机的核心逻辑非常直观：它按照成本递增的顺序（Baseline < Single < PER < Broadcast）进行遍历，并将“第一个能够成功解出题目”的最廉价协议打上标签；如果四种协议最终均告失败，则贴上“放弃”（None）标签。在完整的 Omni-MATH 2 基准中，预言机的真实分布揭示了残酷的现实分布：56.8% 的问题只需 Baseline 即可解决，23.0% 仅需单模型自纠错（Single），需要上升到 PER 和 Broadcast 的比例分别仅有 8.8% 和 4.2%，另有 7.3% 的深水区难题是所有协议联合起来也无法攻克的。
这个预言机不仅定义了无冗余的最优资源配置，还确立了一个关键评价指标——“超额 Token 消耗”（Excess Tokens）。任何高于预言机所需档位的选择都被视作“过度升级”（Over-escalation），而其高出的 Token 消耗全部被计为无效浪费；反之，若选择的协议低于预言机要求导致解题失败，则被归为“升级不足”（Under-escalation）。
在理想预言机的调度下，系统不仅能维持高达 92.4% 的综合解题覆盖率，更关键的是能将平均 Token 消耗压制在极低区间。然而，现实中的决策模型距离这个理想上限存在巨大的鸿沟。
核心分水岭：预判失败容易，指路协作极难
本项研究最富洞察力的贡献，在于明确拆解了推理系统中的两项根本任务：其一是“失败风险预测”（Failure-Risk Prediction），即评估模型直接求解是否会出错；其二是“协作价值预测”（Collaboration-Value Prediction），即判断到底是哪一种更昂贵的协作协议能够将错误逆转为正确，并证明其增量成本的合理性。
实证数据显示，大模型内部的自我评估能力呈现出极其严重的能力割裂。
当研究人员训练一个基于模型生成答案后、协作发起前的探针（Post-answer probe，基于 gpt-oss-120b）时，该探针在辨别“Baseline 是否已经做错”这项任务上拿下了惊人的 0.8847 AUROC（在 4,151 个可解析案例上的 95% 置信区间为 [0.8732, 0.8955]）。这意味着模型完全有能力察觉到自己逻辑推导中的不确定性或破绽。
甚至在进一步预测“是否存在某种协作协议能捞起这个错误”（即 Any-collaboration-helps）时，该探针依然保留了不错的判别力，精确率-召回率曲线下面积（AUPRC）达到 0.7683。
然而，一旦将目标收窄到精细化的特定协议路由时，探针的预测能力便呈断崖式下跌：
在预测题目是否唯独需要 PER 才能解决时，AUPRC 跌至 0.1674；而在预测题目是否值得调用最昂贵的 Broadcast 广播协商时，AUPRC 更是雪崩至 0.1041。
这种断崖式下跌指出了一个长期被忽视的技术盲区：模型感知自身推演局限的能力，与跨越认知边界去模拟“多智能体网络能否突破盲区”的能力，属于完全不同的认知层次。模型知道自己算不清这道解析几何题，但它完全无法在不实际运行通信的情况下，先验推导出三个具有特定角色的 Agent 辩论两轮后究竟能不能把答案校正过来。
现实路由器的不对称失效：保守致死，激进破产
在具体的决策落地阶段，研究人员横向对比了基于元数据的启发式规则、轻量级训练分类器（如结合难度与 TF-IDF 文本特征的逻辑回归）以及完全由冻结大模型（Frozen LLM）驱动的零样本与少样本提示路由器。
测试结果呈现出一种戏剧性的结构性失衡：
一方面，追求成本控制的保守策略出现了普遍的“升级不足”。例如，依赖问题元数据或难度等级的分类器，倾向于将绝大多数问题按住不放，死死留在 Baseline 或最多放行至轻度纠错。其结果是模型虽然节省了 Token，但在大量原本通过深度协作即可攻克的题目上直接弃牌，错失了大量潜在的解题点数。
另一方面，能力更强的冻结大模型路由器（以 gpt-oss-120b 本身充当调度大脑）则表现出严重的“过度升级”。即便在提示词中明确提供了各协议的平均消耗数值和详尽的成本效益指导，冻结大模型依然不可遏制地将大量中低难度问题、甚至是即便动用最强多智能体也注定无解的死局难题（Oracle 标签为 None），直接送入动辄消耗数十万 Token 的 PER 或 Broadcast 队列中。
其直接后果是，冻结大模型路由器虽然取得了 73.8% 的解题率，但平均单题耗费了 7.13 万 Token，其中充斥着巨大的超额浪费；而在留出测试集（Held-out split）上，该路由器的表现甚至显著弱于一个简单的门控基准。
相比之下，一种设计简化的两阶段策略展现了意外的鲁棒性：基于前置自置信度的门控机制（Pre-answer self-confidence gate）。该机制不强求一步到位决定最终协议，而是先根据置信度指标切分出“直接解决”与“启动协作”，在测试集中仅凭 4.5 万 Token 的平均消耗，便拿下了 78.0% 的解题率。它用更少的算力不仅完胜了复杂提示词下的冻结大模型路由器，也大幅缩减了因无端调用重型协议而造成的算力浪费。
即便如此，在包括竞赛数学、分子生物学在内的 6 个严谨留出评估设置中，即便是现阶段最好的路由器，距离事后预言机的性能天花板依然存在 18.5 至 28.9 个百分点的巨大差距。这充分说明，当前的路由模型根本没有学会真正的“成本-效益感知”。
对智能体架构落地的延伸思考
这项研究破除了目前业界对“端到端多智能体自治系统”的一部分过度乐观预期。当我们将智能体系统从学术玩具推向工业级 API 生产环境时，以下三点转变势在必行：
放弃“一步到位全自动路由”的幻想。寄希望于在输入阶段仅凭 Prompt 就能让大模型充当万能调度员、精准选定最优的多智能体拓扑，在数学和计算逻辑上已被证明极其脆弱。模型对自身失败的感知（AUROC 0.88）远胜于对多智能体协作产出的预知（AUPRC 0.10）。因此，工程落地的务实方向应是两阶段机制：优先利用高灵敏度的轻量置信度门控将大概率正确的简单样本就地截流，只将高风险失败样本推入二次仲裁。
必须将“协作死局”纳入成本核算体系。当前大量多智能体方案热衷于展示“最终解出率提升了几个点”，却刻意回避了在全集不可解问题上产生的巨额无效空转。在这项测试中，7.3% 无法被任何协议攻克的全错题目贡献了大量的超额 Token 浪费。未来的智能体路由器必须具备及早止损（Abstain/None）的机制，学会在不可解或边际收益极低的任务上主动放弃，而不是迷信“只要拉更多智能体开会就能创造奇迹”。
从静态路由转向动态级联协议。既然事后固定顺序预言机的标签分布呈典型的长尾衰减（Baseline 与 Single 解决超过 79% 的问题，重型协作仅占 13%），系统架构就应当默认采用由轻到重的动态级联机制（Cascade），而非离散的多分支预测。让任务沿着 Baseline 试探、失败后再推进到自纠错、最后必要时才激活群体讨论，这种顺次退避的流水线，在综合成本收益上远比静态指定更具工程确定性。
多智能体系统的未来，绝不仅取决于单一拓扑能把上限刷到多高，更取决于整个调度体系能否在复杂度和经济性之间找到精确的平衡点。阿贡实验室与俄勒冈州立大学的这项工作用扎实的 4,181 组匹配实验敲响了警钟：在学会如何聪明地把任务交给团队之前，大模型还有很长的路要走。