Amazon提出BENCH2ROBUST：不是盲目重试！工具调用学会策略切换提升16.8%

Retry, Switch, or Abstain? Learning Strategy-Aware Tool-Use Policies via Controlled Error Injection

论文原文 ↗ 论文发布 2026-08-12 解读发布 2026-09-13 解读：AI前沿分享

在绝大多数关于大模型智能体（LLM Agent）的学术基准测试中，世界总是运行在一种不切实际的理想状态里：只要模型生成了合规的函数调用语法，工具端就会立刻返回结构规范、内容准确、状态最新的响应。然而，每一个真正将 Agent 推向生产环境的工程师都知道，现实世界充满了不可靠性。API 会偶发性超时或被限流，鉴权凭据可能在会话中途失效，服务端的字段格式可能发生非预期漂移；更致命的是，工具可能返回看似结构完整、实则已经陈旧或被静默污染的假数据。

ArXiv URL：https://arxiv.org/abs/2608.11977v1

面对调用失败，多数系统的第一反应是写一个通用的重试循环。但盲目重试往往掩盖了更深层的决策缺陷：当网络短暂抖动时，原地重试（Retry）确实有效；当主接口鉴权永久失效或服务宕机时，继续重试只会徒增延迟和成本，此时系统必须切换到功能等价的备选工具（Switch）；而当所有可用通路全部中断时，理智的做法是承认当前环境不可恢复并及时转交人工（Abstain / Escalate）。现有评测与训练方法无法区分这三种策略，导致模型要么把“靠运气等来的接口恢复”误当成策略成功，要么在稍遇阻碍时便过早放弃。

针对这一落地痛点，来自亚马逊（Amazon）的研究团队提出了名为 BENCH2ROBUST 的通用注入评测与训练框架。该研究的核心价值在于两点：首先，它打破了传统随机注入噪声的含糊性，构建了“场景可控求解度”（Scenario-Controlled Solvability），强制在环境层面规定每个任务是需要重试、必须切换备选工具，还是因彻底受阻而必须终止；其次，团队探索了运行时结构化恢复上下文——贝叶斯工具记忆（Bayesian Tool Memory, 简称 BTM），与基于场景课程的强化学习（RL）之间的协同作用。在包含 7 个模型家族的广泛评估中，工具故障暴露出近乎全员沦陷的健壮性断崖；而在测试集上，BTM 带来了最高达 16.8 个百分点的即插即用提升，课程强化学习则让模型真正学会了备选工具切换，将切换恢复成功率提升超过一倍。

生产环境的真实拷问：工具故障不是简单的加点噪声

传统对工具调用健壮性的研究，大多局限于向模型输入或工具响应中加入拼写错误、随机截断等浅层扰动。这种做法最大的问题在于，它无法衡量 Agent 到底是在“碰运气”还是在“做决策”。假设一个 API 偶发超时，模型不管三七二十一重复调用了三次，第三次接口刚好自愈，任务得以完成。在传统评测里，这会被记作一次成功的恢复；但在真实的工程考量中，这种无脑重试在遇到服务彻底下线时就会彻底瘫痪。

为了切中要害，BENCH2ROBUST 在数学上将受扰动的工具使用环境形式化为一个部分可观测马尔可夫决策过程（POMDP），记作 $\mathcal{M}{\text{inj}}=(\mathcal{S},\mathcal{A},\mathcal{O},T,Z{\text{inj}},R,\gamma)$。其中底层环境状态转移 $T(s_{t+1}\mid s_{t},a_{t})$ 与奖励机制保持不变，但观测函数被噪声算子显式改写：

\[Z_{\text{inj}}(o_{t}\mid s_{t},a_{t})=\sum_{\nu\in\mathcal{N}}P(\nu)\,\mathbf{1}\!\left[o_{t}=C_{\nu}\!\left(o_{t}^{\star}\right)\right],\qquad o_{t}^{\star}=Z_{\text{clean}}(s_{t},a_{t})\]

每一次工具调用的响应都有 40% 的概率被划入异常分布。研究者将生产环境常见的故障归纳为 9 种具体模式，并按可观测性明确划分为两大阵营：一类是具有显式报错信号的故障，包括网络超时（timeout）、速率限制（rate limit）、服务端报错（server error）、认证失效（auth error）、响应格式畸变（malformed）以及模式漂移（schema drift）；另一类则是没有任何报错提示的“隐式静默污染”，包括局部数据缺失（partial data）、陈旧数据（stale values）以及事实性错误（factual errors）。后者对 Agent 的杀伤力极大，因为工具调用表面上成功了，但返回的内容直接将后续推理引入歧途。

更为关键的设计是“场景可控求解度”。BENCH2ROBUST 将所有受控评估与训练回合划分成三种严密受控的解空间：

S1（重试可解，retry_works）：环境中的主通路没有被永久封锁，故障仅属于偶发扰动，Agent 只要具备合理的重试策略就能顺利获取数据并完成任务。
S2（必须切换，switch_needed）：主通路在整个任务周期内被硬性切断（例如特定接口永久报错），但环境中存在预先定义的等效备选工具（例如按名称搜索商品作为获取商品详情的兜底），Agent 必须识别出主路不通并主动路由到备选工具，否则绝对无法通关。
S3（彻底无解，impossible）：所有与该任务相关的可行通路全部被切断。此时继续调用任何相关工具都毫无意义，唯一正确的系统行为是立即停止无效尝试并转交人工支持。

通过将求解场景与噪声预算（每次交互设定最大扰动次数与连续失败上限）严格解耦，该框架终于能够清晰区分：模型的失败到底是因为它不会重试、不会换路，还是在死胡同里耗尽了上下文。

运行时上下文与课程强化学习的双轨设计

明确了评测标尺之后，Agent 应该如何掌握这套策略体系？亚马逊团队给出的答案是两条互补的路径：一种是无需更新模型权重的外挂记忆结构（BTM），另一种是基于特定奖励函数与渐进式课程的策略微调。

所谓的贝叶斯工具记忆（BTM），本质上是一个动态维护的结构化恢复上下文提示层。它包含三个核心模块：第一，从历史训练交互中统计出的 Beta 后验恢复概率，记录在特定工具发生特定报错后各类恢复动作的成功期望；第二，领域内预先定义的工具降级关系图谱（Fallback Maps），明确指出当工具 A 瘫痪时，哪一个工具 B 可以在什么粒度下提供替代信息；第三，一系列策略性约束规则，例如“在彻底放弃一条通路前至少进行必要验证”“在执行不可逆的写操作前必须交叉核对”“仅在穷尽候选路径后才触发转人工上报”。

这套系统为何冠以“贝叶斯”之名？作者在正文中给出了非常严谨的技术自白：贝叶斯机制主要体现在从历史轨迹中以 Beta 分布更新不同工具在遭遇错误后的恢复概率先验，但结构本身的价值远大于概率数值。消融实验也证实，真正让基础模型产生行为跃迁的，是那些显式的降级通路定义和策略约束规则，而非后验概率在小数点后几位的精确校准。

如果说 BTM 是向模型递了一份“系统应急预案手册”，那么强化学习则是要将这种应急反射刻进模型的参数里。训练采用基于 Qwen3-4B-Thinking 的策略模型，并搭配了解耦优势策略优化（DAPO）算法。为了让强化学习在复杂的工具链路上稳定收敛，团队在奖励函数上做出了关键设计：

\[R(\tau)=\begin{cases}1.0\cdot\text{eff}(\tau)\cdot\text{rep}(\tau)&\text{if task completed}\\ 0.3\cdot\frac{\text{matched actions}}{\text{total required}}\cdot\text{rep}(\tau)&\text{otherwise}\end{cases}\]

其中 $\text{eff}(\tau)$ 惩罚超过 12 步的长耗时轨迹，$\text{rep}(\tau)$ 则严厉惩罚连续执行 4 次以上完全相同调用的“死循环重试”。更重要的是第二项部分信用奖励（Partial-credit Reward）：如果在工具故障频发的情境下只提供全成或全败的稀疏二元奖励，训练集中将有超过 38% 的任务呈现出零方差奖励，强化学习将直接丧失梯度指引。通过对比轨迹中成功匹配的关键动作比例，优化器得以在模型即使最终没能完全做对的情况下，也能对其成功的局部恢复尝试给予奖励。

整个训练过程被组织为 5 个阶段的课程体系：从 Phase 1 的纯 S1（重试训练），逐步过渡到 Phase 2 与 Phase 3（引入 20% 到 40% 的 S2 切换场景），再在 Phase 4 引入 10% 的 S3 场景，最终在 Phase 5 进入全场景配比混训。在训练过程中，团队施加了严格的 KL 散度约束（系数设为 0.02），实验表明一旦移除 KL 惩罚，模型在 25 到 30 个迭代周期内就会迅速崩溃，无意义调用重复率会飙升至 80% 以上。

实验揭晓：大模型在真实错误面前普遍脆弱

研究团队首先在零售（Retail）、航空（Airline）、电信（Telecom）以及知名函数调用基准 BFCL 等多个多轮任务集上，对来自 4 个家族的 7 款主流大模型进行了压力测试。测试对象横跨 Qwen3-8B、32B、235B，以及 DeepSeek-V3、GLM-4.7、MiniMax-M2.5 等业界前沿基准模型。

结果呈现出一幅令人警醒的图景：在 70 组“模型-任务子集”的测试对中，有多达 69 组在引入工具错误注入后发生了显著的性能倒退，最大绝对跌幅高达 46.7 个百分点。这种脆弱性并没有因为模型参数规模的扩大而自然消解。以 Qwen3-235B 为例，其在 $\tau^{2}$-bench 零售任务上的通过率直接掉了 15.8 个百分点；而在电信客服任务上，原本能够取得 89% 到 91% 极高无故障表现的 GLM-4.7 和 MiniMax-M2.5，遭遇注入后也直接跌落超过 20 个百分点。在多轮交互的 BFCL 上，各模型的性能降幅普遍在 11.5 到 39 个百分点之间。这充分证明，当前只关注正确路径的后训练（Post-training）策略，让大模型在面对非稳态环境时呈现出普遍的“玻璃心”特质。

在包含 402 个独立留存任务的零售测试集上，团队对比了基础模型、仅引入 BTM、仅引入 RL、以及 RL+BTM 联合系统的表现。在不提供备选工具的标准场景下，基础模型的通过率仅为 20.1%，而单纯挂载 BTM 提示后，模型无需任何重新训练，通过率便直接攀升至 36.9%，带来了整整 16.8 个百分点的绝对增益；在提供备选工具的场景下，BTM 也将通过率从 31.9% 推升至 43.6%（提升 11.7 个百分点）。

更具学术价值的是 RL 模型的表现。当研究人员在推理阶段把 BTM 上下文完全剥离、仅保留微调后的模型自身去面对错误时，RL 模型的表现依然比原始基础模型高出了 6.3 到 6.9 个百分点。这证明课程强化学习并没有让模型退化成依赖 Prompt 提示词的复读机，而是真正将一部分策略性恢复直觉内化为了模型参数本身的条件概率分布。而当“内化策略的 RL 模型”与“外挂结构化应急指南的 BTM”合体时，系统展现出了极佳的叠加效应：在两种注入模式下分别达到了 40.8% 与 45.5% 的高水平恢复率。

同时，这套防御机制并没有以牺牲无故障环境下的基准能力为代价。在没有任何注入的干净环境中，RL+BTM 系统的通过率为 63.9%，与基础模型的 64.3% 相比处于统计误差允许的同一水平线（相差仅 0.4 个百分点），完全避免了灾难性遗忘或保守厌战情绪。

它真的学会选策略了吗？场景切片与错误归因

在衡量系统健壮性时，一个常见的质疑是：通过率的上升，究竟是因为 Agent 真正理解了何时该换路，还是单纯因为训练让它变得更喜欢“死缠烂打”，靠拉长调用次数碰巧碰对了结果？

为了解开这个疑问，研究团队在包含备选工具的测试集中，将留存任务按实际发生的故障特征进行了精细的事后场景切片分析。如果任务中主通路工具遭遇了硬性封锁，该任务就被打上 S2（必须切换）的标签；如果工具虽然报错但仍可通过原路恢复，则打上 S1（重试即可）的标签。

数据给出了非常明确的实证支持。在真正需要切换备选工具的 S2 场景中，基础模型即使挂载了 BTM，由于其固有的决策惯性，通过率也仅仅只有 16.8%；而在经过课程强化学习后，模型在 S2 场景下的成功率跃升到了 35.3%，直接实现了两倍以上的增长。与此同时，模型在面对可解任务时的“过早转人工上报率”（Premature Escalation）从 52.5% 大幅下降至 41.7%。如果模型仅仅是单纯增加了重试次数，当面对主路径彻底堵死的 S2 任务时，它的成功率根本不可能有任何改善，只会不断触发重复调用惩罚直至超时。S2 成功率的显著翻倍与过早放弃率的下降同步出现，强有力地证明了模型学会了在发现主路永久报错后，主动调用语义等价的降级工具。

更为精妙的洞察来自于不同错误类型下的效果归因分解。通过对比显式可观测错误与隐式静默错误，研究者勾勒出了 BTM 与 RL 截然不同的“能力防区”：

显式瞬时故障（如超时、限流、服务端瞬时报错、格式残缺）：这几类故障有着清晰的系统错误码，且重试即可自愈。在这些情境下，BTM 的提示增益最为暴击，单靠外挂上下文就能为模型带来 18.0 到 25.3 个百分点的提升。此时结构化上下文就像是清晰的指路牌，直接告诉模型“这只是瞬时网络波动，原路再试一次即可”。
显式持久故障（如鉴权永久失败、模式定义漂移）：错误码依然清晰，但继续原路请求必然碰壁。此时 BTM 的增益开始回落，而 RL 的边际贡献显著放大，在鉴权错误与模式漂移上分别贡献了 +10.2 与 +12.5 个百分点的额外边际增量。这说明模型必须在参数层面建立起“此路不通、立刻换道”的决断力。
隐式静默数据污染（如局部字段缺失、数值过期、事实性扭曲）：这是整个实验中最具戏剧性的一幕。在遭遇事实性错误篡改时，BTM 的引入不仅没有帮助，反而让通过率净降了 4.6 个百分点（从 68.6% 跌落至 64.0%）。这是全表唯一出现负值的区间。原因在于，BTM 普遍增强了模型的容错重试倾向，但面对静默错误时，返回的数据结构毫无破绽，原地重试获取的数据依然是错的；模型被 BTM 鼓励着反复求证，白白浪费了交互步数并触发了效率惩罚。相反，经过强化学习训练的策略在面对静默错误时展现出了更高级的行为模式，在事实错误上取得了 +10.5 个百分点的边际回升。

这种分工明确的现象向技术社区传达了一个清晰的工程架构信号：没有哪一种单一机制能够解决 Agent 的可靠性问题。对于那些有明确状态码的表层异常，基于规范的降级上下文提示是最廉价、见效最快的手段；但要应对工具链路上那些看不见的暗礁以及必须壮士断腕的降级抉择，策略模型必须经过系统性的强化学习洗礼。

工业级智能体的设计新启示

BENCH2ROBUST 这项研究给当前火热的 Agent 系统构建带来了几个发人深省的技术启示。

长期以来，很多团队在构建复杂的智能体系统时陷入了一种误区，要么试图完全依赖极长复杂的 System Prompt 去规约所有异常处理，要么寄希望于大参数模型自带的通用推理能力。但实验证明，即便大到 235B 参数规模的旗舰模型，在遭遇未曾显式建模的 API 故障时同样溃不成军；而单纯堆砌上下文提示，在遇到数据被静默污染等高阶陷阱时，甚至会反噬系统的整体决策效率。

真正健壮的工具使用智能体，必须在系统工程与模型后训练之间建立清晰的协同分工。一方面，平台架构师不能只为 Agent 提供单一的工具接口，而必须在注册工具时建立清晰的等价降级图谱（Fallback Maps），并以低成本的结构化形式注入运行时；另一方面，后训练团队在设计强化学习方案时，必须果断淘汰那种把工具视为 100% 稳定的温室训练法。通过像 BENCH2ROBUST 那样引入显式的场景可控求解度与渐进式难度课程，让 Agent 在训练阶段反复经历“重试可解、必须换路、无解止损”的三岔路口，才能最终锤炼出能够在不可靠的真实互联网与企业服务中稳定穿行的策略智能体。