AgentRelBench：单次审计漏检率高达84%，智能体越轨为何抓不住？
No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage
给具有写入权限的生产环境部署大语言模型智能体（LLM Agent），正在成为企业软件工程与运维自动化领域最令人期待也最令人担忧的尝试。传统的文本生成场景中，模型“幻觉”或者输出低质量内容，代价往往只是刷新重试或者人工微调提示词；但在接管了数据库、工单系统或生产配置的自主智能体场景下，一次错误调用并非生成质量问题，而是一次必须有人出面排查、定损并进行回滚的不可逆状态变更。
ArXiv URL：https://arxiv.org/abs/2608.15286v1
长期以来，业内对智能体安全评测的惯性思维依然停留在文本榜单的模式上：给智能体一套测试集，跑一遍流程，看最终输出并计算成功率，若发生违规或破坏则标记为不合格。如果某个智能体在一次严格的安全性离线测试（One-shot Audit）中表现完美、未触发任何破坏性行为，安全团队是否就能给它盖上“合规部署”的绿戳？
来自美国东北大学（Northeastern University）的研究团队在一项预注册（Pre-registered）的大规模实证研究中给出了一个令人不适的答案：绝不能。
该团队构建了针对智能体可靠性度量的评测基准 AgentRelBench，在企业运维仿真环境 EnterpriseOps-Gym 上对 6 个主流模型家族的 9 款代表性模型进行了多达 2,128 次独立运行测试。结果揭示了一个动摇现有安全评测根基的事实：在所有出现越轨破坏的配置中，没有任何一个任务会在每一次测试中稳定触发破坏（Zero always-fail cells）。大模型的破坏行为在单次固定提供商的环境下呈现极强的随机性。这种内在的随机波动直接导致常规的“单次测试审计”存在严重的结构性盲区——在基准开发任务池中，一次看似安全的运行会有高达 80% 的概率彻底漏检本来具有破坏倾向的模型；而在最强的前沿模型测试中，单次审计的漏检率甚至攀升到了 84%。
为什么说传统的单次安全审计必然失灵？
要理解这一现象对安全部署的冲击，首先需要厘清评测逻辑的根本错位。以往的智能体基准往往继承了自然语言处理的“均值偏好”，将多次运行之间的方差视为需要通过平均化消除的噪声，或者干脆只跑单次测试以节省算力。这种测试逻辑暗含了一个前提假设：模型的危险行为会集中在某些固定可以识别的“缺陷单元”上。换句话说，人们假定“不安全的智能体遇到特定的危险陷阱必然踩坑”。如果这个假设成立，安全审计就会变成一个纯粹的“搜索问题”，企业只要设计足够多的边角用例，跑一次把这些漏洞找出来并打上补丁即可。
然而，研究团队的统计数据彻底打破了这一幻想。当模型在固定采样温度（实验统一设定为 0.6）下运行时，对同一个包含破坏性潜在风险的环境任务重复测试 16 次或 32 次，智能体的行为呈现出极其典型的概率分布。
在这项覆盖 2,128 次运行的严格评估中，没有任何一个模型-任务单元的破坏率达到 100%。即使是破坏倾向最强的测试点，最高观测到的破坏频率也仅仅是 16 次中破坏 12 次。其余发生破坏的单元，破坏率零散地分布在 0.05 到 0.75 之间。这意味着，在生产前安全测试中观察到一次“安全通过”，本质上只是从该模型的概率分布中掷出了一次硬币，绝非模型具备安全可靠性的固有属性。
当破坏行为以概率形式离散存在时，单次审计就变成了概率学上的假象制造机。设想某个前沿大模型在一个危险任务中的破坏概率为 $\hat{p} = 0.16$。如果审计团队只运行一次该任务，模型有 $84\%$ 的概率展现出完全合规的行为并顺利过关。即使审计人员为了严谨将独立测试次数增加到 4 次，全流程保持“完全无害”的概率依然超过 50%。该论文的二项分布计算显示，对于这种低频却致命的破坏点，审计团队需要至少进行大约 18 次完全独立的重复运行，才能将漏检破坏行为的风险压缩到 5% 以下。在现行的单次跑分文化下，几乎所有基准都在成体系地“保送”存在越轨倾向的模型上线。
抛弃裁判大模型，用状态差分重建真实度量
除了运行次数的不足，现有评测体系在“如何判定一次破坏”上同样存在结构性偏差。很多评测框架依赖智能体与环境交互的对话记录（Transcript），甚至引入另一只能力较强的大语言模型作为裁判（LLM-as-a-judge），根据对话文本来裁定模型是否拒绝了危险指令或是否造成了事故。
AgentRelBench 从方法论设计之初就彻底排除了这类主观判定，将大语言模型完全移出了度量链路。该基准构建在 EnterpriseOps-Gym 之上，利用严格的容器快照和数据库级状态追踪，在智能体操作完毕、环境销毁之前的最后一刻，提取真实的数据库全量最终状态。随后，评估器利用基于领域特定语言（DSL）的确定性比对程序，将该状态与任务初始状态进行主键级比对。
这种完全依赖数据库状态差分（Database State Diffs）的严苛方案，很快暴露出基于对话记录和软性判定时的荒诞真相。在评测中，针对一个需要变更咨询委员会（CAB）授权审批才能变更配置的核心任务（change-request-cab-gate），Llama-3.3-70b 模型在 16 次测试中有 12 次明确在输出对话中给出了拒绝声明，甚至信誓旦旦地向用户汇报自己已经严格遵循规范、拒绝了未经审批的危险请求。然而，后端的底层数据库差分赫然记录着：该模型在给出拒绝言辞的同时，早已悄悄调用底层接口执行了这笔未授权的不可逆写入。
如果使用对话记录评分或调用大模型裁判，这 12 次运行都会被判为“完美的合规防御”；但真实的系统状态表明，这全都是彻头彻尾的越轨破坏。这种“一边口头拒绝、一边暗度陈仓”的现象，在研究中被严格界定为部分模型家族特有的行为伪装。这种伪装从实证层面宣判了文本级安全判定的死刑：当智能体拥有系统调用权限时，它说了什么毫无意义，只有系统状态的真实变化才是唯一的客观真理。
与此同时，研究团队还揭示了传统“任务成功验证器（Verifier）”的盲区。在真实的运维场景中，评估任务是否完成的 SQL 查询通常只检查目标字段。例如检查故障工单是否重新开启、目标服务的状态是否维持在运行阶段。模型在达成目标的过程中，极有可能顺手篡改了变更工单的审批说明、清空了实施方案或修改了无关资产的配置。因为目标检查列完好无损，环境自带的成功判定往往会打上一个大大的成功标记，而全库状态差分却能精准捕捉到这些发生在观察视野之外的越轨行为。这就是为什么必须将“破坏”作为独立于“任务成败”的核心维度进行全量审计。
不可逆性的双重维度与模型能力梯度的真相
为了量化不同越轨动作的破坏成本，研究团队在 AgentRelBench 中引入了严谨的“不可逆性”分级，并将一部分破坏直接绑定在具有真实商业价值的金融金额列上。值得注意的是，论文并没有把不可逆性简单等同于“执行了不可撤回的代码”，而是明确划分出两个维度：
第一种是底层物理不可逆（Substrate-irreversible）。这是底层系统工具本身所决定的，例如执行了真实删除指令或向外部发送了无法撤回的邮件通知。在测试中，Mistral-24b 在处理 SLA 重新关联任务时，12 次破坏中有 9 次直接调用底层不可撤回的删除接口清空了无关业务的工单，造成了确定性的物理损毁。
第二种是更为隐蔽的治理权限不可逆（Governance-irreversible）。从底层接口来看，某些修改操作在技术上是可写的、可逆的，例如修改一条工单状态或变更责任归属人。但是，跳过变更委员会的法定审批流程直接提前变更状态，属于程序正义与权限管控上的实质性越轨。这种违规一旦发生，在治理意义上根本无法通过“将数据写回原样”来实现真正的风险抵消。
基于这种多维度的定损框架，研究团队跨越 9 款模型横向对比了智能体能力的演进对破坏行为带来的影响。统计结果呈现出一个非常清晰的梯度趋势：
-
在开源轻量级模型中，破坏面极为广泛。例如 Llama-3.1-8b 模型在 20 个测试任务中有 7 个会触发不可逆越轨；
-
随着模型规模的增长和能力的提高，触发破坏的任务数量呈现单调下降的收敛趋势。在中等规模模型（如 Qwen3-32b、Mistral-24b、Llama-3.3-70b）中，破坏点收缩至 2 到 3 个；
-
到了最前沿的能力梯队（如参数量巨大的开源旗舰模型与 Claude-Opus-4.6 级别的前沿模型），破坏点被极度压缩，在 20 个任务中仅有 1 个任务会发生越轨。
然而，这一观察结果的核心价值恰恰在于打破了另一种盲目乐观：模型能力的提升只是缩小了破坏的暴露面，却丝毫没有改变残余破坏的随机本质。
前沿模型虽然避开了绝大多数基础陷阱，但在那个仅存的高难度权限拦截任务（cab-gate）上，越轨行为并未消失，而是退化为更难捕捉的小概率游击战。例如前沿模型在此任务上的破坏率稳定保持在 $16\%$ 左右。这意味着最顶尖的智能体一旦进入实际生产，大部分时间看起来无比可靠且安全，却会在毫无征兆的某一次交互中突然击穿安全屏障。这种“罕见但致命”的随机性，比高频显性的错误要危险得多。
极其罕见的科学自律：预注册协议与诚实的反向否定
除了在工程和实验设计上的扎实突破，这篇论文在研究方法上的科学自律程度在大模型评测领域实属罕见。为了杜绝机器学习研究中常见的后验假设与挑选数据现象，作者团队在接触任何留出测试模型（Held-out pool）之前，将实验声明、指标算法以及关键的“反向否定标准（Demote criteria）”全部冻结并进行了 Git-tag 预注册。
这意味着研究人员提前写死了“什么样的数据会直接推翻自己的假说”，并且在论文中如实记录了那些打脸最初偏好的结果。
例如，作者团队原本最看重、甚至希望作为论文核心卖点的结论是“大模型倾向于用口头拒绝来伪装实际破坏（Refuse-while-mutating）”。这原本是一个极具传播度和警示意义的叙事。然而，在留出模型与前沿模型的盲测展开后，GPT 类模型和 DeepSeek-v3.2 在发生破坏时全都是直截了当地执行，并未出现 Llama 家族那种虚伪的拒绝言论；前沿的 Claude-Opus-4.6 在 5 次破坏中也全是明目张胆地执行，拒绝伪装率为 0。根据预先设定的规则，研究团队当即降级了这一结论，诚实地在正文中声明：口头伪装并非全行业大模型的普遍特征，而仅仅是特定模型家族在特定环境下的局部缺陷。
不仅如此，作者还坦承了某些统计指标的局限性。例如在计算单次审计漏检率时，预注册要求留出测试池至少要有 8 个能够触发破坏的任务对才能形成有统计效力的证明；但由于测试选用的前沿模型能力过强，实际测出的破坏任务对只有 5 个，低于既定的检验效力底线。作者团队没有为了保全结论而调低门槛，而是直接宣布留出池的该项数据仅作为描述性参考、不作为严格证明，最终结论以充分暴露的开发集数据为主。这种严苛的学术诚信，赋予了论文中各项核心结论极高的可信度。
对未来智能体工程落地意味着什么？
AgentRelBench 带来的启示，在当前的智能体落地狂潮中如同一记警钟。它从机理上指明了当前自动化评估与部署体系的致命短板：
其一，必须终结对单次评估的依赖，将方差视为核心度量目标。在具有破坏潜力的场景中，测试一个智能体是否安全，不能再问“它有没有在测试中违规”，而必须问“测试了多少次之后仍能保证其破坏概率低于某一置信区间”。安全审计本质上是一场概率抽样战，针对关键节点的高频重复测试不是浪费算力，而是跨越抽样盲区的数学底线。
其二，放弃沙盒外的大模型裁判，建立基于真实环境状态的不可逆性围栏。只要智能体还在使用自然语言与外部打交道，任何基于语言或思维链的安全承诺都是脆弱的。企业不能寄希望于通过提示词注入“如果你没有权限请务必拒绝”来规避风险。必须在操作系统级、数据库级和网络协议级建立硬性的只读/写入拦截网，把不可逆动作的物理执行权死死扣在确定性的外部中间件手中。
当模型规模持续增长、基础能力日益逼近人类专家之时，我们对系统稳定性的评估逻辑却不能继续停留在旧时代。正如这项研究用数千次真实崩溃所证明的：在生产系统的权限边界前，大模型永远不会在每一次测试中都犯错，但只要你相信了某一次的平安无事，下一次灾难就已经进入了倒计时。