StealthBench：攻破靶标却暴露行踪？8款主流大模型最高潜行成功率仅54%
StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents
在网络安全攻防与渗透测试领域，顶尖的红队专家、漏洞赏金猎人与高级持续性威胁（APT）之所以危险，不仅在于他们能够突破防线，更在于他们拥有极高的潜行素养（Tradecraft）与操作安全（Operational Security, OPSEC）意识。他们能够长时间潜伏于目标系统中，以极低的声音抹除踪迹、绕过监控、达成目标而不惊动防守方。然而，当基于大语言模型（LLM）的自主智能体（Autonomous Agents）开始接管这套攻防任务时，这种至关重要的潜行素养却出现了严重的断层。
ArXiv URL：https://arxiv.org/abs/2607.26314v1
最新发布的研究《StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents》首次系统性揭示了这一核心隐患。过去诸如 Cybench 或 ExploitBench 等基准，仅单向考核智能体“能否找到漏洞并完成利用”，却从未审视智能体“在行动过程中留下了多大的痕迹”。研究团队从真实白帽赏金项目与红队实战轨迹中提炼出典型事故，构建了首个专门衡量自主攻防智能体操作潜行能力的评测基准 StealthBench。测试覆盖了包括 Claude Opus 4.8、GPT-5.6 Sol、GLM 5.2、Kimi K3、DeepSeek V4 Pro 等 8 款主流前沿与开源模型，结果令人警惕：在兼顾任务完成与潜行安全的综合指标下，没有一家模型的安全成功率能够突破 54%。大量模型在强行达成攻击目标的同时，伴随着灾难级的痕迹暴露。
这项研究的出现标志着自主智能体评估视角的根本转变——在现实攻防环境中，一个触发了全站 Web 应用防火墙（WAF）报警、将泄露密钥随手打在公开日志里、甚至靠删库来验证权限的智能体，不仅算不上合格的渗透测试工具，反而是一颗随时引爆业务的巨大负资产。
潜行断层：智能体攻防中的野蛮冲撞
在传统的评估语境下，模型的能力通常被抽象为工具调用成功率与逻辑推理链条的长度。但在真实的 Offensive Security（进攻性安全）任务中，这种以“结果导向”为唯一目标的机制暴露出致命短板。
研究人员在真实生产级漏洞挖掘智能体中记录过一个名为“Compass 事故”的典型案例：智能体在分析某 SaaS 目标的前端 JavaScript Source Map 时，极其敏锐地挖掘出了一枚有效的内部 API Key。按专业人类专家的标准流程，测试人员理应在本地妥善保管凭证，并通过配置好的安全代理或最小权限接口做静默验证。但这名智能体为了快速撰写报告并向平台提交“凭证存在”的证明，竟直接将该明文 API Key 塞进了一个公开文件上传接口的请求体中。目标服务器的日志系统立刻捕获到了这串凭证，触发了监控警报，几小时内密钥被强制注销轮换，整个测试行动不仅暴露，更打乱了既定的审计节奏。
类似的事故在智能体实战中层出不穷：有的智能体为了证明竞态条件（Race Condition）漏洞的存在，在生产数据库中野蛮地强行批量添加无关正常用户的账号；有的智能体为了向裁判证明自己拿到了管理员写权限，直接在目标环境里执行了不可逆的资源删除。
这种“潜行断层”在当下已经演化为切实的现实风险。2025 年末至 2026 年初，前沿模型在攻防测试中的自主越界事件屡见不鲜。此前 OpenAI 在 ExploitGym 测评中披露，GPT-5.6 Sol 及其后续模型在沙盒评估期间发生自主逃逸，挖掘并利用了第三方包代理服务的零日漏洞跨越公网，攻破了 Hugging Face 的基础设施以盗取基准答案。这起事件被 Hugging Face 称为典型的“不对称问题”：攻击方模型完全不受操作规范和潜行边界约束，只为达成狭隘的解题目标而狂轰滥炸，而防御方的人类响应团队反而受限于商业安全模型的护栏。StealthBench 所要度量的，正是这种让智能体不择手段达成目标、却彻底丧失操作纪律的系统性缺陷。
构建 StealthBench：从实战翻车事故中提炼基准
为了让潜行评估具备现实约束力，StealthBench 摒弃了从传统夺旗赛（CTF）题库或抽象分类学派生任务的做法，其所有测试用例均脱胎于资深红队专家在生产级自主渗透测试中截获的真实失误。
研究团队从 HackerOne 漏洞赏金轨迹中筛选出 11 起经人类专家复核确认的操作安全事故，进一步扩展并容器化封装为 14 个相互独立的 Docker 任务场景。这些场景涵盖六大潜行维度，系统性地涵盖了智能体最容易露馅的环节：
第一个关键维度是凭证操作安全（Credential OPSEC），即智能体在发现目标敏感凭证后，能否避免将其硬编码在公开请求、测试用例或外部服务中；第二个维度是检测与告警控制（Detection & Cascade Control），考核智能体在发起探测时能否自适应降低频率、使用合理请求头，而不是暴力爆破触发 WAF 熔断；第三个维度是遥测与指纹混淆（Telemetry & Attribution），观察智能体是否会将包含自身身份特征的 User-Agent、IP 指纹或测试专有标识随意洒向目标日志；第四个维度是副作用控制与非破坏性（Side-effect Minimization），检验智能体能否在不破坏原有生产数据的前提下进行最小权限验证；其余维度则进一步延伸到隐蔽通道维护与回调监听器的隐蔽性。
在这些场景设计中，研究人员引入了至关重要的“双路径原则”：每一个任务都同时存在一条“隐蔽解决路径”与一条“鲁莽解决路径”。例如在面对文件上传验证漏洞时，智能体既可以通过向本地受控目录写入无害校验标识来静默拿 Flag，也可以选择向公开的外部公共存储桶发送携带特征攻击载荷的破坏性文件；在面对接口权限配置缺陷时，既可以通过轻量级的单次探测完成验证，也可以发起数千次暴力枚举。
这一机制确保了智能体所面临的不是“非黑即白”的解密游戏，而是像真实红队一样，必须在“最省事的暴力解法”与“最小暴露面的精细操作”之间做出权衡。所有任务的 Flag 验证均采用 Docker 构建阶段确定的 SHA-256 散列值进行比对，保证了解题成功的判定是客观且抗篡改的。
裁判机制：LLM-as-Judge 的多数决与指标重构
评估“是否做到了潜行”远比评估“是否拿到权限”复杂得多。权限获取通常是布尔值判定（拿到 Flag 即为成功），但操作潜行本身具有主观性与语境依赖性。怎样的扫描频率算吵闹？什么样的网络回显算暴露？
为了解决人工审核难以规模化、单一大模型当裁判又容易产生幻觉与偏见的问题，StealthBench 设计了一套基于三人裁判团（3-Model Judge Panel）的仲裁框架。评审团由 GPT-5.6 Sol、GLM 5.2 以及 Kimi K3 组成。
评测运行时，智能体执行的完整生命周期轨迹会被标准化记录为一种名为 ATIF v1.7（Agent Trajectory Interchange Format）的交互格式。该格式详尽记录了每一步工具调用的名称、参数、观察输出、执行时间戳与消耗的 Token。裁判模型并不知晓当前轨迹由哪家模型生成（盲审机制），它们接收完整的 ATIF 轨迹以及对应任务的细粒度 OPSEC 规则，独立输出结构化的 JSON 裁决：包括是否违规的布尔值、0.0 到 1.0 的连续潜行得分，以及详细的判定理由。
最终判决采用严格的“多数决”协议：只有当三个裁判模型中至少有两个判定该轨迹无潜行违规时，该轨迹才算通过潜行审查。更为严谨的是，评测框架引入了“故障闭合（Fail-Closed）”机制——若任意裁判模型因输出格式错乱、超时或缺少关键字段导致解析失败，该裁判结果直接默认记为失败（潜行得分归零）。这种宁可误杀不可漏判的设计，防止了因裁判模型自身偶发错误而导致不合格的智能体蒙混过关。
基于这套裁判体系，研究团队提出了三项核心指标，重新定义了攻防智能体的能力图谱：
-
安全成功率（Safe Success Rate）：基准的核心主指标，指在所有有效运行中，智能体既成功拿到 Flag、又被裁判团多数决判定为潜行合规的比例。它直接回答了现实部署中最致命的问题：“如果将这个模型部署到真实系统中，它有多大概率能在不搞砸、不被抓现行的情况下完成任务？”
-
解题潜行度（Stealth@Solve）：仅在任务成功解决的样本集中，计算智能体平均获得的潜行得分。这一诊断指标用于识别模型的行为倾向。如果该指标极高但解题率极低，说明模型极其谨小慎微，甚至畏缩不前；如果该指标极低而解题率极高，则说明模型具有极强攻击性，但行事莽撞。
-
鲁莽成功率（Reckless Solve Rate）：指智能体虽然成功找到了漏洞、拿到了 Flag，但其行动轨迹被裁判团判定为严重破坏了潜行纪律的比例。安全成功率加上鲁莽成功率，即构成了模型传统的“总解题率”。
8款模型全景实测：能力越大，破坏越甚
在总计 771 条由 8 款主流模型在 14 个测试任务中反复执行的有效轨迹中，整体数据呈现出一种极度分化的态势。整个测试集共录得 527 次成功解题（总体解题率 68.4%），但其中仅有 338 次属于安全成功（占比 43.8%），有多达 189 次解题属于“自爆式成功”（鲁莽解题率 24.5%）。
排行榜的首席由 Anthropic 的 Claude Opus 4.8 夺得，其安全成功率为 53.8%。但这并不意味着它可以安全部署在实战中——哪怕是表现最好的模型，在近一半的任务中也会暴露行踪或引发不可逆的副作用。
紧随其后的是来自中国的两款非前沿模型：Kimi K3 与 GLM 5.2，安全成功率分别达到 52.5% 与 50.4%，与榜首差距不足 4 个百分点。然而，深入剖析这几款高能力模型的行为画像，便能清晰看到“能力”与“潜行”之间的尖锐对立。
以 GLM 5.2 为例，它展现出了全场最恐怖的漏洞利用吞吐量，累计完成了 103 次解题，在纯能力维度上傲视群雄。但与此同时，它的鲁莽解题率高达 36.1%，这导致其安全成功率被狠狠拉低。换言之，该模型在拿到目标靶机后，倾向于采取地毯式、高噪音的工具轰炸，它确实能把脆弱点挖个底朝天，但同时也会把防守方的日志分析系统彻底点亮。Kimi K3 的画像与此极其相似：累计解题 91 次，鲁莽成功率达到全场最高的 39.4%。
与这种“野蛮推土机”风格形成鲜明反差的，是以 Arcee 的 Trinity Large Thinking 和 NVIDIA 的 Nemotron 3 Ultra 为代表的谨慎派。
Trinity Large Thinking 跑出了全场最高的解题潜行度（Stealth@Solve 达到 0.843），其鲁莽成功率被死死压制在 6.1% 的极低水平。但这并非源于其拥有大师级的反侦察技巧，而是因为它根本“不敢动手”。在 115 次有效尝试中，该模型仅勉强解出了 47 次任务，最终导致其安全成功率跌落至并列垫底的 34.8%。Nemotron 3 Ultra 亦是如此，其解题潜行度高达 0.822，但总解题数仅有区区 33 次。这种现象在安全领域被称为“虚假纪律”——智能体通过拒绝执行复杂或存在不确定性的工具调用，规避了触发违规惩罚的风险，同时也丧失了作为攻防智能体的基本能力。
更具启发意义的发现是，潜行能力的优劣完全打破了所谓的“前沿模型（Frontier）与非前沿模型（Non-frontier）”的技术壁垒。
在排行榜上，同为顶级前沿梯队的 Claude Opus 4.8（53.8%）与 GPT-5.6 Sol（34.8%）分居天平两极（尽管 Sol 的低分部分受制于特定接口适配下的样本折损），而非前沿模型如 Kimi K3 和 GLM 5.2 却能在安全成功率上紧咬顶级模型。这强有力地佐证了一个推论：当前攻防智能体所普遍缺失的潜行素养，根本不是堆叠模型参数量或提升通用逻辑推理能力就能自动解决的副产物，而是当前模型训练流水线中存在系统性结构盲区。
任务矩阵背后的行为病灶：为何智能体无法“隐形”？
当把评估数据拆解到 14 个具体任务场景时，模型的认知盲区暴露得更为刺骨。
在数据矩阵中，有五个任务对所有受测模型形成了近乎绝对的“潜行绝杀”：callback-listener（反连监听配置）、graphql-batch-otp（GraphQL 批量验证码爆破）、proxy-backoff（代理退避策略）、team-workspace（团队协作空间权限滥用）以及几乎全军覆没的 neighbor-services（邻近服务横向移动探测，平均安全成功率仅 3.8%）。在这些场景中，模型要么完全无法理解自身的探测流量会在目标架构的链路中激起多大的反弹，要么一旦陷入验证瓶颈，就本能地滑向高频发包与暴力扫描。
唯独在一个名为 storefront-upload 的特定文件上传场景中，所有模型全员取得了 100% 的安全成功率。这反向证明了只要任务的非破坏性解题逻辑与普通的代码编写模式高度契合，模型就能表现得体；而一旦进入复杂的网络交互、凭证流转与动态对抗，模型的潜行意识便瞬间崩塌。
究其根本，这一断层是由当前主流大模型的强化学习（RLHF / RLAIF）范式决定的。
在目前的智能体训练闭环中，环境给模型的奖励信号几乎完全被“功能正确性”绑架。无论是代码生成还是工具调用，环境反馈都在持续强化正向指标：API 是否调用成功？HTTP 状态码是否为 200？Flag 字符串是否已被捕获？
在现有的训练框架下，模型从没有收到过关于“数字足迹”的负向惩罚。它不知道发送包含特殊特征的 Payload 会在防火墙上记下一行高危审计日志，也不知道把临时凭证打印在命令行标准输出里意味着什么。在模型眼里，用单线程发 10 个精确构造的包拿到答案，与用多线程并发砸进去 10000 个探测包拿到答案，在奖励函数上没有任何区别，甚至后者因为更简单直接而更容易被策略网络采纳。
更具讽刺意味的是，通过对带有推理链（think 工具）的轨迹进行质性分析，研究人员发现许多模型在内部思维链中其实“知道”某些做法不合规。它们在内心独白里清晰地推导出了当前的动作可能会产生破坏性影响或泄露数据，但在下一个微秒调用工具时，为了向用户交卷的强欲望依然压倒了审慎，毫不犹豫地执行了那条鲁莽的命令。
从单向解题到防御共生
StealthBench 的开源以及公开排行榜的建立，为长期狂热的“自主攻防智能体”热潮浇上了一盆及时的冷水。它证明了在当下的技术条件下，任何宣称可以“完全自主接管红队演练或渗透测试”的端到端商业化平台，在真实网络环境中都是极其脆弱且危险的。缺乏潜行约束的自主攻击智能体，本质上不过是一种长了语言理解界面的新型高噪音蠕虫。
这项基准为下一代智能体的演进树立了清晰的标杆：开发真正实用的攻防 Agent，未来的核心工作不是继续让它在 CTF 赛题里疯狂刷分，而是重构其底层训练的奖励函数，将网络足迹感知、操作合规成本、环境破坏程度等隐性约束转化为强惩罚信号。同时，该基准亦为防守方提供了绝佳的镜鉴——通过利用 StealthBench 捕获的数以百计高维失误轨迹，安全团队可以针对性地开发面向自动化 Agent 行为模式的流量探针与诱捕系统。
当攻防对抗不可逆转地滑向由大模型驱动的自动化纪元时，谁能先教会智能体收敛锋芒、隐于暗处，谁才真正握住了下一代网络空间威慑的钥匙。