SRE-Bench：首个无污染逆向基准，最强AI仅解出31.5%

The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark

在过去一年里，具备自主运行能力的网络安全 AI 智能体（Cybersecurity Agents）在漏洞挖掘和代码审计领域展现出了惊人的进展。然而，这种繁荣很大程度上建立在一个理想化的前提之上：智能体能够直接获取目标软件的源代码。现实世界中的高价值攻击目标——闭源企业软件、安全硬件固件以及每天新增的数十万恶意软件样本，几乎全是以编译后的二进制（Binary）形式存在的。

ArXiv URL：https://arxiv.org/abs/2608.11469v1

要对这些不透明的二进制文件进行安全分析，必须先进行逆向工程（Reverse Engineering, RE），即从底层的字节码中还原出高层的程序语义。如果 AI 智能体无法跨越逆向工程这道门槛，其在安全领域的实际威慑力将被严格限制在开源生态内。

评估大模型逆向工程能力的核心挑战在于：如何保证测试基准的纯洁性与真实性。如果测试所用的二进制文件是由开源项目编译而来，大模型在预训练阶段极有可能已经“见过”其源代码；在测试时，模型并非在进行真正的逆向推理，而是依靠记忆进行了捷径识别。与此同时，真实的恶意软件和商业程序不仅代码量庞大，还包裹着复杂的反分析保护层，传统的玩具级测试程序根本无法衡量模型在真实对抗环境下的表现。

为了彻底解决这一评估困境，来自哥伦比亚大学、加州大学伯克利分校（UC Berkeley）、加州大学洛杉矶分校（UCLA）等机构的安全专家团队耗时超过 5000 个小时，从零开始纯手工构建了 SRE-Bench。这是业内首个完全无数据污染且具备真实世界复杂度的逆向工程基准。测试结果冷酷地打破了当前代码安全大模型的幻觉：在 SRE-Bench 面前，即便是当前最强的模型 GPT-5.6-sol，其完全解出率也仅有 31.5%，证明由源码训练带来的安全能力，目前还远远无法平移到二进制世界的分析中。

逆向工程评估的“污染陷阱”与现实鸿沟

在常规的代码漏洞检测基准中，数据污染往往需要精确到具体的代码行才具有破坏性；但在逆向工程领域，哪怕是粗粒度的信息泄漏也是致命的。逆向工程本质上是一个在未知目标中寻找语义线索的过程。如果模型通过某个微小的特征识别出目标二进制文件其实是某种广为人知的开源工具（例如被修改过的 gzip），它就可以直接调用内部的先验知识，运用自顶向下的推理来猜测程序的架构，从而完全绕过对底层汇编指令的艰苦分析。

不仅如此，现实世界中的逆向任务面临着两座大山：代码规模与保护机制。以往试图避免数据污染的逆向基准（如 CREBench 或 AgentRE-Bench）虽然采用了自研代码，但平均每个程序只有几十到五百行，且只使用了教科书级别的异或加密或极简虚拟机。要知道，现实中的商业软件动辄数万行代码，逆向分析的难度会随着代码规模的增长呈指数级上升；同时，高价值目标往往被定制化的混淆器层层包裹。用微型程序测试出来的能力，根本无法外推到真实的逆向对抗中。

由于采用开源项目必定带来污染，而对开源项目进行局部修改又无法掩盖其整体架构特征，研究团队最终选择了一条极其硬核、成本高昂的道路：不依赖任何现成的开源代码，完全依赖领域专家以“净室设计”（Clean-Room）的方式，从头编写具备真实规模的复杂程序与保护机制。

SRE-Bench 的硬核构建：5000小时的净室工程

SRE-Bench 并非简单的程序集合，而是一个由 19 个完全私有的大型程序和一套定制化反分析系统组成的庞大工程。这些程序的平均代码量高达 16915.8 行，总计超过 32 万行专家手写代码。

为了覆盖真实的逆向工作流，这些程序被划分到五个最具代表性的逆向领域：网络协议、固件、游戏、格式解析器以及恶意软件。每一个领域都针对特定的逆向难点进行了深度定制。例如在固件领域，研究团队不仅编写了针对虚构安全微控制器的裸机固件，甚至从零开始设计了整个片上系统（SoC）架构和定制化的密码学算法。在测试时，智能体只能通过一个模拟的 JTAG 接口向设备发送指令（且每局上限 5000 条命令），从最初的黑盒探测开始，逐步逆向出设备的加密启动过程和外设交互逻辑，最终获取最高控制权。

如果说 19 个大型私有程序构成了 SRE-Bench 的骨架，那么研究团队自研的二进制保护套件则赋予了它对抗的灵魂。这套保护系统本身就包含超过 2.7 万行代码，实现了 44 种最前沿的保护原语（Primitives）。更为关键的是，其中超过半数的保护技术（涵盖控制流扁平化、不透明谓词、虚拟机混淆等高级形式）在市面上没有任何公开的开源实现，它们吸收了商业混淆器的核心思想，但采用了完全独立的算法与参数。

通过将 19 个程序在不同的编译选项（优化级别、符号剥离、静态/动态链接）下进行编译，并结合自研保护套件进行加固，SRE-Bench 最终生成了 262 个完全无污染的二进制实例，对应 1572 个具备确定性评分标准的逆向任务。

顶级 AI 智能体在真实逆向中的全面溃败

为了摸清当前 AI 智能体的真实底线，研究团队投入了 $31.4K 的 API 成本，对五款处于前沿水平的大模型（GPT-5.6-sol、Claude-Opus-5、GPT-5.5、Grok-4.5 以及 GLM-5.2）进行了全面评估。

每个模型都被封装在一个标准化的 mini-SWE-agent 测试框架中，并被限制在 500 个执行步数和 6 小时的绝对时间窗内。智能体不仅可以获取目标二进制文件，还可以调用一整套行业标准的逆向工具链，包括 Ghidra（配合 pyghidra）、radare2、GDB、符号执行工具 angr，甚至 pwntools 和 unicorn 模拟器。大模型在测试过程中处于完全隔离的容器内，无法获得任何评分反馈。

实验数据揭示了一个冷酷的现状：即便给予了充足的计算预算和顶配的工具链，逆向工程对当前 AI 而言依然是一个远未解决的难题。

表现最强的 GPT-5.6-sol 在每个实例上的平均得分率仅为 61.4%，而能够从头到尾完美解出的实例占比仅为 31.5%。当面对未加固的基础编译版本时，不同模型之间还存在一定的能力梯度；但当 SRE-Bench 启动了那套 2.7 万行代码构成的自研保护套件后，局势急转直下。定制保护层直接让最强模型 GPT-5.6-sol 的得分腰斩，并将其余所有模型的表现无情地打压至接近零分。在真实的混淆与加壳机制面前，模型间原本宽泛的能力排名崩溃成了统一的“全面失败”。

AI 智能体与人类逆向专家的认知分歧

除了整体胜率的低迷，SRE-Bench 的深度分析还揭示了另一个极具技术价值的现象：AI 智能体在面对二进制文件时的“痛点”，与人类逆向工程师存在着根本性的认知分歧。

在传统的人工逆向分析中，编译器的高度优化（如 -O3）和静态链接库（Static Linking）是分析师最头疼的障碍。编译器优化会极大地打乱控制流图，而静态链接会将庞大的标准库代码与业务代码混杂在一起，让人类分析师迷失在代码海洋中。然而，实验表明，AI 智能体对这两项传统的干扰因素几乎“脱敏”，表现出了极高的容忍度。

但反过来，一个极易击溃 AI 智能体的操作是“剥离符号表”（Stripping Symbols）。当二进制文件中的函数名、变量名等易读的文本标记被抹去后，人类工程师依然可以通过追踪寄存器的数据流、分析汇编指令的底层行为来还原逻辑；但 AI 智能体在失去这些符号后，性能出现了断崖式下跌。

这一分歧深刻地暴露了当前模型能力的本质：现阶段的 AI 智能体并没有真正学会基于指令级的控制流和数据流进行严格的语义推理，它们在很大程度上依然依赖于二进制文件中残留的“词法锚点”（Lexical Anchors）。换句话说，模型更像是一个高级的文本模式匹配器，通过猜测字符串和符号名的含义来拼凑逻辑，一旦这些高层线索被切断，其底层逻辑推理能力的匮乏便暴露无遗。此外，编程语言的差异也验证了这一点：C 语言编写的程序在逆向时始终比 Go 和 Rust 更容易被模型攻破，因为后两者复杂的运行时（Runtime）和名称修饰机制进一步破坏了直观的词法线索。

对照消融实验：为什么数据纯洁与真实规模缺一不可？

为了彻底证明 SRE-Bench 花费 5000 小时坚持的“无污染”和“真实规模”双重标准是不可或缺的，研究团队进行了一组极其经典的消融对比实验。

他们控制了编译环境不变，仅替换了目标程序：

纯净但微小（Minimal）：一个从零手写的、约 1100 行代码的极简压缩器。
真实但受污染（Gzip-variant）：真实的开源 Gzip 程序，仅由专家修改了其核心路径上的约 200 行代码，其整体设计广泛存在于互联网语料中。
纯净且真实（RevCompress）：完全从头开发的、达到真实世界规模的私有程序。

实验结果令人深思：面对那个人工手写但规模极小的 Minimal 程序，模型仅花费不到 $1.60 和 7 分钟的时间就完美通关，这说明仅仅做到“没见过源代码”并不足以难倒模型，微型程序的逻辑太过简单。

而面对那个真实的开源 Gzip 的变体，尽管它具有现实的复杂度，但模型依然像开挂一般，以同样的 $2 和 10 分钟成本横扫了所有的编译配置。这确凿地证明了，对于那些在训练语料中出现过的开源架构，模型通过局部识别直接绕过了逆向分析的苦工，用“回想”代替了“推理”。

最终，只有 RevCompress 这个既没有被数据污染、又具备数万行真实复杂度的目标，成功将模型的真实能力拉回了现实。在面对它时，最强的 GPT-5.6-sol 需要花费前两者 10 到 30 倍的时间和 API 成本才能勉强应对，而稍弱的 GPT-5.5 则几乎全军覆没。这组漂亮的数据直接宣判了：任何妥协于开源代码的修改，或者妥协于玩具级规模的逆向基准，都无法测量出大模型的真实安全水位。

结语：下一个网络安全前沿

SRE-Bench 的诞生，正式将 AI 网络安全的竞技场从“源码审计”的舒适区，拉入了残酷的二进制对抗深水区。

当前的大模型在漏洞生成、自动化利用脚本编写方面确实取得了令人瞩目的成就，但这并不意味着它们已经具备了端到端的自主渗透能力。由于对指令级语义推理的缺失以及对混淆机制的脆弱，强悍的源码级安全能力在面对真实的黑盒二进制目标时，还存在着一道难以逾越的鸿沟。SRE-Bench 用极为严谨的净室工程和庞大的对抗套件，为整个行业树立了一把新的标尺。在模型能够不借助文本锚点、真正在指令汪洋中自主完成逆向分析之前，我们仍有很长的技术攀登之路要走。