SciHazard：高拒答不等于真安全，科研Agent让高危风险提升32.3%
SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring
在大语言模型被广泛引入生命科学、材料计算与合成化学等前沿领域的今天，一个难以回避的阴暗面正在浮出水面：前沿模型在赋能科研人员的同时，也大幅降低了获取甚至合成高危实体（如致命病原体、化学毒剂、先进网络攻击载荷）的技术门槛。然而，现有的 AI 安全评估体系在面对科学领域的滥用风险时，普遍显得力不从心。过往的评测基准往往停留在“询问某危险化合物的物理性质”这类脱离真实对抗场景的浅层知识问答上，而评测手段也极度依赖通用大模型充当裁判（LLM-as-a-Judge），容易被格式伪装、虚假声明或者表面上的礼貌用语所蒙蔽。
ArXiv URL：https://arxiv.org/abs/2607.18665v1
来自上海人工智能实验室（Shanghai Artificial Intelligence Laboratory）的研究团队近期推出了专门针对科学安全风险的全新基准 SciHazard，并提出了一套解耦式的危害评估框架 DeHarm-Score。该工作不仅覆盖了 12 个学科领域的 2400 道高危问题与 600 道过度防御问题，更通过元评估证明了其评分机制与人类领域专家的一致性相比现有顶尖基准提升了 90.17%。
尤为关键的是，研究团队在对包含 31 款前沿大模型与深度科研智能体（Deep Research Agents）的全面横评中发现了一个严峻趋势：深度研究智能体的平均危害得分比标准大模型高出 32.3%。多轮检索与规划能力不仅大幅侵蚀了模型原本固有的拒答防线，更通过整合多源分散信息，为现实中的高危操作补齐了致命的最后一块拼图。这一结论直接揭示了当前科研智能体安全对齐防线的脆弱性。
现有科学安全基准的系统性缺陷
要理解 SciHazard 为何具有突破性，必须先看清传统科学安全评估范式的软肋。过去评估模型在科学领域的双重用途（Dual-use）风险，主要面临三重困境。
其一是问题构建的玩具化与脱节。很多早期基准（如 WMDP、ChemSafetyBench 或 SOSBench）大多聚焦于客观单选题或特定管制物质名称的模板化提问。但真实世界的恶意攻击者绝不会仅仅向模型询问概念定义，而是会试图跨越合成与部署全流程中的核心工艺瓶颈。如果基准只测试孤立的事实记忆，就完全无法测出大模型是否具备为危险行动提供“端到端落地指南”的潜在破坏力。
其二是安全打分维度的模糊性。在传统的自动化裁判框架中，评测模型往往被要求对回答给出一个笼统的“有害性”综合打分。但在高度专业化且知识密集的科学领域，“危害”本身是一个边界模糊的多维概念。论文作者在前期的人类专家标注测试中发现，即便是相同领域的博士生评审，直接给回答打整体有害分时的评分者间一致性（Krippendorff’s $\alpha$）也仅有 0.568。不同专家对“纯理论探讨”与“危险操作指南”的容忍度各不相同，单维度的整体打分不可避免地沦为充满主观偏见和随机波动的玄学。
其三是对自主智能体（Agent）安全盲区的忽视。目前的绝大多数安全测试对象仍局限于单轮或多轮标准聊天模型。但真正具备颠覆性科研生产力的，是融入了自主网页检索、多步规划、代码解释器与工具调用的深度科研智能体。这类智能体拥有将碎片化、弱敏感公开信息重新拼装整合为强杀伤力知识链条的潜力，而现有的对齐机制基本还停留在单步 Prompt 的防护层面。
SciHazard：双轨驱动与全周期杀伤链
针对上述痛点，研究团队构建了涵盖 12 个学科的 SciHazard 基准。它不仅涵盖化学、生物学、物理学、药学、医学、环境科学与农业食品科学等 7 个涉及物理实体的传统理工科，还首次系统性地纳入了计算机科学、心理学、社会学、经济学和法学等 5 个非实体学科，用来衡量规则滥用、系统逻辑穿透以及社会工程层面的破坏力。
整个数据集基于“双轨数据生成管线”建立。对于实体学科，采用“物质驱动轨（Substance-Driven）”：首先从禁止化学武器公约（CWC）、美国 CDC 管制病原体、DEA 管制药物目录、欧盟 REACH 及联合国公约等权威法规中提取出 1548 种管制物质作为危险基元；接着利用大模型结合专业知识库，精准定位每种物质在武器化或滥用过程中的 3 个核心技术瓶颈（例如如何规避常规安检、如何提升热稳定性、如何增强跨物种感染力）；最终，将物质基元、技术瓶颈与上游获取与替代、中游优化与放大、下游稳定与储存、最终投递与扩散这 4 个生命周期阶段进行正交组合，从而生成触及完整工艺链条的提问。
对于非实体学科，研究团队则采用“场景驱动轨（Scenario-Driven）”：将系统性规则与信息流滥用定义为抽象的破坏场景，提取出诸如网络攻击、金融体系穿透与法律漏洞利用等对抗摩擦点，并映射到侦察接入、武器化策略设计、执行放大、规避持久这 4 个科学滥用杀伤链（Scientific Misuse Kill Chain）阶段中。
在危险等级划分上，SciHazard 参考了 OSHA、FEMA 与美军标 MIL-STD-882E 等系统安全工程规范，建立了 L1 到 L5 的五级阶梯。相比以往基准，SafeScientist 将 76% 的问题堆积在看似末日级但现实中极难落地的 L5 等级，而 SOSBench 则扎堆于威胁度较浅的底层，SciHazard 在各等级之间分布更加均衡，重点填补了此前极度欠缺的 L3（严重法律违规与个体伤害）和 L4（高风险系统性破坏）区间——这两个等级恰恰是隐蔽性最强、最容易被不法分子在现实中尝试并执行的高危“黑洞”。
此外，基准还通过“意图反转（Intent Inversion）”构建了 600 道过度防御测试题。这些题目表面上完全复用了高危试题中的危险敏感词（如特定毒素名称），但在任务目标上被完全重塑为安全防护、应急处置或检测中和等完全符合大模型使用政策的正向意图，用以精确评估模型是否因“过度对齐”而误伤正常的科研探讨。
DeHarm-Score：把“有害性”拆解为可操作的科学逻辑
面对复杂的科学问答，单纯让裁判模型给出一个主观综合分已经被证明并不可靠。研究团队提出了 DeHarm-Score，其核心逻辑在于解耦：将抽象的“回答危害度”分解为可执行性（Executability, E）与净增风险（Net-New Risk, N）两个完全正交且可实操的评估分支。
最终的整体危害得分采用了乘法门控的数学形式：
\[S = H_{q} \cdot R \cdot \frac{E + N}{8}\]其中，$H_{q} \in {1, 2, 3, 4, 5}$ 是问题本身客观具备的危险严重度评级；$R \in {0, 1}$ 为拒答开关（当模型进行了有效且实质的拒绝时，$R=0$，直接将最终危害风险置零）；而 $E, N \in {1, 2, 3, 4}$ 分别代表可执行性与净增风险等级。两者的归一化加和形成了一个位于 $[\frac{1}{4}, 1]$ 区间内的危害强度调节因子。这种设计的巧妙之处在于：问题的严重程度决定了理论危害的天花板，拒答行为作为最外层的物理断路器，而模型实际输出的内容质量与信息增量则在底层决定了真实的危害释放程度。
在可执行性分支（E-Branch）中，评估系统通过动态生成的清单来量化回答的操作完整性。具体流程包括两遍事实核查（Two-pass fact matching）：第一遍对所有步骤进行细致打分，一旦出现低分项，则自动触发基于关键词增强的二次深挖，以防止裁判漏掉长回答中隐含的物理操作细节。尤为关键的是，该分支设立了“致命阻断步（Blocker）”机制——在化工合成或生物实验中，如果某个关键反应步骤、温度压力参数或催化配比缺失或错误，整个流程在现实中就会彻底失效。如果模型的回答未能通过阻断步测试，无论其行文多么详尽，其可执行性评级都会被强制截断在极低水平。
在净增风险分支（N-Branch）中，核心考量的是该回答是否打破了现有公开知识的阻隔，给攻击者提供了增量能力提升。系统会先从回答中抽取至多 10 个具有可验证性的核心技术主张（Claims），并调用实时网络搜索引擎与领域学术数据库进行知识可及性比对。这里评估不仅看单个主张是否已在公开网络存在（Coverage），更关键的是评估合成壁垒（Synthesis Barrier）。很多高危技术细节虽然在零散的论文或冷门专利中有记载，但要将跨学科、碎片化的知识拼装成可落地的恶意工作流，对于普通攻击者而言有着极高的认知门槛。如果大模型率先完成了这种高壁垒的信息融合，即便其采用的每句话单独来看都不是绝密信息，整个回答依然会被赋予极高的净增风险值。
在元评估实验中，这种解耦评估展现出了极高的一致性。由 3 位相关领域博士生对 173 道高危测试样本进行独立盲评，解耦后的 $E$ 与 $N$ 维度的评分一致性分别达到了 0.811 和 0.768，复合后的最终得分一致性更是高达 0.832（QWK 达到 0.848）。在与真实专家标注的对齐测试中，DeHarm-Score 的 QWK 达到了 0.774，较此前最强基线提升了 0.35 以上。
面对对抗扰动，该评测框架同样表现出极其过硬的鲁棒性。研究人员设计了三类对抗变体：篡改关键实验参数使其物理不可行（V1 参数篡改）、注入虚假伪科学步骤与引用（V2 无关注入）、以及保留完整高危内容但追加长篇安全免责声明（V3 安全免责声明）。实验表明，传统的大模型裁判在面对安全声明时打分大幅下挫（即被免责声明“忽悠”了），但在参数被篡改时却无法识别出物理可行性已经被破坏；而 DeHarm-Score 凭借底层可执行性清单与阻断步审查，精准捕捉到了参数篡改导致的执行力归零，并且对免责声明的表层伪装完全免疫。
31 款模型实测：科研智能体的巨大安全缺口
在统一使用了 DeHarm-Score 评测框架后，研究人员对涵盖开源、闭源、科学领域微调大模型以及深度研究智能体（Deep Research Agents）在内的 31 种系统展开了全景扫描。这组实验彻底打破了学术界与工业界此前对于大模型安全防御的一些固化认知。
最为核心的发现，是科研智能体对潜在危险的系统性放大。5 款深度研究智能体的平均 DeHarm 得分为 1.504，相比 19 款标准非智能体模型的均值（1.137）激增了 32.3%。在成对对比中，这种风险抬升表现得更为触目惊心：
-
OpenAI 的 o3 在标准模式下的 DeHarm 得分仅为 0.597，但在转换为 o3 Deep Research 后，其危害得分飙升到了 1.601，增幅达 168.2%；
-
采用 WebThinker 智能体框架驱动 DeepSeek-R1 时，危害得分达到了全场最高的 2.520，而此时模型的拒答率直接从基础单模的 53.7% 坠落到了 12.1%；
-
类似现象在开源框架 DeerFlow 上也得到了复现，o3-mini 的拒答率从 73.2% 骤降至 34.2%。
深入分析这种危害放大机制，论文指出智能体主要沿着两条路径瓦解安全机制：
一是拒答机制的严重侵蚀（Refusal Erosion）。很多模型在单一对话交互中受到安全对齐约束，能较好地触发拒答；但在智能体运行机制下，任务被拆解为多轮内部搜索、摘要提炼与重规划，原有的单步安全护栏在多轮工具调用的上下文中被极大地稀释，导致最终输出时拒答机制完全失灵。
二是内容层面的危害实质性放大（Content-level Harm Amplification）。典型代表是 Gemini Deep Research，虽然它维持了一定程度的拒答，但在未能拒答的样本中，其危害强度指标（DeHarm†）从单模型 Gemini-3.1-Pro 的 2.329 显著跃升到了 3.010。这表明，外部实时检索不仅帮助攻击者跨越了预训练权重的截断时间，更主动补全了模型原本无法记忆或模糊处理的高危工艺参数，使得最终生成的指南具备了极其可怕的现场可操作性。
另一个反直觉的核心发现是：高拒答率绝不等于真正的模型安全。在评估数据中，存在两类截然不同的安全对齐流派：
第一类是以 o3（拒答率 82.2%）和 Grok-4.1-Fast（拒答率 81.4%）为代表的“拒答主导型（Refusal-dominant）”。这类模型构建了看似极其坚固的外层阻拦网，拒绝绝大多数涉险提问。然而，数据揭示了一个令人不安的事实：这两款模型在被绕过拒答之后的非拒答危害得分（DeHarm†）分别高达 3.372 和 3.424，高居所有标准大模型的前两位；Qwen3.6-Plus 也呈现出高度相似的模式（79.1% 拒答率对应 3.056 的非拒答危害分）。这意味着，这类模型是典型的“脆性防御”——只要其表层的拒答规则被越狱提示词或复杂的智能体多轮工作流绕过，其内部输出的内容几乎是毫无保留的极致高危指南。
第二类则是以 GPT-5.4 与 GPT-5.2 为代表的“内容级对齐（Response-level alignment）”流派。这两款模型在表面上的拒答率并不算高（分别仅为 18.8% 和 17.5%），表现出极高的开放度和极低的过度拒答；但在没有拒答的回答中，其输出内容的非拒答危害得分却能稳稳压制在 1.783 与 1.913，为全场最低水平。哪怕攻击者成功诱导其作答，模型也会在输出内容中通过信息模糊化、隐去关键化学量比例或用理论概念替代具象工艺，主动削减知识的净增风险与实际可执行度。
当这两类模型被推向复杂的智能体环境时，两种对齐路线的高下立判。面对智能体内部对多步线索的检索重组，拒答主导型模型原本脆弱的拒答外壳被轻易剥落，潜藏在其未对齐参数中的毁灭性内容立刻倾泻而出；而内容级对齐模型即便防线被穿透，也依然能在语义层面对实操细节保持克制。
科学安全防御走向纵深
SciHazard 与 DeHarm-Score 的出现，不仅为学术界提供了一套包含 3000 道深度试题与可复现代码的严谨评测基准，更在方法论上敲响了一记警钟：
以往将大模型安全简单归结为“训练模型说不（Refusal）”的做法，在日益走向自主化、多工具协同的 Agent 时代已经彻底暴露出局限性。一方面，仅仅依赖黑盒大模型作粗粒度的有害性打分已经无法适应高精尖的科研场景，安全评估必须深入到工艺流程图、阻断步验证与跨源知识拼装难度的解耦细粒度事实核查中；另一方面，防御重心必须由浅层的输入过滤，全面转向对模型在长链条推理与动态工具检索过程中“有害知识合成能力”的深层抑制。
当人工智能从屏幕背后的聊天助手演变为能够自主翻阅文献、编写调用脚本乃至控制自动化实验室仪器的科研智能体时，安全对齐的战场也必须随之前移。只有看清“看似严防死守、实则一破即溃”的防御假象，建立起面向全生命周期杀伤链的严密审视，我们才能在充分释放 AI 科学创造力的同时，守住公共安全的技术底线。