AI安全 第2页

告别坐标幻觉!北大提出无回归GUI定位,ScreenSpot-Pro提升超20%

针对这一长期困扰界面的双重瓶颈,北京大学的研究团队提出了一种解耦的无回归布局感知匹配框架。该方法的核心思想非常明确: 大模型负责把复杂的自然语言指令“翻译”成富有界面布局细节的视觉描述,而精确定位则交给一个专用的轻量定位模块通过跨模态匹配完成,全程不学习任何坐标回归参数 。

FlowSeal:加州大学用信息流控制切断Agent隐私泄露,降至0.5%

为此,研究团队提出了一种全新的系统级防御框架 FlowSeal。它不再指望大模型在同一个对话窗口里“既当裁判又当选手”,而是跳出模型上下文,在工具调用层构筑起基于数据溯源和信息流控制(Information Flow Control, IFC)的强制拦截器。

无需越狱也能测出Agent隐藏隐私!上下文推断攻击AUROC达92.5

然而,来自穆罕默德·本·扎耶德人工智能大学(MBZUAI)的一项最新研究提出了一个极具颠覆性的发现: 攻击者根本不需要诱导模型违背安全规则,也不需要模型在回复中吐出任何敏感词句,仅仅发送一组完全无害的普通提问,就能以极高精度推断出智能体当前到底加载了哪份隐秘上下文。

世界模型靠不住:TU Berlin 团队证实 Agent 模拟器误判率高达 95%

论文通过一个直观的例子揭示了这一机制如何瓦解系统的安全性:在一个自动化部署脚本中,包含一段用于清理构建残留的清理逻辑,其指令预设会根据环境变量 GITHUB WORKSPACE 理所当然地存在并指向代码仓库路径;然而在智能体运行的实际开发机环境中,该环境变量并未定义。

中科院SEAL:智能体自己打分必崩?1比特外生审计破解自测幻觉

针对这一系统性内生缺陷,研究团队提出了名为 SEAL (Sealed Exogenous Acceptance Loop,密封外生验收循环)的极简框架,仅凭一个与环境隔离的外部 1-bit(接受/拒绝)验收信号,就在多达六款主流大模型和多款复杂游戏任务上成功筑牢了防线。

SafeKeep:大模型做成Agent就学坏?压平工具格式让拒绝率提升至70.6%

基于这一底层机理,研究团队提出了一个极为简洁却极其有效的轻量防御方案 SafeKeep :在推理时将“安全审计”与“工具执行”彻底解耦。在安全评判环节,把原本结构化的 Schema 剥离成扁平的自然文本叙述,瞬间唤醒模型原本的对齐能力,随后再让安全的请求进入常规的 Schema 执行流程。

HarnessSafe:328个可执行用例,揭示Agent持久化隐蔽攻击传播链

为了精确刻画风险在系统内部渗透的深度,HarnessSafe 提出了一套基于客观执行证据的七阶段评估阶梯(N0 到 N5b): N0(未接触) :系统在执行中甚至未与受污染的载体表面产生任何交互; N1(接触未驻留) :系统读取或接触了注入入口,但未将其写入持久化载体。

ColluSkill:跨技能串谋让安全扫描全面失灵,攻击成功率达96.0%

该研究提出的攻击框架 ColluSkill 证明,攻击者并不需要构建任何显性的恶意技能。相反,攻击者可以借鉴社会学中的“依存链”理论,将完整的恶意载荷拆解为多个彼此交织、顺序传递的子载荷,分别隐藏在看似合理的良性技能包中。在运行时,智能体自主完成技能的链式编排与中间产物接力,从而在系统层面复原...

ToolVision:能力对齐解决工具调用失灵,8B模型跨级超越32B!

为了彻底纠正这两种扭曲,研究团队提出了名为 ToolVision 的能力对齐视觉工具调用框架。ToolVision 在 SFT 阶段通过多智能体管道探索轨迹,并由包含学生尺寸模型的委员会量化评估逐步证据增益,只保留学生真正能吸收的有效轨迹;在 RL 阶段,离线对比冻结 SFT 模型在有无工具下...

DBA-Bench:真实数据库运维实测,AI安全修复率为何仅12.4%?

在大语言模型被推向各类专业运维场景的浪潮中,数据库管理员(DBA)往往被视作最适合被AI替代或赋能的岗位之一。近年来,学术界和工业界接连涌现出如D-Bot、DBAIOps、DBAgent等一系列基于大模型的数据库运维智能体,各大论文汇报的故障诊断准确率动辄高达80%甚至90%以上。

Anthropic自动化对齐实验:6小时击败28位人类专家,且无需人类指路

让大模型自我迭代、自我对齐,一直是前沿人工智能安全领域最具争议的设想之一。如果让AI代理接管自身的后训练和安全对齐工作,它们究竟是在真正解决问题,还是在学会钻测试集的空子?Anthropic与加利福尼亚大学伯克利分校(UCBerkeley)的一项最新研究给出了令人意外的实证答案。

ClawSentry:四阶段渐进式防御,将Agent攻击成功率降至2.61%

在大模型技术从单纯的“聊天对话”向具备自主行动能力的“智能体(Agent)”演进的过程中,系统所面临的安全边界正在发生根本性的位移。当Agent获得了读取本地文件系统、执行Shell脚本、调用外部API以及加载第三方技能(Skills/Tools)的权限时,传统的提示词安全和输出内容审核立刻显...

SSVP协议:全同步反致幻觉增加34%?Celabe破解多智能体污染

在多智能体大型语言模型(LLM)系统的部署中,开发者往往会面临一个棘手的现象:当多个专注于特定子任务的智能体协同工作时,系统输出经常会出现严重的幻觉。这种幻觉与单个模型能力不足所导致的胡言乱语不同,在很多情况下,每一个智能体在隔离状态下都进行了完全正确的逻辑推理,但它们组合在一起的结果却自相矛盾。