HARD:告别手工防御,清华等提出自演化框架将攻击成功率压至1%
针对这一困境,来自蚂蚁集团、清华大学、明尼苏达大学和浙江大学的研究团队提出了一套名为 HARD (Harness-based Autonomous Runtime Defense Evolution)的自演化运行时防御框架。
针对这一困境,来自蚂蚁集团、清华大学、明尼苏达大学和浙江大学的研究团队提出了一套名为 HARD (Harness-based Autonomous Runtime Defense Evolution)的自演化运行时防御框架。
针对这一长期困扰界面的双重瓶颈,北京大学的研究团队提出了一种解耦的无回归布局感知匹配框架。该方法的核心思想非常明确: 大模型负责把复杂的自然语言指令“翻译”成富有界面布局细节的视觉描述,而精确定位则交给一个专用的轻量定位模块通过跨模态匹配完成,全程不学习任何坐标回归参数 。
为此,清华大学团队提出了一套全新检测框架,将隐性分歧的挖掘转化为 诊断性多项选择题生成 (Multiple-Choice Question Probing, MCQ Probing),并构建了基准数据集 IoA-Suite 与专用探测模型 IoA-Prober-8B 。
为此,研究团队提出了一种全新的系统级防御框架 FlowSeal。它不再指望大模型在同一个对话窗口里“既当裁判又当选手”,而是跳出模型上下文,在工具调用层构筑起基于数据溯源和信息流控制(Information Flow Control, IFC)的强制拦截器。
然而,来自穆罕默德·本·扎耶德人工智能大学(MBZUAI)的一项最新研究提出了一个极具颠覆性的发现: 攻击者根本不需要诱导模型违背安全规则,也不需要模型在回复中吐出任何敏感词句,仅仅发送一组完全无害的普通提问,就能以极高精度推断出智能体当前到底加载了哪份隐秘上下文。
论文通过一个直观的例子揭示了这一机制如何瓦解系统的安全性:在一个自动化部署脚本中,包含一段用于清理构建残留的清理逻辑,其指令预设会根据环境变量 GITHUB WORKSPACE 理所当然地存在并指向代码仓库路径;然而在智能体运行的实际开发机环境中,该环境变量并未定义。
为了打破这一困局,研究团队提出了首个 AI 原生、安全且自主的攻防共进化系统 SysEvolve 。该系统通过协同设计的靶场平台 SysField 、自主攻击系统 SysSpear 和实时防御系统 SysArmor ,让红蓝双方 AI Agent 在受控的高仿真多主机环境中展开博弈,实现双向自...
然而,实验结果却呈现出完全相反的戏剧性走向: 在所有参与测试的模型与平台组合中,引入 HITL 之后的攻击成功率不降反升,整体 ASR 平均增加了 7.8 个百分点!
针对这一系统性内生缺陷,研究团队提出了名为 SEAL (Sealed Exogenous Acceptance Loop,密封外生验收循环)的极简框架,仅凭一个与环境隔离的外部 1-bit(接受/拒绝)验收信号,就在多达六款主流大模型和多款复杂游戏任务上成功筑牢了防线。
这项来自 Anthropic 与 EPFL 的先驱性研究给行业敲响了警钟:在构建大规模自主多智能体系统时,安全框架绝不能仅停留在单体模型的输入输出过滤与工具权限白名单上。
针对这一困境,来自北京邮电大学、哈尔滨工业大学、北京大学与腾讯的研究团队提出了 ToolHazard ——一个能够端到端、规模化合成可执行有状态对抗环境的自动化框架。
基于这一底层机理,研究团队提出了一个极为简洁却极其有效的轻量防御方案 SafeKeep :在推理时将“安全审计”与“工具执行”彻底解耦。在安全评判环节,把原本结构化的 Schema 剥离成扁平的自然文本叙述,瞬间唤醒模型原本的对齐能力,随后再让安全的请求进入常规的 Schema 执行流程。
针对这一核心瓶颈,来自 AweAI、中国人民大学及独立研究团队的研究者们提出了 CalibForge 。这是一套基于 对抗求解器校准 (Adversarial Solver Calibration)的自主终端任务合成系统。
为了精确刻画风险在系统内部渗透的深度,HarnessSafe 提出了一套基于客观执行证据的七阶段评估阶梯(N0 到 N5b): N0(未接触) :系统在执行中甚至未与受污染的载体表面产生任何交互; N1(接触未驻留) :系统读取或接触了注入入口,但未将其写入持久化载体。
Meta:实验结果呈现出近乎绝对的单调增长:随着文本先验的增强,模型在通用视觉问答、视觉中心感知任务(如空间、3D与计数)上稳步提升,在 OCR 与图表推理等知识密集型任务上更是迎来爆发式增长。
针对这一严峻挑战,来自香港城市大学、伦敦大学学院(UCL)、小米集团以及浙江大学的研究团队正式提出了 ActBench 。这是首个专门针对协同智能体“行为安全”(Behavioral Safety)的自演化评测基准。
该研究提出的攻击框架 ColluSkill 证明,攻击者并不需要构建任何显性的恶意技能。相反,攻击者可以借鉴社会学中的“依存链”理论,将完整的恶意载荷拆解为多个彼此交织、顺序传递的子载荷,分别隐藏在看似合理的良性技能包中。在运行时,智能体自主完成技能的链式编排与中间产物接力,从而在系统层面复原...
来自华中科技大学、南方医科大学、香港科技大学、新南威尔士大学与浙江大学的研究团队,针对这一严峻临床痛点提出了名为 ATLAS 的框架。该方法跳出了“单次生成解答”的传统交互套路,将临床指南图谱与多智能体策略深度耦合。
为了彻底纠正这两种扭曲,研究团队提出了名为 ToolVision 的能力对齐视觉工具调用框架。ToolVision 在 SFT 阶段通过多智能体管道探索轨迹,并由包含学生尺寸模型的委员会量化评估逐步证据增益,只保留学生真正能吸收的有效轨迹;在 RL 阶段,离线对比冻结 SFT 模型在有无工具下...
为了攻克工程级长程代码迁移的难题,华为技术有限公司与香港中文大学的研究团队提出了一种基于代码对抗熵最小化的多智能体协同框架—— ECAT (Entropy-based Code Adversarial Translation)。
在大语言模型被推向各类专业运维场景的浪潮中,数据库管理员(DBA)往往被视作最适合被AI替代或赋能的岗位之一。近年来,学术界和工业界接连涌现出如D-Bot、DBAIOps、DBAgent等一系列基于大模型的数据库运维智能体,各大论文汇报的故障诊断准确率动辄高达80%甚至90%以上。
让大模型自我迭代、自我对齐,一直是前沿人工智能安全领域最具争议的设想之一。如果让AI代理接管自身的后训练和安全对齐工作,它们究竟是在真正解决问题,还是在学会钻测试集的空子?Anthropic与加利福尼亚大学伯克利分校(UCBerkeley)的一项最新研究给出了令人意外的实证答案。
在大模型技术从单纯的“聊天对话”向具备自主行动能力的“智能体(Agent)”演进的过程中,系统所面临的安全边界正在发生根本性的位移。当Agent获得了读取本地文件系统、执行Shell脚本、调用外部API以及加载第三方技能(Skills/Tools)的权限时,传统的提示词安全和输出内容审核立刻显...
在多智能体大型语言模型(LLM)系统的部署中,开发者往往会面临一个棘手的现象:当多个专注于特定子任务的智能体协同工作时,系统输出经常会出现严重的幻觉。这种幻觉与单个模型能力不足所导致的胡言乱语不同,在很多情况下,每一个智能体在隔离状态下都进行了完全正确的逻辑推理,但它们组合在一起的结果却自相矛盾。