FlowSeal：加州大学用信息流控制切断Agent隐私泄露，降至0.5%
Confuse the Model, Control the Flow: Understanding and Mitigating Privacy Leakage from LLM Agents with Information Flow Control
当大语言模型从只能在输入框里“陪聊”的聊天机器人，进化为能够浏览网页、读取私人邮件、调用日程和编辑云端文档的自主智能体（LLM Agent）时，整个安全防线正在经历一场前所未有的重构。为了提供个性化协助，用户不得不向智能体开放私密数据；而智能体为了完成跨主体的协作任务，又必须与外部第三方进行交互。这种天然的业务需求带来了一个极其严峻的隐私命题：当外部人员向智能体提出协作诉求时，智能体究竟该如何守住用户的私人秘密？
ArXiv URL：https://arxiv.org/abs/2609.14003
加州大学戴维斯分校、尔湾分校、圣巴巴拉分校与圣克鲁兹分校联合团队在最新研究中揭示了一个残酷的事实：当前主流基于系统提示词（System Prompts）、大模型内部自我反思或意图对齐构建的隐私防御机制，在系统结构上存在根本性缺陷。当且仅当防守逻辑是大模型在与攻击者共享的同一个对话上下文中做出的“语义概率判断”时，安全防线的执行机制就与系统的受攻击面完全重叠了。攻击者甚至无需使用任何越狱词或 Prompt 注入，仅凭正常的协作对话就能诱骗智能体倾囊相助。
为此，研究团队提出了一种全新的系统级防御框架 FlowSeal。它不再指望大模型在同一个对话窗口里“既当裁判又当选手”，而是跳出模型上下文，在工具调用层构筑起基于数据溯源和信息流控制（Information Flow Control, IFC）的强制拦截器。实验表明，FlowSeal 能够将典型协作诱导攻击下的信息泄露率从 52.2% 彻底压低至 0.5%，并在保护隐私的同时保持了原本的任务完成能力。这一方案为目前正在快速普及的 MCP（Model Context Protocol）生态提供了切实可行的系统级安全范式。
当防守面与攻击面重合，Prompt 防御注定破防
要理解传统隐私防御为何脆弱，首先需要厘清智能体在现实场景中所处的交互格局。研究团队将个人智能体的运行环境形式化为三方交互模型：数据所有者（Data Subject，例如用户自己）、处于中枢地位的智能体（Agent），以及未经授权的外部交互方（External Destination）。智能体的主要职责是协助用户处理对内和对外的沟通任务，例如协同办公、安排会议、草拟邮件回复。在此过程中，系统需要最小化敏感数据记录 $\mathcal{R}$ 在外部输出 $O$ 中的泄露量 $\mathrm{Disc}(O,\mathcal{R})$，同时确保合法任务的效用 $\mathrm{Util}(O)$ 不低于阈值 $\gamma$。
面对外部实体的刺探，现有的前沿防御策略普遍倾向于“在模型内部解决问题”。以学术界具代表性的 SPR 防御框架为例，它通过攻击与防守的双向协同演化，设计出包含身份验证与状态机流转的复杂防御提示词（如图所示的 $D_2$ 机制）。在理想设想中，当外部人员向智能体索要敏感信息时，状态机会被触发并跳转至第一阶段，要求外部人员出示授权；若怀疑存在身份冒用，则会进一步请求数据所有者的直接授权。
然而，这种完全依赖自然语言提示词的状态机，其核心逻辑建立在沙滩之上。整个防御流程的触发条件高度依赖一个前置判定：“当接收到信息获取请求时”。但大语言模型对自然语言的理解本质上是概率性的，并不存在严格的布尔断言。只要攻击者在说话时稍微变换语义框架，让对话看起来像是一项普通的联合编辑任务，模型就不会将该交互归类为“信息获取请求”。此时，状态机甚至根本不会启动，后序的所有身份审查、授权校验自然全部形同虚设。
三种新型攻击：无需越狱，仅凭常态交互即可套取机密
为了证明依赖模型自身上下文做决策的脆弱性，作者团队构造了三种完全绕过 Prompt 注入的新型攻击模式。这些攻击不需要插入类似“忽略之前的指令”等异常字符，完全伪装成日常工作流中的合规沟通，却对现存防御体系造成了毁灭性打击。
第一种手段是“协作空间诱饵”（Collaborative Workspace Lure, CWL）。攻击者并不直接向智能体索取私密数据，而是发起一个共享协作任务。例如，攻击者邀请智能体共同编辑一份 Notion 协作文档，声称需要针对双方的共同事务制定方案，并随口请求智能体“把你手头掌握的背景资料整理并贴到这个公共页面的对应段落”。在这种语境下，智能体处理的是一次正常的“写操作”（Write Tool Call），而不是“向第三方泄露数据”，因而极其容易落入陷阱，将用户的私密就医记录或财务信息当作背景资料写入共享文档。
第二种手段是“语义混淆攻击”（Semantic Obfuscation Attack, SOA）。这种攻击甚至不强制要求智能体在输出文本中明确写出秘密，而是利用模型的“省略”与“确认”机制引发泄露。攻击者在沟通中抛出一串高度发散但包含真假混合事实的陈述，并请智能体核对：“我们梳理了一下目前的信息，你看看这几项是不是有误？请帮我删掉其中不准确的条目。”智能体为了体现专业素养，便会调取用户的真实档案进行逐条比对，将不实内容删除，留下真实内容。整个过程中，智能体自认为只是在执行“文本清理”，却在无形之中通过留存项的确认完成了机密信息向外部的精确泄露。
第三种手段是“通道解耦攻击”（Channel Decoupling Attack, CDA）。攻击者巧妙地将信息请求与信息输出切分到两个完全独立的交互通道。例如，攻击者在通道 A 中发起一个极为宽泛的业务探讨，促使智能体读取本地的隐私数据；而在通道 B 中，攻击者再以另一项看似毫无关联的日常任务为由，要求智能体向外部汇报当前的工作进度。由于每次单独的交互在各自通道内都显得人畜无害，缺乏全局硬性约束的智能体便会在不知不觉中跨通道搬运敏感信息。
实验数据印证了这三种攻击的杀伤力。在面对经过精细调优的防御提示词 $D_2$ 时，传统的冒充授权攻击（SPR-$A_2$）仅能取得 12.8% 的泄露率，而协作空间诱饵 CWL 的泄露率飙升至 52.2%，语义混淆攻击 SOA 更是高达 75.6%。不仅泄露概率大幅上升，而且泄露速度极快，往往在任务前两轮交互中机密就已经全盘流失。
FlowSeal 核心机制：在模型身外构建信息流控制格
面对“语义混淆”这剂难以在提示词层面根治的毒药，加州大学团队选择了一条系统安全的经典路线——信息流控制（Information Flow Control, IFC），并构建了名为 FlowSeal 的外部防御架构。
FlowSeal 的底层洞察非常清晰：大模型生成文本的意图或许可以被语义包装所迷惑，但它对外部世界产生的物理影响，最终都必须收敛至具体的“工具调用”（Tool Calls）上。只要在模型上下文的外部设立一个具备系统强制力的拦截器（Mandatory Interceptor），对每一次读取（Read）、写入（Write）和共享（Share）进行数据溯源与污点标记，攻击者无论在语言层如何施展障眼法，都无法穿透这层由代码定义的确定性防护网。
FlowSeal 基于有界格理论 $(\mathcal{L}, \sqsubseteq)$ 建立了安全策略模型。该格定义了三类安全级别：底层为不可信的外部终点 $\bot$（Low），顶层为数据所有者的私密记录 $\top$（High），中间层则为智能体的工作记忆空间 $\mathsf{agent}$。偏序关系满足 $\bot \sqsubseteq \mathsf{agent} \sqsubseteq \top$。对应的汇聚（Join）与相交（Meet）操作形式化定义为：
\[x \sqcup y = \max(x,y),\quad x \sqcap y = \min(x,y)\]系统将整个环境中的参与实体划分为数据所有者 $p_{\mathit{subject}}$、智能体 $p_{\mathit{agent}}$ 以及各类外部目的地。所有属于私密范畴的数据记录 $r \in \mathcal{R}$，其初始标签均为最高级别 $\ell(r) = \top$。一旦智能体调用读取工具接触了任何带有 $\top$ 标记的数据对象，智能体当前上下文的污点标签将立刻沿着格结构向上浸润更新：
\[\ell(\mathit{ctx}) \leftarrow \ell(\mathit{ctx}) \sqcup \ell(o)\]这意味着，只要智能体读过了机密文件，它的整个工作状态便被强制提升为 $\top$。任何由该上下文衍生出的下游输出对象 $o’$，都将自动继承这一污点标签：
\[\ell(o') = \bigsqcup_{i=1}^{k}\ell(o_i)\]在最为关键的释放边界（Release Boundary），FlowSeal 做出了硬性数学规定：任何向外部目的地 $d$ 发起的内容写入操作，必须满足下述条件方可放行：
\[\ell(c) \sqsubseteq \ell(d) \quad \lor \quad \mathit{declassify}(c,d) = \mathsf{SAFE}\]如果目标节点是一个未经授权的外部人员，其默认安全等级为最低的 $\ell(d) = \bot$。由于智能体写入的内容带有来自上下文的高污点标签 $\ell(c) \geq \mathsf{agent}$，数学上恒有 $\ell(c) \not\sqsubseteq \bot$。因此，该写入行为会被拦截器直接在系统层就地挂起并阻断，根本不会触达真实的外部 API。
为了避免过度严苛的污点阻断导致系统完全无法完成常规业务，FlowSeal 引入了“受控去分类”（Controlled Declassification）机制。与传统的全局决策不同，FlowSeal 的内容检查器是一个完全隔离的独立 LLM 调用（如图所示）。这个检查器绝不接触容易被污染的完整对话历史，它的输入端仅有两个要素：被保护的原始机密记录，以及当前被拦截、正准备发出的单次输出文本。检查器只需纯粹地判断“当前待发出的文本，是否在语义上衍生自受保护记录”。只有当两者在语义上彻底无关时，才会返回 $\mathsf{SAFE}$ 信号并允许放行；如果存在派生关系，该次外发便会被永久拒绝，并促使智能体向数据所有者申请显式授权。
在此架构下，研究团队给出了机密性定理的严格证明：只要独立的去分类检查器不产生假阴性（错误判定为 $\mathsf{SAFE}$），任何由智能体执行的操作序列，在数学上绝不可能将机密记录的内容成功写入外部不可信端点。攻击面被从复杂的全量上下文推理，精准收缩至单一受控输出的语义相关性判定上。
实验全景：近乎归零的泄露率与保留的业务效用
为了全面评估 FlowSeal 的实战能力，加州大学团队在 SPR、PrivacyLens 和 ConVerse 三大基准测试集上，针对 5 种基于提示词的经典防御方案展开了跨越 8 种攻击手法的详尽压力测试。默认评估采用 DeepSeek-V3.2 作为智能体推理引擎，并引入 DeepSeek-R1 担任评估裁判。
评测结果呈现出令人惊叹的防御对比。在面对三项新型攻击时，原本让业内一筹莫展的泄露态势被全面逆转：
-
在协作空间诱饵攻击（CWL）下，基线防御的条目级泄露率（$LR_I$）普遍在 52.2% 左右，而 FlowSeal 将其彻底压缩至 0.5%。
-
在极度狡猾的语义混淆攻击（SOA）下，基线防御的泄露率一度攀升至惊人的 75.6%，但在 FlowSeal 的工具级硬拦截下，泄露率断崖式下跌至 2.3%。
-
在跨信道的通道解耦攻击（CDA）下，泄露率也由 38.5% 被牢牢压制在 2.2%。
指标中的二进制泄露率（$LR_B$，衡量一次完整对话中是否至少泄露了一处隐私）与泄露速度（$LV$）同样展现出压倒性优势。传统攻击一旦穿透提示词防线，倾向于造成一次性、大面积的机密崩塌；而 FlowSeal 在多次重复实验中，将大部分基准测试的泄露事件直接归零。
更重要的是，坚固的防御并未以牺牲日常功能为代价。安全界最忌讳“拔掉网线保平安”式的防御，即通过拒绝所有请求来达成零泄露。为了严谨验证效用，研究团队将所有攻击测试用例改造为包含敏感数据背景的合法业务用例（Benign Seeds），测试智能体完成咨询、建议与协作的成功率。结果表明，FlowSeal 依然维持了高水平的任务可用性，在良性场景下的任务达成率与不设防的基准模型相当，证明其基于格结构的污点去分类机制能够准确放行无害交互。
在随后的消融实验中，团队替换了支撑协作的外部载体。即使将 Notion 替换为 Google Slides 或 Slack，CWL 诱骗依然在普通模型上保持强效，而 FlowSeal 依然稳固如初。此外，团队在智能体底层接入 GPT-4.1-mini 和 Gemini-Flash-2.5 等闭源高规格模型，攻击与防御的相对走势保持高度一致。这充分印证：单纯提升大模型的底座推理能力并不能自发消除隐私泄露缺陷，决定安全上限的是系统架构，而非参数规模。
走入现实：MCP 协议下的实机验证与系统代价
为了验证该方案是否具备工程落地可行性，研究人员将 FlowSeal 部署于连接真实 Gmail 和 Notion 账户的 PrivacyLens-Live 基准环境中。该环境全面采用了业界当下最热门的模型上下文协议（Model Context Protocol, MCP），智能体通过 MCP 客户端派发实际的云端工具调用。
在这种工业级架构下，FlowSeal 展现出了极佳的轻量化特质。它不需要修改 MCP 服务器的代码，也不需要重写底层的第三方工具 API，而是以“预调用”（Pre-call Hook）和“后调用”（Post-call Hook）切面的形式挂载在中央 MCP 客户端的分发器上。在真实的 Gmail 邮件发送与 Notion 协同编辑测试中，面对 SOA 攻击，原有的动态监控基线 PrivacyChecker 的条目泄露率为 34.7%，而搭载了 FlowSeal 拦截钩子的实机系统直接达成了 0.0% 的零泄露表现。
在系统开销方面，由于引入了隔离内容检查器以及写操作被阻断后的自动重试机制，FlowSeal 的调用次数有所增加，单次任务的平均 LLM 调用由 10.3 次增至 24.3 次。但得益于隔离检查器只接收极短的目标片段、不需要回溯全量对话长文本，单次运行的额外财务成本仅增加了约 0.0005 美元。对于保护个人与企业极端核心的数据资产而言，这一极低的计算溢价换来的是不可同日而语的确定性安全。
智能体安全的未来不在模型内，而在系统层
加州大学这项研究不仅提出了一款高效的防御工具，更给当前狂热推进的 AI Agent 落地浪潮敲响了警钟。过去两年的工程实践中，行业过度迷信“用大模型来管理大模型”，试图用更长的系统提示词、更密集的反思步骤让智能体自己判断什么是危险、什么是越界。
但信息流控制在经典操作系统与现代分布式安全中的数十年发展历史已经证明，安全边界永远无法依赖运行在同一个攻击平面内的逻辑组件来保障。当外界输入可以直接干预推理引擎的上下文表征时，任何基于语义的软性防线终将被更巧妙的自然语言包装所拆解。
从依赖模型自觉，到依靠外挂信息流拦截；从单一上下文的语义推测，到跨层级的工具调用追踪，FlowSeal 给出了一条兼顾学术严密性与工业工程可行性的清晰演进路径。随着智能体在个人生活和企业关键业务中的深度嵌入，将安全控制权重新收归系统内核，构筑独立于模型参数之外的确定性护城河，已然成为个人 AI 真正走向可信落地的必由之路。