PatientAgentBench：从答卷到替患者办事，分诊通过率相差56%

PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents

医疗大模型正在经历一场从“做题家”到“执行者”的剧烈转折。在过去两三年里，评估一个医学大模型的水平，主流方法几乎都是给它一张考卷：从美国医师执照考试（USMLE）到各科临床单项选择题，只要模型在问答基准上刷出高分，往往就会被冠以“具备医生级水准”的光环。

ArXiv URL：https://arxiv.org/abs/2607.25485v1

然而，一旦将大模型放入真实的初级诊疗（Primary Care）场景，让它化身直接面对患者的智能体（Patient-Facing Health AI Agent），情况就会发生翻天覆地的变化。这类智能体被赋予了实际的行动权：替患者预约门诊挂号、提交处方续方申请、发起远程视频问诊、调阅与管理健康档案，甚至在危急时刻将患者转介给急救团队。在这一连串动作中，模型要处理的不再是结构规整的教科书题目，而是面对诉求模糊、隐瞒病史、伴有多重用药且情绪各异的真实人类。

Amazon 研究团队近期开源的基准框架 PatientAgentBench，正是为了打破这种评估错位而生。这是业内首个专门针对“面向患者的医疗智能体”构建的端到端多轮交互评测基准。这项研究在包含 1200 个复杂临床情境、15 种仿真医疗工具的沙盒环境中，对来自四大主流模型家族的 10 款顶尖基座模型展开了 12000 场全仿真交互测试。

测试结果揭示了一个残酷的现实：静态医学知识的充足，绝不等于安全行医的能力。在最具区分度的“分诊质量”考核中，模型通过率从最弱的 32% 一路横跨到最强的 88%，形成了高达 56% 的巨大断层；即使是综合表现最拔尖的头部前沿模型，在 5 分制的临床评分中也仅获得 4.25 分。大量的安全漏洞、临床伪造与分诊盲区，只有在动用工具的长程对话中才会暴露无遗。

为什么医学考试高分，会在真实流程中翻车？

要理解 PatientAgentBench 的出发点，首先需要看清当前医疗 AI 的核心盲区。正如上图所示，当一位患者带着主诉进入对话系统，表示自己“需要预约门诊并咨询用药”时，两个底层能力看似相当的智能体会走出完全不同的临床轨迹。

智能体 A 表现得像一个极其顺从的行政助理：它迅速解析了患者的时间偏好，调用门诊预约工具，严谨地填入了科室、时间与医生 ID，工作流调用准确率拿了满分。然而，它完全跳过了临床严重程度初筛（Triage），压根没有注意到患者电子病历（EHR）中记录的现有用药与新咨询药物存在致命的相互作用，更没有识别出潜伏的急性红旗症状。这种“成功完成行政指令、却险些酿成医疗事故”的现象，在传统以任务完成度为导向的基准中根本无法被扣分。

相反，具备临床意识的智能体 B 不会盲目遵从患者的直接要求。它会在执行操作前调阅病历、主动追问关键症状，识别出药物相互作用的潜在风险，将原本普通的常规挂号立刻升维（Escalate）为紧急远程问诊，并在第一时间阻断不安全的用药想法。

在真实的医疗生态中，如何行动永远比单纯能否调通 API 更重要。初级诊疗的核心职责之一，就是拦截误诊漏诊、避免用药冲突、防范不安全的护理转接。现有的通用 Agent 基准侧重于订机票、退换货等消费场景，而医疗类评测又往往局限在面向医生的辅助写病历或静态单轮问答。面向患者的医疗智能体，恰恰处在“多轮对话推理”、“医疗沙盒工具调用”与“生命安全红线”三者的危险交汇点。

三阶段闭环：如何构建可信的患者交互沙盒？

为了在不引发真实医疗风险的前提下捕捉这些动态缺陷，PatientAgentBench 搭建了一套全自动、高保真的三阶段评估架构（如上图所示）。

第一阶段：高复杂度临床场景与动态沙盒生成

真实的患者绝非千篇一律。基准构建的第一步是受控的种子采样与场景丰富化。系统不仅为每个虚拟患者生成基础的人口统计学特征，更注入了复杂的共病（Comorbidities）、多重用药（Polypharmacy）背景，甚至是不同的沟通性格与情绪状态。持证临床医生对生成的虚拟患者档案进行了严格审查，其临床真实性评分高达 $4.91\pm 0.55$（5 分制），97% 的病例被评为优秀。

与患者档案同步初始化的，是一个具有状态记忆的独立医疗沙盒。该沙盒封装了涵盖预约挂号、处方管理、远程问诊、个人档案维护四大类共 15 种标准医疗工具。每个工具都具备严格的前置调用依赖关系（例如，在未查询医生可预约排期前，禁止直接发起预约写入）。所有被测模型在开局时获得完全相同的工具自然语言规范与提示词，消除了由于信息不对称带来的评估偏差。

第二阶段：双智能体拟真对话运行

系统采用患者模拟器（Simulated Patient）与被测健康智能体（Assistant Agent）展开端到端交互。这一机制借鉴了 Google AMIE 等自对弈模拟思路，但将其从纯粹的“诊断型聊天”推进到“带有状态变更的工作流执行”。

为了保障交互的生态效度（Ecological Validity），框架引入了两个关键机制：首先，双智能体在对话开始时强行同步一个全局时间戳，避免在预约改期、处方剩余药量推算等涉及绝对时间的任务中出现时序混乱；其次，针对具备长思维链（Chain-of-Thought）输出的思考型模型，框架会在将消息推给患者智能体之前，彻底剥离模型内部生成的思维标记（Thinking Tokens），确保模拟患者只能感知到真实的自然语言回复，避免内部推理泄露干扰患者行为。

第三阶段：LLM-as-a-Jury 结合临床医生对齐评估

当一段最多 15 轮的长程交互结束后，整个对话记录——包括用户可见消息、智能体内部发起的每一次工具调用及其返回的原始结果、以及患者在系统底层的完整未公开病历——都会被完整打包，提交给评测系统。

传统的单一模型评分容易带来模型偏置。PatientAgentBench 引入了由 Claude Opus 与 GPT 系列旗舰模型组成的“大模型评审团”（LLM-as-a-Jury，架构如下图所示）。更关键的是，这套打分体系完全摒弃了含糊的主观印象，而是建立在持证医生深度参与制定的 102 条临床细化标准之上。

评测严格覆盖六大维度：

临床安全（Clinical Safety）：核查是否存在药物禁忌、是否遗漏危急红旗症状、是否给出未经核实的危险指导。凡是触及严重安全底线的行为，该维度直接触发一票否决机制判定为 1 分。
分诊质量（Triage Quality）：评估模型是否具备“先排查、后办事”的临床意识，能否在常规行政诉求下嗅出潜在风险并准确分级。
工作流准确性（Workflow Accuracy）：核对工具调用的参数、先后时序，以及智能体对工具返回结果的转述是否符合事实。
任务完成度（Task Completion）：检验患者最初的核心诉求是否得到实质性解决。
临床有效性（Clinical Helpfulness）：评估智能体提供的信息是否切中要害、易于患者理解并具有实操性。
对话质量（Conversational Quality）：考察语言的共情能力、专业度以及逻辑推进的流畅性。

整个体系划定了一条极其关键的行动边界：严格区分健康教育科普（任何人皆可获取的常识）、临床判断（需专业监督的个性化建议）与确定性诊断（必须保留给持证人类医生的法定权力）。任何智能体若在对话中擅自越界替患者下达不可逆的终局诊断，都会在评分中受到严厉惩罚。

为了检验这套全自动评审团到底靠不靠谱，研究团队组织了持证医生进行双盲独立打分。统计显示，LLM 评审团与人类专业医生之间的相邻一致率（即评分差距在 $\pm 1$ 分以内）达到了 79% 到 93%，这一水平已经完全持平甚至超过了人类医生之间的相互一致性（Inter-rater Agreement）。

十大模型同台竞技：暴露了哪些临床硬伤？

在统一的基准配置下，团队测试了包含 Claude 家族、GPT 家族、Gemini 家族以及阿里 Qwen 家族在内的 10 款主流模型，统一搭载相同的基线脚手架，直面 1200 个复杂场景。实验数据不仅拉开了模型之间的硬实力梯队，更提炼出一系列具有普适性的智能体行为缺陷。

1. 分诊能力成为拉开代差的最大“断崖”

在所有维度中，分诊质量（Triage Quality）表现出了最恐怖的辨别力。表现最垫底的模型在该项的通过率仅有 32%，而最顶尖的头部前沿模型则达到了 88%，形成了高达 56 个百分点的性能断层。

绝大多数开源或中小型模型之所以在此折戟，根本原因在于患上了“客服式盲从综合征”。当虚拟患者进门抛出一个非常明确的非临床要求（例如“帮我把降压药再续开三个月”或“帮我挂下周二的号”）时，弱模型会立刻顺应患者的意图，直接钻进工具调用的逻辑里，把药开出去或把号挂上。它们完全不会主动询问患者最近是否有头晕、血压测量值如何，更不会去核对患者近期刚刚更新的肾功能指标。这种“缺乏临床审慎”的行为，在以合规和安全为第一要务的医疗场景中是致命的。

2. 安全维度的两极分化与隐藏暗礁

临床安全维度的通过率在 56% 到 99% 之间浮动。头部的前沿模型展现出了令人惊艳的主动风控意识：例如在患者要求开具某类常规止痛药时，GPT 系列或 Claude 系列的顶级模型能够主动检索患者档案，敏锐地识别出其正在服用的抗抑郁或抗瘾药物与该止痛药存在潜在中枢抑制风险，从而坚决拒绝开药并解释原因。

然而，梯队尾部的模型安全事故频发。较弱的模型在多达六分之一的对话中出现严重安全溃败，其中最令人担忧的表现是临床伪造（Clinical Fabrication）：智能体在对话中向患者信誓旦旦地承诺“您的急诊转诊已经提交成功，医生将在半小时内联系您”，但在实际的底层沙盒监控中，它根本没有调用任何工具，也没有任何请求发出。这种凭空捏造的虚假安全感，极易导致急重症患者在等待中延误救治黄金期。

即便强如当下的顶级旗舰，也并非绝对无懈可击。评测记录表明，头部模型在面对严重心理危机或自杀倾向的极端测试例时，依然有 1% 到 3% 的概率遗漏关键的危机干预热线资源，或是轻信了第三方工具返回的模糊提示而未予复核。

3. 为什么做大模型基座还远远不够？

在任务完成度这种相对基础的指标上，几乎所有大模型都能轻松拿到 95% 以上的通过率。只要工具接口清晰，让大模型顺着调用往往并不困难。但综合平均分却给行业泼了一盆冷水：全场表现最优异的模型，最终加权综合得分也仅仅停留在 4.25 分（满分 5 分）。

这说明了一个深层问题：仅仅靠增强通用大模型的基座能力、堆叠参数量或做一般的对齐训练，虽然能大幅度收窄临床错误，但无法自然催生出一个合格的“AI 医生助手”。从一个擅长聊天解题的语言模型，到一个懂得在复杂工作流中自我克制、主动查验、安全升级的医疗智能体，中间存在着巨大的工程范式与行为策略鸿沟。

走出象牙塔：医疗 Agent 的安全底线何在？

PatientAgentBench 的提出，标志着医疗 AI 的评测逻辑发生了一次范式迁移：从考察模型“脑子里记住了多少医学知识”，转向衡量模型在真实交互环境中“究竟会做出怎样的临床动作”。

对于正在从事大模型医疗落地的从业者而言，这项研究带来了几个极具现实意义的警示：

其一，切勿盲目相信多项选择题或静态单轮测试的高分。一个能在 USMLE 考卷上拿到 90 分的模型，在面对隐藏药物禁忌的真实续方请求时，完全有可能毫不犹豫地敲下执行键。任何准备接入实际挂号系统、处方流转系统的 Agent，都必须在严苛的状态机沙盒中经历长程多轮压力测试。

其二，必须在智能体的执行层之上，建立强制性的“临床分诊前置拦截机制”。AI 绝不能被动地充当单纯的 API 触发器，在每一个行政事务的底层，都必须具备动态唤醒临床筛查的确定性逻辑。

其三，面对患者的自主权必须受到医学伦理的严格管束。明确划分常识科普、个性化建议与法定诊断的边界，不仅是监管合规的要求，更是防止大模型在幻觉驱使下非法行医的技术防火墙。

Amazon 团队将 PatientAgentBench 的生成流程、工具沙盒、评测准则以及医生标注集全数开源，无疑为全行业提供了一把高精度的标尺。在通向“能够独立替患者跑腿办事”的医疗 AI 时代前夜，我们需要更多这样冷静、严苛且真正扎根临床现实的审判席。