CliniCARE-Bench：不是答题而是真实查房审计，无缺陷准确率下降最高14.8分
CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR
大语言模型在各类医学执业资格考试中频频斩获高分，甚至轻松超越人类专家的平均基准。然而，一旦把这些模型放进真实的医院信息系统，让它们面对一名真实患者数年间积累的、杂乱无章的电子病历（EHR）时，耀眼的分数往往会瞬间“脱水”。
ArXiv URL：https://arxiv.org/abs/2608.07796v1
临床工作中最沉重、最繁琐的高价值任务，往往并不是做选择题，也不是给出一个脱离上下文的诊疗建议，而是回溯性的病历审计与事件裁定：某个脓毒症或急性肾损伤的处置方案是否在窗口期内严格执行？出院记录里的一句话在检验检查报告中是否有据可循？当前病历信息究竟是排除了某种疾病，还是根本就漏查了关键指标？
来自 Emory、Stanford、Vanderbilt 等机构的研究团队推出了一个名为 CliniCARE-Bench 的临床 Agent 基准。这项研究的核心结论非常尖锐：在真实的纵向病历回溯场景下，传统的“回答准确率”严重高估了 AI 的真实工作质量；当引入严格检查 Agent 是否存在证据漏洞与违规快捷方式的“无缺陷准确率”（Defect-free accuracy）时，所有受测前沿系统的表现全线下跌了 4.8 到 14.8 个百分点，整个排行榜名次彻底洗牌。
从医学问答走向证据闭环的“病历审计”
过去的医学 AI 评估大多停留在静态问答、对话模拟或单点指令微调。这类基准测试通常把所有需要的信息预先打包好喂给模型，甚至直接在 Prompt 里贴入规整的上下文。但真实世界的临床决策有着本质不同，它要求 Agent 具备四种极难兼备的能力：
-
主动探索与检索：在非结构化文本（如病程记录、放射影像报告）与海量结构化时限数据（如检验、生命体征、医嘱）之间自主调取并核验线索；
-
循证溯源：每一句下的诊断或审计结论，必须严格锚定到具体病历段落或客观指标时间戳；
-
结合权威规范：结论不能仅凭模型自己的常识直觉，而必须对照 KDIGO、CMS SEP-1 等外部权威临床路径与指南；
-
校准化弃权（Calibrated abstention）：必须清晰区分“根据现有病历排除了问题”、“病历信息不足导致无法判断”，以及“即使查完所有记录依然存在医学争议”。
CliniCARE-Bench 正是基于这一严苛的部署导向而构建。研究团队依托 MIMIC-IV 真实患者数据集，设计了 25 个经由临床专家严格验证的审计场景，共实例化为 750 个具体的纵向病历案例，横跨 14 个专科门类与 10 项核心推理能力。
系统面对每个案例，不再是输出模棱两可的长文本，而是必须在受控、可回放的工具环境中进行跨表检索、时序计算与指南调阅，最终提交四类裁定之一：Yes、No、Indeterminate: Lack of Data（因数据缺失无法裁定），或 Indeterminate: Medically Ambiguous（存在实质性医学争议而无法裁定）。后两者的分离，直接终结了传统大模型在证据不全时习惯性“强行脑补”的恶习。
受控工具环境：杜绝 Prompt 技巧，考核真正临床逻辑
为了防止测试变成对大模型写 SQL 或逆向工程 Prompt 能力的考察，CliniCARE-Bench 没有将原始数据库的裸表直接丢给模型，而是封装了一套面向临床实操的受控工具层。
这一层工具模拟了现代医院常见的应用接口（如 FHIR API 或专业系统视图），提供患者维度的结构化指标提取、时序事件计算工具，以及外置的权威政策指南检索库。Agent 调取的每一次记录、运行的每一次差值计算、查阅的每一条规范文档都会被全量记录在 Trace 中。
这种设计的优势在于让整个调查过程完全可复现、可审计。评估系统不仅看模型最终勾选了四个分类里的哪一个，更要逐行检查：得出这个结论，模型调取的肌酐基线对不对？时间窗有没有算错？是否阅读了那份带有否定结论的影像报告？有没有引用适用的指南章节？如果模型猜中了答案，但证据链中引用了无关数据或者跳过了必要的时间窗核验，这一推理过程在审查中会被直接判定为带有致命缺陷。
正确率面具下的“违规捷径”
在对包含主流前沿模型与开源底座在内的 16 种 Agent 系统进行评测后，研究团队发现了一个令人警醒的现象：单纯看四分类的表面准确率，各大系统的表现似乎尚可接受，落在大约 65.3% 至 76.1% 的区间内。然而，这一数字掩盖了大量的“侥幸猜中”与“危险捷径”。
为了刺破这一表象，基准引入了 Defect-free accuracy（无缺陷准确率） 指标。该指标要求：一个案例只有在裁定正确、且整个检索调查与推理链条完全没有触发任何禁止项（Must-not criteria）的前提下，才能被计入得分。禁止项包括未核对必要排除条件便下结论、时间窗计算跨越关键锚点、凭空捏造缺失指标等。
结果显示，16 个系统的无缺陷准确率出现了 4.8 到 14.8 个百分点的断崖式下跌。在受影响最严重的系统里，每五个表面上答对的案例中，就有一个实际上违反了临床调查的基本红线。这意味着，如果仅仅按传统问答的形式评估模型，有大量带有致命缺陷的推理过程会被误判为“可用”。
与此相对应的是模型的过度承诺与不当弃权。评测显示，当面对真正需要人工介入或证据严重匮乏的边界案例时，现存所有的 Agent 系统都表现出明显的“过度自信”倾向——它们宁愿在残缺的数据上强行得出一个肯定的判断，也不愿意按照规范触发弃权流程。这种倾向在真实医疗环境中是极其危险的。
面向高风险领域的透明化范式
CliniCARE-Bench 的价值不仅在于给医学大模型泼了一盆必要的冷水，更在于它确立了一种过程与结果并重的评测范式。
长期以来，业界在衡量 Agent 时陷入了一种以“任务最终成功率”为主的跑分竞赛，但在医疗、金融、网络安全与司法等高风险领域，决策的可辩护性（Defensibility）远比一个偶然的正确结果更为重要。如果一个系统无法清晰证明它是依据哪一条病历记录、依照哪一部规范、在核验了哪些阴性指标后做出的决断，它就永远无法获得临床医生的真正信任。
通过将真实纵向病历、受控可回放环境、细粒度证据锚定与多级校准弃权机制有机整合，CliniCARE-Bench 为我们展示了下一代临床级智能体真正需要跨越的门槛：不仅要答得对，更要查得清、证得实、知所不知。