READY：自主准确率仅差0.3%，为何落地所需人工审核却相差近10%？
READY or Not: Reliable Enterprise Agent Deployment
在大模型基准测试的榜单上，两款表现亮眼的 Agent 如果准确率只差 0.3%，通常会被从业者视为处于同一梯队，甚至属于统计波动的范畴。然而，如果把这两款 Agent 放到真实的业务流程中，为了达到企业要求的统一可靠性标准，其中一款可能只需要 29.6% 的人工复核介入，另一款却必须由专业人员审核 39.2% 的案例。
ArXiv URL：https://arxiv.org/abs/2609.02095
对于需要支付高昂专业人力成本的企业来说，这 10 个百分点的审核量差距，直接决定了一个 AI 项目是节省数百万预算，还是彻底沦为成本黑洞。
由 Scale AI、加州大学圣克鲁兹分校（UC Santa Cruz）与范德堡大学医学中心（Vanderbilt University Medical Center）联合提出的 READY（Reliable Enterprise Agent Deployment）框架，正是为了破解这个断层。该研究直指当前 AI 评测的最大盲区：现有的学术与工业界基准普遍在问“Agent 单独完成某项专业工作的能力有多强”，而企业在做技术准入与落地决策时，真正需要解答的却是“在可接受的人工介入和可控的运营成本下，整套人机协同系统能否稳定达标”。READY 将 Agent 评估从静态的“能力打分”彻底转向了动态的“部署资格准入”，通过严格的统计检验与策略优化，帮助企业算清大模型落地的真实账本。
为什么说传统的 Agent 榜单正在误导企业？
过去两年来，业内涌现了大量面向专业任务的 Agent 评测基准。无论是编写复杂代码、调用工具检索信息，还是生成多步骤专业报告，评测逻辑大多遵循同一套范式：给 Agent 一组任务提示词与环境，让其自主运行到底，最后对比最终产物与标准答案的吻合度，算出一个综合胜率或准确率。
这种打分模式在衡量基础模型的逻辑推理上限时非常有效，但在工业级部署中却暴露了严重的脱节。
在真正的企业级工作流中，几乎没有任何高风险业务会允许 Agent 处于绝对无监管的“完全自主”状态。金融风控、医疗质检、法律合规或者复杂供应链调度，天然需要建立在人机协作（Human-AI Collaboration）的架构之上。一旦 Agent 产出低置信度结果、触发了业务红线，或者遇到了未见过的极端边界条件，系统必须有机制能把任务平滑流转给人类专家进行兜底审核或修正。
这就带来了一个本质性的评估转变：决定系统能否上线的，从来不是 Agent 独自运行时的准确率本身，而是它是否具备良好的“可监管性”（Oversight Compatibility）。
设想两个准确率同为 75% 的 Agent 系统。系统 A 对自身的不确定性有极为清晰的感知，它所识别并上报给人类审核的 25% 案例，恰好涵盖了绝大多数自身的潜在错误；而系统 B 虽然总分一样，却常常“自信地给出荒谬答案”，导致被它遗漏的漏检、误检案例层出不穷。此时，企业如果为了保障 85% 的整体交付可靠性，系统 A 可能只需要人类介入 20% 的边缘样本，系统 B 却可能需要人类对 40% 甚至更多的工作流进行全面巡检。在传统榜单上平起平坐的两个模型，其真实落地成本可能相差数倍。
现有的评测方法并未捕捉这种动态交互。READY 团队正是看到了这一痛点，提出必须把模型、交互环境、干预策略、运行成本与统计验证放在一个统筹框架下来考察。
核心机制：把部署准入转化为约束优化问题
READY 的核心设计，是将企业工作流的部署资格认证形式化为一个在监管策略空间中的“带约束成本最小化问题”。
在 READY 的形式化定义中，针对特定工作流 $w$ 与待评估的 Agent 系统 $m$，系统首先明确任务的总体分布 $\mathcal{D}w$ 以及评估样本集 $S_w = {x_i}{i=1}^{N_w}$。不同于很多基准强制将成功定义为简单的字符串匹配，READY 保留了每个工作流自身内生的多元评估语义。
当 Agent 在环境 $E_w$ 中执行任务实例 $x_i$ 时，READY 会记录下完整的执行轨迹 $Z_i^\pi$。这一轨迹不仅包含最终的业务产物，还涵盖了工具调用链路、中间检索文档、内部思维链、资源消耗以及发生的人机交互事件。工作流评估器 $g_w$ 会先将轨迹投影为多维测量向量 $\mathbf{q}_i^\pi = g_w(Z_i^\pi)$，随后由业务预设的成功判定谓词 $\phi_w$ 给出该实例在业务上是否算作成功的二元标记：
\[u_i^\pi = \phi_w(\mathbf{q}_i^\pi) \in \{0, 1\}\]在这个基础上，整个系统在特定监管策略 $\pi$ 下的整体可靠性 $R_{m,w}(\pi)$ 与运行成本 $C_{m,w}(\pi)$，被定义为所有业务实例上的数学期望：
\[R_{m,w}(\pi) = \mathbb{E}_{x \sim \mathcal{D}_w} \left[ u^\pi(x) \right]\] \[C_{m,w}(\pi) = \mathbb{E}_{x \sim \mathcal{D}_w} \left[ K_w(Z^\pi) \right]\]其中总成本函数 $K_w(Z^\pi)$ 细分为 Agent 自身的推断计算成本 $C_{\text{agent}}$ 与人类专家介入的工时成本 $C_{\text{human}}$。企业的核心诉求往往非常朴素：在业务整体可靠性达到既定硬指标 $Y$（例如 80% 或 95%）、且特定尾部风险控制在容忍阈值 $B_w$ 内的前提下，如何找到一套运行成本最低的监管策略 $\pi^*$？READY 将其表述为：
\[\pi^*_{m,w}(Y, B_w) \in \arg\min_{\pi \in \mathcal{F}_{m,w}(Y, B_w)} C_{m,w}(\pi)\]其中可行策略集 $\mathcal{F}_{m,w}(Y, B_w)$ 严格限定了可靠性下限与风险上界。这一数学形式直接将“买模型”的决策，转变成了一笔权衡调用 Token 成本与人类审核工时配比的清晰经济账。
从轨迹记录到统计准入的三阶段流转
为了在不侵入业务逻辑的前提下跑通这一优化过程，READY 提出了三阶段解耦架构，保证评估结论在统计学上具备泛化能力。
第一阶段是执行与轨迹评估。在这一阶段，待测的 Agent 系统面对相同的标准化工作流规范进行端到端运行，生成前述的执行轨迹集合。READY 记录下不仅包括结果是否正确，还包括 Agent 在执行结束或中间阶段输出的置信度信号、决策特征以及消耗的 Token 数量。
第二阶段是监管策略优化。以企业中最常见的“终局审核与上报”（Terminal Accept-or-Escalate）策略为例，Agent 在完全执行完当前用例后输出一个业务裁决，同时附带一个置信度路由信号 $s$。监管策略需要学习的是一个最佳决策阈值 $\tau$：当信号 $s \ge \tau$ 时，系统选择自动采纳 Agent 的结果；而当 $s < \tau$ 时，系统判定该案例超出自动化安全区，自动将其推送到人工审核队列。
此时，随着阈值 $\tau$ 的变化，人类介入比例 $e(\tau) = \Pr(s < \tau)$ 与自动化通过率 $c(\tau) = \Pr(s \ge \tau)$ 动态联动。若人类专家的复核准确率为 $a_h$，则整个人机系统的综合可靠性可以展开为：
\[R(\tau) = c(\tau) a(\tau) + \bigl(1 - c(\tau)\bigr) a_h\]在开发集上，READY 遍历候选阈值，寻找能满足 $R(\tau) \ge Y$ 且使得 $C(\tau) = k_m + k_h e(\tau)$ 最小的经验阈值 $\widehat{\tau}$（其中 $k_m$ 为模型单次执行成本，$k_h$ 为单次人工审核增量成本）。
第三阶段也是最关键的一步，即统计准入认证（Statistical Qualification）。在机器学习调优中，针对开发集优化的阈值往往存在过拟合风险，如果直接用于生产，极有可能达不到预定可靠性。
READY 坚决将策略选择与准入认证物理切分。一旦最优策略 $\widehat{\pi}$（即阈值 $\widehat{\tau}$）在开发集上被选定，它就会被立即冻结。随后，该策略将在完全独立的留存评估集（Held-out Cases）上执行，计算实测的可靠性点估计与置信下界（Lower Confidence Bound, LCB）。
只有当留存集上的统计置信下界完全迈过目标线，即：
\[R_{\text{LCB}}^{\,1-\alpha}(\widehat{\pi}) \ge Y\]READY 才会签发一份正式的“部署档案”（Deployment Profile）。这意味着系统上线不仅是“平均值合格”，而是在给定的统计显著性水平（例如 95% 置信度）下，有严格的数学保证确认其落地后的失误率不会超标。
对于那些在离线评估中无法让人类专家重新逐一重标所有上报案例的情境，READY 还引入了“保本复核假设”（Break-even Review Assumption）机制。它能精确反推出：人类专家的复核准确率最低需要达到多少（记作 $a_h^{\min}$），这套冻结策略在统计上才依然能够保住业务底线。这直接为企业招募或配置外包审核人员的专业资质提供了量化参考。
医疗临床审查实测：微弱差距如何被急剧放大
为了验证 READY 在严苛专业场景中的穿透力，研究团队在包含 16 种不同 Agent 系统、750 个实际病例的 CliniCARE-Bench 医疗回顾性审查工作流中进行了完整实验。
在医疗临床审计场景中，Agent 需要阅读患者冗长复杂的纵向电子病历（EHR），回答诸如“该重症监护患者在进行增强 CT 检查后的 48 小时内是否发生了急性肾损伤（AKI）”等复杂诊断问题。Agent 必须从海量临床记录中抽取化验单、用药记录并结合临床诊断准则进行逻辑裁决，同时给出自我置信度评分。若裁决错误或过程存在重大逻辑缺陷，就会被判定为失败。
实验结果揭示了极为鲜明的“榜单幻觉”：
-
同分不同命：当以 76% 的整体系统可靠性作为准入目标时，GPT-5.4 系统的全自主准确率为 72.8%，而 Claude 3.5 Sonnet（Sonnet 5）系统的全自主准确率为 72.5%。在传统榜单上，0.3 个百分点的差距几乎可以忽略不计。但经过 READY 策略优化与准入检验后，GPT-5.4 系统为了达成目标，需要将 39.2% 的病例上报给人类医生进行复审；而 Sonnet 5 系统只需要上报 29.6% 的病例即可稳稳达标。两者的实际审核负担差距接近 10 个百分点。
-
错误感知能力的悬殊：之所以出现这种反差，深层次原因在于两个系统所输出的置信度路由信号（Routing Signal）质量截然不同。通过对选择性预测风险曲线（AURC）和排序相关性（AUROC）进行下钻分析，研究发现 Sonnet 5 系统对自身潜在错误的识别能力远高于 GPT-5.4。Sonnet 5 能更精准地把自知拿不准的复杂疑难病例“推给医生”，而将自己十拿九稳的病例留在自动化处理管线中；相反，GPT-5.4 的某些错误决策依然附带了较高的置信度，导致阈值筛选机制难以在不误伤正确样本的前提下精准剔除失败用例，最终只能通过扩大人工审核的“撒网面”来勉强保住 76% 的系统安全线。
这项实验证明，单看自主正确率的高低，完全无法推导出一个 Agent 在企业体系内的实际协同性价比。能够精准“知错并求助”的 Agent，其真实的商业价值远胜过盲目追求多拿一分的系统。
对 Agent 架构设计与企业采购的深远启示
READY 的提出，不仅为企业提供了一套能够落地的量化评估工具，也向当前大模型与 Agent 的研发范式抛出了几个值得深思的议题。
长期以来，学术界和开源社区在调优 Agent 时，重心几乎完全放在了 CoT（思维链）深度、工具调用轮数、自我反思（Self-Correction）等提升绝对准确率的手段上。然而从 READY 的框架来看，校准度（Calibration）与选择性表达（Selective Prediction）应当被提升为 Agent 核心能力的一等公民。如果一个 Agent 经过反思后准确率从 70% 提升到了 73%，但其置信度输出彻底失真，导致系统无法设置可靠的转人工阈值，那么在工业落地视角下，这次优化实际上是一个负向改进。
同时，READY 具备极佳的工程延展性。虽然论文以“终局审查”作为切入点，但该框架在数学定义上天然兼容“轨迹依赖型监管”（Trajectory-Dependent Oversight）。在更复杂的交互式流程中，人类介入不一定发生在终点，而是可能在中间工具调用的“高危动作前确认”（如写入数据库、转账授权、向外部客户发送邮件）。通过将中间干预纳入状态转移概率建模，企业同样可以借助模拟仿真算法求解最优的介入时机。
对于正在尝试将 AI Agent 引入生产环境的企业决策者而言，READY 带来了一个清晰的方法论转变：不要再向供应商单纯索要“跑分榜单”。在采购和验证 Agent 系统时，理应要求对方提供在目标可靠性下的完整部署档案——即明确回答：系统为了守住业务底线，到底需要绑定多少百分比的人力？其给出的置信度信号是否具备可验证的留存统计显著性？
只有当评估维度从“Agent 能把工作做到多好”，彻底演进为“在什么监管条件与何种成本约束下能够安全交付”，大模型技术才能真正走出象牙塔式的基准竞赛，平稳扎根于严肃的产业土壤之中。