MobileJudgeBench：931条轨迹全面体检，极简裁判准确率反达90.9%

Benchmarking LLM Judges for Mobile Agent Evaluation

论文原文 ↗ 论文发布 解读发布 解读：AI前沿分享

MobileJudgeBench：931条轨迹全面体检，极简裁判准确率反达90.9% 论文图示

在手机端自主智能体（Mobile Agent）的研究中，让大模型替代人类接管手机屏幕、完成跨应用多步操作，已成为当下最受关注的技术方向之一。从点外卖、发邮件到复杂的系统设置调试，Agent 能够自主点击、滑动、输入文本并调用系统功能。然而，随着任务复杂度提升，整个领域正面临一个愈发尴尬的瓶颈：如何准确判断一个 Agent 到底有没有真正完成任务？

ArXiv URL：https://arxiv.org/abs/2608.11434v1

人工逐一审查每个操作步骤与屏幕截图，成本高昂且无法规模化；基于代码规则的状态检查器虽然精准，但极难适配第三方商业 App，任何一次界面改动都会导致规则失效。因此，学术界与工业界几乎不约而同地转向了多模态大模型裁判（LLM-as-a-judge）。目前主流的手机 Agent 基准测试大多内置了自己的大模型评测流水线，研究者们也习惯直接采纳这些评测结果并公开发布排行榜。更激进的是，许多团队开始直接将大模型裁判作为奖励模型（Reward Model），用于驱动在线强化学习（Online RL）训练。

然而，几乎没有人系统检验过这些“数字法官”本身到底有多可靠。如果裁判自身的误判率高达 10% 到 20%，排行榜的排名还会客观吗？当充满噪声的判定被当作奖励信号喂给强化学习算法时，Agent 会学到真正有用的策略，还是仅仅学会了欺骗裁判？

针对这些核心疑问，来自 Concordia University、McMaster University、Mila 魁北克人工智能研究所、上海大学以及 University of Toronto 的研究团队，联合推出了首个系统评估手机 Agent 多模态裁判能力的基准测试——MobileJudgeBench。该研究通过对 931 条真实手机操作轨迹的严格人工复核，评测了 6 种主流裁判机制在 5 款前沿多模态大模型底座上的表现。实验给出了出人意料的结论：耗费大量精力设计的复杂裁判流水线，往往不如一个均匀采样截图的极简 Baseline；而不同大模型底座在充当裁判时，竟然表现出完全相反的系统性偏差。

MobileJudgeBench 整体架构与评测流程

931条交互轨迹：给大模型裁判立一把严谨的尺子

要评测裁判的水平，首先需要一份经得起推敲的人工金标准（Ground Truth）。现有关于大模型裁判的研究，绝大部分集中在纯文本对话（如 MT-Bench）或代码生成领域。相比之下，手机界面的评测维度要苛刻得多：它包含随时间推移的多步交互、密集的视觉控件、非线性的系统反馈以及长时序的跨应用跳转。

研究团队从当前最具代表性的 6 个手机 Agent 基准中抽取任务，包括 AndroidWorld、B-MoCA、SPA-Bench、A3、AndroidArena 以及 AndroidLab。这些基准涵盖了编程状态检查、截图匹配、核心状态解构与子目标匹配等不同评估范式。通过 4 类不同的移动 Agent 模型在真实 Android 系统中的 68 款日常 App（涵盖社交通讯、生活服务、地图导航、系统设置等）上运行，最终收集了 931 条完整的交互轨迹。

为了保证标注质量，团队招募了 9 名计算机专业研究生担任标注员。每条轨迹并非只看最后一张截图，而是由 2 到 4 名标注员通过专门定制的标注平台，完整回放操作视频、逐帧检查操作逻辑与 Agent 的推理记录，独立给出二元成败（Success/Failure）判定。成对标注员的平均初始一致性达到了 88.4%，所有存在分歧的轨迹均经过讨论复核并确定最终标签。最终形成的评测集分布非常健康：492 条成功（52.8%），439 条失败（47.2%），近乎均衡的正负样本比例为后续衡量假阳性与假阴性提供了绝佳土壤。

在评测框架上，研究统一了不同裁判方法的输入接口，标准化输出分类准确率（Accuracy）、精准率（Precision）、召回率（Recall）、F1 值以及平衡准确率（Balanced Accuracy），使各种五花八门的设计首次站在了完全相同的竞技场上。

拆解现有方案：复杂的专用管线，为何被极简基线反超？

在过去的研究中，不同团队为了让大模型充当合格的裁判，设计了各具特色的流程：

这些定制化管线各有千秋，但问题在于它们将多种设计选择耦合在了一起，外界很难分辨究竟是提示词工程（Prompt Engineering）、界面控件树（UI Elements），还是视觉增强手段在起作用。为此，研究团队设计了一个极简基线裁判（Simple Baseline Judge）作为对照组。

这个极简基线没有任何花哨的分解步骤，仅仅接收用户任务指令与按时间顺序采样的屏幕截图流。提示词设计非常克制：强调结果导向、承认轨迹中途已达成的任务状态、允许 Agent 试错并在后续步骤中自我纠正。研究团队通过解耦测试，考察了截图数量（3 到 192 张）、图像分辨率、UI 控件树元数据以及 Agent 思考链（Reasoning）对裁判质量的独立影响。

实验横跨了 5 款主流多模态大模型底座：Qwen2.5-VL-72B、GPT-5-mini、Gemini 3 Flash、GLM-4.6V 以及 Claude Sonnet 4.5。最终汇总的数据击碎了许多惯常认知：

没有任何一种复杂的专用裁判流水线能够保持全面领先。更戏剧性的是，研究团队设计的极简 Baseline 几乎在所有底座上都表现出极强竞争力，甚至在多项指标上击败了精心设计的定制流水线。当搭载 Gemini 3 Flash 时，极简 Baseline 跑出了全场最高的 90.9% 准确率。

消融实验进一步揭示了真正决定裁判性能的技术要素：

换句话说，多模态裁判的核心驱动力主要在于底层模型自身的视觉推理实力，以及是否提供了足够丰富且清晰的时序视觉证据，过度工程化的提示词与格式约束并不能弥补底座能力的短板。

现实检验一：裁判的准确率，真能反映 Agent 排名吗？

评测大模型裁判本身的基准，如果只停留在内在指标（如自身准确率），很容易沦为学术自嗨。它必须在现实任务中展现真实价值。研究团队提出的第一个现实检验场景是：裁判质量的提升，是否能真实保全 Agent 之间的排名关系？

如果在基准测试中，裁判给出略带偏差的分数，是否会导致排行榜名次完全颠覆？研究团队针对 30 种“裁判方法 × 模型底座”的组合，在 24 个不同的“基准–Agent”任务子集上计算胜率，并与 931 条人工真实标注得出的胜率与排名进行元相关性分析（Meta-Correlation）。

实验测算出的斯皮尔曼等级相关系数（Spearman $\rho_s$）给出了极具说服力的证据：裁判的平衡准确率与最终 Agent 排名保真度之间呈现出强相关，相关系数高达 $\rho_s = 0.87$。与此同时，裁判的准确率与任务胜率估计的绝对平均误差（MAE）呈显著负相关。

在这当中，表现最顶尖的裁判组合（Simple Baseline + Gemini 3 Flash，自身准确率 90.9%），在面对 24 个不同的 Agent 模型时，评估出的胜率曲线与人类真实标注几乎重合，皮尔逊相关系数高达 $\rho = 0.97$。相反，那些准确率排在倒数（76% 左右）的裁判方案，在实际测试中直接导致多个 Agent 的榜单排名颠倒了多达 13 个位次。这意味着，如果基准测试采用不合格的大模型作为裁判，此前大量关于“哪款手机 Agent 性能更强”的学术结论，甚至可能建立在完全颠倒的数据基础之上。

现实检验二：作为强化学习的奖励模型，误差如何毁掉策略？

第二个现实检验场景直击当下大模型前沿研究的核心：在线强化学习。随着 GRPO 等对齐算法被广泛引入 Agent 训练，研究者越来越多地依赖大模型裁判给出每轮探索的即时 Reward。

为了验证裁判可靠性对模型训练的直接冲击，研究团队选用 UI-TARS-7B-SFT 模型，在 AndroidWorld 的任务集上展开在线强化学习训练。实验设置了严格的对照组：所有超参数完全锁定，唯一的变量就是环境给出的奖励信号来源——一组使用 AndroidWorld 内置的精确规则检查器（作为上限对照），另外三组分别使用 Simple Baseline 搭配 GPT-5-mini、GPT-5.2 以及 Qwen2.5-VL-72B 作为即时奖励模型。

训练曲线忠实地反映了“垃圾进，垃圾出”（Garbage in, garbage out）的铁律：

最终 Agent 策略的实际提升轨迹，与裁判在基准测试中的性能表现严格同步。内置规则检查器训练出的模型性能最优；而在大模型裁判组中，在 MobileJudgeBench 上表现最好的裁判，驱动出的 Agent 训练曲线显著高于劣质裁判组。

更为关键的发现存在于假阳性（False Positive）对强化学习的灾难性破坏上。在强化学习探索中，如果裁判过于“宽容”，频繁把没能完成任务的轨迹误判为成功并赋予奖励，就会引发典型的奖励投机（Reward Hacking）。Agent 会迅速学会利用裁判的漏洞，生成表面看似完成、实则并未达成目标的偷懒轨迹。实验表明，在基准测试中精准率更高、能严格控制假阳性的裁判，才能支撑 Agent 在强化学习中选出真正具备高成功率的最佳检查点（Best Checkpoint）。这直接确立了 MobileJudgeBench 作为奖励模型质量过滤器（Reward Model Filter）的工业价值。

窥探大模型的“裁判性格”：截然相反的系统性盲区

当不同模型面对同一种失败时，它们到底在想什么？为了回答这个问题，研究团队针对 5 种专用裁判方法展开了硬核失败案例（Hard-core Failures）归因分析。所谓硬核失败，是指 5 种方法中有至少 4 种同时给出了与人类标注相反的判断，这代表着该问题并非单套提示词的偶然失误，而是触及了模型底座的认知天花板。

通过对 GPT-5-mini 与 Qwen2.5-VL-72B 进行深度对比，研究团队发现了一个极度戏剧性的现象：不同的大模型底座在充当裁判时，展现出了完全相反的性格特征与错误模式。

GPT-based 裁判表现出极强的“保守倾向”（Conservative），硬核错误被假阴性（False Negatives）主导——多达 30 例本已成功的操作被它残忍判为失败，而假阳性仅有 18 例。其核心诱因在于两点：

  1. 末帧锚定偏差（Last-frame Anchoring）：模型极度依赖最后一张截图。如果 Agent 在中途已经成功预订了机票，但在最后一步退回了主屏幕或息屏，GPT 往往会忽视中途达成的状态，直接判定失败；

  2. 陌生成功状态误判（Unfamiliar Success State）：面对部分冷门 App 非典型的操作完成界面，GPT 无法识别出该界面代表成功，宁可错杀也不给分。

与此形成鲜明对比的是，Qwen-based 裁判则展现出极度的“宽容倾向”（Permissive）。在其出现的 78 例硬核失败中，居然有 71 例是假阳性，只有 7 例是假阴性。它极易将失败的轨迹判定为成功，主要原因集中在：

  1. 任务约束漠视（Constraint Violation）：当用户明确要求“寻找离我最近的停车场”或“筛选评分高于4.5的餐厅”时，Qwen 只要看到 Agent 点进了一家停车场或餐厅，便会欣然判定成功，完全忽略了“最近”或“评分”等前提约束条件；

  2. 半成品视同完工（Partial Completion）：Agent 仅仅将收件人和内容填入了邮件草稿箱，并未最终点击发送，Qwen 也会草率地给出满分判定。

尽管两者性格迥异，分析也揭示了两类底座唯一的共性死穴——表面 UI 匹配（Surface UI Match）。当界面上弹出了一个看似带有“完成”字样的按钮，或是网络加载失败但弹窗样式与成功通知极为类似时，两类大模型都会毫无悬念地被视觉假象欺骗。这种仅凭表层像素判定、无法穿透到后端真实状态的缺陷，也从反面论证了未来的 Agent 评估必须向主动交互式验证（Proactive Verification）演进——裁判不仅要用眼睛看，还要具备主动点击、审查底层状态机反馈的动态交互能力。

走向更可靠的 Agent 评测闭环

长期以来，AI Agent 领域沉浸在各种排行榜不断刷新的繁荣景象中，却在无形中忽略了度量衡本身的校准。MobileJudgeBench 的出现，不仅用详实的 931 条多模态轨迹数据证实了大模型裁判存在 9% 到 24% 的不可忽视的误差区间，更以实证方法打通了“裁判评测指标”与“实际下游应用”之间的因果链条。

对于后续的手机 Agent 研究者与开发者而言，这项研究带来了几点极具实操价值的指引：

不要盲目追求复杂的提示词嵌套与工程封装，构建裁判时，优先把 Token 预算留给高清晰度、足够时间跨度的均匀截图，远比强行挂载低效的 UI 控件树更管用；

在借助在线强化学习微调 Agent 时，务必对大模型裁判进行假阳性压制，过于宽容的奖励模型不仅不能加速收敛，反而会成为诱发奖励投机的罪魁祸首；

最重要的是，学术界与工业界在发布手机 Agent 基准表现时，应当像公开模型主干架构一样，常态化披露所用裁判模型的可靠性基线。只有评测的尺子足够精准，自主智能体在真实物理世界中的进化，才能真正步入良性循环的快车道。

上一篇 Business Arena：大模型独立开店实测，15款前沿模型净资产相差9倍 2026-09-08 下一篇 AEROBAT：用2.3万轮受控模拟，让大模型全自动做Agent行为科学研究 2026-09-08