WANDR：Perplexity提出广深调研基准，顶尖Agent在500项任务中Hard F1仅0.133

WANDR: A Benchmark for Wide and Deep Research

当下的前沿大模型不仅能回答简单的事实提问，还能借助搜索工具写出看似条理清晰的长篇调研报告。然而在真实的专业工作场景中，真正的难点往往不在于围绕单个话题天马行空地写几千字，而在于严谨、系统化地完成大规模信息收集与交叉核验。例如，寻找全美在指定两个月内新任命的至少 70 位首席执行官或首席财务官，并为每一位高管及其所属企业找到对应的一手权威信源。这种任务既要求系统能像撒网一样在全网发掘未知的候选实体，又要求对每一个实体发起多次协同检索以补全事实、查验证据。

ArXiv URL：https://arxiv.org/abs/2608.14747v1

针对这种高度契合专业知识工作的“广度与深度兼备”场景，Perplexity 近期提出了一个全新的评测基准 WANDR（Wide ANd Deep Research）。该基准基于真实产品日志脱敏提炼，构建了 500 项高难度的数据收集与核验任务。不同于以往依赖人工标注固定标准答案的静态测试集，WANDR 将任务形式化为严格的树状“资质键层次结构”（Qualification Key Hierarchy），并引入自动抓取信源网页、结合摘录验证事实的动态评判体系。评测结果给当前炙手可热的“深度研究 Agent”泼了一盆冷水：即便是目前表现最强、采用代码化搜索原语架构（Search as Code）的前沿系统，在高算力配置下达到的 Hard F1（严格命中率）也仅有 0.133，部分命中宽松评测下的 Soft F1 也只有 0.363。

这一断崖式差距表明，现有的自治搜研系统在面对百级别甚至千级别的实体扩展、属性深挖与证据链对齐时，存在极其显著的工程与推理天花板。

为什么说传统的 Agent 评测在“避重就轻”？

在过去两年的大模型检索与 Agent 评估体系中，任务形态主要分化为两大流派，但两者在真实工业级信息挖掘面前都略显单薄。

第一类是闭卷问答或封闭式网页浏览，例如 BrowseComp、GAIA 以及 Humanity’s Last Exam。这类测试往往要求智能体在一系列复杂的长链路跳步推理后，给出一个极致紧凑的唯一答案。它们固然考验了模型在深度上的多跳检索与推理鲁棒性，但其输出终究只是单个事实点，完全没有触及“海量实体扫描”的广度需求。第二类则是近期兴起的表格填充或集合型搜索，例如 WideSearch 和 WideSeekBench。这类测试虽然强调了收集多个目标实体的广度，但对每个实体所要求的字段往往非常浅显，通常仅依赖搜索引擎返回的文本片段即可拼凑，缺少针对每个实体反复下钻、交叉比对多个信源的深度探究。

即便少数工作尝试将广度与深度结合，其评测方式也大多受制于“预先标注的人工真值表”（Gold Answer Set）。在开放互联网环境下，这种静态参考答案面临着致命缺陷：网页在不断改动，新的事实在不断发生，一个原本正确的商业信息可能因为并购或调令而在几个月后失效，而搜索引擎返回的内容又具备极高的开放度。强制比对静态真值表，不仅极大限制了基准任务的规模和时效性，更使得那些找到了合法但不在真值表内的有效答案被误判为错误。

WANDR 的核心出发点正是打破这种局限。它不仅要考核系统能不能在全网顺藤摸瓜找齐几十到几千个满足严苛条件的实体，还要考核系统能否为每一项主张提供可追溯、可机器抓取并核验的原文佐证。

树状分层结构：把模糊调研变成严谨的数据合约

为了既能覆盖尽职调查、竞品分析、文献综述、人才寻访等千差万别的调研形态，又能保证每一个事实主张都可以被独立判定，WANDR 抽象出了一套通用的“资质键层次结构”（Qualification Key Hierarchy）。

在这套定义中，任何一项复杂的多轮挖掘任务都被形式化为一棵由键节点构成的树：

\[\texttt{key}_{1}(r_{1})\rightarrow\texttt{key}_{2}(r_{2})\rightarrow\cdots\rightarrow\texttt{key}_{d}(r_{d})\rightarrow\texttt{url}(r_{u})\]

其中，每一个非叶子节点代表需要收集的一种实体或属性类别，括号内的数字代表父节点下必须满足的子节点配额数量；而每个分支的终点都必须落在 URL 以及对应的网页摘录上。从根节点一直延伸到叶子 URL 节点的每一条完整路径，定义了一个最基本的评估单元，即一条“记录”（Record）。记录中包含了标识键路径、引用的原始链接、从该网页中摘录的一字不差的原文片段，以及承载事实声明的 JSON 答案。

以论文中贯穿始终的典型任务 ceo_cfo_appointments 为例，用户需要系统收集 70 家美国公司的新任命高管及信源。其对应的资质键结构被严格定义为：企业节点配额为 70，每个企业下挂载 1 个复合键（企业与任命人员的绑定对），每个任命对后紧随 1 个提供权威佐证的 URL。如果某个任务要求寻找 $n$ 家公司、每家公司调查 $m$ 名核心员工、每名员工必须提供 $k$ 个独立的公开信源，那么最终需要提交的叶子记录总数就是 $n \times m \times k$ 条。

通过递归的配额约束与键的灵活组合，WANDR 衍生出了六种经典拓扑变体：

开放集与闭合集：系统既可以被要求在全网大海捞针自由发掘满足条件的 $n$ 个实体（开放集），也可以被给定一份固定的名单并要求全数核实（闭合集）。
矩阵结构（Matrix）：在多个不同父实体下调查同一批固定子属性，例如对比多个大模型在相同几个基准上的跑分。
空间分区（Partition）：在最顶层设置轻量分区键，例如强制要求按不同国家或行业板块平均采集，杜绝模型在容易搜索的单一子集上偷懒灌水。
数据即键（Data as Keys）：将抽取的数值本身作为键节点，例如要求提供 3 个指向同一价格数值的独立信源，强制推行跨站点交叉校验。
多层子任务（Subtasks）：通过复用父级键构建并行分支，在同一实体上展开互不干扰的多维度深度拓展。

这种分层树架构巧妙地将非结构化的自由调研转化为具备清晰父子关系与证据挂钩的半结构化契约。更重要的是，一旦模型在某一步骤发生差错，评测框架能够精确定位是实体发掘阶段掉了链子，还是属性富集、去重消歧或原文证据抽取环节出现了断裂。

摒弃静态答案：带证据回抓的动态校验

如果说资质键树规范了输入和输出的数据形状，那么基于信源回抓的动态裁判则是 WANDR 评测机制的核心所在。

以往的文本生成评测往往直接将模型的输出丢给大模型裁判（LLM Judge）进行整体打分，这种做法很容易受到表面文笔、幻觉套话和格式对齐的误导。WANDR 采取了完全相反的“证据自验证”（Reference-free, Evidence-verified Grading）路径。当被测系统提交了完整的记录集合后，评测流程并不拿它去匹配某份标准答案，而是针对提交的每一个叶子记录执行严格的检验：

自动化评测裁判首先根据记录中给出的 URL 发起实际的网页重新拉取（Re-fetching），获取该页面的真实 HTML 并解析文本内容。随后，裁判会核验记录中提供的原文摘录是否真正原汁原味地存在于目标页面中，并判定该页面结合摘录是否从逻辑上充分支撑了记录所声称的所有事实约束条件。

这种机制彻底解放了基准的时效性。哪怕该条人事任命是在评测运行前两小时才刚发布的公关通稿，只要 Agent 能够提供真实、可访问的链接与支撑证据，该项事实便能被正式确认通过。在此基础上，系统将单条记录的核验结果自底向上聚合成整个任务层面的宏观指标：

精度（Precision）：系统提交的所有实体中，事实准确且证据合规的比例。
召回率（Recall）：以任务设计时通过验证的可行目标容量（如 70 家公司、200 条记录）为分母，计算系统实际挖掘并成功证明的有效数量比例。
F1 分数：综合精度与召回的调和平均值。

评测体系还进一步区分了两种苛刻程度。在硬指标（Hard Metric）下，任何一条记录必须全盘满足所有约束，母实体下的所有子分支也必须全部合规才能得分，一旦存在一处瑕疵则整项归零；而在软指标（Soft Metric）下，系统在部分维度上的合理探索能够按比例获得部分信用分。这种分层度量不仅能体现系统最终的交付质量，也能敏锐捕捉模型在复杂探索过程中的渐进式收益。

自动化流水线：如何高质低耗地产出 500 个高难任务？

一个高质量基准的生命力取决于其任务的丰富性与代表性。如果纯靠专家逐题手工编写，500 个包含复杂约束与验证逻辑的任务将耗费极其恐怖的时间成本。WANDR 摸索出了一套结合真实生产日志与多 Agent 互相对抗的半自动化构建流水线。

整套流水线分为四个环环相扣的阶段：

首先是种子挖掘（Seeding）。研究团队从 Perplexity 实际运行环境的脱敏日志中抽取典型的研究请求，重点挑选那些具有宽表收集形态、调用工具次数极高的真实查询。这一阶段不仅对查询进行了严格去标识化以确保隐私安全，还训练了专用的分类器，剔除那些事实极易过时、网页死链过多或检索难度过低的平庸请求，并在不同垂直领域间进行覆盖率引导，防止某类简单任务扎堆。

其次是Agent 对抗编排（Authoring）。由一个“编写者 Agent”（Author）根据种子设计出包含完整层次树、提示词与裁判标准的任务草案，随后交由一个独立的“批评者 Agent”（Critic）进行挑刺式审查。如果任务设计存在漏洞——例如允许模型靠几个镜像网站的洗稿文章蒙混过关，批评者便会打回任务，要求增加跨域名限制或提高证据引用门槛。此外，流水线还能通过微调约束松紧程度快速衍生出成对的姊妹变体，为研究不同约束强度对模型的影响提供受控对比。

第三个阶段是准入审计（Admission）。在任务正式进入候选池前，必须通过双重关键审计。一是可行性审计，系统将历史 10 到 12 次深度探索尝试抓取到的结果全量汇聚成一个“最大已知解”。如果这个解都无法达到设定的目标配额，说明任务要求脱离了互联网现有公开信息的实际，必须调低配额或作废；若轻易超额数倍，则说明要求过松。二是裁判审计，由人工对自动化裁判的判定记录进行盲测抽检，只有当裁判判定错误率控制在极低范围时才允许放行。

最后是配额甄选（Curation）。从通过所有严苛门槛的庞大候选池中，挑选出横跨金融、法律、医疗、科技等 13 个专业垂直领域的 500 个任务。统计显示，最终入选的任务中位目标需要覆盖 100 个核心成员实体，平均每个实体要追溯 3 条独立记录，这意味着单个任务的典型交互和证据规模直接指向数百到上千个事实锚点。在这一整套工业化管线的加持下，单任务的人工介入时间从以往手工标注的数小时大幅削减至约 20 分钟，大大提升了基准的扩充潜力。

实验揭秘：当前研究型 Agent 都在哪里折戟沉沙？

为了摸清当前技术栈在广深调研上的真实成色，研究团队在 WANDR 上横向评估了六种代表性的生产级搜研系统架构。测试对象涵盖了常规的并行子代理架构（以固定接口的串行搜索与阅读为基础，依靠多代理并行化扩展）以及更先进的“代码化搜索”（Search as Code, SaC）系统——后者允许 Agent 自行编写代码调用细粒度的可编程检索原语来管理上下文。

实验呈现出的数字相当残酷。即便在不惜代价拉长思考时间、赋予最高算力配额的高负载模式下，表现最优的 SaC 系统最终也仅仅拿到了 0.363 的 Soft F1 和 0.133 的 Hard F1；而常规架构的 Agent 在 Hard F1 上甚至普遍徘徊在个位数水平。

深入剖析实验中的长尾失败案例，研究团队提炼出了导致当前模型全面溃败的七种典型失效模式，这些现象精准折射出了现有 Agent 框架在长程推理与大规模信息整合中的底层软肋：

第一是容量崩塌（Volume Collapse）。模型在接到寻找上百个实体的指令时，往往无法进行有效的层次化查询拆解，通常在检索到十几二十个结果后便开始“无以为继”，甚至为了凑数在后半段频繁生成看似合理实则纯属捏造的虚假实体。

第二是文本片段依赖（Snippet Reliance）。许多系统出于节省 Token 的考虑，仅根据搜索引擎吐出的数十个字简短摘要便断定条件成立，根本没有深入点击真实网页并拉取完整文本核对，导致最终交付的记录漏洞百出。

第三是约束半途弃守（Non-systematic Constraint Application）。在处理前几个实体时，系统能很好地遵守“必须是 2026 年 3 至 4 月宣布”这种复合时间限制，但随着上下文不断拉长，模型开始选择性遗忘这些过滤条件，后面搜集出来的实体完全偏离了前置条件。

第四是交叉核验跳步（Cross-reference Skips）。当结构树明确要求两条独立记录来自不同机构网站以互相印证时，模型频繁出现“偷工减料”，用同一域名的两个次级页面或者直接跳过对第二证据的查验。

第五是过早停机（Premature Stopping）。在初步发起的几轮查询遭遇阻力或返回大量无关信息后，智能体倾向于过早做出“网上无法找到更多”的消极收敛判断，缺乏反复换词重搜和逆向追踪的顽强性。

第六是实体富集断裂（Missing Enrichment）。模型往往沉迷于在广度上狂搜一堆公司名字，但在深入第二层为每个公司寻找对应的核心人员与权威人事变动记录时，却由于调度混乱而直接将后半截关键链条全部置空。

第七是上下文溢出（Context Overflow）。超长链条的多步搜索积累了极其庞大的临时检索结果，迅速消耗并挤爆了模型的注意力窗口，导致模型在后续推理中认知退化、逻辑混乱。

相比传统的子代理堆叠方案，Search as Code 系统之所以能取得相对更高的分数，关键在于其将信息抓取、列表去重和格式校验下放给了确定性的代码执行环境，避免将整个搜索轨迹的原生 HTML 和文本毫无节制地全部倾倒给大模型。然而即便如此，随着树形深度与目标数量的翻倍增长，性能曲线依然表现出极陡峭的下降态势。

走向更稳健的自主知识系统

WANDR 的意义不仅在于提供了一块高难度的“试金石”，更在于它重塑了学术界与产业界对自主搜研智能体的衡量尺度。过去，研究者往往过分关注单个 Agent 写出的话语是否流畅、引用的两三个来源格式是否规范，却忽视了企业级生产环境下对于“全局召回覆盖”和“高密度证据自洽”的刚性要求。

从另一个维度看，WANDR 所提供的层次树契约、单条记录打分与密集的局部进度奖励机制，天然构成了一个极具扩展潜力的强化学习（RL）训练环境。它不仅自带清晰的课程学习难度梯度（从少量实体到海量实体、从浅层树到深层树），其基于缓存与流式处理的动态校验器还能够极大地均摊训练过程中大批量输出的评测开销。

从单点问答到万字长文，大模型展现了令人惊叹的叙事能力；但从自由挥洒的长文走向严丝合缝、动辄涵盖数百个实体与独立证据的大规模结构化调研，目前的 AI 显然还有很长的一段路要走。WANDR 揭示出的巨大性能落差证明：真正的深广搜索绝不是简单地把搜索框放进循环调用的脚本里，如何在超长执行轨迹下保持严谨的约束遵从、合理的注意力管理以及稳固的交叉验证逻辑，将是下一阶段自治研究型智能体演进的核心战场。