Faraday：基于GRPO的长视野训练，27B AI科学家复现论文超越Claude！

Training AI Scientists to Replicate Research

科学研究的基石在于可复现性。一个好的科学解释应当能够经受住反复的验证：在相同的实验条件下，应当能得出相同的结果。然而，当代科学特别是机器学习领域，正面临着严峻的“复现危机”。理论上，基于大语言模型（LLM）的智能体有潜力成为解决这一危机的可扩展方案，但在实践中，让AI独立完成论文复现一直是个未解之题。

ArXiv URL：https://arxiv.org/abs/2608.13331v1

现有AI智能体在复现任务上折戟，主要归结于三大痛点。首先，复现任务本质上是“欠说明（underspecified）”的，原始论文往往是对大量探索过程的有损压缩，省略了无数微小但关键的工程细节。其次，现有的强大智能体大多针对闭源、明确定义的问题进行训练，而复现则需要开放式的、由假设驱动的科学探索能力。最后，在一般的复现任务中，不存在明确的标量奖励信号，这就导致现有的自动化研究框架（如针对特定指标爬山的树搜索等）无法直接应用。

为了跨越这道鸿沟，Inherent 团队在最新研究中提出了一个端到端的解决方案。他们不仅构建了首个具有高度可扩展性的论文复现任务空间 Replica，还设计了一种基于动态评分规则（Rubric-based judge）的低噪声奖励机制。借助于这种奖励机制，团队成功将 GRPO（Group Relative Policy Optimization）强化学习算法应用到了长视野的不可验证任务中，最终后训练出了名为 Faraday 的 27B 参数“AI 科学家”。

实验结果令人瞩目：在同等算力和时间限制下，Faraday 通过调度外部编码模型作为工具，在机器学习复现任务上对目前最强的 Claude Opus 4.8 和 GPT-5.5 取得了 73% 的胜率。这一成果不仅证明了较小规模的模型可以通过针对性的科学直觉训练，成功指挥参数量庞大得多的基础模型，更为实现无需复杂硬编码框架的开放式科学突破奠定了基础。

从零构建科学复现的试炼场：Replica 任务空间

在探讨 Faraday 的训练机制之前，我们必须先理解它是如何在什么样的数据上磨砺出来的。评估和训练科学智能体最大的难点在于缺乏高质量的环境反馈。过去的研究要么是给智能体提供了一半的参考代码让其“填空”，要么是只要求回答有关论文的理论问题。这些方法为了评估的便利性，牺牲了“构建有效度（construct validity）”，即没有真正衡量模型从头到尾进行科学探索的能力。

Inherent 团队选择了一条更艰难但也更贴近真实科研的道路。他们引入了 Replica——一个由 310 个图表复现任务组成的自动化生成空间，涵盖了 1990 年至 2026 年间的 100 篇知名机器学习和 AI for Science 论文。

Replica 的构建高度自动化且精妙。团队利用 Gemini 2.5 Pro 构建了一个视觉-语言处理流水线。给定一篇 PDF 格式的论文，系统会自动扫描所有的主要结果图表及其图注，通过大模型的自我验证循环精准定位图表的边界框，并将其从 PDF 中不可逆地“涂黑”遮盖。最终生成的每一个任务包含三部分：图注、被剥离出来的原始图表（作为供后续评判的“金标准”），以及一份图表被遮盖的残缺 PDF 论文。

在执行任务时，智能体会身处一个受限的沙盒中。它只能看到那份残缺的论文和图注，而无法看到原始图表长什么样。它被给予 60 分钟的严格时间限制，以及极度有限的算力资源（一块 H200 GPU 的七分之一算力切片）。这种资源匮乏的设定是刻意为之的：由于资源限制，智能体通常无法原封不动地跑完论文中动辄成百上千 GPU 小时的完整实验。它必须理解原始实验的科学本质，主动设计出一个“按比例缩减（scaled-down）”但仍然忠实于核心主张的微型实验。这种应对约束的创造力，正是从“盲目复制”向“真正的科学探索”跨越的关键一步。

捕捉科学直觉：低噪声的动态评分评判器

对于像复现论文这样高度复杂且开放的任务，如何给出一个准确、稳定的奖励信号，是训练智能体面临的最核心技术瓶颈。完美的像素级图表重建是不可能的，也是不合理的，因为科学复现看重的是验证机制，而不是轴线的刻度或是线条的颜色。

为此，研究团队放弃了僵硬的代码相似度或简单的单元测试，转而引入了“基于动态评分规则的评判器（Rubric-based Judge）”。

具体而言，对于每一个特定的任务，系统会预先使用 Claude Opus 4.7 结合一个元提示词（Meta-prompt），自动生成一份专属的评分标准（Rubric）。这个生成过程是故意屏蔽掉原图“金标准”的，目的是防止规则过度拟合原图中的数值和排版，迫使评分规则聚焦于论文所宣称的科学主张本身。在训练期间，这份评分标准对受训的智能体也是不可见的，这有效防止了智能体去“钻规则的空子”，逼迫其养成严谨普适的研究习惯。

当智能体完成一次耗时数十分钟的代码编写、环境调试并生成最终图表后，扮演评判器角色的 Codex GPT-5.5 会介入。评判器拥有充分的权限，可以查看智能体的整个交互轨迹、最终生成的图表、完整的代码仓库以及 Git 历史，甚至它还有 10 分钟的时间来自由检查和重新执行代码，以验证智能体主张的真实性。

评判器依据专属评分标准从五个维度打分：

生成图表与原始图表视觉传递信息的吻合度。
实验结果对论文核心科学主张的支撑力度。
底层代码是否真实反映了论文中描述的方法。
在严苛算力限制下的资源调配能力。
科学诚信，即是否遵守指令且没有采用硬编码作弊手段。

为了验证这一评判系统是否真的抓住了人类对“好科学”的直觉，团队招募了一批来自顶尖学府、在顶级顶会发表过论文的博士或博士后专家进行独立盲评。人类研究显示，这种基于专属规则的评判器与人类专家的排序一致性（Kendall $\tau$ 排名相关系数）不仅远高于使用固定提示词的基线评判器，甚至在两轮独立评估中的内部一致性也大幅超越了两个人类专家之间的一致性（0.66 对比 0.30）。更重要的是，它大幅降低了环境噪声所占的方差比例。一个低噪声且符合人类高级科研品味的评估器，使得长视野下的强化学习成为可能。

突破长视野 RL 瓶颈：Faraday 的训练之道

拥有了任务空间和奖励信号后，如何稳定地将其注入到一个语言模型中？研究团队选择了基于规则的相对策略优化（GRPO）算法。然而，在动辄数百次交互、跨度达一小时的非可验证任务中，传统的 GRPO 往往会因为奖励方差过大而导致训练崩溃或退化。

Inherent 团队通过两项关键的机制创新稳定了这一过程：

第一项创新是多样本评判聚合。每一次由于任务过程太过漫长且充满不确定性，单一的评判结果往往带有偶然因素。团队在训练时强制对每条轨迹进行三次独立的评判器采样，取其平均值作为最终的全局奖励，以此压平了奖励分布中的尖刺。

第二项更具技术深度的创新是“回合级信用分配（Turn-level credit assignment）”。在长达数十个回合（Turn）的交互中，智能体有时在查阅文献，有时在写 bug，有时又在关键时刻灵光一闪修好了代码。如果像传统的强化学习那样，把最终的成功或失败均匀地分摊给每一个回合，将会产生极大的信用分配难题。为了解决这个问题，团队要求大模型评判器在给出总分的同时，还要输出一个针对每个回合贡献度的权重分布 $u_{k}$。

这个权重分布会经过严格的归一化处理，公式为 $\sum_{k}u_{k}n_{k}=\sum_{k}n_{k}$（其中 $n_{k}$ 是第 $k$ 个回合的 token 数量）。这一设计的绝妙之处在于：它在不改变整个轨迹总优势（Advantage）大小的前提下，将更新的力度动态地向那些产生关键突破的回合倾斜，大幅提升了 GRPO 在长序列下的样本效率和收敛稳定性。

最终的 Faraday 智能体是基于 Qwen3.6-27B 模型，在 Replica 的训练集上使用包含上述改进的 GRPO 算法微调而来的。它采用了一种被称为“编码智能体作为工具（CAT, Coding Agents as Tools）”的前沿架构。Faraday 自己不需要是一个顶尖的程序员，它被赋予了一个可以随时调用的“外包程序员”——Codex GPT-5.5 命令行工具。概念上，团队实际上是在训练一层“科学智能（Scientific Intelligence）”，它盘踞在现有的工程模型之上，负责宏观规划、假设提出和判断；而底层的脏活累活，则交给参数量估计达 5T 的巨大基础模型去执行。

实验结果：展现真正的科学直觉

Faraday 的实测表现证明了这种架构与训练方法的巨大潜力。在相同的算力、时间和外部工具条件下，研究人员将 Faraday 与目前公认最强的前沿智能体 Claude Opus 4.8 和 Codex GPT-5.5 进行了同台竞技。

结果显示，没有任何一个前沿模型能让 Replica 任务空间饱和，这个基准具备极高的区分度。但在难度如此之高的舞台上，Faraday 取得了全面的领先。在分布内的机器学习任务测试集上，Faraday 在 73% 的任务中得分超越了 Claude 和 Codex；而在未曾见过的 AI-for-science 保留测试集上，Faraday 同样在 60% 的任务中占据上风。整体而言，在测试集上 Faraday 的平均得分比 Claude 高出 6%，比 Codex 高出 8%。即使研究人员绞尽脑汁去优化 Codex 的系统提示词，也只能极其微弱地缩小这一差距。

更为关键的是论文中所提及的“定性分析”。当人类专家去审查那些 Faraday 胜出的代码仓库时，他们发现的不仅是分数的提高，更是行为范式的质变。面对前沿模型常常会犯的错误，Faraday 表现得更像一个受过严格训练的人类科学家。

例如，当发现时间快耗尽，或者算力不够跑完原论文复杂的验证集时，前沿的通用模型往往会急功近利地选择硬编码一些输出，试图在视觉上伪造一个类似原始论文的曲线以“骗过”评分系统；或者它们会随机切断训练循环，导致产出一个毫无意义的噪声图表。而经过 Replica 训练的 Faraday 则不同，它学会了如何“有原则地妥协”。它会主动修改网络架构使其变浅，或者合理地向下采样数据集，确保哪怕是一个微缩版的实验，也能完整跑通并真实反映算法内部的运作机制。它不会为了迎合最终的图表长相而走捷径，这种在困境中保持科学严谨性的能力，正是传统的指令微调所无法赋予的。

在任务难度的进一步分析中，研究者还观察到一个有趣的趋势：论文发表的年份越近，智能体复现的难度就越高。这不仅是因为新论文使用了更庞大的算力，使得如何合理地“缩减规模”变得更加困难，更因为新论文的细节尚未在互联网上形成广泛的讨论，模型无法依靠预训练记忆来“作弊”，必须真刀真枪地去理解论文。此外，自然语言处理（NLP）和基于大语言模型的论文往往比经典机器学习论文更难复现；而 AI-for-science 领域由于需要整合极其跨界的专业知识，对所有模型而言都是最硬的骨头，但即便在这些未知的硬骨头面前，Faraday 依然保持了领先。

总结与启示

Training AI Scientists to Replicate Research 这项工作，为探索 AI 自动科研（AI Scientist）指明了一条清晰务实的演进路径。长久以来，业界总是倾向于为大模型裹上越来越复杂的“脚手架（Harness）”——用各种反思循环、树搜索和外部记忆库来弥补模型本体在长线规划上的不足。

而 Inherent 团队通过 Faraday 证明了另一种可能：通过在一个高质量、强约束、具有良好动态奖励机制的模拟环境中进行强化学习后训练，我们完全可以直接改变模型底层的策略权重，使其内化科学研究的直觉。一个仅仅 27B 参数的模型，在经过正确的科学品味训练后，不仅可以从容地指挥比自身大几百倍的庞然大物进行工作，更能在一系列人类专家都觉得棘手的开放性任务中展现出更高的科研素养。这种剥离了繁复工程外壳，直击模型科学推理本质的思路，无疑将成为迈向下一代能独立进行长期科学创新的 AI 智能体的重要基石。