华为ScienceFlow：可恢复工作区加持，MLE-bench奖牌率达70.22%
ScienceFlow: A long-horizon agent for ML research, scientific discovery and beyond
长期以来，让人工智能代理（LLM Agent）像人类研究员一样自主开展科学探索与机器学习研究，一直是自主系统领域极具野心的目标。然而，当科研任务的跨度从几十分钟的单次代码生成，拉长到数小时乃至数天的连续实验时，现有的自动科研代理（Autoresearch Agents）往往会迅速陷入瓶颈。原因并不在于大语言模型不会调用工具或写不出代码，而在于当探索进入“死胡同”时，Agent 缺乏可靠的状态回溯手段，且文本上下文与底层的物理执行环境严重脱节，最终导致算力被无效探索挥霍一空。
ArXiv URL：https://arxiv.org/abs/2608.14354v1
华为诺亚方舟实验室近期提出的 ScienceFlow，正是为了打破这一长期困境而设计的端到端自主科研框架。该系统抛弃了仅依赖文字日志或浅层向量检索记忆的旧思路，将长程研究流程严格锚定在“可恢复的可执行工作区”（Recoverable Executable Workspaces）之上，并提出了基于重锚定的可执行状态转移机制（ESTRA）与证据感知的执行控制器（Evidence-Aware Execution Controller）。
在包含 75 项真实 Kaggle 复杂竞赛的完整 MLE-bench 基准测试中，ScienceFlow 在 24 小时严格预算限制下斩获了 $70.22\pm 1.18\%$ 的 Any-Medal 获奖率，比当前公开报道的最优基线高出 4.92 个百分点，且在复杂度适中的 Medium 难度赛道上实现了超 10 个百分点的显著提升。这项工作表明，长程自主科研的核心瓶颈已不再是单纯堆叠交互步数，而是如何实现“状态可追溯、路线可重锚、算力随证据动态分配”的系统级协同。
为什么长程科研 Agent 频繁崩溃？
让 Agent 解决单步或短程任务早已屡见不鲜，例如修复一处 Bug、编写一段数据预处理脚本或运行一个简单的基线模型。但在真正的机器学习工程和科学建模中，研究是一项高度不确定、试错成本极高的长周期活动。当前主流的自主研究系统在迈向长周期时，暴露出三个难以调和的核心痛点。
其一是科研状态的不可逆膨胀与执行脱节。随着实验深入，Agent 积累的不仅是对话文本，还有包含源码、处理后数据集、模型权重 Checkpoint、求解器中间文件以及评估日志的庞大物理工作区。许多现有工作试图仅靠长文本上下文或定期文本摘要来概括过去，然而压缩后的文本根本无法还原真实的执行环境；一旦底层运行环境被后续的错误修改污染，Agent 便无法可靠地重现或复用早期的中间成果。
其二是陷入死胡同后缺乏回退与转向机制。科学探索充满歧义，许多看似有潜力的构想可能在耗费大量时间与 GPU 资源后被证实是一条死路。在传统的单向线性交互中，Agent 很难主动跳出当前的局部最优或代码废墟，往往只能在已经劣化的工作区中缝缝补补，不仅无法回到历史上的良好分支，还会反复在无效代码上打转。
其三是研究决策与底层算力调度的割裂。在复杂的实验任务中，不同的实验方案价值差异巨大。现有系统往往将 LLM 的推理指令直接抛给物理环境执行，不管一个训练任务是否已经发生梯度爆炸或指标停滞，也不考虑当前剩余的时间与硬件配额。这种“不管执行死活”的松散架构，导致本就昂贵的科研算力被大量低价值、卡死或发散的任务挤占。
ScienceFlow 的立论起点正是：长程科研不能仅靠增加交互时间或算力预算，必须将物理工作区的可恢复状态、探索路线的动态转移，以及基于实证结果的物理算力调度紧密捆绑在同一套抽象之下。
核心机制：以可执行状态为中枢的闭环体系
为了给长周期科研构建稳固的地基，ScienceFlow 在形式化定义上把科研任务抽象为一个元组 $\mathcal{T}=(\mathcal{G},U_{\mathcal{G}},V_{\mathcal{G}},B,W_{0})$。其中 $\mathcal{G}$ 为科研目标，$U_{\mathcal{G}}$ 是最终效用函数（例如测试集分数），$V_{\mathcal{G}}$ 是在科研过程中可观察的验证信号（如验证集指标），$B$ 为涵盖运行时间、显存与存储等多维度的资源预算约束，而 $W_{0}$ 则是初始的可执行工作区。
系统不再让 LLM 在无限拉长的单调交互流中盲目试错，而是将整体流程切分为一系列结构严密的“研究片段”（Research Segments）。整个体系由以下三大中枢驱动运转：
1. 可恢复的研究状态与阶段关卡
在 ScienceFlow 中，研究进展不再是一串对话记录，而是被严谨定义并存储在状态归档库 $\mathcal{A}$ 中的离散状态快照 $s_{v}$：
\[s_{v}=\left(W_{v},m_{v},e_{v},\ell_{v}\right)\]其中 $W_{v}$ 是包含完整代码、权重和环境配置的物理工作区快照；$m_{v}$ 是跨片段的结构化持久记忆；$e_{v}$ 是严格记录的验证证据；$\ell_{v}$ 则是截至该状态的累积资源消耗流水。
在推进研究的过程中，系统设置了自动触发的“阶段关卡”（Stage Gate）。一旦系统捕获到特定任务产出了有效的中间结果信号，阶段关卡便会对当前结果进行评测，提取证据摘要，并对物理工作区进行完整存档。这意味着 Agent 探索过程中的每一个关键里程碑，在物理层面都是完全可复现、可直接唤醒并继续运行的实体。
2. ESTRA：重锚定与路线决策机制
当当前研究片段因为输出纯文本规划或上下文窗口触及预设阈值而宣告结束时，系统将触发核心的 ESTRA（Executable-State Transition through Re-Anchoring） 机制。这是 ScienceFlow 解决探索“死胡同”的关键一步。
此时，Worker Agent 需要做出一组二维决策 $(a_{n}, d_{n})$：
-
执行锚点选择 $a_{n} \in {s_{n}^{\mathrm{cur}}} \cup \mathcal{A}{n}$：Agent 可以选择继续基于当前的实时状态 $s{n}^{\mathrm{cur}}$ 前进，也可以主动丢弃当前劣化的工作区，从历史归档库 $\mathcal{A}_{n}$ 中挑选任意一个曾经表现优异或具有潜力的历史检查点作为新起点。
-
前进方向决策 $d_{n} \in {\textsc{extend}, \textsc{redirect}}$：Agent 需明确指定是从该锚点继续深化现有技术路线（$\textsc{extend}$），还是从该锚点彻底派生出一条全新的技术分支（$\textsc{redirect}$）。
如果选择历史锚点，ESTRA 会在物理文件系统和显存中完整回滚并还原该状态所对应的 $W_{v}$ 与记忆环境，同时保留真实的全局资源账本。这样一来，Agent 无论尝试多么激进的修改，一旦验证失败，都可以瞬间恢复到“手术前”最健康的基准状态，彻底消除了传统 Agent 越改越乱、无法回头的沉没成本风险。
3. 记忆生命周期管理与上下文重组
为了支撑 ESTRA 在长达数十小时的科研任务中准确做出抉择，系统必须在有限的上下文窗口中完整呈现过去的探索地图。ScienceFlow 通过四种记忆原子操作实现了这一点：
-
Add（增量沉淀）：每当阶段关卡触发，系统将实验指标、核心产物提炼为紧凑的“结果卡片”（Result Card）写入持久记忆 $m_{v}$。
-
Fold（记忆折叠压缩）：当记忆超出预算或片段自然结束时，系统会自动将过去的试错细节压缩折叠，仅保留宏观结论，但在底层建立索引。
-
Unfold（细节按需展开）：当 Agent 在重锚定阶段需要对比早期某个候选方案的详细日志或实现细节时，可以通过索引按需将对应的折叠信息展开至当前推理上下文中。
-
Assemble（上下文拼装）：在重锚定完成后，系统将稳定的系统指令、任务目标、所选锚点的状态视图以及方向指示动态拼接为新的初始上下文 $P_{n+1}$，让下一个研究片段得以轻装上阵。
4. 证据感知的执行控制器
与以往直接把终端权限完全扔给 LLM 的做法不同，ScienceFlow 在架构上实现了“科学决策”与“物理算力管控”的显式分离。Worker Agent 只负责提出具有明确意图的可执行计算作业，而底层的执行控制器则像一个严格的集群资源管理器，分为两阶段进行介入：
在准入分配（Admission）阶段，控制器结合作业属性、预计耗时、资源余量以及该任务在科研图谱中的预期价值，分配计算设备租约，防止大量重复作业或低效脚本抢占 GPU。
在在线审查与动态重排（Review & Replan）阶段，控制器持续监听正在运行的作业。它不仅监测进程存活与显卡利用率，更密切观察日志增量与验证指标。一旦发现某项训练发散、指标长期停滞或超过时间配额，控制器会主动介入执行 $\mathtt{STOP_AND_REPLAN}$，强制终止低效作业并将控制权交回给 Agent 进行反思。这种设计真正让昂贵的 GPU 资源根据“验证证据的质量”来进行动态投放。
实验结果：刷新完整版 MLE-bench 纪录
为了严格验证这套机制在长程任务下的稳健性，研究团队不仅在传统的受限子集上评估，更直接挑战了完整的 MLE-bench 基准。
MLE-bench 由 OpenAI 等机构发布，包含了 75 个源自 Kaggle 真实竞赛的端到端机器学习挑战，涵盖表格、CV、NLP、音频和时序等多样模态。每个任务不仅要求 Agent 自行构建可执行的数据与训练管线，最终产出的预测结果还必须提交到未公开的测试集上，根据 Kaggle 真实选手的历史排行榜进行百分位评级（铜牌、银牌、金牌）。
评估采用统一的 24 小时严格时间预算，限制单次任务最多使用 2 张 GPU 和常规 CPU/内存环境，底层模型采用 DeepSeek-V4-Flash-Preview。测试结果呈现出极具说服力的优势：
在全量 75 个任务的综合评测中，ScienceFlow 取得了 $70.22\pm 1.18\%$ 的 Any-Medal 获奖率，在三次独立运行中分别斩获了 54、53 和 51 项竞赛的奖牌，稳定性极高。相较于此前公开的最佳基线，ScienceFlow 的表现高出了 4.92 个百分点。
更深入的任务难度分布数据显示出该架构在复杂问题上的独特价值：
-
在 Lite 简单任务层，ScienceFlow 达到了 $80.30\pm 1.52\%$，匹配了业界的顶尖水准。
-
在 Medium 中等难度任务层，ScienceFlow 实现了 $74.56\pm 0.88\%$ 的获奖率，相比既往最佳基准实现了 10.52 个百分点的跨越式提升。这类任务通常代码量大、调优路径复杂，单一策略极易失效，而这正是 ESTRA 机制通过回溯和重锚定大展身手的场景。
-
在极具挑战性的 High 复杂竞赛层，系统依然取得了 $44.44\pm 2.22\%$ 的成牌率，与该项最前沿的特化探索系统保持在同一梯队。
除了机器学习竞赛，ScienceFlow 的通用架构在科学建模基准 SciModelingBench 上同样获得了最佳的组平衡得分，并在多项复杂的数学与组合优化难题中推平或超越了已公开的前沿解，证明了这套以可执行工作区为核心的状态抽象具有出色的跨学科通用性。
深入洞察：为什么“重锚定”与“算力把控”不可或缺？
为了探究系统性能跃升背后的深层动力，论文通过反事实回放（Counterfactual Replay）与长周期追踪，揭示了长程科研 Agent 的运行动力学特征。
在典型案例追踪中（例如连续运行 24 小时的海上冰山雷达图像分类竞赛），传统的 Agent 往往在第 3 到第 4 个小时就会因为过度调优某一种有缺陷的特征工程而导致验证集与测试集表现同时断崖式下跌。而在 ScienceFlow 的运行轨迹中可以清晰看到，当后续实验连续两次无法产生超过历史最佳检查点的验证信号时，ESTRA 机制果断丢弃了数小时内产生的数百行冗余代码，直接重锚定回第 2 小时保存的轻量化骨干网络工作区，并向 Agent 注入“切换特征融合架构”的重定向指示。
更具启发性的是状态匹配的反事实实验。研究团队在关键决策节点上强行对比了四种不同的系统策略：基于当前状态继续延伸、基于当前状态重定向、回退历史状态延伸，以及回退历史状态重定向。统计表明，在研究中后期，选择将历史优质状态作为新锚点并执行重定向的期望效用提升显著优于盲目在当前被污染的工作区中打补丁。没有物理级别的状态快照与环境还原能力，这类高价值的探索跃迁根本不可能发生。
此外，证据感知的执行控制策略将大量无效计算扼杀在摇篮中。实验统计显示，物理执行控制器通过提前终止指标停滞的训练任务，为高潜力的模型融合与特征搜索省出了近 35% 的有效计算时间。在长达 24 小时的开放探索中，正是这些节约下来的有效算力，使得 Agent 有机会完整跑完多轮次、高质量的模型集成流程。
对自主科研 Agent 的启示
从更宏观的视角审视，ScienceFlow 为未来自主智能体系统的构建提供了几点极具实用价值的范式参考：
第一，文本记录无法替代物理环境的保真度。在大模型 Agent 涉及复杂生产力场景（如软件工程、科研实验、量化建模）时，仅仅管理 Token 级别的对话记忆远远不够。只有将代码、依赖、中间产物和计算图谱作为一等公民（First-Class Citizens）纳入状态管理，系统才具备真正的可恢复性与容错能力。
第二，科学探索的核心是“懂得放弃与回退”。人类顶级科研人员与普通研究者的差异，往往不在于提出假设的初速度，而在于能否在验证证据不足时迅速止损、回到分岔路口重新审视。ESTRA 机制的形式化实现，为解决大模型在长程任务中常见的“执拗与不可逆沉沦”提供了一套标准化解法。
第三，智能必须与资源约束深度闭环。未来的 AI 代理不再是漂浮在沙盒上方的纯思考者，它必须学会在多维现实预算（时间、显存、存储、配额）下进行带约束的最优化规划。将执行控制逻辑外置并与实证信号紧密挂钩，是让大模型技术从“玩具演示”走向“生产级自主科研”的必由之路。
ScienceFlow 的出现表明，赋予大模型以科学创造力，不仅依赖于底座大模型推理能力的自发涌现，同样依赖于计算机系统工程在状态抽象与算力调度上的精密重构。随着这类长程自主代理框架的持续演进，真正能够独立完成复杂假设验证与实验闭环的“AI 科学家”，正在从概念验证迅速迈向工业级现实。