ASI-Bench：撤除人类科研指导后，顶尖AI得分直降24分
ASI-Bench: At the Dawn of Artificial Superintelligence
在通往超级人工智能（Artificial Superintelligence, 简称 ASI）的道路上，整个学术界和工业界正面临一个隐秘的错觉：当前的大模型在各类测试榜单上屡创佳绩，在科学推理、代码生成和数据分析等任务中表现出惊人的成熟度。然而，这种繁荣很大程度上建立在对人类已有知识的学习、压缩与应用之上。当下的 AI 系统在面对有明确答案的问题，或者在人类高度指定了方法和步骤的任务中表现优异，但这并非真正的“超级智能”。真正的 ASI 必须跨越已知知识的边界，具备探索未知、创造新知识并将全新想法转化为可验证结果的自主能力。
ArXiv URL：https://arxiv.org/abs/2608.17271v1
为了揭开当前 AI 系统在真实科学探索中的底牌，来自清华大学、麻省理工学院、哈佛大学、微软研究院等顶尖机构的四十多位专家，耗费超过三万一千个人类工作小时，共同打造了首个面向 ASI 曙光期的评测基准 ASI-Bench。与以往单纯测试知识储备或固定流程执行的基准不同，ASI-Bench 构建了跨越 11 个基础科学与工程领域的 60 个项目级科研任务。其最核心的机制在于：在同一个科研项目中，逐步且动态地撤除人类的方法论指导，以此来极限施压，测试当人类完全放手时，AI 到底能走多远。
实验结果揭示了一个冷酷的现实。在测试了 18 种最先进的“智能体与模型”组合后，研究人员发现，当提供完整的方法论和操作步骤指导时，系统的平均得分为 50.91 分；但当要求智能体完全自主决定研究方法时，得分暴跌至 26.62 分。这一高达 24 分的断崖式下跌，明确无误地表明：当前的顶尖 AI 系统仍然极度依赖人类的“保姆式”指导。它们距离能够端到端自主进行项目级科学研究，仍有极其漫长的道路要走。
要理解 ASI-Bench 为何能精准测出当前大模型的软肋，必须先看清传统评测基准的盲区。现有的基准如 Humanity’s Last Exam (HLE) 在拓展跨学科前沿知识方面做出了巨大贡献，而 SWE-bench 和 Terminal-Bench 则在代码能力和长周期工具调用上设立了标杆。然而，这些测试通常预设了明确的目标、已知的答案或固定的评价路径。它们考察的是“执行力”和“记忆力”，而非“科研创新力”。
ASI-Bench 的设计哲学是还原真实的科研环境。该基准中的每一个任务都不是孤立的问答题，而是一个复杂的、长周期的科学调查项目。系统需要从理解研究目标和处理特定数据开始，贯穿方法选择、代码实现、实验运行、失败诊断、迭代优化以及最终结果验证的全生命周期。在 60 个项目中，完成这些流程平均需要超过 2600 次交互和 2400 个执行步骤，单个智能体的运行时间往往超过 35 小时。这种级别的复杂性，要求系统在面临开放式决策点时，能够从失败的尝试中恢复，并根据中间结果修正后续动作。
为了精确衡量“自主性”这一抽象概念，研究团队设计了一种被称为“指导梯度退化”的 B1 到 B4 测试框架。这一框架在保持研究问题、底层数据、输出要求和评分标准完全不变的前提下，人为控制提供给 AI 的信息量。在 B1 阶段，AI 享受最高级别的待遇，获得完整的指导，包括具体的偏微分方程、数值公式以及求解器步骤，AI 主要是将人类的智慧转化为可执行的工作流；进入 B2 阶段，具体的实施步骤被抽离，AI 仅被告知应该使用哪种特定类别的数值方法；到了 B3 阶段，所有方法论提示被完全抹除，AI 只能看着原始的时空数据和最终的科学目标，自己去推导底层模型、选择数值方法并完成验证；最后的 B4 阶段则在 B3 的基础上加入了似是而非的干扰信息，测试系统在迷雾中保持科研方向的鲁棒性。
这种阶梯式的测试机制，首次将“执行预设程序”、“将抽象方法转化为工作流”以及“独立进行科学发现”这三种能力剥离开来。通过这种剥离，ASI-Bench 发现了一个极为反直觉且深刻的结论：AI 科学探索的真正瓶颈，并不在于“想不出用什么方法”，而在于“无法将方法落地为具体步骤”。
数据清晰地印证了这一点。从 B1（完整指导）到 B2（仅提供方法名称），系统的平均性能从 50.91 分锐减至 29.10 分，跌幅高达 21.82 分。然而，当把最后一点提示也拿走，从 B2 降级到 B3（完全自主决定方法）时，性能仅仅进一步下降了 2.48 分，停留在 26.62 分。这种巨大的非对称性说明，当前系统从一步步的详细指导中获益极大，但仅仅告诉它们“去用某种方法”，对它们的帮助微乎其微。换句话说，大模型知道很多高深的科学理论和方法名词，但一旦缺少了人类帮它们拆解出的执行细节，它们就无法将这些理论转化为连贯的研究行动。同时，B4 阶段 26.99 分的成绩与 B3 几乎持平，这表明无关的干扰信息并未对系统造成实质性破坏，因为系统在缺乏程序性指导时，本身就已经举步维艰了。
在评估这些系统时，ASI-Bench 还揭示了另一个常常被忽视的维度：智能体框架（Harness）对基础模型能力的重塑作用。在当前的评测语境中，人们往往将科学探索能力直接归功于底层的大语言模型。但实验证明，同一个骨干模型在不同的智能体外壳下，表现天差地别。例如，MiMo V2.5 Pro 模型在使用 MiMo Code 框架时得分为 16.17，但切换到 Claude Code 框架后，得分飙升至 23.25；Kimi K2.7 模型也展现了类似的规律。这表明，项目级的科学研究能力不仅仅是模型参数量或推理能力的直接映射，它更是模型与智能体执行、错误恢复、资源组织机制之间复杂交互的涌现结果。这也为未来的 AI 研发指明了方向：除了无脑扩大模型规模，优化智能体的脚手架系统同样是通向自主科研的关键路径。
除了对能力的极限施压，ASI-Bench 还在计算经济学层面提供了一组极其重要且违反直觉的发现。人们通常认为，给 AI 提供的提示越少，AI 需要自主探索的空间越大，耗费的算力和时间就越多。但真实情况远比这复杂。
实验记录显示，B1 阶段（完整指导）是计算成本最低的，平均每个任务只需消耗 435 万个 Token 和 37.8 分钟。当完全移除指导进入 B3 阶段时，消耗的 Token 和时间分别增加了 25% 和 22%，这符合预期，因为 AI 需要更多的试错来寻找方向。然而，令人震惊的是，B2 阶段（仅提供方法名称）反而成为了最昂贵的设置。在 B2 阶段，系统平均每个任务消耗 691 万个 Token 并运行 49.7 分钟——比 B1 阶段多消耗了 59% 的 Token 和 32% 的时间。
这一现象揭示了人类指导与 AI 计算成本之间的非线性关系。提供完整的指导可以大幅降低搜索空间的维度，从而极大地节省算力；但提供“半吊子”的指导（如 B2 阶段），反而会成为 AI 的诅咒。在 B2 阶段，AI 被强制限定在某一个具体的方法方向上，但又没有具体的实施细节，这导致系统在死磕这一特定路径时陷入无尽的微调和错误尝试中。相比之下，在完全自由的 B3 阶段，AI 反而可以根据自己的能力边界灵活调整策略，如果某条路走不通，它可以果断放弃并尝试替代方案，从而在一定程度上控制了无谓的计算消耗。这一结论对于未来人类与 AI 科学家的协作模式具有深远的指导意义：要么给出事无巨细的执行说明，要么就彻底放权让 AI 自己去探索，模棱两可的半指导只会带来巨大的算力浪费。
此外，算力投入与最终的科学产出也并不呈严格的线性正相关。以 Codex 结合 GPT-5.6 xhigh 的系统为例，其在 B3 阶段取得了 40.86% 的成绩，每次运行的成本约为 684 美元；而与之性能相近的 Claude Opus 5 结合 Claude Code，其每次运行的成本却高达 2728 美元。虽然投入更多的算力（例如使用极其昂贵的 GPT-5.6 Ultra）确实能将成绩推高至本次评测的最顶峰 51.60%，但巨大的成本差异表明，现有的很多系统在解决开放性科学问题时，内部存在极高的效率损耗。在资源受限的真实科研场景中，如何选择性价比最优的系统配置，将成为一个重要的工程考量。
ASI-Bench 的诞生，不仅是一个评测榜单的更新，更是对整个 AI 领域研究重心的重新校准。几个百分点上的“刷榜”提升，在传统基准上或许值得庆祝，但在 ASI-Bench 这样高度拟真的科学无人区里，无法掩盖当前系统在独立探索能力上的严重缺失。真正的超级人工智能，绝不仅限于成为人类知识的超级压缩包或完美听话的执行器，它们必须跨过“方法论落地”这道鸿沟，在迷雾中自主建立假设、推导步骤并完成验证。ASI-Bench 通过三万多小时的心血，为这一漫长征途锚定了一个清晰的坐标系，提醒着所有人：在迈向超级人工智能的黎明时分，我们距离真正的天亮，还有很长的一段黑夜要走。