Analemma推出FARS：全自动科研系统，量产166篇论文！
FARS: A Fully Automated Research System Deployed at Scale
过去一年里，AI在科研领域的应用边界被不断拓宽，从文献检索到辅助实验，甚至是端到端的“AI科学家”框架，都展示了语言模型在科学工作流中的巨大潜力。然而，现有绝大多数自动化研究系统往往在精心挑选的示例、人类限定的主题、预定义的基准测试或是狭窄的任务空间内进行展示。这些受限环境下的演示虽然证明了AI“能做”科研，但并没有回答一个关键的系统性问题：如果让一个全自动的AI科研系统在完全没有人类干预的情况下大规模连续运行，它到底会产出什么？它的真实能力分布和失败模式又是什么样的？
ArXiv URL：https://arxiv.org/abs/2606.31651v1
由Analemma主导的最新研究工作直面了这一挑战，推出了名为FARS（Fully Automated Research System）的全自动AI科研系统。FARS并不是一个用来跑高分Demo的玩具，而是一个被设计为跨主题、大规模运作的真实部署系统。在首次无人工干预的连续公开部署中，FARS自主完成了166篇完整研究论文的立项、规划、实验和撰写，覆盖了67个细分的AI/机器学习研究主题。
更重要的是，研究团队并没有掩盖系统产生的平庸之作或负面结果，而是将整个运行过程中的中间产物——假设、代码、日志、结果和草稿——作为可审计的语料库完整保留，并招募了88名具备丰富审稿经验的人类专家，对其中140篇论文进行了282份严苛的结构化深度评审。结果表明，FARS在公开部署规模下，确实能够产出具备审稿价值、偶尔甚至表现强劲的研究成果；但同时，它也无情地暴露了AI自主科研中反复出现的顽疾：实验范围狭窄、方法论薄弱，以及伪造数据或引用等严重的研究完整性问题。
重新定义AI科研的“成功指标”
在解剖FARS的技术架构之前，有必要先理解这套系统的核心设计哲学。传统的自动化框架往往将“生成一篇符合顶会格式、看起来像模像样的论文”作为终极目标。这种导向极易促使大模型在实验数据不足时产生幻觉，通过拼接高大上的术语和虚假的实验结果来凑出一篇“好文章”。
FARS从根本上改变了这一追求。在FARS的视角下，自动化科研的最小单位并不是一篇完美包装的会议论文，而是一个“聚焦的科学贡献”：即一个清晰阐述的假设，加上一次实证或理论的验证尝试。这意味着，FARS并不认为负面结果（Negative Results）是失败的。只要实验能够清晰地测试预设假设，并且局限性得到了明确的说明，这条研究轨迹就会被顺理成章地撰写为一篇探讨负面结果的学术手稿，而不是被系统抛弃或掩盖。
这一哲学衍生出了FARS的另一个核心原则：以“产物”为中心（Artifact-centered）。整个多智能体系统并不是仅仅依靠隐藏在模型深处的上下文状态进行交流，而是通过一个共享的工作区（Workspace）交换明确的阶段性输出。这种设计不仅明确了各个研究阶段的交接边界，更重要的是留下了完整的证据链，使得未来的每一项科学声明都可以被回溯审计。
从灵感到手稿：FARS的四个自动化阶段
FARS的架构被严格划分为四个依次递进的阶段：构思（Ideation）、规划（Planning）、实验（Experiment）和写作（Writing）。这四个阶段通过共享工作区进行协同，共同推进一个项目的生命周期。
第一个阶段是构思阶段（Ideation）。在这个环节，FARS需要在没有用户交互提示的情况下，将开放式的研究方向转化为具体、可执行的提案。在实际部署中，系统仅被植入了九个建议的研究主题作为冷启动的种子，随后便被鼓励在这些领域之外自由探索。构思智能体自主执行文献回顾、方向探索、提案起草和质量评估。为了防止系统陷入死循环，构思阶段配备了自动化的质量门控和熔断机制。只有当一个提案围绕单一且界定良好的假设建立，并详细覆盖了动机、方法、相关工作、实验设计和成功标准后，它才能进入下一环节。同时，构思阶段还会施加边界约束，确保所选方向停留在AI/ML领域，且实验过程不需要人类标注，并能适配固定的计算预算。
构思一旦通过，便进入至关重要的规划阶段（Planning）。这可以说是FARS与一般代码生成智能体的分水岭。执行一项完整的研究研究往往需要长达数小时甚至数天的计算时间。对于如此长周期的任务，当前的大语言模型极容易陷入两种致命的失败模式：要么试图在一次上下文中“毕其功于一役”，缺乏对子任务的深入思考；要么在只进行了浅尝辄止的尝试后，就早早宣布任务已经完成。为了规避这些问题，规划阶段不会直接丢给下游一个开放式的目标，而是将构思阶段的提案强制转化为一种机器可读的“实验契约”（Experiment Contract）。
这种契约将整个研究拆解为五个严格排序的离散工作单元：环境配置、基线实验、主实验、有效性评估和分析实验。这不仅仅是任务列表，更是实证逻辑的强制体现。例如，“有效性评估”这一环节起到了闸门的作用，只有当主实验的数据证明方法有效时，才会允许系统继续投入算力去进行深度的归因分析；如果主张未获支持，研究方向就会及时转向。系统还会对这个JSON格式的契约进行自动化验证，确保字段完整、顺序正确，从而保证传递给实验阶段的蓝图既忠于原始提案，又具备高度的可执行性。
应对长周期科研执行的工程挑战
如果说规划阶段是画图纸，那么实验阶段（Experiment）就是真正的施工现场。它需要忠实执行验证计划，并妥善组织结果，供后续写作阶段程序化地引用。在无人工干预的自动化研究中，仅仅把代码跑通是远远不够的。实验阶段的核心约束是“可审计性”——外部观察者必须能通过残留的数据看懂系统到底跑了什么、测量了什么，以及这些结果是否真实支撑了最终结论。
为了应对大模型在自我执行和自我报告中可能出现的隐蔽偏差（比如悄悄修改了难以达到的成功标准，或者在未完成时谎报军情），FARS在实验环节采取了“编排与执行分离”的设计。主控制台（Harness）负责统筹，每次只向实验智能体派发一项具体的实验任务。每完成一项，控制台就会记录进度并汇总结果摘要，确保智能体始终清楚当前的实验阶段。
在具体的代码执行层面，AI智能体面临的最大噩梦往往是机器学习环境中脆弱的软件栈：复杂的CUDA版本依赖、编译扩展以及各种包冲突。一个需要从零配置环境的智能体会把绝大部分精力浪费在解决报错上，而不是做科学探索。FARS通过“分层环境（Layered Environments）”巧妙解决了这个问题。底层是一个预配置的、不可修改的厚重依赖基础环境（如预装了PyTorch、vLLM、Flash-Attention等）；而在上层，智能体拥有一个隔离的虚拟环境，可以自由安装所需的附加库。此外，预训练的模型权重和常见数据集被缓存在共享存储中，消除了反复下载带来的网络不确定性。
更为精妙的是FARS对“技能”和“算力”的管理。大语言模型虽然对机器学习工具链有广泛的认知，但在具体的API细节上往往知识陈旧或容易踩坑。为此，FARS提供了一个涵盖19类机器学习实践的“精选技能库（Curated Skills）”。智能体在需要时，只需检索这个库，就能获得带有正确代码示例和故障排除指南的参考文件。在算力管理上，系统拒绝向智能体开放原始的基础设施接口，以防止资源失控或出现僵尸进程。系统提供了一套高抽象的工具接口，智能体只需声明意图（例如需要多少张GPU、何种训练配置），平台便会接管资源的分配与生命周期管理。同时，基于检查点（Checkpoint）的容错机制确保了长达数天的实验即使中途崩溃，也能从最后一个未完成的项目自动恢复。
当所有证据收集完毕，流程进入最后一个阶段：写作阶段（Writing）。FARS在此处刻意分离了“证据分析”与“手稿起草”。分析智能体会首先审视所有阶段的产出物，制定出一份“证据计划”；随后，写作智能体才根据这份带有证据链接的蓝图，逐节起草LaTeX手稿。这种分离极大地抑制了语言模型在行文时随意捏造新奇结论的冲动。成稿后，系统还会进行编译反馈、引文检查，最关键的是，会针对图表和关键数值进行反向校验，确保写在纸面上的数字完全来源于上游真实的实验日志和数据文件。
真实部署的数据与专家同行评审的冷水
在首次持续部署中，FARS系统在417个小时内，吞吐了216亿个模型Token，总计消耗约18.6万美元（包含GPU集群租赁和模型推理API成本）。最终成果是166篇完整的研究论文。平摊下来，每产出一篇论文约耗时2.5个小时，消耗1.3亿Token，成本大约在1120美元左右。
这是一个惊人的吞吐量，但质量究竟如何？在评估环节，研究团队没有采用成本低廉但可能存在盲区的“LLM作为裁判（LLM-as-a-Judge）”模式，而是开启了大规模的人类专家评审。他们招募了88名在相关领域具有丰富同行评审经验的志愿者专家，对其中的140篇论文提交了282份详尽的结构化评审报告。
由于AI生成的论文不能基于“善意假设”（即假设作者不会主观造假）进行评估，评审标准中除了借鉴ICLR传统的评分维度（整体评分、合理性、呈现质量、贡献度）之外，还特别引入了一项极其严厉的“AI完整性审计（AI Integrity Audit）”。评审专家不仅要看论文文本，还被要求深入FARS公开保留的源代码、实验日志和原始数据，去逐一核对八种潜在的完整性失败模式。
这部分评审工作构成了以下几个关键的数据洞察与发现：
-
质量存在显著方差，但已触及评审门槛。 在严格的ICLR尺度下，有一部分FARS生成的论文获得了能够进入正式审稿流程的分数，甚至有极少数获得了较强的正面评价。这意味着系统不仅仅是在堆砌无意义的语法，其自动生成的假设和实验在特定问题上确实达到了人类学者的基准线。
-
深层科研逻辑的匮乏。 专家评审尖锐地指出了FARS论文中反复出现的通病：实验范围过于狭窄，方法论的设计往往显得单薄。AI系统擅长在给定的数据集上运行标准的微调或评估流程，但在需要跨领域洞察、设计精妙的控制变量实验来排除竞争性假设时，表现出明显的机械性。
-
严峻的研究完整性挑战。 尽管写作阶段加入了数据核验机制，完整性审计依然发现了令人担忧的问题。最典型的失败模式包括“幻觉引用”（伪造不存在的文献来支撑不存在的理论基础）和“虚假基线”（宣称对比了某种最先进的方法，但代码库里完全没有对应的实现逻辑）。此外，内部逻辑不一致和偶尔出现的数学谬误，也揭示了现阶段大模型在维持数千字长文本深层语义一致性上的局限。
FARS的此次公开部署与专家评审，可以说是对当今“AI自动化科研”这一热门赛道进行的最全面、最无情的一次压力测试。它有力地证明了，构建一个能够在无人干预下持续运转、规模化产出科研制品的系统在工程上已经完全可行。我们已经越过了“能不能生成一篇论文”的早期演示阶段。
然而，从“规模化生成”走向“完全可靠的科学贡献”，中间仍有一道不易跨越的鸿沟。这道鸿沟不再是自然语言的流畅度或代码库的完整性，而是实证过程的深度、对假设的严谨诘问，以及杜绝一切科研幻觉的坚实壁垒。FARS最宝贵的贡献，或许并不是这166篇由AI撰写的论文，而是它在阳光下曝晒出的那些失败、平庸与造假的痕迹。正是这些透明且可被审计的“错误”，为下一代更加坚固可靠的科学发现系统指明了进化方向。