MDA：不是拟合曲线！LLM协同贝叶斯实验设计，极少干预发现因果世界模型
Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models
当人类面对一个未知的自然系统时，科学探索的核心从来不是被动地给历史数据画一条平滑的拟合曲线，而是提出假设、主动干预并观察反馈，最终归纳出隐藏在现象背后的物理规律。在机器学习领域，随着大语言模型与高容量函数拟合器的兴起，人们往往容易产生一种错觉：只要数据量足够庞大、模型参数足够多，世界的一切规律都可以被“预测”出来。然而，因果推断理论早就给出了清醒的判决：被动观测只能回答“系统接下来可能是什么状态”，却永远无法可靠回答“如果我实施了一项从未执行过的干预动作，系统会发生什么”。
ArXiv URL：https://arxiv.org/abs/2608.09696v3
在因果阶梯中，这种回答“如果做了某事（what-if）”的能力属于第二层级，它必须依赖能够描述数据生成过程的机制因果模型（mechanistic causal model）。由于被动观测数据存在固有的不可辨识性——两种完全相悖的内部机制在常态观测下可能产生几乎一致的输出轨迹——想要打破这种简并状态，唯一的途径就是主动施加扰动。然而在现实世界中，进行物理发射、生化试剂合成或神经电生理记录等实验极其昂贵。如何在尽可能少的实验次数内，精准锁定真实机制，成为了构建科学世界模型的核心瓶颈。
不列颠哥伦比亚大学（UBC）的研究团队提出了 MDA（Model Discovery Agent，模型发现智能体）。这项研究打破了以往“纯大模型试错”与“传统静态贝叶斯推断”各自为战的局限，首次将大语言模型的开集假设生成能力与贝叶斯实验设计严密耦合。MDA 不仅在物理学力定律、生物化学酶动力学以及复杂的神经电生理三大跨学科基准上刷新了数据效率的 SOTA，更重要的是，它揭示了一个深刻的科学发现范式：假设生成与主动实验设计能够形成互相强化的闭环飞轮。
逃离拟合陷阱：为什么科学发现不能只靠符号回归
在探讨 MDA 的架构之前，需要先看清当前“AI 科学发现”普遍面临的结构性缺陷。目前主流的自动化公式发现通常依赖符号回归工具，或者直接依靠前沿大模型进行端到端预测。这类方案在面对静态拟合基准时往往表现出色，但一旦引入干预性外推评测，就会迅速露出破绽。
论文在酶动力学基准测试（ChemBench）中揭示了一个极具讽刺意味的现象：传统的符号回归方法（如结合大模型的 PySR）能够找到在数值均方根对数误差（RMSLE）上低至 $0.001$ 的公式，表面上看精度极高，但写出的公式却充满了类似 $10^{0.87 \log(0.5 \sqrt{\text{Enz}} / \dots)}$ 这种嵌套对数与奇异拉伸指数项。这类表达式在数学上只是高阶过拟合的数值插值工具，没有任何真实的生物物理或化学反应机制意义；一旦实验环境进入未见过的抑制剂浓度或极端温度区间，这类模型就会发生灾难性的预测漂移。
纯大模型驱动的实验智能体同样存在致命短板。大模型固然拥有海量的跨学科通用先验，能够根据自然语言描述构想出合理的物理公式骨架，但在严谨评估不确定性、计算模型边缘似然以及规划最优实验参数时，大语言模型的数值直觉往往极为脆弱。让大模型直接拍脑袋决定下一次实验参数，常常会导致其在高度局域的参数空间内重复试错，白白消耗极其宝贵的实验预算。
科学探索的本质要求模型同时具备两项特质：其一，具备跳出预设框框、提出新概念与新结构假说的创造力；其二，具备严密的数学机制来计算模型置信度，并挑选出最能区分竞争假说的实验。MDA 的提出，正是为了在统一的数学框架下融合这两项看似冲突的特质。
假设提议与贝叶斯审判的闭环共振
MDA 的核心逻辑由两大交互引擎驱动：负责开集拓展的 结构提议器（Proposer）与负责量化检验的 序贯贝叶斯推断及实验设计引擎。
系统将未知的真实世界形式化为一个潜在状态空间模型（State Space Model, SSM）。在每个时间步，系统的潜变量状态 $z_{t}$ 根据干预动作 $a$、系统参数 $\theta$ 以及控制输入 $x_t$ 发生演化，并通过带有噪声的观测模型输出可测变量 $y_t$。智能体与系统的交互被严格限制在一个受限的实验预算 $B$ 内（通常 $B \le 8$ 轮交互）。在每一轮探索中，智能体不仅要基于已有数据更新对系统结构与参数的后验信念，更要为下一轮选出最具信息量的实验设计 $\xi = (\iota, a, x_{1:T})$。
在传统的贝叶斯统计中，研究通常假设真理必定落在预设的假设族内部，即所谓的 $\mathcal{M}$-closed 设置。然而真实的科学探索面对的是完全开放的 $\mathcal{M}$-open 世界——最开始预设的假说集合几乎必然是错误的或不完备的。MDA 突破了传统方法的桎梏：
-
基于样本外预测检验的空间扩充：每一轮实验后，当前后验中最佳的候选模型必须经受样本外干预预测检验（Predictive Check）。一旦候选模型的预测误差超过阈值，说明当前假设空间已无法解释真实机制，系统便激活元控制器（Meta-Controller）。
-
LLM 充当机制提议器：系统提取当前所有候选模型的残差特征与反思信息，提示大模型：“现有的力学或生化假说存在系统性残差，请提出一个新的、未被指明的动力学机制。”大语言模型调动预训练知识库，生成新的模型结构粒子，并为其赋予较宽泛的无信息先验。
-
序贯蒙特卡洛（SMC）参数推断与奥卡姆惩罚：新提议的模型结构被纳入后验粒子集，利用自适应回火序贯蒙特卡洛（Adaptive-tempered SMC）积分计算该模型在累积实验数据下的边缘似然（Marginal Likelihood）$Z_m = \int p(\mathcal{D} \mid m, \theta) p(\theta \mid m) d\theta$。这种高维参数积分天然内嵌了贝叶斯“奥卡姆剃刀”机制：那些为了拟合局部噪声而引入过多冗余自由参数的复杂模型，其边缘似然会受到严厉的数学惩罚。
-
假设空间剪枝与聚焦：当某些假说被实验数据证伪，或者后验概率高度向少数精简且高解释力的模型集中时，系统会主动收缩假设粒子数，剔除冗余近邻，防止假设空间无限膨胀拖慢计算效率。
针对非线性极强、轨迹噪声巨大以至于单步似然不可计算的场景（例如单神经元动作电位脉冲序列），MDA 进一步融合了基于仿真的推断（Simulation-Based Inference, SBI）。它将整条观测轨迹压缩为一组全局汇总统计量 $\mathbf{s}(y)$，在汇总统计量空间建立轨迹级似然，从而使复杂的动力学微分方程也能平滑接入贝叶斯证据评估流程。
信息价值最大化：用实验刺穿认知盲区
有了对假设集合的后验概率分布 $p(m \mid \mathcal{D})$ 之后，MDA 面临的最关键抉择是：下一场实验应该测什么？
多数启发式智能体往往倾向于“峰值探索”或“均值最大化”——寻找当前预测输出最高或最剧烈的区域。但真正的科学家在做判决性实验（Experimentum Crucis）时，追求的是最大程度瓦解当前的认知模糊性。MDA 严格采用了决策论中的信息价值（Value of Information, VoI）准则，将下一次实验设计转化为互信息最大化优化问题：
\[\xi^{\star} = \arg\max_{\xi \in \Xi} I(M; Y_{\xi} \mid \mathcal{D})\]对于高斯观测噪声与确定性隐状态系统，该目标可以解析推导为寻找使得系统后验预测方差最大的实验配置。直观而言，如果当前假设池中存在两个势均力敌但机理不同的模型，MDA 会精准计算出哪一个初始状态或扰动参数能让这两个模型给出分歧最大的预测结果。通过 CMA-ES（协方差矩阵自适应演化策略）等优化算法在连续设计空间内求解，智能体设计出的干预动作就像一记精准的手术刀，直接切入竞争假说的致命分歧点。
这种机制彻底改变了模型发现的动力学。设计出来的实验不仅用来校准已有参数，更是为了辨识大模型刚刚提议的全新结构；而一旦新机制被辨识确认，模型的预测基线随之提高，暴露出此前被掩盖的更细微的系统残差，进而引导大模型在下一轮迭代中提议出更深层的修正项。实验设计与科学发现由此实现了相辅相成的自我增强。
Yukawa 物理世界中的“顿悟”时刻
为了验证 MDA 在不同自然规律下的发现能力，研究团队首先在物理学基准 ForceBench 上进行了严密评估。在包含 11 个力学世界的探索任务中，智能体必须在仅有最多 8 轮交互实验的苛刻条件下，推断出粒子间未知的力学定律。
以具有代表性的 Yukawa 粒子世界为例，该系统遵循屏蔽库仑相互作用形式 $F = q_i q_j K_1(r/\lambda) / \lambda$，其中 $K_1$ 为一阶修正贝塞尔函数，$\lambda$ 为特征屏蔽长度。这个系统设计了一个经典的科学认知陷阱：在短距离区间（$r \le \lambda$），被屏蔽的贝塞尔核与普通的幂律力（如反比反平方律）在数值上几乎完全重合；任何只在近距离发射粒子的实验，都会让幂律假设与真实的 Yukawa 机制给出几乎相同的拟合残差。
纯大模型驱动的智能体在这里陷入了死局：它们倾向于在近距离发射粒子，尽管给出的预测看似与历史数据吻合，但由于没有拉开机制差异，模型结构始终处于不可辨识的虚假繁荣中。
而运行 VoI 实验设计的 MDA 则表现出了截然不同的行为模式。通过计算模型间的预测方差，MDA 敏锐地发现：所有竞争假说在短距离上高度重合，但在 $r > \lambda$ 的长程区域，真实核函数衰减的趋势与幂律力会产生剧烈的分叉。因此，VoI 目标驱动智能体主动规划了大初速度、大发射距离的长程探测实验。
长程实验数据的注入，在假设空间中引发了类似科学发现中的“顿悟（Aha moment）”：
在实验注入之前，真实的 Yukawa 机制在模型复杂度与预测误差构成的 Pareto 前沿上仅仅处于中间位置，并不比其近邻简并模型更优；长程数据进入后，由于其他近邻假说无法同时兼容近程与远程轨迹，其边缘似然发生雪崩，而真实的贝塞尔机制以极低的后验编码长度 $-\log_2 p(m \mid \mathcal{D})$ 直接跃居凸前沿的极值拐角点。这一瞬间，智能体不仅在数值上降低了误差，更在贝叶斯信息论的意义上彻底“参透”了该物理系统的本质。
在整个物理基准测试中，即使与配备了原生未限制实验模式、平均每轮执行约 41 次实验的 Claude 3 Opus 纯大模型智能体相比，仅执行至多 8 轮实验的 MDA 依然以数倍的数据效率优势超越了基线，以规范化均方误差（nMSE）远低于 $0.1$ 的高通过率率先锁定真实符号力定律。
跨界试金石：酶动力学与神经元电生理
如果说物理定律通常拥有相对简洁的解析式，那么生物与化学系统则充满高阶非线性、部分可观测性以及内在随机性，是检验世界模型发现能力的真正严苛试验场。
在酶动力学基准 ChemBench 中，智能体需要通过调节底物浓度、酶浓度、抑制剂浓度以及温度酸碱度等 7 维连续控制量，在有限步内推断酶促反应速率方程。该任务不仅考验连续空间优化，更考验对多变量耦合生化机制的理解。
实验结果展现了机制模型与黑盒拟合的云泥之别：
MDA 不仅以极高的样本效率收敛，而且在底物抑制（Substrate Inhibition）等多个典型反应场景中，百分之百还原了基准底层真实的生化机理形式，例如精准恢复出包含 $C_A^2 / K_i$ 抑制项的有理分式结构。相比之下，符号回归基线 PySR 拟合出了一堆充斥着无量纲常数与复杂指数的冗长公式，虽然在训练集与局域插值集上勉强维持了极低的数值误差，但在外推检验中彻底失效。正如作者指出的，只看数值拟合而不审视模型符号结构的合理性，是过去自动化科学发现中最普遍的“自欺欺人”。
为了进一步把边界推向生物物理的前沿，研究团队构建了全新的单神经元电生理基准 NeuronBench。该基准基于著名的 Hodgkin-Huxley（HH）非线性微分方程系统，模拟了 6 类未知的“神秘神经元”。真实神经元系统具有极强的电生理复杂性：系统内部的离子通道门控变量（如钠通道激活、钾通道失活）是不可直接观测的隐变量，实验者只能通过微电极施加不同波形的刺激电流，并观测伴随高斯噪声与发放随机性的膜电位时间序列。
由于离子通道在剧烈放电时的高度非线性和相位漂移，传统的逐时间步轨迹均方误差在此类任务上彻底失效——两个动力学几乎一致的模型，可能仅因几个毫秒的脉冲相位差而产生极大的逐点数值误差。MDA 在此展现了其模块化设计的强大威力：通过引入基于仿真的推断（SBI），智能体将膜电位轨迹映射为动作电位频率、峰值电位、超极化振幅等生物物理学全局汇总统计量。
在这一基准下，MDA 在推断未知离子通道动力学结构与最大电导参数时，再次展现出碾压性优势。它能在极少的电刺激波形试验内，准确捕捉神经元是属于快放电、自适应还是迟缓发放类型，并重构出底层的微分方程结构。纯大模型智能体在面对这类长程隐变量时序系统时，由于完全缺乏处理高维随机动力学的内部概率模型，其预测结果几乎退化为随机猜测。
科学发现智能体的范式演进
MDA 的成功给当前过热的“端到端大模型解决一切”思潮提供了一剂极具价值的清醒剂。这项工作证明：大模型最无与伦比的优势，在于其吸收了人类数百年自然科学文献后所形成的语义级结构联想与先验提出能力；而大模型最显著的缺陷，在于其缺乏严密的不确定性推断、严格的后验数学审判以及面向因果干预的最优决策机制。
盲目地让大模型端到端扮演“AI 科学家”，就像让一个极具想象力但数学粗糙的理论家脱离实验室独自做推演，其产物极容易沦为充满幻觉的玄学猜想。而 MDA 选择将大模型精准定位在贝叶斯推断链条中的“结构提议器”位置，用序贯蒙特卡洛积分来度量其合理性，用严格的奥卡姆惩罚过滤其冗余项，再用信息价值最优化将其实验验证成本压缩至理论极值。
这一范式对未来世界模型构建的启示是极其深远的。无论是在自动驾驶长尾因果推断、新药研发中的靶点干预设计，还是前沿材料的极端相态探索中，获取主动干预数据的代价都极为高昂。未来的自主智能系统绝不可能依赖无止境的蛮力试错，唯有像 MDA 这样将“开集概念提出”与“闭环贝叶斯实验检验”深度咬合，让每一次行动都直击认知边界的分歧核心，机器才有可能真正从数据的“拟合者”，蜕变成为自然法则的“发现者”。