EvoPINN：从模板调参到算法发现，AI自主发明物理神经网络新架构
EvoPINN: Agentic Discovery of Executable Algorithms for Physics-Informed Neural Networks
在科学计算与大模型交叉的前沿领域，物理信息神经网络（Physics-Informed Neural Networks，简称 PINN）被寄予厚望。它将偏微分方程（PDE）的残差、边界条件与初始条件作为正则项注入损失函数，实现了无网格、端到端的物理场求解。然而，几乎所有深入接触过 PINN 的研究者都会遭遇同一个工程困境：它太依赖“炼丹”了。面对高频振荡的波动方程、具有剧烈激波的非线性对流方程，或是强各向异性扩散的热传导方程，通用的全连接网络往往迅速陷入训练崩溃。研究人员不得不反复通过手工试错，微调傅里叶特征嵌入、自适应配点采样、动态损失平衡权重以及两阶段优化策略。
ArXiv URL：https://arxiv.org/abs/2607.26490v1
为了将人类专家从繁琐的调参工程中解放出来，学术界此前探索过基于超参数搜索的 Auto-PINN、基于可微架构搜索的 NAS-PINN，以及近期引入大语言模型（LLM）进行提示词驱动配置的 PINNsAgent 或 Lang-PINN。然而，这些尝试本质上是在人类预先划定的有限选项池中做组合题，无法触碰底层算法代码的改写。如果直接让大模型自由生成求解代码，在严格的科学计算与偏微分方程约束下，未加约束的代码往往伴随着数学定义非法、语法报错或数值发散。
中国科学院与中国科学院大学的研究团队提出了 EvoPINN，首次将 PINN 的自动化构建推进为可执行算法的闭环自主发现（Agentic Discovery of Executable Algorithms）。EvoPINN 摆脱了单纯的超参数选择和模板拼接，让 LLM 智能体在严格的执行反馈与算力对齐约束下，自发重构神经网络表征拓扑与训练优化机制。更引人注目的是，该框架在非线性 Burgers 方程求解中，自主演化出了一种此前学术文献未见记载的全新拓扑架构——SLRC-PINN（自局部化残差校正网络），且在参数量完全对齐的严苛对比下显著超越现有同类方法。这项工作展示了生成式智能体突破人类先验、自主发现全新科学计算机制的明确可行性。
困在模板里的自动化：从选超参到写算法的鸿沟
偏微分方程求解的多样性决定了不存在单一普适的 PINN 架构。例如，在处理波动方程等高频振荡问题时，坐标空间需要引入多尺度傅里叶特征变换；面对非线性对流形成的陡峭激波梯度，优化过程则高度依赖残差密集区域的动态局部加密采样与梯度平衡。这类机制的引入往往需要直接修改 PyTorch 或 DeepXDE 内部的模型前向拓扑与训练循环逻辑。
以往的自动化设计工作无法实现这种深层干预。经典的演化算法和神经架构搜索只关注离散超参数，比如层数、通道宽度与已知激活函数的排列组合。即便是近期结合了大语言模型的 Agent 方案，通常也只是把大模型当作“高级调度员”，在预先写好的类库和工作流模板里选择开关。这种受限的搜索空间天然阻断了新机理的诞生。
另一方面，如果彻底放开限制，让大语言模型进行开卷式的代码编程，科学计算的严苛物理约束往往会导致生成过程迅速失控。LLM 容易生成看似合乎自然语言逻辑、实则在张量维度或自动微分求导链上存在隐蔽错误的代码；即便代码能够运行，在极其敏感的高维非凸优化曲面上，微小的梯度扰动也会引发数值溢出（NaN）或梯度弥散。此外，若缺乏严格的算力与优化步数约束，模型往往倾向于生成计算开销极大的冗余结构，造成“靠堆叠算力带来微弱提升”的虚假繁荣。如何构建一个既具开放创造力、又被置于严格物理与数值计算契约之内的进化闭环，是 EvoPINN 试图破解的核心难题。
解耦与对齐：EvoPINN 的闭环演化机制
为了在保证数值稳定性的同时释放算法创新空间，EvoPINN 将完整的 PINN 算法形式化解耦为一个双元组：
\[A = (M, T) \in \mathcal{M} \times \mathcal{T}\]其中，$M$ 代表神经表征模块（Neural Representation），负责从输入坐标到物理场近似解的前向映射拓扑，涵盖基函数构造、坐标变换与特征骨干网络；$T$ 代表训练程序模块（Training Program），负责具体的物理损失构建、动态加权策略、配点自适应采样机制及多阶段优化流程。
┌──────────────────────────────────────────────┐
│ EvoPINN 演化调度中心 │
│ Multi-Armed Bandit (UCB) 模块选择 │
└──────┬────────────────────────────────┬──────┘
│ 选择表征模块 M │ 选择训练模块 T
▼ ▼
┌──────────────────────────────┐ ┌──────────────────────────────┐
│ 表征模块代码变异 │ │ 训练程序代码变异 │
│ (坐标变换/拓扑重构/特征基构建)│ │ (自适应采样/损失平衡/优化动态)│
└──────────────┬───────────────┘ └──────────────┬───────────────┘
└──────────────┬─────────────────┘
│ 注入诊断记忆与差异化搜索先验
▼
┌──────────────────────────────┐
│ LLM 候选程序生成与验证 │
│ - AST 静态语法结构过滤 │
│ - 沙盒隔离执行校验 │
│ - 严格算力对齐 (20,000步) │
└──────────────┬───────────────┘
│ 仅保留成功运行且误差降低者
▼
┌──────────────────────────────┐
│ 更新当前最优算法 A=(M, T) │
│ (进入下一代演化 / 独立重训) │
└──────────────────────────────┘
这种解耦设计的首要考量在于解决演化过程中的信用分配难题（Credit Assignment）。如果让智能体在每一代演化中同时剧烈改动网络架构和训练逻辑，一旦算法表现提升或崩溃，系统将无法判断增益究竟源自表征能力的增强，还是源于优化技巧的改进。为此，EvoPINN 引入了基于多臂老虎机（Multi-Armed Bandit）的上置信界（UCB）自适应调度器，在每一代演化中固定一个模块，仅针对另一个模块提出代码修改提议：
\[c_{g} = \arg\max_{c \in \{M, T\}} \left[ \bar{r}_{g}(c) + \beta \sqrt{\frac{\log(N_{g} + 1)}{N_{g, c}}} \right]\]式中，$N_{g, c}$ 为该模块的历史探索次数，$\bar{r}_{g}(c)$ 为该模块近期带来的相对误差改善收益，$\beta$ 平衡探索与利用。通过这种动态交替，框架既避免了单模块陷入局部极值，又确保了每一次代码演进的归因清晰。
在代码生成阶段，简单的标量相对误差反馈无法为大模型提供明确的代码修改线索。EvoPINN 为此构建了包含三重视角的结构化上下文提示机制。首先是训练动态诊断，系统会自动抽取训练过程中的残差收敛曲线、梯度幅值跳变及边界条件拟合状况，使大模型明确察觉到当前算法是受困于局部极小值还是高频拟合迟钝；其次是演化历史记忆，记录过往数代中被证明无效或导致数值崩溃的代码片段与反思，防止智能体重复踩坑；最后是多样化探索先验，在每一代并行派生的候选变异中，系统显式注入不同的方向指引，例如在表征端分别指引其关注局部基函数构建或多分支门控融合，在训练端指引其探索曲率感知采样或梯度规整化，从而彻底打破大模型批量生成时的模式坍缩（Mode Collapse）。
最后一道防线是全流程执行验证与算力预算对齐。所有候选程序首先通过抽象语法树（AST）进行静态结构检查，剔除缺乏物理常识或存在明显语法漏洞的冗余变异；随后进入具备超时熔断机制的沙盒子进程试运行。为了杜绝“用更多计算资源换取精度”的不公平对比，框架确立了统一的训练预算限制：所有候选算法在搜索期间的最大优化步数被严格锁定在 20,000 步以内，初始配点数量与 Hammersley 准随机采样序列完全对齐。候选算法可以自由设计根据物理残差动态增删配点的“资源再分配”逻辑，但绝无可能通过暴力放大计算量晋级。只有在相同预算下稳定运行且在独立验证集上使相对 $L_2$ 误差显著下降的代码，才能被保留并更新至下一代算法池。
突变出的全新拓扑：SLRC-PINN 架构拆解
在非线性对流占主导的 Burgers1D 方程（$u_t + u u_x - \nu u_{xx} = 0$）演化实验中，EvoPINN 展现出了超越预期的人工智能自发创新能力。该方程随着时间推移会在局部形成极其陡峭的激波前沿，常规的全连接网络极易在激波区域产生数值伪振荡或过度平滑。在经历多代代码迭代后，智能体自主发明了一种被作者命名为 SLRC-PINN（Self-Localizing Residual-Correction PINN，自局部化残差校正物理信息神经网络）的全新拓扑结构。
以往科学计算界处理局部陡峭梯度的思路主要分为两类：一类是以 APINN 或 FBPINN 为代表的区域分解法，人为将计算域切分成若干刚性子区域并分别训练子网络进行拼接；另一类是以 HyResPINNs 为代表的多尺度残差堆叠，但各层分支通常在全局空间内无差别激活。SLRC-PINN 展现出了完全不同的解题思路。它构建了一个连续平滑的全局基预测器，并联了一个自适应局部基函数门控的零初始化局部校正通道。
设时空输入坐标为 $q = (x, t)$，SLRC-PINN 在底层自发初始化了 $K=6$ 个具有可学习中心与输入依赖动态带宽的局部化高斯基函数：
\[d_{k}^{2}(q) = \lVert q - c_{k} \rVert_{2}^{2}\] \[\sigma_{k}(q) = \exp(\ell_{k}) \bigl(1 + \operatorname{softplus}(s_{k}(q)) + 0.2\bigr)\] \[b_{k}(q) = \exp \left[ -\frac{d_{k}^{2}(q)}{2\sigma_{k}(q)^{2}} \right] \operatorname{sigmoid}(a_{k}(q)) \operatorname{sigmoid}(m_{k}(q))\]其中，$c_k$ 为基函数中心，$\ell_k$ 为可学习对数尺度基准，$a_k$、$m_k$ 和 $s_k$ 则是针对局部坐标的线性映射。局部基函数的响应向量与原始坐标拼接后，送入门控残差主干，并最终分流至两个解耦的解码器：全局背景解 $u_G(q)$ 与局部校正解 $u_L(q)$。整个网络的最终预测输出表达为：
\[u(q) = u_{G}(q) + \alpha(q) u_{L}(q)\]门控系数 $\alpha(q)$ 由局部基函数响应的综合激活强度自发决定：
\[\alpha(q) = \operatorname{sigmoid}(w^{\mathsf{T}} b(q) + b_{0}) \left( \frac{1}{K} \sum_{k=1}^{K} b_{k}(q) \right)\]这种架构之所以能够在激波求解上取得突破，源于它内生包含的三大数学机制。其一是保函数渐进扩展（Function-Preserving Progressive Expansion）。智能体在代码中对局部校正分支最后一层线性权重采用了完全的零初始化策略。这意味着在优化初始阶段，$u_L(q) \equiv 0$，网络输出完全退化为全局平滑解 $u(q) \equiv u_G(q)$。这一精妙设计规避了多分支网络在冷启动阶段因各自分支剧烈竞争而引发的梯度混乱，让模型首先在平滑的宏观解流形上平稳收敛；当全局残差下降遇到瓶颈时，激波区域的高残差才驱动局部基函数和局部解码器逐渐苏醒，实现平滑渐进修正。
其二是解耦的全局与局部表达能力。全局分支专注于拟合平滑低频演化，局部分支仅在门控因子 $\alpha(q) > 0$ 的激波邻近区域发挥作用，二者在梯度反向传播时互不干扰，消除了频谱偏差（Spectral Bias）带来的频率冲突。其三是自组织的坐标聚焦。局部基函数的位置中心 $c_k$ 与宽度 $\sigma_k$ 并非人为指定，而是在物理残差反向传播的驱动下，自主游移并聚集到激波发生演化的时空轨迹周围。
为了确认 SLRC-PINN 的性能优势并非来自参数量的增长，研究团队将其与参数量完全对齐的基线模型进行了严苛对比。在将基线标准全连接网络隐藏层宽度扩展至 230（使总参数量与 SLRC-PINN 完全一致）后，全连接网络的相对 $L_2$ 误差依然停留在 $4.18 \times 10^{-3}$，而 SLRC-PINN 达到了惊人的 $4.94 \times 10^{-4}$，精度提升近一个数量级。对比基于区域分解的 APINN（$3.21 \times 10^{-3}$）、FBPINN（$4.87 \times 10^{-3}$）以及 HyResPINN（$1.68 \times 10^{-3}$），SLRC-PINN 均展现出碾压式的精度优势。这充分证明，智能体发现的是一种具有真实数学价值的新型计算拓扑，而非简单的容量冗余。
严谨的基准评估与横向对决
在评估阶段，作者制定了极其严格的解耦验证协议：在搜索阶段，所有候选算法仅能在搜索参考集 $\mathcal{X}_{\mathrm{search}}$ 上计算适应度；一旦搜索结束，算法代码被彻底冻结（Frozen），随后在 5 个完全独立的随机种子下从零开始重新训练，最终在互不重叠的独立测试集上报告均值与标准差。
实验涵盖了四类极具代表性的偏微分方程物理体系：二维复杂几何椭圆型的 Poisson2D（采用 COMSOL 高保真参考解）、一维非线性对流激波的 Burgers1D、一维强频振荡双曲型的 Wave1D，以及二维各向异性扩散抛物型的 Heat2D。对比的基线涵盖了初始种子 PINN，以及由人类专家历经数年探索提炼出的 16 种先进变体（包括傅里叶特征嵌入、SIREN 正弦激活、神经正切核 NTK 动态平衡、自适应残差重采样与课程学习等）。在每一类 PDE 上，团队均选出表现最顶尖的人工专家设计作为最强挑战对象。
在四大物理基准的重训测试中，EvoPINN 进化出的算法全面超越了种子基础模型。在 Poisson2D、Burgers1D 和 Wave1D 上，EvoPINN 均取得了全场最低的相对 $L_2$ 误差。在 Wave1D 问题上，种子网络的相对误差高达 $6.83 \times 10^{-1}$（几乎无法求解），即便是精心设计的傅里叶特征加 NTK 权重平衡网络，误差也仅能压制到 $8.24 \times 10^{-3}$；而 EvoPINN 演化出的算法将其进一步降低至 $3.57 \times 10^{-3}$。仅在 Heat2D 各向异性扩散问题中，人类针对该特定方程专门定制的多尺度各向异性傅里叶特征模型保持了极其微弱的优势，但 EvoPINN 仍然达到了与其同等量级的求解精度，且未借用任何人类先验。
此外，在相同算力预算（56 次完整候选评估）的前提下，研究人员对比了其他三种主流的自动化搜索范式：完全不带记忆与执行反馈的 LLM 独立采样（LLM Best-of-56）、经典演化架构搜索方法 DPSTE，以及基于大模型工作流编排的 PINNsAgent。实验数据显示，在缺乏执行反馈的情况下，LLM 随机盲抽几乎无法命中可在严格科学预算下高效收敛的程序；DPSTE 受困于预设的超参数搜索空间，无法产生超越基础网络模式的质变；PINNsAgent 虽然具备一定的工作流选择能力，但由于不能从底层代码级别重构模型，其最终表现均明显逊于 EvoPINN。
为什么能成？消融分析与零样本物理迁移
针对 EvoPINN 框架本身的消融实验进一步厘清了各核心机制的作用边界。当从提示词中剥离训练动态诊断摘要（w/o diagnosis）时，生成的代码失去了针对收敛瓶颈的靶向修改能力，在 Wave1D 上的求解误差立刻出现明显反弹，证明了深入训练状态底层的细粒度反馈是大模型进行精准算法修复的关键。
当打破模块化演化、允许大模型在单代中同时修改表征与训练程序（w/o modular）时，系统的执行失败率显著上升，演化路径表现出严重的震荡与不稳定性，直接佐证了模块解耦对于抑制搜索空间组合爆炸、明确信用分配的必要性。而若将搜索空间严格限制为仅演化表征模块（repr-only）或仅演化训练程序（train-only），模型的最终性能均大幅落后于联合演化系统。这说明物理计算的表征拓扑与优化动态之间存在着深刻的协同耦合，唯有两者交替演进，才能打通高精度求解的闭环。
更为关键的一项验证在于跨方程参数的零样本迁移能力（Zero-shot Transferability）。人们往往担心通过演化搜索出的算法会严重过拟合于特定的物理常数或网格分辨率，沦为“单题单解”的专用代码。为了验证这一点，研究人员将在标称波动速度 $a=4.0$ 条件下演化出的 Wave1D 算法，直接在未见过的物理参数 $a=3.5$ 与 $a=4.5$ 环境下重新训练；同样地，将在空间频率 $k_x = 20\pi$ 下演化出的 Heat2D 算法直接迁移至 $k_x = 15\pi$ 与 $k_x = 25\pi$。
迁移测试揭示出了极其引人深思的现象：在 Heat2D 问题中，人类专家设计的各向异性傅里叶特征网络虽然在原参数下表现优异，但在面对频率偏移时出现了明显的性能劣化，误差大幅上升，暴露出手工调谐参数针对特定基频的脆弱脆弱性；相反，EvoPINN 冻结算法在未见参数下依然保持了跨数量级的高精度与平稳收敛。这表明 EvoPINN 进化出的并非是针对特定参数的刚性数值补丁，而是具备内在自适应调节能力的广义学习机理。
范式跃迁：迈向科学计算的代码智能体
EvoPINN 提供了一个极具启发性的技术样本：大型语言模型在科学计算领域的最高使命，绝非仅仅局限于充当自然语言界面的代码补全工具，或是执行固定管线调度的辅助 Agent。当被赋予解耦的演化空间、精准的诊断感知以及不可逾越的执行验证沙盒时，语言模型完全有能力扮演计算科学家的角色，在未知的算法空间中进行严肃的数学探索与机理创新。
从自动超参数调优（AutoML）、工作流编排（Pipeline Orchestration）到当下的自主可执行算法发现（Algorithm Discovery），PINN 的发展脉络折射出 AI for Science 正在经历的方法论升级。尽管当前框架仍受制于底层大模型的基础推理成本与每次完整训练带来的 GPU 算力开销，但随着轻量级代理评估模型（Proxy Evaluator）的引入以及针对科学计算专用代码模型的进一步微调，这种由执行驱动、自主演化科学算法的代码智能体，有望在湍流模拟、高维量子化学计算和凝聚态物理等更为广袤而棘手的科学疆域中，发现更多人类直觉未曾抵达的全新求解器拓扑。