Explorative Modeling：打破多步生成魔咒，预训练第三轴让效率提升4.1倍

Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

自 AlexNet 掀起现代深度学习的浪潮以来，AI 领域建立了一条近乎公理的演进路径：端到端（end-to-end）训练总能击败手工切分的分阶段流水线。从早期的图像分类、物体检测，到语义分割与端到端语音识别，凡是允许模型直接从数据中学习完整映射的任务，其性能和泛化边界都得到了质的飞跃。端到端训练之所以强大，核心在于它保证了模型在推理时的行为模式与训练期完全一致，彻底消除了由于阶段级联导致的输入分布偏移与暴露偏差（exposure bias）。

ArXiv URL：https://arxiv.org/abs/2607.27372

然而，生成模型领域却长期置身于这场端到端革命之外。无论是以 GPT 为代表的自回归语言模型，还是以 Stable Diffusion、Sora 为代表的连续时间扩散与流匹配（Flow Matching）模型，哪怕参数规模扩张到数千亿，它们在本质上依然不是端到端系统。自回归模型在训练时依赖严格的 Teacher Forcing 预测下一个 Token，在推理时却被迫转入数百上千步的循环自迭代；扩散模型在训练时仅学习任意时刻的单步微小去噪，而在推理时同样需要依赖数十至数百步的数值求解器逐步积分。在多步滚雪球的过程中，任何单步微小的误差都会向后传递，逐渐将模型输入推向未曾训练过的未知分布空间。

生成模型之所以迟迟无法迈入真正的端到端，根本原因在于其要处理的目标是高度复杂的多峰概率分布（multimodal distributions）。针对这一长期困扰业界的瓶颈，一项名为 Explorative Modeling（探索式建模，简称 XM）的新范式给出了另辟蹊径的解答：它不再对“生成过程”进行逐步拆解，而是转而因式分解“训练循环”（factor the training loop）。通过在训练时引入候选样本探索机制，模型无需再把复杂分布压缩成平庸的均值，不仅打通了单步端到端重构生成，还为现有的自回归与扩散模型开启了除“参数量”和“数据量”之外的第三个预训练扩展轴（Pretraining Axis）。

生成建模的因式分解维度

多峰分布与生成模型的妥协困境

要理解 Explorative Modeling 的必要性，必须先回到生成任务最本质的数学困难——单输入对应多输出。在传统的分类或回归任务中，输入与真实标签之间通常存在唯一的确定性映射；但在无条件或弱条件生成任务中，例如给出“生成一只狗”的提示词，真实世界中合理的狗的图像有成千上万种形态、姿态和颜色，数学上表现为概率空间中分散的无数个局部峰值（modes）。

当前占据统治地位的生成模型几乎都属于重构型生成模型（reconstructive generative models）。这类模型依赖显式的数据重构目标进行监督，其输入通常是噪声或加噪后的状态，目标则是真实数据点。问题在于，事先并不存在任何先验信息去确定哪一个初始隐变量或噪声应该精确映射到哪一张具体的真实图像上，这种输入与目标的配对关系被称为耦合（coupling）。在传统的无监督训练中，模型被迫将随机采样的隐变量与海量的潜在目标随机绑定，形成严重的“一对多”映射。

如果直接使用均方误差（MSE）等标准重构损失进行单步回归，数学优化给出的唯一最优解只能是所有可能真实目标的条件期望均值。将成千上万张不同狗的图像取平均值，得到的结果必然是一团毫无结构细节的平滑模糊块，完全脱离了真实数据流形。

现有的扩散模型和自回归模型之所以能避开这一灾难，是因为它们不约而同地采用了一种妥协策略：对生成过程进行因式分解。自回归模型将联合分布分解为极其细碎的条件概率连乘，把每一次预测的目标压缩为下一个离散 Token；扩散模型则通过高斯噪声将长距离的跳跃细分为成百上千个微小的去噪步长，使得在每一个极小的局部时间步中，目标分布近似退化为一个单峰（unimodal）高斯分布，从而让基于均值预测的重构损失勉强适用。

但这种对生成过程的人为切分付出了沉重代价：推理时的累积漂移和极高的推理延迟。即便近年来诸多单步蒸馏方法试图将扩散模型的采样压缩到单步，但在训练阶段，它们依然要深度依赖多步轨迹的教师模型或流场梯度来防止模式模糊，并未从本质上解决训练目标本身的结构缺陷。

因式分解训练循环：探索机制如何重塑生成目标

如果不能分解生成过程，生成模型还能分解什么？答案正是训练循环本身。如图 1 所示，生成模型的分解维度实际上只有两条轴：横轴是“分解生成过程”（导致模型脱离端到端），纵轴则是“分解训练循环”。传统的做法始终停留在横轴右下角，而 Explorative Modeling 则跳跃至纵轴上方。

Explorative Modeling 机制示意

Explorative Modeling 的核心逻辑非常直接：在每一次训练迭代中，模型不再盲目地将单个生成尝试与固定的真实样本强行对齐，而是探索 $K$ 个生成候选匹配，并仅仅选择其中与真实数据最契合的那一个进行损失计算和梯度回传。其通用的训练目标可以形式化定义为：

\[\mathcal{L}(\theta) = \min_{i \in \{1, \ldots, K\}} J(\hat{y}_i, x)\]

这种机制在根本上打破了均值塌陷的魔咒。我们可以用向飞镖盘掷飞镖的几何直觉来理解这一转变：如果只允许模型做出一次猜测并对所有落点求最小化平方误差，最优策略必然是投向所有落点的物理几何中心，即便这个中心点周围没有任何飞镖落入；而当允许模型同时抛出 $K$ 个猜测且只对其与目标最接近的那一个计分时，中心点就不再是最优解，全局最优策略变成了让这 $K$ 个候选点自动发散开来，分别覆盖不同区域的飞镖落点簇。

在 Explorative Models（XMs）中，模型通过探索主动寻找当前隐变量空间中哪一个生成样本已经与特定的数据点距离最近。随着候选数量 $K$ 的增加，模型的生成表达能力（generative expressivity）随之呈单调增长。不同的隐变量子空间开始自发特化，各自对齐并拟合数据流形中的特定模式，而不是将它们混杂在一起求均值。

增大探索数量 K 对生成质量的视觉改善

K=1时的模式模糊

K=5时的结构初显

K=20时的模式清晰

K=50时的细节还原

从图 2 的实际实验结果中可以极其直观地观察到这一演进过程：当 $K=1$ 时，模型实际上退化为朴素的直接端到端回归，由于面对多峰分布无法决策，输出结果彻底沦为模糊的均值云团；当 $K$ 逐步提升至 5、20 甚至 50 时，原本模糊的边缘迅速收敛，生成内容果断地锚定到了具体、锐利、具有清晰拓扑结构的特定数据峰上。这一结果证实，仅通过纯粹的重构损失配合训练探索，完全能够在单次网络调用下精确刻画复杂分布。

前向与反向探索：覆盖分布与聚焦模式的数学本质

在具体的技术实现上，Explorative Modeling 提供了两种对称的实现路径，二者在几何直觉与信息论目标上呈现出精妙的对偶性：

  1. 前向探索（Forward XM）：固定一个真实数据点 $x$，让模型前向生成 $K$ 个候选样本 ${\hat{y}_1, \ldots, \hat{y}_K}$，选择其中与真实目标距离最近的候选进行梯度回传。

  2. 反向探索（Reverse XM）：固定模型生成的一个样本 $\hat{y}$，让其在批量采样的 $K$ 个真实数据目标 ${x_1, \ldots, x_K}$ 中进行匹配，仅向距离自身最近的真实数据点靠近。

为了从理论层面厘清这两种设计究竟在优化什么，作者给出了深刻的概率论解释。如果将生成样本与真实数据点之间的平方误差视为一个以生成样本为中心、方差为 $\sigma^2$ 的高斯核 $k_\sigma(\hat{y}, x)$ 的负对数似然，那么模型自身诱导出的边缘概率密度即为 $p_\theta(x) = \mathbb{E}{\hat{y}\sim G\theta}[k_\sigma(\hat{y}, x)]$。在此框架下，前向与反向探索的目标分别在渐进意义下对齐了不同的信息论散度：

\[\underbrace{\mathrm{KL}(p^* \,\|\, p_\theta) + H(p^*)}_{\text{Forward XM}} \qquad\text{与}\qquad \underbrace{\mathrm{KL}(g_\theta \,\|\, p^*_\sigma) + H(g_\theta)}_{\text{Reverse XM}}\]

式中 $p^*$ 为真实数据分布，$g_\theta$ 为模型生成分布，$H(\cdot)$ 代表熵。这一推导揭示了两种范式的深层差异：

前向探索（Forward XM）本质上在最小化以真实分布为基准的正向 KL 散度 $\mathrm{KL}(p^* \,|\, p_\theta)$。由于此时伴随的熵项 $H(p^*)$ 完全由真实数据决定，是一个与模型参数无关的常数，因此前向探索等价于在候选混合分布下的最大似然估计。正向 KL 散度天然具有“质量覆盖”（mass-covering / Recall-oriented）的特性，它极度惩罚数据有概率而模型覆盖不到的区域，迫使模型的各个候选点尽可能散开，去覆盖整个数据流形的所有模式。在工程实践中，由于其数学性质温和且不易坍塌，前向探索成为了最主要的实现选择。

反向探索（Reverse XM）则相反，它最小化的是以模型分布为基准的反向 KL 散度 $\mathrm{KL}(g_\theta \,|\, p^*\sigma)$，这一方向天然具有“模式聚焦”（mode-seeking / Precision-oriented）的倾向，它更在乎生成样本自身的保真度。然而，伴随的反向熵项 $H(g\theta)$ 属于模型自身，如果缺乏约束，模型极易通过缩小自身的发散度来投机性地降低损失，从而引发模式崩塌（mode collapse）。因此在实际应用中，反向探索通常需要引入额外的熵正则项，或者与前向探索联合使用，在覆盖度与锐利度之间取得动态平衡。

更重要的是，Explorative Modeling 实际上在隐式求解最优传输（Optimal Transport）的耦合难题。在传统的流匹配中，计算全局最优传输耦合的复杂度随样本量呈三次方式暴增；即便采用 Minibatch 最优传输，也仅仅是局部批次内强行配对的带有极大偏差的代理。XMs 绕过了繁琐的显式传输矩阵求解，直接通过生成候选的动态筛选，让隐变量与数据点之间的配对在训练中与网络权重共同自适应演进，以纯粹的搜索算力置换了复杂的数学近似。

现有生成模型的第三预训练轴

长期以来，生成模型的Scaling Law（缩放定律）主要由两大支柱支撑：参数量（Parameters）与数据量（Data）。然而，现有模型通常在架构设计之初就通过固定的时间步数或词表约束，将其生成表达能力锁死在了一个固定上限。当底层分布的复杂度和模态数量超过这一上限时，单纯增加参数和语料并不能从根本上消除单步内部的多峰平均现象。这也可以解释为什么最先进的扩散模型高度依赖无分类器引导（Classifier-Free Guidance, CFG）或自引导（Autoguidance）——它们必须在推理阶段人为构造反向向量，强行推离模糊的均值区域。

Explorative Modeling 的注入为现有的生成模型（包括扩散模型、流匹配模型及多步 Jumpy 模型）开启了独立平行的第三预训练轴：探索规模（Exploration Scale）。

在跨越连续与离散领域的广泛基准测试中（涵盖图像、视频和语言建模），加入探索机制不仅带来了性能的单调提升，而且展现出了极为显著的“规模放大效应”：

这一系列缩放表现印证了一个核心推论：计算资源用于训练探索，能够直接扩展模型的泛化能力边界。以往增加训练算力往往只能通过把网络做大或训练更久，而 XMs 证明，把额外的训练前向算力用于搜索最佳匹配模式，能够直接转化为对数据多峰结构的表征密度，在相同的参数量和数据规模下榨取出远超以往的信息增量。

端到端生成落地：让推理步数缩减百倍的控制智能

除了作为现有扩散和流匹配模型的“增压器”，Explorative Modeling 带来的第二大突破在于其作为完全独立、纯端到端生成架构的惊人表现。

长期以来，在机器人控制策略（Behavior Cloning）和基于模型的离线强化学习世界模型（World Modeling）中，扩散策略（Diffusion Policy）与 Diffuser 模型因其对复杂多动作轨迹分布的强大拟合能力而占据绝对统治地位。但其致命软肋在于高昂的推理开销——机械臂在执行高频闭环响应时，每一帧控制指令都需要在控制器中运行数十次乃至数百次扩散网络前向求解，极大地拉高了实时系统的控制延迟。

端到端 Explorative Models 在这一场景展现出了颠覆性优势：

这种推理效率的数量级跨越，直接打破了传统方案在“表达能力”与“生成步数”之间的绑架关系。传统方法想要端到端一步生成，就必须忍受直接回归带来的模糊解与轨迹漂移；想要高精度表达多意图控制，就必须付出几十步扩散去噪的代价。而 XMs 通过在训练时将多步生成的推理负担转移到了训练期的候选探索中，成功实现了“训练期充分搜索复杂峰值，推理期单步直接输出最优决策”，让高精度控制策略在极低算力边缘硬件上的高频部署成为现实。

生成建模的范式跃迁与未来图景

Explorative Modeling 的提出，在理论和工程两端都极具启发性。它不仅是算法层面的精妙微调，更是对近十年来生成模型发展哲学的一次审视。

Rich Sutton 在其著名的《苦涩的教训》（The Bitter Lesson）中曾指出：在长期的 AI 演进史中，唯一被证明行之有效的通用杠杆只有两个——搜索（Search）与学习（Learning）。回顾大语言模型近期的演化，从预训练扩展到推理时搜索（Inference-time Search），搜索机制的引入往往能带来跨越式的能力增强。

然而在传统的生成预训练中，我们几乎将所有注码都押在了“纯粹学习”上，完全忽视了在训练这一侧引入搜索的可能性。Explorative Modeling 敏锐地抓住了这一空白，将生成建模问题重新表述为了一个在训练期通过搜索求解最优隐变量耦合与能量最小化的联合优化问题。

更为深远的是，研究表明生成过程的因式分解与训练循环的因式分解之间存在着精妙的可替代性（Substitutability）。当训练期的探索预算 $K$ 逐渐放大时，现有的多步生成模型其最优跳跃步数（Jumps）会自然地向更少的步数移动——换言之，探索规模越大，最优的生成架构就越趋近于纯粹的端到端。

从手工设计去噪调度的扩散模型，到依靠大规模探索自发锚定多峰的端到端神经网络，生成建模终于补齐了端到端拼图的关键缺角。这一范式不仅为多模态世界模型的高速推理铺平了道路，也预示着在未来的大模型预训练战场上，围绕“训练时探索算力”的新一轮 Scaling 竞赛才刚刚拉开序幕。

上一篇 FinEvo-Bench：金融Agent自演化纵向基准，留存经验最高涨19分 2026-09-04 下一篇 EnvACE：不是死磕外部沙箱，而是自我排演让Agent表现提升4.2分 2026-09-04