RPS：打破Top-1贪心！中熵枢纽撬动涟漪效应，扩散LLM解码提速达18倍
Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models
作为自回归（Autoregressive）模型最受瞩目的替代方案之一，基于离散掩码的扩散大语言模型（Diffusion LLMs，简称 dLLMs）凭借并行去噪的特性，理论上具备超越单字步进推理的速度潜力。然而在实际落地中，dLLM 往往陷入两难：若一次性解掩码（unmask）过多位置，极易引发误差级联累积；若步子迈得太保守，其吞吐甚至不如配合了成熟 KV 缓存的自回归模型。现有的并行解码方案大多把精力放在“去哪里解码”的筛选标准上，无论是基于置信度、预测熵还是跨步稳定性，一旦选定位置，几乎都会沿用模型的 Top-1 贪心预测。
ArXiv URL：https://arxiv.org/abs/2608.11742v1
这项来自新加坡科技研究局（A*STAR）、阿里巴巴集团、香港浸会大学、南洋理工大学与上海交通大学的研究打破了这一惯性思维。作者揭示了 dLLM 解码过程中关键的“涟漪效应”（Ripple Effect）：优先敲定那些处于中等不确定性（Mid-Entropy）区间的枢纽位置，能最大程度降低剩余掩码区域的不确定性，进而撬动后续步骤更大规模的并行解码。更关键的是，在这类最具信息杠杆效应的位置上，有高达 85% 的真实 Token 根本不是当前的 Top-1 预测。
针对这一洞察，本文提出了无需额外训练的解码算法 Ripple-Pivot Search（RPS）。该方法不仅在空间上精确定位中熵枢纽（Where），更通过轻量前瞻评估在候选词集合中自适应搜索最优 Token（What）。实验表明，RPS 在多个主流 dLLM 与代码、数学基准上实现了 4 到 10 倍的端到端墙钟加速，在保持甚至提升生成精度的同时，显著击败现有的前瞻基线；配合 KV 缓存机制后，其最大加速比进一步扩展至 18 倍。
困在贪心里的并行解码：为什么只选位置是不够的？
在典型的半自回归掩码扩散模型中，一段长度为 $L$ 的文本通常被划分为若干个连续的 Block，解码过程按 Block 从左到右推进。在每个 Block 内部，模型输入包含已知提示词与未决掩码符号 $[\texttt{MASK}]$ 的混合序列，在单次前向计算中对所有剩余掩码位置 $\mathcal{M}$ 同时给出全词表概率分布 ${p_i}_{i\in\mathcal{M}}$。此时，解码调度器（Scheduler）必须做出决断：本轮究竟固定哪几个位置，又该给它们填入什么词？
过去绝大多数方法将这两项决策强行绑定。诸如 Fast-dLLM、KLASS、EB-Sampler 等经典方案，本质上都在设计针对单个位置的静态或半静态准入门槛。它们要么要求最大预测概率 $P^{\max}_i$ 超过设定的置信度阈值 $\tau$，要么要求预测分布的香农熵低于某个极小值，抑或是跨时间步的预测分布 KL 散度足够稳定。然而，无论筛选准则多么精细，一旦位置入选提交集合 $\mathcal{S}$，其赋予的词必然是贪心输出：
\[x_i \leftarrow \arg\max_{v\in\mathcal{V}} p_i(v) \quad \text{for each } i \in \mathcal{S}\]近年来，以 LoPA 和 ETE 为代表的 Lookahead（前瞻）方法尝试跳出局部指标，通过前瞻试探来观察提前提交某位置后能否给后续解码带来增益。但它们依旧带着“贪心枷锁”：前瞻机制仅被用来寻找“在哪个位置落子最划算”，落子的动作依然僵硬地锁定在当前 Top-1 词。
这种策略在常规置信度极高的位置或许行得通，但在真正决定推理走向的关键拐点上却暴露出致命缺陷。高置信度位置往往属于语法连词、常见搭配或局部强约束词，强行提前确认它们，就像在拼图游戏里先拼上几块无关痛痒的边缘纯色块，对整幅图画的拼合几乎没有全局启发性；反之，若去触碰极高熵的完全混沌位置，又无异于在毫无线索时盲目下注，极易引入错误。最具有全局带动效应的，恰恰是处于两者之间的地带。
中熵枢纽与涟漪效应：解码动力学的杠杆点
为了科学刻画提前提交不同位置对全局状态的影响，研究团队在部分解码的上下文基础上进行了一项 Oracle（真实标签）干预实验。实验固定其他条件，分别将剩余各个掩码位置强行填充为真实的 Oracle Token，随后测量整个序列中其余掩码位置的平均预测熵变化 $\Delta H$。
实验描绘出的动力学图景令人吃惊：预测熵降低最显著、即下游不确定性收缩最剧烈的区域，整齐地集中在“中熵区间”（Mid-Entropy Regime）。作者将这种一个位置的确定引发全局不确定性剧烈塌缩的现象定义为涟漪效应（Ripple Effect）。
其内在直觉非常清晰：中熵位置并非完全不可捉摸，它已经与当前已解码的上下文建立了实质性的语义关联，同时它又处于分支路径的分水岭。一旦这个分水岭被正确敲定，原本摇摆不定的多个下游词元便会迅速被照亮，其预测熵陡降，进而在随后的解码步中达到并行提交的阈值。
紧随其后的统计事实给传统调度器带来了更沉重的打击：在这些处于中熵区间的枢纽位置上，真实 Oracle Token 不是当前模型 Top-1 预测的比例高达 85%。这意味着，倘若沿着传统路径只在 Top-1 词上做文章，前瞻机制在 85% 的关键时刻都在评估一个“错误或次优假设”。强行提交错误的 Top-1 词，不仅无法激发出预期的涟漪效应，反而会把扩散模型拖入幻觉或死胡同。想要激活涟漪效应的加速红利，就必须在算法层面完成跃迁：把“去哪填”和“填什么”同时纳入搜索空间。
RPS 机制拆解：两阶段筛选与分支隔离前瞻
Ripple-Pivot Search（RPS）的设计理念，就是在不重训模型、不破坏推理效率的前提下，精准捕捉这个中熵枢纽，并为它找到最具全局收益的候选词。整个流程嵌入在常规并行解码步骤之后，由枢纽筛选（Pivot Selection）与前瞻打分（Lookahead Scoring）两大核心环节构成。
在每一轮解码中，模型首先依照常规的高置信度规则提交一批显而易见的位置，随后 RPS 接管剩下的掩码位置集合 $\mathcal{M}$。第一阶段的核心目标是低成本锁定最有潜力的中熵位置 $i^{\star}$。为了防止长尾词表的噪声干扰，RPS 首先对每个未决位置的分布进行截断，只保留概率最大的前 $k_{\max}$ 个词（实验中通常设为 10），构成紧凑候选集 $\mathcal{T}i$。随后，算法计算这部分核心概率质量的总和 $\mu_i = \sum{v\in\mathcal{T}i} p_i(v)$，只有当其超过阈值 $\tau{\text{pivot}}$ 时，才说明该位置的概率分布已形成初步聚焦。在满足聚焦条件的位置中，RPS 挑出截断熵最高的那一个作为枢纽：
\[i^{\star}=\underset{i\in\mathcal{M}:\,\mu_i\geq\tau_{\text{pivot}}}{\arg\max}\left\{-\sum_{v\in\mathcal{T}_i}p_i(v)\log p_i(v)\right\}\]这一双重过滤策略巧妙地规避了两端陷阱：它过滤掉了已经没有信息量的高置信度位置，又通过概率质量总和门槛剔除了那些分布过于弥散、模型根本尚未形成认知的位置，从而牢牢锚定在中熵区间。
锁定了枢纽位置 $i^{\star}$ 之后，第二阶段需要确定赋词方案。RPS 引入到达率比例（Reachability Ratio）$r$，构建自适应候选集 $\mathcal{C}$，该集合只保留那些概率不低于 Top-1 概率 $r$ 倍的 Token（例如 $p(v) \geq 0.1 \times P^{\max}$）。特别的是，RPS 显式地将原始掩码符号 $[\texttt{MASK}]$ 也加入候选集，构成了所谓的“锚点分支”（Anchor Branch $B_{\text{anchor}}$）。
如果每个候选词都单独跑一次前向传播，计算开销将完全抵消并行解码省下的时间。RPS 在工程与架构上的精妙之处在于，它通过定制化的分支隔离注意力掩码（Branch-Isolating Attention Mask），将所有候选词分支打包成单个批次，仅需单次前瞻前向计算即可完成所有评估。在这个特制的注意力掩码中，共享的上下文对所有分支可见，但各个候选分支之间彼此完全遮蔽，从而严密复刻了“假定仅在枢纽处填入词元 $c$”时的独立条件概率场。
在获得各分支的预测分布后，RPS 依据下式决出最优赋值 $c^{\star}$：
\[c^{\star}=\underset{c\in\mathcal{C}}{\arg\max}\left\{-\frac{1}{\lvert \mathcal{M} \rvert-1}\sum_{i\in\mathcal{M}\setminus\{i^{\star}\}}H\left(p_i^c\right)+\lambda\log p_{\text{anchor}}(c)\right\}\]这一评估目标由两个关键部分组成：
-
下游平均熵减项：公式前半部分计算除枢纽外所有剩余掩码位置的平均香农熵（负号表示熵越低越优）。它直接衡量该候选词激发出涟漪效应的强度，即下游不确定性被压缩的程度。
-
锚点合理性正则项（Plausibility Safeguard）：公式后半部分引入了来自锚点分支的概率 $p_{\text{anchor}}(c)$，并赋予权重 $\lambda$。这是为了防范一种退化解——某些破坏性的词（如提前生成终止符）可能会因为瞬间摧毁语义丰富度而导致下游熵表面上大幅下降。未经过条件化的锚点分支保留了模型最原本的判断尺度，提供了一个客观的质量校验信号。
更为稳健的是，当计算出的最优解 $c^{\star}$ 恰好是 $[\texttt{MASK}]$ 本身时，意味着任何提前赋值带来的收益都无法覆盖其潜在风险，系统将果断选择“暂不决定”，让该枢纽继续保持掩码状态。这种机制从底层杜绝了盲目冒进导致的幻觉累积。而在确定选出某个词元后，该分支在前瞻阶段算出的下游概率分布将直接继承给下一个解码步，避免了任何重复算力浪费。
理论视角：为什么熵减能等价于加速保证？
为了证明上述经验打分函数的合理性，作者在理论层面给出了清晰的数学推导，回答了两个核心问题：优化下游平均熵究竟在物理上意味着什么？锚点正则项的引入又扮演了何种判定边界？
研究给出的第一个理论命题是熵保证并行度（Entropy-Certified Parallelism）。假设当前剩余掩码位置数为 $n$，给定一个置信度解码门槛 $\tau \in [1/2, 1)$，下一个时间步能够直接满足条件并执行并行提交的位置数量可表示为指示函数之和 $N_{\tau}(c) = \sum_{i} \mathbb{I}\left[\max_v p_i^c(v) \geq \tau\right]$。论文证明，该数量存在一个严格的数学下界：
\[N_{\tau}(c) \geq \max\left\{0,\; n - \left\lfloor\frac{n\bar{H}_c}{h(\tau)}\right\rfloor\right\}\]其中 $\bar{H}_c$ 是分支 $c$ 的下游平均熵，$h(\tau)$ 是关于阈值 $\tau$ 的二元熵函数。该命题确立了平均下游熵与下一轮可并行解码 Token 数量之间的单调反比关系。换句话说，最小化平均熵绝非玄学上的不确定性抑制，而是在数学上严格收紧并提升了下一解码步并行提交能力的理论下界，直接映射为端到端运行步数的减少。
第二个理论命题则揭示了合理性惩罚的安全边际（Plausibility-Adjusted Selection Margin）。将打分公式做拉格朗日视角转化，可以发现 RPS 的决策过程等价于在候选词惊奇度预算下的下游熵最小化。对于任意两个候选词 $c$ 和 $d$（其中 $d$ 在先验上比 $c$ 更具合理性，即 $a_d > a_c$），$c$ 要想战胜 $d$ 胜出，其下游熵必须满足硬性差值门槛：
\[\bar{H}_d - \bar{H}_c \geq \lambda \log \frac{a_d}{a_c}\]这从理论上划定了安全红线：一个先验概率较低的非贪心词元，必须展现出足够强大的涟漪效应（带来巨幅的下游不确定性下降），才有资格被算法破格采纳。当参考对象 $d$ 取为原始掩码 $[\texttt{MASK}]$ 时，该边界直接决定了系统是执行“积极并行”还是“审慎放弃”。
实验全景：全面兼顾速度与质量的高难度平衡
为了验证 RPS 的真实表现，作者在两大主流架构家族上展开评测：一是从零预训练的扩散模型 LLaDA（涵盖 8B-Instruct 与最新的 LLaDA-1.5），二是由自回归基座转化而来的 Dream 家族（Dream-v0-Instruct-7B）。评测基准囊括了考验复杂推理与严谨逻辑的四大任务：数学推理的 GSM8K、MATH500，以及代码生成的 HumanEval 和 MBPP。对比基线包括标准单步解码 Default，以及 Confidence、KLASS、EB-Sampler、WINO 和 LoPA 五种主流并行解码策略。
衡量指标涵盖了反映算法执行步数的 NFE（函数评估次数）、反映物理落地表现的 TPS（每秒生成 Token 吞吐）以及最终的任务准确率。
在整体性能方面，RPS 展现出了统治级的效率提升。相较于默认的标准解码器，RPS 在不同任务和模型上稳稳实现了 4.24 到 9.80 倍的 TPS 墙钟加速。更令人瞩目的是，这种激进的提速并没有以牺牲模型智力为代价，反而多次出现了“加速同时涨点”的反直觉现象。在 LLaDA 模型上，RPS 在 MBPP 上的代码准确率比标准解码器高出 2.2 个百分点；在 HumanEval 上，RPS 在 LLaDA 和 Dream 上双双取得了 1.22% 的绝对精度提升。
当与此前性能最为激进的前瞻基线 LoPA 进行直接交锋时，RPS 的核心设计优势展露无遗。在单纯的速度指标上，LoPA 依靠前瞻高置信度位置也能够跑出很高的吞吐，但其强制使用 Top-1 贪心赋值的弱点在复杂任务中被无限放大。在 HumanEval 代码生成中，由于代码语法具有极强的链式依赖，错误分配一个符号就会毁掉整个程序块，LoPA 出现了严重的精度崩塌：在 LLaDA 上，LoPA 的准确率落后 RPS 达 4.27%；在 Dream 上，这一差距进一步拉大到了 5.49%。这极其有力地佐证了作者的核心论点——在扩散模型中，只做位置维度的前瞻搜索不仅是不够的，甚至可能是危险的。
面对生成长度 $L \in {128, 256, 512}$ 的变化，RPS 保持了高度的稳定性。在极短预算场景下（$L=128$ 的 HumanEval），受限于生成步数过紧，LLaDA 原生解码器的表现整体承压，基线 Default 精度为 30.49%，而 LoPA 在激进的错误贪心提交下暴跌至 22.56%。相比之下，RPS 顶住了误差级联压力，维持了 28.66% 的高水平，同时兑现了 5.26 倍的 TPS 提升。
此外，消融实验针对合理性正则项系数 $\lambda$ 展开了参数敏感度测试。数据显示，将 $\lambda$ 从 0（仅看下游熵，无合理性约束）切换到 0.1 时，LLaDA 在 GSM8K 上的推理准确率瞬间跃升了 2.1%。而在 $\lambda \in [0.1, 0.5]$ 的广阔区间内，模型的精度波动仅有 1.1%，速度吞吐几乎恒定。这证明 RPS 对该超参数毫不敏感，工程落地时完全无需针对特定下游任务进行精巧的微调。
而在工程部署最关心的内存状态复用环节，RPS 与 Block-wise KV 缓存的结合更是产生了巨大的化合反应。由于单步内的前瞻分支采用了严格的注意力隔离，其底层的 Key-Value 张量高度契合块状缓存结构。实验表明，当深度整合 KV 缓存后，RPS 的端到端墙钟加速比最高飙升至标准解码器的 18 倍，彻底抹平了扩散大模型与主流自回归架构在日常生成场景下的延迟鸿沟。
走出贪心局限：dLLM 推理范式的未来可能
从更宏观的技术演变视角审视，RPS 的价值远不止于提出了一个免训练的加速外挂。它在认知层面上修正了学界对扩散语言模型解码机制的理解误区。
长期以来，研究者习惯将自回归模型的贪心直觉平移至扩散模型中，默认“每个位置在当前步下的 argmax 分布就代表了当前最优抉择”。但离散扩散模型的动力学本质是非自回归的全局迭代去噪，各掩码点位在信息尚未完全揭示时，其概率分布必然呈现出混杂态。RPS 的实验不仅坐实了中熵区域作为“信息杠杆枢纽”的特殊地位，更用坚实的数据警示同行：忽视非 Top-1 路径的并行解码，实质上是在用错误的确定性去污染潜在的去噪轨迹。
通过巧妙的分支隔离注意力掩码，RPS 证明了在单次前向开销内完全有能力同时实现“空间搜索”与“内容试探”，并借助严格的理论界限在信息增益（熵减）与模型一致性（锚点概率）之间找到自适应的支点。随着诸如 LLaDA、Dream 等扩散大模型的参数体量不断提升，这种兼具确定性理论保障与工程无损特性的解码调度器，将成为推动 dLLM 迈向真正高效实用的关键底层构件。