拒绝“特权幻觉”！DOPD双重蒸馏让大模型能力狂飙14分

DOPD: Dual On-policy Distillation

为什么给大模型“开小灶”，它反而越学越傻？

ArXiv URL：http://arxiv.org/abs/2606.30626v1

在如今的大模型后训练阶段，用一个强大的“老师”模型来指导一个较弱的“学生”模型，已经成为提升性能的标准操作。为了让老师教得更好，研究人员往往会给老师提供一些特权信息（Privileged Information），比如数学题的解题提示，或者视觉任务中的目标检测框。本以为这能大幅拔高学生的能力上限，但现实却狠狠泼了一盆冷水：学生模型不仅没有学到真本事，反而出现了性能崩塌和探索能力下降。

这项由多所顶尖高校联合开展的最新研究，精准捕捉到了这一反常现象，并将其命名为特权幻觉（Privilege Illusion）。为了彻底解决这一痛点，该研究提出了全新的 DOPD（Dual On-policy Distillation）双重同策略蒸馏架构。该方法在八大主流基准测试中全面碾压现有方案，最高带来了超过14分的惊人数值提升。

究竟什么是“特权幻觉”？DOPD又是如何巧妙化解这一难题的？本文将为您深度硬核剖析。

揭开“特权幻觉”的伪装

在探讨解决方案之前，必须先理清现有蒸馏框架的致命缺陷。

目前的同策略蒸馏（On-policy Distillation, OPD）通常让学生模型自己生成回答轨迹，然后由老师模型对这些轨迹中的每一个 $Token$ 进行密集打分和监督。这就好比学生自己做卷子，老师在旁边逐字逐句批改。

当引入特权信息时，老师因为提前看到了“参考答案”（特权输入），批改得异常精准。然而，这恰恰是灾难的开始。老师和学生之间的表现差距，实际上混杂了两种完全不同的东西：

第一种是真正的能力差，比如逻辑推理能力，这是学生必须通过蒸馏补齐的短板。第二种则是单纯的信息差，老师因为看了参考答案才显得更强，这种优势学生根本学不会。

如果不加区分地让学生去模仿老师的所有行为，学生就会陷入“特权幻觉”。它没有学到真正的解题逻辑，而是试图去死记硬背那些由信息差带来的“捷径”。就像考场上的差生，不去学怎么解方程，而是试图模仿优等生写下最终答案的字迹。这种盲目模仿最终会导致模型的预测分布急剧收缩，也就是所谓的熵崩溃。

更棘手的是，在一个长文本序列中，并非每一个 $Token$ 都包含核心能力。很多连接词或废话的预测优势，纯粹是由特权信息带来的。如果对所有 $Token$ 进行均匀的强力灌输，特权幻觉只会被无限放大。

动态路由：因材施教的双重蒸馏机制

既然全盘接收行不通，那该如何精准剔除“信息差”，只保留“能力差”呢？DOPD的核心破局点在于：引入特权优势差距（Privilege Advantage Gap）作为评判标准，并为每一个 $Token$ 动态分配不同的蒸馏策略。

精准定位能力的试金石

该研究巧妙地构造了一个公式来衡量这种优势差距 $\mathcal{A}$：

\[\mathcal{A}=\left|\log\frac{\Pi_{T}\left(\mathbf{y}_{n}\mid\mathbf{x},\mathbf{p},\mathbf{y}_{<n}\right)}{\Pi_{S}\left(\mathbf{y}_{n}\mid\mathbf{x},\mathbf{p},\mathbf{y}_{<n}\right)}\right|\]

在这个公式中，老师策略 $\Pi_{T}$ 和学生策略 $\Pi_{S}$ 都被赋予了相同的特权信息 $\mathbf{p}$。如果在拥有相同“参考答案”的情况下，老师依然在某个 $Token$ 的预测上展现出压倒性优势（即 $\mathcal{A}$ 值极大），这就说明这个优势是老师真正的“硬实力”带来的。反之，如果 $\mathcal{A}$ 值很小，说明在这个节点上，老师的强悍仅仅是因为它沾了特权信息的光。

基于这一洞察，DOPD构建了一个四象限的动态路由机制。它根据优势差距 $\mathcal{A}$ 以及老师和学生在这个 $Token$ 上的相对概率，将 $Token$ 划分为四类，并实施不同强度、不同来源的惩罚和激励。

四大蒸馏策略深度拆解

为了让知识传递更稳定，该研究综合运用了前向KL散度、反向KL散度以及 $JS$ 散度。我们来看看 DOPD 是如何对症下药的：

核心能力节点（HT）：重拳出击 当某个 $Token$ 具有极高的优势差距，且老师的预测概率远高于学生时。这表明该位置包含了极为关键的逻辑推理知识。DOPD 会动用最严厉的手段，即基于全词表的 $JS$ 散度，强制学生向老师的高质量分布靠拢。
探索分支节点（HS）：轻度纠偏 如果优势差距很大，但此时却是学生的预测概率更高。这说明学生可能在进行某种新颖但合乎逻辑的探索。为了不扼杀这种创新，DOPD 放弃了老师的强迫，转而让处于特权状态下的学生模型自身来提供监督，并使用反向KL散度进行轻量级的自我正则化。
稳定共识节点（LH）：温柔引导 当优势差距很小，且老师和学生都觉得某个预测很稳妥时。说明这个节点的预测主要依赖于特权信息，或者是大家都懂的常识。此时，DOPD 只会从老师的预测中截取 Top-K 的高概率分布，进行局部对齐。既能稳住阵脚，又避免引入过多的信息噪音。
无价值节点（LL）：弱化处理 如果优势差距小，且双方预测概率都低。这种 $Token$ 往往是连词或者无意义的废话。DOPD 会使用采样的方式，利用特权学生自身进行最微弱的正则化，防止在这上面浪费算力。

通过这种“因材施教”的策略，DOPD 成功将能力传递与特权信息模仿剥离开来。

实验验证：全面打破性能天花板

为了验证 DOPD 的真实威力，研究团队在涵盖普通问答、复杂数学推理以及代码编写等八大基准测试上进行了极具说服力的实验。同时，实验横跨了传统的纯文本大模型（LLM）和多模态大模型（VLM）。

绝对的性能压制

在对比基准中，不仅有传统的 Vanilla OPD，还囊括了多种前沿的自蒸馏和自适应蒸馏方法。实验数据展现了压倒性的优势。

在 LLM 任务中，DOPD 在所有基准上均取得最优成绩，相比基础 Vanilla OPD 实现了高达 7.5 分的惊人飞跃。更为震撼的是，由于特权信息的有效利用，学生模型在四个高难度推理和代码任务中，不仅学成了，甚至直接超越了作为它老师的原版模型！

而在涉及视觉理解和推理的 VLM 任务中，DOPD 同样表现强劲。相较于强力竞争者，其在多模态基准上的平均得分高出 6.0 分。这证明了该方法剥离视觉“特权幻觉”（如直接提供目标边界框带来的信息差）的通用有效性。

规模缩放与极致稳定性

一个优秀的算法绝不能只在特定尺寸的模型上生效。研究团队对五组不同大小的师生模型对（涵盖从 0.6B 到 8B 的参数量级）进行了测试。结果表明，DOPD 的收益极为稳定。以 Qwen3-4B 教 Qwen3-0.6B 为例，提升幅度竟达到了夸张的 14.1 分。

在模型训练的稳定性层面，DOPD 更是给出了教科书般的曲线。

从上图可以清晰地看到，相比于其他极易在训练中后期发生崩溃的范式，DOPD 维持了极其健康的熵轨迹。它的熵值在初期适度上升以鼓励探索，随后平稳下降并最终收敛。仅仅在第 80 步时，它取得的性能就已经超越了其他竞品在 200 步时的极限。

局限与工程启示

DOPD 为大模型的后训练提供了一套极为优雅的解法。它告诉我们，在喂给模型越来越多的额外数据时，不能一味地追求“大力出奇迹”，而是要精细化地辨别知识的真伪。

当然，该研究也坦诚了当前架构的一些局限。最直接的挑战在于成本：特权信息的构建并非免费的午餐，无论是生成高质量的推理提示还是精准的视觉标注，都需要额外的时间和算力。此外，双重蒸馏需要对学生模型进行额外的正向传播，在一定程度上增加了显存的负担。

但瑕不掩瑜，DOPD 提出的动态路由思想和优势差距计算公式，无疑为下一代更聪明、更高效的 AI 知识迁移指明了方向。拒绝幻觉，拥抱真正的能力增长，这才是大模型进化的必由之路。