不是行为克隆！哥大证明同策略蒸馏可将噪声IL样本复杂度缩减至多项式级

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

在过去几年中，模仿学习（Imitation Learning, IL）已经成为理解和训练大型语言模型（LLM）的核心范式。从最基础的指令微调（SFT）到更高级的模型对齐，我们都可以将其视为让一个学习者（模型）去模仿一个专家（人类反馈或更强大的教师模型）的序列决策过程。然而，在这个领域一直存在一个理论与实践相悖的未解之谜：理论研究表明，只要使用合适的目标函数，最简单的离线行为克隆（Behavioral Cloning, BC，即标准的监督微调）就能实现无视野依赖（horizon-free）的最优表现。但几乎所有前沿的工业界实践都发现，像同策略蒸馏（On-Policy Distillation, OPD）或基于强化学习的在线方法，在性能上往往大幅超越离线的行为克隆。

ArXiv URL：https://arxiv.org/abs/2606.30923v1

这种理论与现实的巨大裂痕究竟从何而来？哥伦比亚大学的一项最新理论研究直接给出了答案，并打破了以往对模仿学习的理想化假设。作者指出，过去的理论之所以认为离线行为克隆是完美的，是因为它们默认“专家是完全干净且绝对正确的”。但现实世界并非如此：无论是包含笔误和逻辑跳跃的人类标注数据，还是偶尔产生幻觉的教师大模型，学习者面对的往往是一个“噪声专家”。

在这项研究中，作者深入探讨了不完美专家反馈对序列决策的毁灭性影响。他们通过严格的理论推导证明，在面对噪声专家时，离线行为克隆的样本复杂度会随着决策序列长度呈指数级暴涨，从根本上阻断了其解决长链条推理任务的可能性。而破局的关键，正是同策略蒸馏。作者证明，通过让模型在自身探索的轨迹上向噪声专家在线索取反馈，可以将这种指数级的样本复杂度成功缩减至多项式级别，甚至在特定条件下恢复无视野依赖的最优性。这一结论不仅在理论上为在线微调的必要性提供了坚实基石，更为语言模型的长链条推理（CoT）训练指明了方向。

打破完美神话：噪声专家模型的真实世界

在深入复杂的理论界限之前，我们必须先理解传统模仿学习理论在设定上的局限。经典的马尔可夫决策过程（MDP）包含状态、动作、转移概率和奖励。在这个框架下，模仿学习的任务是寻找一个策略，使其在环境中 rollout（展开）时获得的期望奖励能够尽可能逼近专家策略。

近年来的突破性理论（例如 Foster 等人在 2024 年的工作）揭示了一个令人振奋的结论：如果在训练时提供了完美专家的轨迹数据，离线行为克隆能够通过最小化负对数似然，达到与在线方法媲美的效果，并且其累积误差不会随着序列长度（视野，Horizon）的增加而恶化。这意味着，理论上我们不需要让模型在环境中反复试错并向专家索取新反馈，只需要喂给它足够多的静态完美数据即可。

但在大模型的实际训练中，这个“完美专家”是不存在的。为了填补这一鸿沟，哥伦比亚大学的研究者提出了一个高度贴近现实的 噪声专家模型 （Noisy Expert Model）。假设存在一个隐藏的完美专家策略 $\pi^{\star}$，它在环境中能拿到极高的奖励；但学习者无法直接接触到它，只能观察到一个被污染的混合策略：

\[\pi^{\star}\_{\eta,h}(a\mid s)=(1-\eta)\cdot\pi^{\star}\_{h}(a\mid s)+\eta\cdot\nu\_{h}(a\mid s)\]

在这个公式中， $\eta$ 代表噪声比例，而 $\nu$ 代表任意的噪声分布。这个设定极其精准地刻画了现代 AI 训练的核心困境。例如，当我们使用一个参数量更大的强模型（Teacher）去蒸馏一个参数量较小的小模型（Student）时，Teacher 模型本身也是随机且不完美的，偶尔会在中间步骤出错。或者在依靠人类写出的数据去训练数学推理时，人类的解答中经常不可避免地混入计算笔误。

研究的核心挑战在于：学习者只能从 $\pi^{\star}_{\eta}$ 这种带有瑕疵的数据中学习，但它的最终考核标准，是去对比那个纯净且完美的 $\pi^{\star}$ 所能获得的奖励。在这样的残酷设定下，离线行为克隆还能维持其理论上的优雅吗？

指数级的深渊：离线行为克隆的根本性崩溃

当我们把“噪声专家”这个变量引入离线模仿学习时，灾难性的连锁反应就开始了。研究表明，面对被污染的静态数据，离线行为克隆不再能够轻易抹平多步决策中的误差累积。

作者在论文中通过 Hellinger 距离 （一种衡量两个概率分布差异的度量）来桥接策略之间的奖励差距。他们证明，如果在给定的 $n$ 条噪声专家轨迹上执行标准的离线行为克隆，学习到的策略 $\hat{\pi}$ 与完美专家 $\pi^{\star}$ 之间的 Hellinger 距离的上界，会受到一个极其致命的因子影响。具体来说，要保证最终期望奖励的次优性不超过 $\varepsilon$，所需的样本数量 $n$ 必须满足：

\[n\gtrsim\nicefrac{{(1-\eta)^{-(H+2)}\cdot\log(\left|\Pi\right|)}}{{\varepsilon}}\]

这里的核心矛盾在于 $(1-\eta)^{-(H+2)}$ 这个乘子。因为 $\eta$ 是大于 0 的噪声率，所以 $1-\eta$ 是一个小于 1 的分数。当它被放到分母上，并被赋予依赖于视野长度 $H$ 的指数时，这就意味着样本复杂度随着 $H$ 呈现爆炸式的指数增长。

直观地理解，当视野长度 $H$ 很大（比如语言模型需要生成几百个 Token 的逻辑推导链），只要 $\eta \gtrsim \nicefrac{1}{H}$（即整条轨迹中平均会出现一个以上噪声动作），离线学习者就会彻底迷失。因为它仅仅依靠观测到的静态轨迹，无法分辨出某个导致最终结果失败的动作，究竟是来自完美专家原本的意图，还是来自噪声分布的随机扰动。为了在几百步的序列中“筛选”出那条完全没有被噪声污染的干净路径，学习者只能祈求统计学定律，这不可避免地需要海量到无法承受的数据。

更令人绝望的是，作者通过下界证明（Proposition 1）确认了，这不是因为行为克隆算法不够好，而是离线设定下的信息论极限。在这个构造出的 MDP 迷宫中，任何只依赖离线噪声数据集的算法，都必须在样本量上支付指数级依赖于 $H$ 的代价。这就是为什么在使用包含瑕疵的语料库对模型进行单纯的监督微调（SFT）时，模型在处理长文本推理或复杂多步任务时往往后继乏力，因为算法本身就撞上了一堵无法逾越的指数墙。

同策略蒸馏的破局：重塑轨迹分布

既然在静态数据下无法分辨谁对谁错，那么唯一的出路就是动态地去验证。这也解释了为什么从强化学习人类反馈（RLHF）到同策略蒸馏（OPD），这些允许模型在训练期间进行探索的方法在实践中大获成功。

在 在线模仿学习 设定下，学习者不再是枯坐着阅读给定的历史记录。在每一轮交互中，学习者首先使用自己当前的策略 $\pi_{t}$ 在环境中探索出一条全新的轨迹。然后，针对这条轨迹上所经过的每一个真实状态，学习者去向那个“噪声专家”请求指导：如果是你在这个状态，你会采取什么动作？

这种在学习者自身分布下进行的评估，从根本上改变了误差传播的结构。作者在这篇论文中严格证明了，即使专家的反馈依然带有 $\eta$ 比例的噪声，但只要通过类似于同策略蒸馏的在线交互机制，我们就能彻底打碎那个指数级的诅咒。

在定理7和推论1中，研究者展示了通过在线询问，我们可以将策略之间的差异控制在学习者所处状态下的局部 KL 散度上。最终，这使得样本复杂度的上界被重新改写，将原本在分母上极其可怕的指数 $(1-\eta)^{-H}$ 替换成了多项式依赖。

更进一步，为了彻底消除对视野 $H$ 的依赖，作者引入了一个名为 $\kappa$-Domination 的自然约束条件。这个条件要求噪声分布不能在完美专家和学习者都不会选择的荒谬动作上分配极高的离谱概率。在这个温和的假设下（并且当完美专家是确定性的时候，该假设总是自动满足），在线 OPD 方法不仅避开了指数爆炸，还能将所需的交互轮次压缩回多项式级别：

\[n\gtrsim\nicefrac{{H^{2}\cdot\log(\left|\Pi\right|)}}{{\varepsilon^{2}(1-\eta)^{2}}}\]

这就从底层数学逻辑上解释了，为什么大厂在做 Llama 或 Qwen 的 Alignment 阶段时，一定要引入在线机制。当模型在 SFT 阶段学到一个差不多的水平后，它需要在“自己容易犯错”的状态边界上，去拉取教师模型（即使是带有幻觉的教师）的偏好或动作分布。在线交互强制截断了错误在长时间跨度上的级联效应，使得模型能以多项式的代价，从浑浊的指导中提炼出清晰的逻辑。

从理论到算法：NAIL目标与实验验证

这篇理论文章并非纯粹的纸上谈兵，在透彻分析了 Hellinger 距离与 KL 散度的机制后，研究者直接启发了一种针对大语言模型微调的新型目标函数，以应对不同程度的专家噪声。

在验证环节，作者设计了合成任务（模块加法）和自然语言任务（GSM-8K 数学推理），以测试算法在面临不同程度退化专家时的表现。

从给出的实验图表（Figure 1）中，我们可以清晰地观察到理论与现实的共振。左侧是需要较长步骤的模块加法任务，右侧是需要严密逻辑推导的 GSM-8K 任务。当专家提供的是极其纯净的反馈（例如左图中 $\eta=0$，右图中生成温度 $t=1$ 处于低噪声状态）时，离线的行为克隆（BC）、标准的同策略蒸馏（OPD）以及作者受理论启发提出的 NAIL 算法，表现差异并不巨大，均能保持较高的胜率。这验证了过去理论界关于“在完美专家下，BC 已经足够好”的论断。

然而，一旦我们将环境推向高噪声区域——比如引入 20% 的随机腐败（$\eta=0.2$），或者在 GSM-8K 中将专家模型的温度拉高至 $t=4$ 导致严重的随机扰动，原本光鲜的离线行为克隆便遭遇了断崖式的性能暴跌，因为 $H$ 带来的指数级负担瞬间压垮了静态学习机制。同时，现有的标准 OPD 目标在极高噪声下也显得乏力。相比之下，基于本文理论分析推导出的新型 NAIL 目标，在两种高噪声场景下均维持了极强的韧性，大幅超越了基线方法。这说明，不仅在线交互本身是必要的，如何精确地在自身策略和噪声专家策略之间计算散度，同样是决定长视野推理成败的关键。

在论文的第五部分，研究者更是将理论推向了更艰深的未知领域：如果学习者事先根本不知道噪声比例 $\eta$ 有多大，也不知道污染分布 $\nu$ 是什么形状（这正是真实黑盒教师模型的常态），只要底层真实专家是确定性的，依然可以设计出收敛的交互算法，并给出严格的最优样本下界保障。这相当于为现实中那些“不知教师到底靠谱度几何”的蒸馏任务，提供了一张理论安全网。

这对大模型时代的终极启示是什么？

哥伦比亚大学的这项工作不仅仅是在传统的强化学习或模仿学习理论里添砖加瓦，它真正触及了当前大型语言模型训练范式的痛点。

长期以来，业内一直在争论：SFT（监督微调）和 RLHF / 在线蒸馏的核心差异究竟在哪里？如果人类能够写出无限多完美的高质量问答，是不是就不需要复杂的在线训练管线了？

这项研究告诉我们，如果你的数据是 100% 完美的，这种假设可能成立。但真实世界中的数据，特别是在代码生成、复杂数学推理等长序列（高 $H$ 值）任务中，不可避免地充斥着局部的瑕疵和逻辑断层。一旦面对这种“噪声专家”，单纯依靠扩大 SFT 数据规模来弥补长视野下的性能衰退，是一条注定撞上指数级样本复杂度南墙的死胡同。

相反，允许模型生成属于自己的中间推理步骤，并在这些关键节点上拉取教师反馈（即使反馈也是含噪的）的在线蒸馏机制，才是打破指数魔咒的真正解药。这篇论文用最严谨的数学语言确立了一个不可动摇的技术判断：在长序列推理时代的竞争中，脱离了同策略交互的纯离线监督微调，注定走不远。 算法工程师们在构建数据飞轮时，与其花费指数级的成本去追求完全无瑕疵的静态离线数据，不如尽快建立高效的、允许模型在自身状态上试错并获取外部判决的在线反馈环。这不仅是工程上的捷径，更是数学定律刻在底层的必然。