TurnOPD：复旦与腾讯提出自适应轮次蒸馏，Agent训练提速2.29倍
TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training
大型语言模型在规划、工具调用和环境交互等复杂任务中，正越来越多地被部署为自主智能体（Agent）。为了让模型在多轮交互中表现更佳，在线策略蒸馏（On-Policy Distillation，简称 OPD）成为了一种极具前景的训练框架。在这种范式下，学生模型会自行采样生成交互轨迹，而更强大的教师模型则在这些轨迹的状态节点上提供反向 KL 散度（Reverse-KL）监督，从而提供密集的反馈信号，避免了强化学习中常见的奖励稀疏问题。
ArXiv URL：https://arxiv.org/abs/2607.05804v1
然而，将在线策略蒸馏直接应用于长周期、多轮次的智能体任务时，却遭遇了严重的效率和性能瓶颈。复旦大学与腾讯团队在最新研究中深入剖析了这一问题，指出传统的在线蒸馏框架在监督信号分配和优化预算分配上存在致命的不匹配。为了解决这一痛点，研究团队正式提出了 TurnOPD 方法。该方法通过引入自适应的轮次收集预算和渐进式的损失归一化机制，不仅有效克服了深层决策训练不足的问题，还在同等真实时间预算下实现了更高的验证准确率，训练速度最高提升了 2.29 倍，在时间与精度的帕累托前沿上实现了显著突破。
长周期智能体蒸馏的双重困境
在长周期的智能体交互中，模型生成的不仅仅是简单的文本序列，而是一条包含环境变化、工具调用和状态转移的完整轨迹。早期的决策会深刻影响后续的状态，而通常更为关键的决策往往隐藏在交互的深处。研究团队通过细致的诊断分析，揭示了标准 OPD 框架在长周期任务中面临的两个核心不匹配问题。
首先是外部不匹配带来的算力浪费。在标准的 OPD 设定中，轨迹的展开（Rollout）深度通常是固定的。系统会不断让智能体与环境交互，直到任务成功或达到最大步数限制。然而，诊断结果表明，教师模型提供的有效修正信号以及存活的轨迹数量，都会随着轮次深度的增加而急剧变化。在深层轮次中，由于累积错误和环境状态的偏离，教师模型给出的 KL 监督信号往往变得微弱且充满噪声。坚持将算力消耗在这些低价值的尾部轮次上，导致了严重的墙上时间（Wall-clock time）浪费，使得整体训练效率极低。
其次是内部不匹配导致的损失分配失衡。在完成一条轨迹的收集后，传统的轨迹级别 KL 目标会默认对所有参与监督的 Token 赋予均等的权重。这就带来了一个直观的统计学后果：由于浅层轮次更容易到达、包含更多的交互文本且往往具有较高的初始 KL 散度，优化器的损失预算会极度向浅层倾斜。实验数据显示，在 ALFWorld 任务中，仅初始的第一轮交互就消耗了约四分之一的 KL 损失预算，而最深层的三分之一轮次仅仅分到了 3.6% 到 4.5% 的损失份额。这种现象导致当模型已经掌握了初始的基本交互模式后，真正需要细致微调的深层复杂决策却因为缺乏足够的损失权重而陷入“营养不良”的欠拟合状态。
深入探究信号失真的污染压缩机制
为了更透彻地解释为何深层轮次的 KL 信号会变得微弱且失去对成败的区分度，研究团队提出了一种名为“污染压缩”的理论机制。在多轮交互中，模型面临的上下文由之前的自我生成内容和环境观察构成。随着轨迹变长，上下文中往往会充斥着格式化的约束、重复的无效尝试或特定的模板文本。
在这种情况下，无论是学生模型还是教师模型，其下一个 Token 的概率分布都会被这些强迫性的上下文部分“锁定”。研究人员将预测分布拆解为一个由上下文强制决定的共享成分，以及一个真正反映策略分歧的自由成分。数学上，当强制成分的比例过高时，它会极大地压缩可观测到的 KL 散度值。换言之，在深层轮次中，测得的 KL 散度变小，并不一定意味着学生已经完美学会了教师的策略，而是因为冗长且可能偏离正轨的上下文迫使双方只能做出类似的低级延续。
更为关键的是，这种压缩效应在失败的轨迹上表现得尤为明显。失败的交互往往很快陷入重复无效行动的死循环，导致强制成分急剧上升，真实的分歧被严重掩盖。这就解释了一个反直觉的现象：在某些长周期任务的深层，成功轨迹上的平均 KL 散度竟然高于失败轨迹上的 KL 散度。传统的基于原始 KL 散度的反馈机制，在这种信号倒置和失真的情况下，自然无法提供精准的策略指导。
TurnOPD 的双核预算控制架构
为了彻底解决外部算力浪费和内部信号分配失衡的问题，研究团队精心设计了 TurnOPD 架构。它不再将整条交互轨迹视为一块不可分割的文本，而是建立在明确的轮次感知（Turn-Aware）基础之上，引入了两个相互配合的预算控制器。
第一个核心组件是自适应的 Rollout 深度预算控制器，其主要目的是解决外部不匹配。TurnOPD 摒弃了僵化的最大步数限制，转而通过在训练过程中定期进行探测采样，收集每个轮次的存活率和有效 KL 信号质量。基于这些动态统计信息，控制器能够智能地决定每一次 Rollout 的最优截断深度。当探测到深层轮次的有效信号被噪声淹没，或者幸存轨迹过少以至于无法提供具有泛化性的梯度时，控制器会果断缩短交互视野，及时中止数据收集。这种策略犹如精明的投资，迅速切断了在低收益尾部数据上的算力消耗，将宝贵的计算资源集中在能够产生高强度监督信号的有效区间内。
第二个核心组件是渐进式轮次归一化损失预算控制器，专门应对内部不匹配导致的深层欠拟合。既然单纯按照 Token 数量分配损失会让浅层轮次喧宾夺主，那么直接对每个轮次平均分配权重是否可行？研究团队敏锐地指出，如果在训练初期就强行拉平所有轮次的权重，由于深层轮次样本稀少且信号不够稳定，反而会过早放大噪声，破坏初始阶段的对齐过程。
因此，TurnOPD 采用了一种优雅的渐进式策略。在训练的最初阶段，它依然依赖基于 Token 的全局损失，确保模型快速掌握基础的环境交互规范和浅层响应模式。随着训练步数的推进，控制器会线性地改变损失函数的组合比例，逐渐降低基于 Token 的损失比重，并同步提升基于轮次归一化的损失比重。通过这种平滑的过渡，优化引擎的注意力被稳步引导至轨迹的深层。那些包含关键逻辑转折和复杂工具调用的少数深层 Token，最终获得了与其决策重要性相匹配的更新权重，从而在后期训练中实现了精确的微调。
实验论证与性能跨越
为了验证 TurnOPD 的有效性，研究团队在代表性的大型多轮交互基准测试上进行了全面实验，涵盖了具身规划任务 ALFWorld、网络电商导航 WebShop，以及多跳信息检索任务。所有的评测均在严格控制墙上时间预算的前提下展开，以确保效率对比的绝对公平。
实验结果展现了 TurnOPD 在效率和精度上的双重统治力。在 ALFWorld 环境下，搭载 17 亿参数模型的基线 OPD 运行 100 个优化步需要耗费 4.42 小时，而 TurnOPD 仅用 1.93 小时就完成了同样的步数，同时将核心指标 Avg@4 从 83.0 显著提升到了 86.3。这意味着模型不仅训练得更快，在任务的规划和执行上也变得更加精准。在 WebShop 这个贴近真实的复杂网页导航任务中，TurnOPD 同样将训练时间从 1.57 小时压缩至 1.24 小时，并稳定提升了验证集的成功率。
通过详尽的消融实验，研究团队清晰地拆解了两个控制器各自的贡献。数据显示，自适应深度控制器是打破效率瓶颈的绝对主力，它近乎砍掉了一半的无谓等待时间，但如果仅依靠它，无法从根本上纠正浅层轮次对梯度的垄断；而渐进式损失混合策略则在不增加额外时间成本的情况下，通过重组损失权重，硬生生拉升了深层决策的准确度。只有当这两者结合时，TurnOPD 才真正拓展了 Agent 训练的精度-时间帕累托前沿，实现了最高达 2.29 倍的训练提速。
TurnOPD 的提出，为长周期语言智能体的训练指明了一个更加务实且精细的方向。它打破了传统自然语言处理领域中将长文本视为均质数据流的惯性思维，强调在动态的交互环境中，“轮次”才是衡量决策深度和反馈价值的真正标尺。这一不仅关注如何教、更关注“在哪里教”与“教到多深”的创新框架，必将为未来开发更敏捷、更深邃的自主 AI 助手奠定坚实的算法基础。