拒绝大模型SFT后“千篇一律”：注释锚定训练将语义崩溃降低6倍
Annotations Mitigate Post-Training Mode Collapse
毫无疑问，经过监督微调（Supervised Fine-Tuning, SFT）的大语言模型变得更加听话和好用了。它们学会了遵循指令，掌握了安全边界，也习惯了人类喜欢的对话格式。
ArXiv URL：http://arxiv.org/abs/2605.09995v1
但你是否发现，当你让模型进行创意写作或开放式问答时，它们的回答套路越来越“千篇一律”？
这种现象在学术界被称为语义模式崩溃（Semantic Mode Collapse）。SFT过程会强制模型迎合低熵（信息量低、高度集中）的微调数据分布。作为代价，模型丢失了在海量预训练数据中积累的高熵语义分布。
更反直觉的是，这项由苹果公司、卡内基梅隆大学等机构联合发表的研究指出：随着模型参数规模的扩大，这种多样性的丧失反而愈发严重。大模型在预训练时见过汪洋大海，却在微调后被死死困在了小池塘里。
为了弥合这一语义多样性鸿沟，该研究提出了一种极为优雅的解决方案——注释锚定训练（Annotation-Anchored Training）。该方法在不牺牲指令遵循能力的前提下，将语义多样性崩溃大幅降低了6倍。
追本溯源：微调是如何抹杀多样性的？
在深入探讨新方法之前，我们需要用严谨的视角审视SFT到底改变了什么。
该研究考察了Qwen2.5系列（0.5B至72B）和Llama 3系列（1B至70B）模型。实验结果令人扼腕：在所有采样策略下，指令微调模型的语义多样性都远低于其对应的基座模型。
观察上方的图3可以发现一个令人遗憾的逆向缩放趋势。在传统的SFT模型（橙色线等）中，参数规模越大，生成的语义多样性（熵）反而越低。基础模型本来是随着参数变大而更多样的，微调却逆转了这一规律。
为什么会这样？本文提出了一种分布式的解耦视角。
设提示词为 $x$，最终回复为 $y$。传统SFT的目标是让模型直接拟合微调数据的条件分布 $P^{\star}(y \mid x)$。
但实际上，生成过程可以被拆解为一个引入隐变量的过程。我们假设存在一个语义意图变量 $z$（代表回复的主题、风格或核心意图）。那么，预训练模型的生成分布可以表示为：
\[P(y \mid x)=\int R(z \mid x)\,Q(y \mid x,z)\,dz\]微调后的模型分布则变成了：
\[P^{\star}(y \mid x)=\int R^{\star}(z \mid x)\,Q^{\star}(y \mid x,z)\,dz\]这里是核心痛点：$Q^{\star}(y \mid x,z)$ 代表了“如何表达”（高质量的条件响应），这是我们希望通过SFT学到的；而 $R^{\star}(z \mid x)$ 代表了“表达什么”（语义意图的分布）。
由于人工微调数据的语义意图极其狭窄，导致 $R^{\star}(z \mid x)$ 的熵极低。传统SFT将这两者捆绑优化，导致模型不仅学了微调数据的“语气”，还把微调数据的“狭隘视角”也全盘吸收了。
核心机制：注释锚定训练
为了打破这种捆绑，研究人员提出了注释锚定训练（Annotation-Anchored Training）。
为了方便理解这个抽象的数学过程，我们可以引入一个“拍电影”的类比。在这里，$x$ 是客户的需求，$z$ 是导演选定的“剧本大纲”（题材、情感、背景），而 $y$ 是最终拍出的“电影成片”。
预训练阶段，模型阅览无数，掌握了极其丰富的剧本大纲选择权 $R(z \mid x)$。但在传统的SFT阶段，为了追求安全和特定画质 $Q(y \mid x,z)$，制片方只允许拍最稳妥的几类爆款剧本，导致大纲选择权 $R^{\star}(z \mid x)$ 被强制收窄。
注释锚定训练的目标，就是构建一个理想的混合分布：
\[P^{\star}_{R}(y \mid x)=\int R(z \mid x)\,Q^{\star}(y \mid x,z)\,dz\]即：保留预训练时期天马行空的“剧本大纲” $R(z \mid x)$，同时利用SFT学到的高超“拍摄手法” $Q^{\star}(y \mid x,z)$ 来完成最终作品。
具体操作分为极其巧妙的三个步骤：
第一步：带注释的预训练
在预训练语料库中，研究者利用大模型（如Qwen3-30B）自动提取文档的语义属性（如主题、实体、动作、设定等），将其作为注释（Annotations）插入到文档正文之前。 模型在海量数据上进行自回归预训练，从而将不可见的隐变量 $z$ 显式化，学到了一个极其丰富、高熵的注释分布 $R(z \mid x)$。
第二步：掩码损失的后训练（最精妙的一环）
进入SFT阶段，训练数据依然是“注释+正文”的格式。 但是，研究人员做了一个微小却核心的改动：屏蔽掉预测“注释”部分的损失函数梯度（Masking the loss of the annotations）。 这意味着什么？模型在SFT期间，只能通过更新参数来优化“给定大纲后如何拍好电影”的能力，而它“选择剧本大纲”的神经元连接没有被微调数据触碰。因此，语义分布被死死“锚定”在了预训练状态。
第三步：分步采样推理
在最终推理时，当我们给模型输入提示词 $x$，模型会首先自回归地采样出一段注释 $z$。因为分布被锚定，这个 $z$ 完美继承了预训练数据的多样性。 随后，模型以该注释为条件，顺理成章地生成高质量、遵循指令的最终回复 $y$。
关键实验与数据验证
为了验证该方法的有效性，研究团队在Stories、NoveltyBench等多个基准测试上进行了全面评估。
1. 扭转逆向缩放定律，拯救多样性 如图5所示，在所有基准测试和模型规模下，注释锚定模型（绿色线）的语义多样性都显著高于标准SFT模型（橙色线）。 更重要的是，它彻底逆转了前文提到的缩放困境。随着参数量的增加，锚定模型生成的多样性也在稳步提升。在Stories数据集上，25亿参数的锚定模型弥补了基础模型与SFT模型之间约85%的语义分歧，将多样性崩溃降低了整整6倍。
2. 突破多样性与质量的帕累托前沿 在传统思维中，要增加生成的随机性，我们通常会调高采样温度（Temperature）。但这往往会导致输出质量断崖式下跌，出现幻觉或胡言乱语。 实验证明，注释锚定模型重塑了这一权衡边界。在相同的质量人工评分下，锚定模型能够提供高得多的语义多样性；反之，在相同的多样性水平下，锚定模型的输出质量远超简单提高温度的标准模型。
3. 对数据集熵的免疫力 这是一项极其硬核的对照实验。研究者故意构造了不同熵值的SFT数据集（有的题材单一，有的题材广泛）。 对于标准SFT模型，微调数据越单一，生成结果就越死板（模型行为严重依赖后训练数据）。而注释锚定模型对微调数据的熵值表现出了极强的“免疫力”。由于其语义先验被锚定在预训练阶段，即便微调数据非常单一，它依然能在推理时展现出极高的多样性。
必须直面的局限性
任何技术都有其适用边界，本文也并未避讳该方法在工程落地上的挑战。
首先是推理成本的增加。该方法强制要求在生成实际回复前，先自回归地生成一段语义注释 $z$。这些注释不作为最终输出展示给用户，但实打实地消耗了计算资源，必然会带来额外的Token开销和首字延迟（TTFT）。如果在对延迟要求极高的实时对话场景中，这会成为一个痛点。
其次，对预训练流程的侵入性。该方法要求在预训练阶段（Pretraining）就必须对海量语料进行标注并插入标签。对于那些只能拿到开源基座模型权重（Base Model）进行微调的下游开发者来说，如果在基座阶段没有注入注释，就无法直接享受这种无损的锚定红利。
最后，消融实验也证实，如果在推理阶段强行剥离“采样注释”这一步，模型的多样性会立刻被打回原形。这意味着，显式的变量引导是维持多样性的绝对前提。
工程启示与结语
这项研究对当前的大模型对齐范式（Alignment）提出了极具价值的哲学反思。
我们一直致力于让模型“向微调数据看齐”，却忽略了微调数据本身就是一种信息降维。理想的后训练应当是一场“精细的外科手术”，我们需要改变的是条件响应行为（格式、安全性、指令遵循），而坚决需要保留的，是预训练阶段赋予模型的浩瀚语义先验。
注释锚定训练不仅是一项具体的技术，更提供了一个优雅的理论模板：只要我们将需要保留的分布特征显式化，并在后训练中切断对该分布的梯度更新，我们就能打破“变乖就变笨”的魔咒。
或许在不久的将来，当我们再次与最前沿的超级大模型对话时，它们不仅能给出完美无瑕的标准答案，更能带给我们宛如翻阅大千世界般的无限惊喜。