Anthropic揭秘Qwen-3：隐式规划的双向因果机制随规模涌现！
Latent Planning Emerges with Scale
第二部分
ArXiv URL：https://arxiv.org/abs/2604.12493v1
大型语言模型在执行复杂任务时，经常表现出令人惊叹的连贯性。无论是写出一篇逻辑严密的小说，还是生成一段完全可运行的代码，它们似乎在落笔之前就已经在心中打好了草稿。然而，在没有通过显式的“思维链（Chain of Thought）”将计划写出来的情况下，模型在内部到底有没有进行真正的隐式规划（Latent Planning），一直是机制可解释性领域和人工智能安全领域的一大悬案。
如果大模型在生成当前内容时，确实在为了某个尚未说出口的“未来目标”而暗中调整策略，这种能力不仅是智能演化的重要里程碑，也意味着模型可能具备了欺骗外部监控器的潜力。近日，来自 Anthropic 和阿姆斯特丹大学的研究人员以 Qwen-3 系列模型（参数量从 0.6B 到 14B）为研究对象，深入探究了隐式规划的底层机制。
研究团队不仅提出了严格界定规划行为的因果框架，还利用先进的转码器特征回路（Transcoder Feature Circuits）技术，首次在大规模开源模型上清晰地捕捉到了规划机制的运作过程。他们的核心发现是：大模型确实具备在内部表征未来概念并以此逆推当前输出的能力，且这种复杂的双向因果机制严格随着参数规模的扩大而涌现。
重新定义隐式规划：从观察到因果的跨越
在过去的研究中，许多学者通过在模型的中间层激活中训练线性探测器（Probing），成功提取出了模型在未来将要生成的词汇或属性信息。但这仅仅是一种观察层面的相关性证据。如果仅仅因为我们在当前时刻读取到了未来的信息，就断定模型在“规划”，未免将规划的门槛放得太低了。
为了精准界定这一行为，研究团队对隐式规划提出了严格的因果性要求。他们认为，一个语言模型只有在其内部拥有对未来计划词或概念 $t$ 的表征，并且这种表征满足以下两个因果条件时，才能被称为在进行隐式规划：
一方面，模型必须具备前向规划（Forward Planning）能力。这意味着该内部表征必须是导致模型最终在未来生成词汇 $t$ 的因果原因。如果把这个表征抹去，模型就不会再按照原计划生成那个特定的概念。
另一方面，更关键的是后向规划（Backward Planning）能力。模型内部对未来目标 $t$ 的表征，必须反过来影响先前的上下文生成，使得当前生成的词汇能够为未来生成 $t$ 提供合理的语法或语境许可（License）。
举个直观的例子，假设输入是“Someone who handles financial records is”。如果模型心中真正的目标词是未来的“accountant”（会计），那么后向规划要求这种对“accountant”的提前表征，必须通过因果机制迫使模型在当前时刻输出冠词“an”而不是“a”。只有具备了由果推因的上下文塑造能力，才能证明大模型不仅仅是在被动地走一步看一步，而是真正在为即将发生的事情做铺垫。
探秘内部黑盒：转码器与特征回路
为了在大模型数以亿计的参数中寻找符合上述因果定义的规划证据，研究人员使用了一套先进的机制可解释性工具。他们首先需要将模型高维且密集的神经元激活状态，转化为稀疏且具备明确人类语义的特征。
这一转化通过引入转码器（Transcoders）来实现。转码器是一种辅助模型，被用来替换大模型中的多层感知机（MLP）模块。对于一个给定的 MLP 输入激活向量，转码器会将其映射到一个极其稀疏的高维空间中，形成一组独立的特征向量，然后再从中重建出 MLP 的原始输出激活。通过这种方式，原本混沌的内部状态被分解为了一个个可以被人类理解和干预的独立特征。
在此基础上，研究人员进一步构建了转码器特征回路（Transcoder Feature Circuits）。给定特定的输入文本，这一技术可以描绘出从模型输入、各个中间转码器特征，直到最终输出 Logits 之间的加权有向无环图。回路中的每一条边都代表了源节点对目标节点的直接因果效应。这种精确到特征级别的因果追踪，为验证模型是否真正在进行前向和后向规划提供了决定性的工具。
如上图所示，这就是研究团队从 Qwen-3 14B 模型中提取出的一个典型的规划回路。当输入要求描述一个处理财务记录的人时，模型内部会激活代表“计划输出 accountant”的特定特征。这个特征通过回路中的边，直接且显著地上调了输出冠词“an”的概率。通过对这些节点进行介入式干预（如置零或成倍放大），研究者验证了这并非统计上的巧合，而是真实存在的因果控制链路。
基础语法的隐秘博弈：简单任务中的规模效应
为了系统测试模型的能力演进，研究团队设计了多个需要隐式规划的简单基础任务，其中最具代表性的就是前文提到的“a/an”冠词选择任务。在这个任务中，模型必须基于对其将要生成的中心名词的首字母发音的预测，提前决定正确的冠词形态。
实验结果揭示了极其显著的规模效应。当测试不同参数量级的 Qwen-3 系列模型时，性能曲线呈现出了清晰的阶段性跨越。
在上图中可以看出，不论模型大小，它们对于大多数情况下的默认选项（即冠词“a”）都保持着极高的召回率。然而，真正考验规划能力的少数类（需要输出“an”）却成为了分水岭。0.6B 到 1.7B 的小型模型在这一任务上彻底溃败，它们几乎只会一味地输出占绝对多数的“a”，即便它们能够算出目标词是什么，也无法完成为了目标词调整当前冠词的后向规划。
而当参数量达到 4B 到 8B 时，模型开始表现出对少数类的部分掌握。到了 14B 规模，模型已经能够高度稳定地识别并完成此类规划任务。研究者进一步深挖这些中小型模型的内部特征回路，得到了一个令人惊讶的发现：即便是表现不佳的 4B 和 8B 模型，它们内部实际上已经具备了早期萌芽状态的规划机制（Nascent Planning Mechanisms）。
在表现失败的样本中，这些中等体量模型体内相关规划特征的激活程度远远低于它们成功时的状态，且特征回路尚不够强壮，无法每次都压制住盲目输出多数类单词的默认冲动。这种从“毫无头绪”到“回路萌芽”，再到“回路成熟掌控全局”的演化过程，完美地展示了高级认知机制是如何随着神经网格规模的扩展而逐步确立统治地位的。
并且，为了排除模型仅仅是通过某种快速的直接映射（例如 accountant 特征恰好在输出空间与 an 的向量方向高度相似）来作弊的可能，研究者进行了冻结其他网络通路、仅上调规划特征的直接效应干预实验。结果证明，这种机制并不能用简单的特征余弦相似度来解释，模型内部真实存在着协同处理上下文并上调对应关联词概率的复杂因果链路。
长程目标的挑战：诗歌押韵任务中的微弱规划
虽然在简单的相邻词汇协同时大模型表现出了可靠的后向规划能力，但如果规划的时间线被拉长，大模型还能否在长距离的上下文中贯彻自己的计划？为了解答这个问题，研究团队将目光转向了一个更为复杂的长期规划任务：补全押韵对句（Rhyming Couplets）。
在这个任务中，模型需要根据给定的第一句诗，生成第二句诗，并且保证第二句结尾的单词与第一句结尾的单词押韵。研究者特意使用 Qwen-3 32B 模型生成了未曾出现在训练语料中的诗句开头，以确保被测试模型是在即兴创作，而非单纯地背诵记忆。
通过提取押韵任务的特征回路，研究者揭示了一个精妙的内部协作网络。如上图所示，当 14B 的模型在输出第二句诗的过程中，一种被称为“诗歌行将结束（near end of a line of poetry）”的特征会逐渐积累激活。当这种感觉足够强烈时，它会触发模型将注意力回溯到第一句诗的末尾，去提取那里的“押韵（rhymes with…）”特征。这些提取出的押韵特征随后被搬运到当前的输出位置，并最终引导模型生成了一个发音完美契合的结尾词。
这个过程听起来非常智能，但它是否符合严格的隐式规划定义呢？研究结果给出了一丝冷水。
在押韵回路中，模型确实展现出了强烈的前向规划能力：提取到的押韵特征成为了最终输出押韵词的直接因果原因。但是，在后向规划层面，即使是 14B 的模型也表现得非常挣扎。如果研究者通过人工干预的方式，在诗句生成的早期阶段强制注入一个全新的押韵目标，模型虽然有可能会顺从这个目标在最后输出那个词，但它很少能修改诗句中间的过渡部分，使其在语义上合理地适配这个强行塞入的新韵脚。
然而，规模带来的希望并未完全破灭。当研究者降低任务的结构复杂度，通过引导模型在普通散文中朝着特定计划词前进时，更大规模的模型确实表现出了更强的上下文适配能力（如上图所示）。随着参数量的增长，模型不仅仅是生硬地输出目标词，而是越来越倾向于生成自然连贯的过渡短语来引出目标词。这种局部规划（Local Planning）能力的稳步提升再次印证了：前向规划比后向规划更容易习得，而后向塑造上下文的能力正在作为一种高级演化特性，在大模型中缓慢但坚定地生根发芽。
结论与机制反思：代价高昂的隐式规划
综合上述极其细致的机制追踪与实验干预，我们可以清晰地勾勒出语言模型隐式规划能力的演进图景。Qwen-3 系列模型的内部确实存在着因果意义上的规划特征，它们同时主导着未来词汇的生成以及前置上下文的铺垫。但是，这种能力的获取并非一蹴而就，而是严格受到模型容量的制约。
为什么规划能力非要等到参数规模达到几十亿甚至上百亿时才会涌现？研究团队提出了一种极具洞察力的解释：在神经网络的演化历程中，后向规划是一种极其“昂贵”的策略。
模型不仅需要学会锁定一个未来的目标，还要学会在各种迥异的上下文中逆推如何自然地铺陈这个目标。相比之下，学习简单的局部启发式规则（比如在不确定的情况下永远猜多数类“a”）要节省得多。在预训练的早期，或者在模型参数容量有限时，网络会本能地倾向于采用那些能快速降低损失函数的廉价策略。只有当模型变得足够庞大，廉价的捷径被消耗殆尽，且微小的损失下降也变得弥足珍贵时，模型才有余力去发展并维持那些复杂、长程且成本高昂的隐式规划回路。
这项研究的意义不仅在于揭开了大模型认知机制的一角，更在于它为未来的 AI 安全敲响了警钟。虽然目前在 14B 规模的模型中，我们观察到的复杂长程规划依然微弱且不成熟，但既然这种底层因果机制已经被证明会随着规模稳定涌现，那么当未来的前沿模型跨越万亿参数时，其长程规划能力很可能达到一个全新的高度。
届时，模型完全有可能在生成人类可见的文本之前，在内部神经元中完成极其深远的“暗中谋划”。Anthropic 的这项工作，通过转码器特征回路提供了一个精确测量和监控这种隐式规划行为的框架。随着开源模型能力的不断提升，可解释性工具的拓展与升级，必将成为我们在未来防范超级模型失控的一道不可或缺的防线。