微小架构改动让长文本暴跌47%！AI2烧了17万卡时挖出底层隐患
Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension
在大语言模型的预训练工程中，从业者往往默认一个直觉：在标准的 Dense Transformer 范式下，微调内部组件对最终能力的影响远不如数据配比和训练规模来得关键。只要短文本的验证集 Loss 稳步下降、常识推理和多选基准分数正常，模型就算打下了健康的基础。然而，来自艾伦人工智能研究所（AI2）、卡耐基梅隆大学与华盛顿大学的最新研究，彻底打破了这一温和的假设。
ArXiv URL：https://arxiv.org/abs/2608.10296v1
这项研究耗费了超过 170,000 个 GPU 小时的算力，系统化预训练并评测了 26 个具有严格可比性的 7B 参数模型池（OlmPool）。结果表明，四项在当今主流开源模型（如 Llama、Qwen、Olmo）中极度普遍的细微架构改动，存在极其致命的负向复合效应。单独看其中任何一项改动，对长上下文能力的损害都轻微到容易被当成实验噪声；但一旦同时引入三项或全部四项，模型在长文本下游任务（HELMET 基准）中的表现会直接暴跌多达 47%，性能落差高达 26.5 分。
更让团队警惕的是，这种长文本扩展缺陷在短文本评估中完全“隐形”。无论是预训练过程中的困惑度（Perplexity）、下游多选基准的比特率（BPB），还是直接在 8K 上下文下进行初步评测，都无法预测模型在 32K 或 64K 下的真实崩溃程度。这意味着，大量的模型研发团队可能在不知不觉中选用了相互冲突的架构组合，直到花费巨资完成数万亿 Token 的预训练、进入长文本扩展阶段时，才发现地基早已开裂。
隐藏在基础架构里的四颗隐雷
为了厘清架构选择与长上下文扩展能力（Long Context Extension）之间的因果链条，研究团队严格控制了预训练数据配比、数据顺序、分词器（Tokenizer）以及优化器超参数。每个模型都先在 140B Token 的标准语料上完成基础预训练，随后统一通过调整 RoPE 的基频参数（Theta），在 64K 长上下文数据上进行 10B Token 的扩展训练与退火。
在这个统一的对照实验场中，研究人员剥离出四个最常被主流模型采纳的架构旋钮：
第一是归一化策略，尤其是 QK Norm 与层归一化位置的选取。现代大模型为了防止训练中后期注意力点积数值过大导致数值溢出或梯度爆炸，普遍引入了 QK 归一化。然而实验发现，这一出于训练稳定性考虑的设定，对长上下文能力的负面冲击最大。Olmo 3 架构如果去掉 QK Norm 并改回传统的 Pre-Norm，在 HELMET 32K 上的得分瞬间提升 6 点；反之，若给原本没有 QK Norm 的 Llama 3 架构硬塞入 QK Norm，得分直接下跌 3.8 点。
第二是分组查询注意力（Grouped Query Attention, GQA）。为了在推理阶段显著压缩 KV 缓存体积，行业内已普遍将多头注意力的 Key 和 Value 头进行分组共享。研究团队对比了从完全不共享（32 个 KV 头）到标准 GQA（8 个 KV 头），再到更极端的 4 头配置。结果显示，KV 头压缩得越激进，长文本的扩展性能就衰减得越严重。尽管研究人员为了保证总参数量公平，在减少 KV 参数的同时略微放宽了 FFN 中间层维度，但这种参数补偿依然无法抵消注意机制表征容量被压缩的损失。
第三是滑动窗口注意力（Sliding Window Attention, SWA）。例如 Olmo 3 采用了 3 层 4K 局部窗口与 1 层全局注意力交替堆叠的模式。这种设计大幅节省了显存和推理开销，却人为切断了大部分网络层对超长距离上下文的直接感知。
第四是预训练基础上下文长度（4K 与 8K 的取舍）。更短的初始上下文窗口能带来更高的吞吐速度，但在 4K 窗口下完成基础训练的模型，在后期强行拉伸至 32K 或 64K 时，其泛化适应能力显著落后于以 8K 起跑的模型。
复合效应：从局部暗伤到整体断崖
如果上述四项改动只是线性叠加，对工程实践的威胁尚在可控范围内。真正致命的是它们彼此之间的非线性放大与复合效应。
在没有 GQA 的全注意力模型中，引入 4K 滑动窗口注意力仅仅让 HELMET 32K 分数微跌 1.1 分，几乎处于评估波动的边缘。但如果把同样的滑动窗口强加在一个已经开启了 GQA 的模型上，性能惩罚会瞬间激增到 9 分之多。而在极端配置下——当模型同时集成了 GQA、滑动窗口以及基于头部分组的 Headwise QK Norm 时，长文本检索与理解能力出现断崖式崩塌。
在所有被测的 26 个模型中，包含了这三到四项特性的架构，相较于最优架构，HELMET 基准直接被拉开了 26.5 分的巨大鸿沟。这意味着一个在 4K 长度下对答如流、基准测试近乎完美的模型，一旦被拉入 32K 的复杂文档环境，其信息抽取和长程逻辑推理能力将瞬间损失近半。
这项发现同样解答了开源社区长期以来的一个疑惑：为什么 Llama 3 原生底座如此容易被扩展至超长上下文，而同样规模的其他模型却极其吃力？此前外界多归因于 Meta 未公开的高质量训练语料或退火策略。但对照实验证明，这纯粹是架构红利。Llama 3 仅采用了 8K 基础预训练、标准的 Pre-Norm 且坚决不使用 QK Norm，在四项负面因素中仅占了 GQA 一项。相反，Olmo 3 和 Qwen 3 的部分版本因为过早叠加了激进的归一化与注意力稀疏机制，在长文本扩展能力上从一开始就背负了巨大的架构包袱。
短文本指标的“全面失明”
在模型研发流水线中，通常会在预训练早期设置一系列监控哨兵：训练损失（Training Loss）、验证集困惑度（Perplexity），以及涵盖 MMLU、ARC、GSM8k 等常识和推理能力的在环评测（In-loop Evals）。工程师习惯根据这些指标来决定是否继续推进训练或调整超参数。
然而，实验表明，这些常规哨兵在长文本能力面前集体失效了。
首先是验证集 Loss。研究团队测量了基础预训练结束时以及长上下文扩展结束时的 Loss，发现它们与最终下游的长文本表现仅存在极弱的相关性（$R^2$ 仅为 0.29 与 0.06）。更反常的是，扩展阶段的 Loss 反而比基础预训练的 Loss 更难预测最终的下游成绩。即便针对 WikiText、学术论文、代码等 11 个独立领域的文本困惑度进行细分拆解，除 WikiText 显示出微弱的相关性（$R^2=0.39$）外，代表复杂长程依赖的代码和学术文本困惑度与长上下文下游能力的关联度几乎为零（$0.01 \le R^2 \le 0.20$）。
其次是短上下文基准。当研究人员计算 16 项日常评测任务在纠错概率下的每字节比特数（BPB）时，各模型的短文本分数高度扎堆、几乎没有可分辨的差距，但它们扩展后的长文本成绩却呈现双位数的剧烈分化。
即便退一步，直接在未做长文本扩展的模型上测试 HELMET 的 8K 短文本切片，预测能力依然极为有限（$R^2=0.32$）。换言之，在未真正投入大量算力把上下文拉长到 32K 之前，现有的任何轻量级、短文本监控手段，都无法暴露出架构深处埋下的缺陷。这种高度的“信息滞后性”，恰恰是长上下文架构设计中最具杀伤力的地方。
砸算力也补不上的缺陷：容量还是效率？
面对长文本适应不良，工程界最直觉的反应通常是：是不是长上下文微调（Midtraining）喂的 Token 还不够多？只要数据给够、步数跑满，劣势终会被抹平。
为了验证长文本能力的衰竭究竟是“Token 学习效率低”还是“不可逆的表征能力缺失”，团队挑出了三款具有代表性的模型进行极端压力测试：架构表现最好的 Llama 3 变体、表现中庸的 Olmo 3 变体，以及在 OlmPool 中垫底的最差架构。研究人员打破常规的 10B 退火，分别对它们执行了 1B 和长达 50B Token 的极限长上下文微调。
在这组实验中，50B 的长上下文微调占据了模型累计已见 Token 总量的整整 26%。结果令人深思：加大长数据训练量确实能让所有模型的分数有所上浮，但完全无法扭转架构层面的阶层固化。即便接受了 50B 数据的充分冲洗，垫底架构的最终得分依然无法追平最优架构仅凭 1B 数据轻量微调就取得的效果。两条性能曲线在不同数据规模下几乎呈平行推进态势，各架构之间的差距在统计层面保持了令人绝望的稳定。
不仅如此，研究人员将检查点倒推回预训练的不同阶段（70B、140B、280B 乃至 2T Token）并分别做长文本引出，发现优劣架构之间的相对排名早在 70B Token 处就已经彻底锁定。长上下文扩展能力的上限，早在预训练模型被随机初始化的那一刻，就已经被底层的注意力机制和归一化算子死死框定了。
为什么会崩？注意力汇与信息熵的微观机制
为了解释这套宏观现象背后的微观根源，研究团队深入分析了 100 篇超长文档在各模型推理过程中的注意力权重分布，最终将核心矛盾锁定在“注意力熵（Attention Entropy）”与“注意力汇（Attention Sink）”的相互作用上。
在没有配置 QK Norm 的标准 Transformer 中，模型在深层推理时会展现出高度“尖锐（Peaky）”的注意力分布。更关键的是，模型自发演化出了一种机制：将过剩的、无法被当前语义吸收的注意力权重，统一倾倒在文本前部的少数几个特定位置，即 Attention Sink。业界此前通常将 Attention Sink 视为一种为了防止表征崩溃而妥协的工程副产物，甚至认为它增加了模型量化的难度。
然而，OlmPool 的数据揭示了反直觉的一面：Attention Sink 的存在，实质上充当了注意力权重的“泄洪区”。正是因为有了前置标记承担多余权重，模型的核心检索头（Retrieval Heads）才得以在漫长达数万 Token 的上下文荒原中，精确、孤立地将高置信度注意力聚焦在关键事实（如大海捞针测试中的 Needle）上。
QK Norm 的引入，彻底打破了这种脆弱的平衡。强行对 Query 和 Key 进行 Headwise 归一化，消除了注意力点积的极端大值，迫使注意力分布变得平缓而均匀，直接推高了整体的注意力熵。从表面上看，训练过程更加平稳、数值稳定性更好，但代价是模型失去了“聚焦关键信息的同时将噪声排空至 Attention Sink”的底层机制。
在注入了 Needle-in-a-Haystack 任务的实测分析中，带有 QK Norm 的模型在 Prefill 阶段对关键事实 Token 的分配权重显著低于无 Norm 模型；而滑动窗口与激进 GQA 的加入，则进一步削减了模型在跨窗口、跨查询头之间协同调配检索权重的自由度。几项改动共同作用，彻底剥夺了模型在超长序列中精准捕获稀疏信号的能力。
留给大模型研发者的启示
这项工作为当下狂热追求超长上下文的模型架构设计敲响了警钟。过去几年间，为了追求更快的训练吞吐、更平稳的 Loss 曲线以及极低成本的推理 KV 缓存，大量工程层面的“缝合优化”被轻率地写入了模型规格表。由于短文本基准完全无法体现隐患，这些看似微不足道、各自能带来小幅度效率提升的技术路线，逐渐被固化为行业默认配置。
然而，OlmPool 的 26 组对照实验用翔实的数据证明：长上下文能力并不是在预训练后期依靠退火或微调就能强行“注入”的附加属性，它是深植于基础架构表达能力中的内生属性。
对于致力于构建原生超长上下文模型的团队而言，架构选型必须重新审视那些被忽视的权衡取舍：
-
慎用强力平滑注意力的归一化算子（如 Headwise QK Norm），若出于训练稳定性必须引入，需要重新评估其对注意力熵和尖锐度的压制；
-
在采用 GQA 和滑动窗口注意力以削减显存时，必须意识到表征容量的缩减正在以乘法效应削弱长程检索能力；
-
不要迷信短文本的在环 Loss 与常识评测，尽早（例如在预训练进行到数十个 B Token 阶段）通过真实的 RoPE 拉伸进行长文本下游探测，是避开百万级算力沉没成本的唯一可行途径。