大模型量化损伤不是加性噪声：UCL揭示乘性收缩，高置信度决策为何在低比特瞬间崩溃？

Quantization Damage Is Multiplicative, Not Additive

论文原文 ↗ 论文发布 解读发布 解读：AI前沿分享

大模型量化损伤不是加性噪声：UCL揭示乘性收缩，高置信度决策为何在低比特瞬间崩溃？ 论文图示

在大模型工程落地的世界里，训练后量化（Post-Training Quantization, PTQ）早已是事实上的行业标准。绝大多数团队在部署开源模型时，都默认 4-bit 权重属于“几乎无损”的安全区，3-bit 往往伴随着不确定性，而 2-bit 则被普遍视为不可用的性能废墟。然而，长期悬在所有算法工程师头上的一个核心疑问始终没有被真正解答：当模型被压缩到更低位宽时，究竟是哪些决策在率先崩溃？损坏是如何发生的？

ArXiv URL：https://arxiv.org/abs/2608.06564v1

以往的主流理论与工程直觉建立在一个极具诱惑力的假设上：量化舍入误差在网络向前传播时，最终会转化为输出层 Logit 上的“加性噪声”（Additive Noise）。这种加性假设推导出了一个极为乐观的安全推论——只要模型在全精度下对某个选项足够自信、优势足够大（即拥有巨大的 Margin），固定尺度的加性噪声就绝不可能颠覆这个决策。正因如此，工业界大量精力被投入到寻找“敏感权重”并对其进行局部保护上。

来自伦敦大学学院（UCL）与 Holistic AI 的最新研究彻底击碎了这一假设。该工作通过对 8 个模型家族、16 个主流大语言模型、跨越 8-bit 至 2-bit 的数十万次成对决策测量证明：量化的损伤本质上是乘性的（Multiplicative），而非加性的。

量化并没有给模型的决策优势叠加某种固定振幅的噪声，而是直接将决策两端的 Logit 差值乘以一个随比特数断崖式下跌的缩减因子。这一发现不仅推翻了“高置信度决策天然安全”的传统认知，更精准解释了为何量化智能体会在基准跑分几乎不变的情况下突然拒绝调用工具、为何安全防线会在 3-bit 下悄然瓦解，并从物理机制上给出了一个残酷的工程结论：在现有修复手段中，没有任何低成本技巧的效果能胜过直接“多给 1 个 bit”。

从加性直觉到乘性现实：决策优势的“成比例蒸发”

在分类或自回归生成任务中，模型面临二选一的抉择时，当前选项与最佳备选项之间的 Logit 差值被称为决策边缘（Margin），记作 $m$。如果 $m > 0$，模型做出正确判定；$m$ 的正负号决定了决策的走向，而其绝对值的大小则代表了模型积累的证据置信度。

如果量化损伤是加性噪声，那么量化后的边缘 $m’$ 应该服从 $m’ = m + \varepsilon$，其中 $\varepsilon$ 具有相对固定的方差。若将量化后的 $m’$ 作为纵坐标、全精度下的 $m$ 作为横坐标画在散点图上，数据点理应均匀分布在斜率为 1 的对角线周围，形成一条等宽的带状云。

但在实测数据中，展现出的却是一个穿过原点的“扇形”，且直线的斜率随着比特数的降低急剧坍塌。数据揭示的真实数学形式是一条简洁而严苛的乘性定律：

\[m' = c \cdot m + b + \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, \sigma^2)\]

其中，$c$ 是在量化中幸存下来的边缘比例，$b$ 是特定任务族引入的系统性偏移推力，而 $\varepsilon$ 才是剩余的随机残差。

实测统计表明，随着比特位宽缩减，存活因子 $c$ 呈现系统性崩溃：4-bit 下 $c$ 的中位数尚有 $0.86$；降至 3-bit 时，$c$ 暴跌到 $0.33$；而在 2-bit 下，$c$ 直接归零至 $0.00$。这意味着在 2-bit 状态下，模型输出的决策倾向与它在全精度下积累的原始逻辑证据完全脱钩，残差分布极其平坦（2-bit 下首 Token 的中位数熵高达 8.0 nats，逼近词表的均匀分布）。

乘性缩减机制的最致命之处在于它剥夺了“置信度护甲”。如果损伤是加性的，一个领先优势为 20 logits 的高置信度决策足以抵御尺度为 3 logits 的扰动；但在乘性法则下，领先 20 logits 与领先 2 logits 的决策损失的是相同的比例。当位宽压缩到 3-bit，两者的边缘都被压缩至原来的三分之一，此时微小的系统性推力 $b$ 或残差噪声 $\varepsilon$ 就能轻而易举地将原本巨大优势的决策推过零点边界，造成不可逆的判定翻转。自信不再等于安全。

研究人员使用贝叶斯信息准则（BIC）对常数加性模型、漂移加性模型、边缘缩放加性模型以及上述乘性定律进行了极其严格的模型竞争对比。在所有发生性能退化的工具调用和安全拒绝场景中，加性假设在统计检验中无一胜出。

误差累积理论的破产：不可逾越的无参数上限

既然损伤是乘性的，它是否可以被理解为经典数值分析中每经过一层量化算子独立累积的舍入误差？研究团队通过推导给出了一个非参数化的理论上限。

在权重均匀量化中，位宽每减少 1 bit，量化步长加倍，误差方差增大 4 倍（即比率 $\gamma = 4$）。在标准线性独立误差累积的假设下，去除比特数导致的边缘缩放因子变化率必然受到数学约束：

\[\left\vert{}\frac{d\ln c}{dB}\right\vert{} < \frac{\ln\gamma}{2} = \ln 2 \approx 0.693\]

这个不等式意味着：任何基于独立误差累积机制的模型，在位宽每降低 1 bit 时，损失的有效决策边缘绝对不可能超过其当前数值的一半。 这一界限完全独立于模型参数细节，即使权重中存在显著的离群值（Outliers），也只会改变公式的前置常数，而不会放大这一指数上限。

当把实际测量的 183 组相邻比特跃迁数据投影到这一物理界限上时，分水岭出现了：

在测试的 10 个模型中，每一个模型都在低位宽区间毫无例外地打破了该独立累积上限。这证明了低比特下的模型崩溃并不是简单的误差算术累加，网络内部在特定位宽下发生了深刻的几何重构。

精准预测翻转：从统计法则到不确定性度量

如果量化损伤在统计分布上严格遵循以高斯信道为形式的条件分布 $m’ \mid m \sim \mathcal{N}(c\,m+b, \sigma^2)$，那么量化导致决策发生正负翻转（Flip）的概率便不再是一个需要靠大样本暴力测试的未知数，而是可以直接通过标准正态分布累积分布函数 $\Phi$ 解析计算得出：

\[P(\text{flip} \mid m) = \Phi\left(-\frac{(cm+b)\,\text{sign}(m)}{\sigma}\right)\]

为了验证这一公式是否具备真正的泛化能力，作者采取了一种极其苛刻的检验策略：三元参数组 $(c, b, \sigma)$ 完全只在连续的 Logit Margin 上拟合，不向拟合过程提供任何翻转发生与否的标签；拟合完成后，直接使用公式预测未参与拟合的数据集上的离散决策翻转率。

在涉及 14 个模型、跨越 868 个不同评估单元（单元定义为特定的模型-量化器-任务-位宽组合）的留出测试中，该公式预测的翻转率与实际观测到的真实翻转率之间，绝对误差中位数仅有 1.8 个百分点。

更重要的是，公式在单个决策层级展现出了极高标定性（Calibration）。在涵盖 131,758 个独立预测的测试中，被赋予概率 $p$ 会翻转的决策，其实际翻转频率与 $p$ 的偏差稳定在 0.02 之内，预期标定误差（ECE）仅为 0.004。

这项测试同时也划定了理论的有效边界。在全套任务家族中，有两个特例场景的翻转预测出现了系统性偏离：工具结果使用（Tool-result use，预测偏差 +18.9 个百分点）和代码 Token（Code tokens，偏差 +7.0 个百分点）。残差分析证明，这些任务的边缘衰减均值依然符合乘性收缩，但其残差方差 $\sigma$ 不再是常数，而是随着 $m$ 的绝对值同步扩张，违背了同方差高斯信道的假设。这恰好是理论框架预告的失效场景：这类任务高度依赖于从上下文中精确复制离散值的少步网络回路，并不满足中心极限定理所依赖的多特征弱依赖加和机制。

部署期灾难：被基准测试掩盖的单向瘫痪与安全崩溃

如果量化损伤的法则早在 4-bit 和 3-bit 之间就已经启动，为什么今天各类开源模型发布的 GGUF 或 GPTQ 权重在主流 Benchmark 榜单上看起来依然光鲜亮丽？

答案在于：粗粒度的聚合指标掩盖了个体决策的离散翻转。基准测试得分往往是对大量复杂生成样本的综合打分，在边缘收缩跨过零点的早期阶段，这些离散变化会被平均数抹平。但如果把视线下潜到具体的行为决策单元，低比特量化正在制造高度定向的隐形破坏。

1. 工具调用：“行动与否”崩塌，但“选哪个”安然无恙

在 Agent 系统最核心的函数调用能力中，存在着极具戏剧性的调用-选择分离现象（The invocation–selection split）。

当模型从 4-bit 压缩到 3-bit 时，决定“在备选工具列表中挑选哪一个（Which tool）”的能力几乎毫发无损：在全部 34 个测试场景中，有 32 个场景下的工具挑选动作完全没有发生哪怕一次错误变更。

然而，决定“当前场景下是否应当调用工具（Whether to call）”的判定却发生了一场单向雪崩：

这种不对称性高达 4.8 倍。模型在低比特下并不是学会了“乱调工具”，而是彻底失去了行动的冲动，集体倒向了“消极怠工”。

更具穿透力的证据来自微观样本级别：研究团队对比了两个底层算法截然不同的量化版本——基于二阶信息优化的标准导出版 GPTQ 3-bit 模型，与基于激活感知模拟的 3-bit 模型。虽然两者的内部 Logit 分布尺度完全不同，但在原本应当调用工具的样本中，两者同时翻转了完全相同的 77 个样本中的全部 77 个；在仅有五分之一发生翻转的不该调用样本中，两者再次重合翻转了完全一致的 16 个样本（其中只有 7 个属于全精度下判定边缘最脆弱的梯队）。这无可辩驳地证明：低比特下决策何时破裂，并非量化算法随机引入的偶然噪音，而是输入样本在网络内部表征脆弱性的固有属性。

2. 对齐与安全：小模型率先溃堤，拒绝机制转向应付

相同的乘性收缩同样支配着大模型的安全护栏。在 4-bit 下，模型的拒绝边界（Refusal direction）能够保持完整；但一进入 3-bit，参数量的大小直接宣判了模型的命运：

然而一旦下潜到 2-bit，参数尺度的保护伞彻底失效，所有测试模型无一例外丢失了近半数的安全拒绝判定。自由生成评测表明，这种安全能力的丧失并不是模型突然变恶并精准执行危险指令，而是模型陷入了表征瓦解：在 3-bit 下，模型虽然丢失了首 Token 拒绝的显式决心，但在长文本中表现为顾左右而言他的闪烁其词；而到了 2-bit，生成内容直接退化为逻辑崩塌的混乱胡言。

为什么崩溃如此剧烈？深层机制与修复的死胡同

为什么量化的破坏不是平缓演进，而是在特定位宽表现为急剧的悬崖式崩塌？该研究通过逐层解剖 Transformer 残差流与注意力图谱，串联起了一条清晰的物理破坏链路：

  1. 残差流扰动指数倍增：位宽每减少 1 bit，残差流（Residual stream）的相对偏差翻倍。从 8-bit 下微弱的 3.5%–7.2%，沿 6-bit、4-bit 一路狂飙，到 2-bit 时已膨胀至 151%–345%。

  2. 非线性耐受门槛：残差流相对偏差沿深度的增长率与位宽并无关系（每层比率稳定在 1.02–1.07 之间），直接排除了此前猜测的“误差沿层间指数雪崩放大”假设。真正的原因是 Transformer 对这种扰动的承受响应是非线性的：当扰动在残差流范数的 30% 以下时，模型能够依靠内部注意力机制的高冗余度维持决策边缘稳定；但一旦扰动跨过 70%–120% 的临界带宽，存活边缘便断崖式下跌。一个以每 bit 翻倍增长的物理量，跨越这个狭窄的耐受门槛只需要大约 1.2 个 bit 的空间。

  3. 注意力空间拓扑重组：一旦越过该临界点，网络就不再是“稍微多了点噪音”的本体。在 3-bit 跨向 2-bit 的过程中，跨越层、注意力头和查询位置的三元组中，注意力最高分配权重的位置发生变更的比例出现陡峭拐点。这证明低比特下模型的表征空间被彻底重塑，信息寻址路由全盘错乱。

在明晰了“乘性损伤”与“表征瓦解”的本质后，工业界惯用的一系列修补策略便显露出了天然的局限性：

在所测试的修复手段中，只有两类符合定律预期的方案展现出价值：一是使用非均匀的跨层位宽动态分配；二是将宝贵的比特预算从权重转移至键值缓存（KV Cache）——在权重保持 4-bit 的前提下，将 KV 缓存从 16-bit 压缩到 8-bit 完全无损，这为整体内存开销的优化提供了真正安全的腾挪空间。

但最无可辩驳的基准依然来自计算成本的残酷现实：在高达 501 个遭受严重破坏的量化实验场景中，直接“多给 1 个 bit”（例如从 3-bit 提升到 4-bit），能以压倒性优势挽回中位数 30.5% 的翻转决策。在同等工程代价值下，没有任何复杂的后处理算法或局部权重剪裁能够提供哪怕接近这一数字的修复效能。

总结

这项研究厘清了大语言模型后训练量化中最关键的一环认识盲区：量化损伤是乘性的，置信度不能提供护甲，而基准跑分则是一张会说谎的安全网。

对于大模型工程实践而言，这意味着在智能体工具调用、安全风控等关键链路上，低于 4-bit 的量化必须被极其审慎地对待。那些表面上看似依然能在问答榜单上刷出合格分数的极低比特模型，其底层决策逻辑可能早已在“悄无声息”中将关键动作定向关闭。

当面对低位宽带来的性能裂痕时，工程师们或许应当放弃对精巧局部修补术的幻想：在乘性收缩规律面前，最便宜、最鲁棒的解法，始终是在系统架构中为权重争取宝贵的“多 1 个 bit”。

上一篇 RippleMem：告别单次匹配，图构建降本30倍的智能体长记忆联想法 2026-09-18 下一篇 Meta发布OmnilingualGAIA2：前沿Agent非英语能力全线暴跌8.8至18.4分 2026-09-18