微软238万次评测：跨语言Agent看似答对，背后动作策略为何只保留72%？
Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
如果把同一个复杂任务分别用英语和印地语交给一个大模型 Agent，它最终可能都给出了正确答案。但在得到答案的过程中，它在两种语言下调用的工具、探索的步骤、规划的路径真的完全一致吗？
ArXiv URL：https://arxiv.org/abs/2608.11110v2
过往的多语言大模型评估几乎全部聚焦在“最终答案”是否匹配，而将中间执行的动作轨迹（Action Traces）随手丢弃。然而在 Agent 的落地场景中，执行路径本身才是真正的产品交付物：模型是先检索再计算，还是先翻译再检索？它走了三步还是八步？路径决定了 API 调用的 Token 成本与响应延迟，决定了系统会在哪一步因网络超时或工具报错而崩溃，更是安全合规审计与权限控制唯一能直接监管的对象。如果一个 Agent 在英语测试集里表现得严谨安全，切换到印地语后却走了一条完全不同的野路子，哪怕最后歪打正着输出了正确结果，这套系统依然随时可能在生产环境中暴雷。
来自微软研究院（Microsoft Research）的最新研究将评估视角从“结果对不对”彻底转移到“动作策略一不一致”上。研究团队跨越 8 个主流大模型、6 个经过严格对齐的多语言基准评测集、涵盖 17 个语系 16 种书写系统的 41 种语言，执行了整整 238 万次 Agent 轨迹回放（Rollouts）。这项规模庞大的研究揭示了一个此前被严重忽视的事实：哪怕在消除所有评估干扰后，各大前沿模型在跨语言迁移时，也只能保留自身动作策略的约 72%；而在约 10B 参数以下的较小模型中，这种策略一致性甚至直接瓦解。
直觉度量的陷阱：为什么简单的轨迹比对必然失效？
要想衡量 Agent 在不同语言下的动作一致性，直觉上似乎很简单：给模型输入同一个任务的英文版和非英文版，记录下模型调用的工具序列，然后计算两串序列的重合相似度即可。然而，论文指出了一个残酷的现实：这种天真的度量方法存在五个致命的混淆变量（Confounds），其中任意一个都足以彻底颠倒评估结论甚至推翻模型排名。
第一个，也是最深层的障碍在于缺乏同语言基线（No Baseline）。大模型本身就具备随机性。把同一个英文问题在同一温度设置下向同一个模型提问两次，它调用的工具序列往往都不一样。如果你连模型在“单一语言内的自洽性”（Within-language self-consistency）是多少都不知道，跨语言得到的轨迹差异就根本无从锚定。所谓跨语言差异，到底是语言本身带来的策略偏离，还是模型固有的采样噪声？
第二个是轨迹长度混淆（Trace Length Confound）。在很多序列相似度算法中，较短的调用链天然比冗长的复杂调用链更容易拿到高相似度分值，这一偏差在实验中会凭空带来 6 到 7 个百分点的测量系统误差。
第三个是空轨迹欺骗（Empty Traces）。如果模型在两套语言下都直接弃权、直接给出纯文本回答而不调用任何工具，传统工具序列比对会给这种“全空”轨迹打出 1.0 的满分，从而严重高估那些根本不会用工具的模型。
第四个是模型复现性天花板（Ceiling Effect）。一个自身一致性极差的模型，其跨语言的一致性得分在数学上被死死压制在一个极低的区间里。在贪婪解码（Greedy Decoding）下，模型自身的自洽性与测出的跨语言差距之间的相关系数高达 $r = +0.97$。这意味着，如果不做归一化校准，任何所谓的“跨语言能力排名”，本质上只是在给模型的“确定性大小”重新贴了个多语言标签。
第五个是偶然基底（Chance Floor）。在固定了常用工具类型（如搜索、计算器、翻译等）的环境下，随机抽取两条完全无关任务的动作轨迹，它们因为基础工具频次分布相似，天生就会有超过一半（约 0.56）的偶然重合度。如果不剔除这个偶然基线，小模型之间的性能差异完全会被统计假象所蒙蔽。
为了解决这些问题，研究团队重构了评估协议。他们设计了一个包含五个标准化工具符号的环境，并在所有测试单元中严格执行“双发运行”：每一个任务都以相同的解码参数和 Token 预算运行两次，唯一的变量是随机种子。由此，可以在同一种语言的两次运行之间计算同语言一致性 $I_{\text{within}}$，在两种不同语言之间计算跨语言一致性 $I_{\text{cross}}$。最终的核心指标被定义为归一化策略保留率（Normalized Policy Retention）：
\[\tilde{I} = \frac{I_{\text{cross}}}{I_{\text{within}}}\]这个指标精确度量了“当任务语言发生改变时，模型能够保留其自身固有自洽性的比例是多少”。在这套严密的校准协议下，研究人员不仅排除了空轨迹、进行了双向长度匹配，还通过任务级 Bootstrap 建立了可信区间。令人惊讶的是，每一步校准不仅没有抹平跨语言的动作分歧，反而让这种分歧变得更加清晰、显著。
72%的收敛常数与10B参数分水岭
在排除了采样噪声的干扰后，真正的规律浮出水面。通过在五档温度梯度上进行压力测试，研究团队发现了一个反直觉的现象：随着采样温度升高，模型在同一种语言内的自洽性会急剧下降，但跨语言的策略分歧却保持异常平稳。这无可辩驳地证明：跨语言策略偏离不是采样随机性导致的浅层噪音，而是模型内在认知结构引起的系统性偏差。
最核心的发现出现在贪婪解码（$T = 0$）的理想状态下。实验选取了四个背景截然不同的前沿模型，它们在参数规模上跨越了一个数量级，拥有两种截然不同的架构设计，训练数据分布也完全独立。但在归一化指标 $\tilde{I}$ 下，这四个前沿模型的跨语言动作策略保留率全部收敛在 71% 到 73% 的极窄带状区间内。
方差分解进一步证实，在这四个大模型所跑出的 24 个实验切片中，模型自身的“身份属性”（Model Identity）只能解释 5.7% 的方差变化。换句话说，无论是谁家训练的旗舰模型，当它们作为 Agent 去解决非英语任务时，无论最终回答得多么漂亮，在底层工具调用的策略路线上，普遍都会丢失近 30% 的原有规划行为。
然而，这种一致性收敛只存在于大参数量的基线之上。当研究团队将测试扩展到更小规模的模型（约 10B 参数以下）以及其他垂直模型时，这层规律迅速破裂：
-
规模效应的断崖：在同一模型家族内部，当参数量从大模型缩小 6.75 倍到小模型时，归一化策略保留率直接跌落了 10 个百分点。在低于 10B 参数的模型上，跨语言规划的一致性发生了实质性崩塌。
-
不可信的榜单排名：如果在未消除偶然基底与自洽性天花板的情况下，直接根据原始差异对小模型进行跨语言能力排序，在 $T=0.5$ 和 $T=0$ 两个温度设置下，模型的排名位次相关性居然呈现出反向的 $\rho = -0.80$。这意味着此前学术界直接基于未校准指标排出的所谓“多语言 Agent 排名”，大部分都只是统计指标未对齐时的测量失真。
“英语枢纽”：无法摆脱的隐形思考支柱
为什么前沿模型在不同语言间必然会产生近 30% 的动作偏离？模型在底层究竟是如何思考的？
在追踪了海量动作日志后，研究人员抓住了隐藏在幕后的关键机制——英语枢纽（English Pivot）。在所有涉及真实自然语言理解的适配基准测试中，无论是哪家大模型，其使用频率最高的工具无一例外全都是翻译工具（Translate）；只有在纯粹依赖符号运算的算术合成基准中，调用重心才会切换为计算器（Calc）。更直观的证据来自于模型的思考链（Thought）文本：即使输入的 Prompt 是完全地道的天城文（Devanagari）、泰米尔文（Tamil）或奥里亚文（Odia），大模型生成的内部推理文本中，ASCII 字符的比例依然高达约 99%。
这就勾勒出了当前多语言 Agent 的典型生存图景：
接收非英语输入 $\rightarrow$ 内部将其强制翻译为英语 $\rightarrow$ 用英语的逻辑与符号展开规划并调用工具 $\rightarrow$ 最后翻译并组装成目标语言输出。
在机制可解释性（Mechanistic Interpretability）领域，过去有学者通过隐藏层表征推测大模型在多语言处理时可能借道了以英语为中心的潜空间（Latent Space）；而微软这项研究则首次通过受控干预实验，在外显执行动作的层面上坐实了这一因果链条：
-
移除翻译工具的代价：一旦从工具箱中强行拿掉翻译工具，所有模型的跨语言策略匹配度均显著下降，下降幅度与该模型平时对翻译工具的依赖程度严格成正比。
-
强制规则的无力感：研究人员尝试在系统提示词中明确加入强硬约束，要求模型“严禁使用英语，必须直接使用输入语言的语种展开思考和规划”。然而实验结果显示，模型的指令遵循率不足 1%。即便面临违规惩罚，大模型依然顽固地使用英语枢纽来拆解任务。
这解释了那近 30% 的策略丢失从何而来：非英语语种被迫引入的翻译转换步骤、由翻译不准确诱发的二次重试、以及从非英语跨越到英语所导致的 Token 消耗与推理路径扭曲，构成了跨语言 Agent 难以消除的固有代沟。
评测工程的警示：一行正则制造的“模型暴跌”
除了模型本身的机制发现，这篇论文还顺带给当前的 AI 评测界敲响了一记沉重的警钟：许多广为流传的所谓“多语言 Agent 灾难”，其实根本不是模型不行，而是评测流水线本身的工程实现漏洞。
在排查 GPT-OSS-120B 的多语言评测异常时，研究人员注意到该模型在某些语言上的得分出现悬崖式暴跌。然而，深入日志分析后发现，模型生成的文本完全合理，动作逻辑也清晰可读，导致其被判定为“彻底失败”的罪魁祸首，仅仅是一行负责从模型输出中用正则表达式提取动作标签的匹配代码。由于不同语言触发了微妙的分隔符格式变异，那行脆弱的正则解析脚本无法命中动作，进而全盘抹杀了模型的成绩。当研究者在 Prompt 中仅仅增加了两个格式引导示例后，该模型在系统度量下的准确率当场暴涨了整整 26 倍，而它在人类可读输出上的真实表现其实几乎没有变化。
与此同时，研究团队还验证了一种常见的推理期修复方案——自洽性多数投票（Self-Consistency Voting）。直觉上大家会认为，多采样几条路径来投票应该能提升多语言策略的一致性。但经严谨测算，投票虽然抬高了跨语言匹配的绝对数值，却把模型在同语言内的自洽性天花板抬得更高，导致归一化之后的策略保留率反而净亏损了 1.6 到 1.9 个百分点。投票机制确实能降低方差，但它丝毫无法治愈跨语言之间本质上的策略脱靶。
为什么我们必须重新审视 Agent 的动作路径？
这项覆盖 238 万次运行的研究最终给整个技术社区划出了几个清晰的界标：
首先，在构建和采购多语言 Agent 时，绝不能再仅凭“最终答案准确率”来验收系统。一个英文和印地文最终准确率完全相同的智能体，其在印地文环境下的调用成本可能翻倍，等待延迟可能大幅增加，甚至其遭遇 API 异常中断的概率也会呈指数级上升。因为它们的执行路径根本不是一回事。
其次，针对英文环境编写的智能体安全围栏、权限控制名单和敏感操作拦截规则，无法原封不动地直接外推到其他语言环境中。模型在非英语任务下展现出的全新动作序列，意味着安全防护策略必须基于实际的跨语言动作保留率重新接受审计。
当语言模型的角色从“答题机器”彻底转变为“自主行动者”，衡量它们的尺度也必须随之进化。言语可以粉饰差异，但行动绝不会说谎；只有将度量的标尺真正落在每一个被调用的工具与动作上，跨语言智能体的可靠性与安全性才有了落地的现实可能。