Meta发布OmnilingualGAIA2：前沿Agent非英语能力全线暴跌8.8至18.4分

OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents

论文原文 ↗ 论文发布 2026-08-09 解读发布 2026-09-18 解读：AI前沿分享

在过去一年里，AI Agent 已经从实验室里的概念验证演变为被数以亿计用户日常调用的实际产品。各大模型厂商不断在 SWE-bench、GAIA、WebArena 等基准上刷新工具调用与多步规划的纪录，但这些亮眼成绩背后隐藏着一个普遍被忽视的事实：绝大部分 Agent 评估体系几乎完全建立在纯英文环境之上。一旦剥离英语语境，让智能体在多语言、多书写系统的真实数字环境中去解析意图、检索信息并调用工具修改系统状态，它们是否还能维持所宣称的可靠性？

ArXiv URL：https://arxiv.org/abs/2608.08775v2

Meta 近期给出的答案并不乐观。其研究团队推出了 OmnilingualGAIA2，将原本聚焦于复杂手机环境操作的 GAIA2 基准拓展到了涵盖 5 种不同书写系统的 10 种目标语言，并配备了经过人工校准的本地化多语言评判器。在对 Claude-4.7-Opus、GPT-5.4、Gemini-3.1-Pro 以及开源代表 Kimi-2.6、Qwen-3.6 系列等 7 个前沿 Agent 进行系统评测后，研究发现了一个普遍存在且无法依靠模型尺度消除的跨语言断崖：所有受测系统在非英语环境下的综合 $\text{pass}@3$ 表现均出现了 8.8 到 18.4 个百分点的显著下滑。

这一落差的核心症结并非模型不会做数学推理或逻辑归纳，而是智能体在面对非英语指令时的“工具编排（Tool-orchestration）”能力发生了结构性崩塌。深入的错误归因与语言学溯源更表明，形态线索的丢失以及跨语言实体指代歧义，让许多看似强大的前沿模型在多轮交互中要么陷入无意义的重复试错，要么草草放弃。

为什么评测多语言 Agent 远比单轮问答困难？

多语言能力在传统的大模型评估中并不罕见，诸如 MMLU 或各类常识问答任务早就被翻译成了几十种语言进行刷榜。然而，将多语言评估迁移到 Agent 交互轨迹上时，整个评测生态的技术难度发生了质变。

单轮问答中，模型只需理解文本输入并输出文本，评测通常通过确定性字符串匹配或简单的判别模型即可完成。但 Agent 面对的是一个动态的、有状态的模拟环境。以 GAIA2 包含的虚拟移动生态为例，环境内包含了邮件、日历等多个应用程序以及由合成数据构成的完整数字生活快照（即宇宙，Universe）。用户提出的任务往往需要智能体先在环境中检索信息，结合上下文做出决策，最后执行诸如发送邮件、创建日程等改变环境状态的操作。

在这样的系统里，如果仅仅机械地把用户的 Prompt 翻译成目标语言，会导致严重的内部语义断裂。例如，如果任务要求智能体“查阅与 Alex 的会议并给 Bob 回信”，日历应用状态里的联系人名字、邮件正文里的术语、环境底层 API 的参数字段，必须与用户指令中的实体保持绝对一致。一旦翻译器在用户提示词中把某个专有名词翻译成了目标语言，而在应用数据库里保留了英文原型或采用了另一种译法，Agent 在调用工具搜索时便会一无所获。这就导致评测系统无法区分模型究竟是“规划失败”还是被“坏数据误导”。

此外，智能体最终执行的文本写入动作必须由大模型评判器（LLM-as-a-Judge）进行裁决。直接沿用原有的英文判官会导致极高的语言偏差——判官提示词中大量英文 Few-shot 示例会让模型在审阅非拉丁语系的正确写入时产生虚假的幻觉拒判。

为了解决这些结构性障碍，研究团队设计了一套能够保持可执行状态闭环的多语言环境构建流水线，并重构了评判机制。

整个翻译流水线如图 1 所示，主要分为三个环环相扣的阶段：

宇宙翻译与分批渲染：首先将场景中所有依赖语言的表层文本（用户 Prompt、各应用中的文本快照、Oracle 预期事件）提取出来，由专门选拔的开源翻译系统 Gemma-4-31B-Instruct 按应用分批渲染为目标语言，同时严格冻结时间戳、系统 ID 等程序可执行字段。
构建跨表面参考实体表：第二道模型过滤流程会遍历场景的所有表面，自动抽取那些反复出现的关键实体与专有名词，统一整合并固化为一张权威的“术语对照表（Term Table）”。
全局回填与一致性强制替换：流水线将对照表映射回已经组装的场景文本，强制替换掉所有残存的英文散串或不一致的翻译变体，确保从环境数据库到任务描述再到评测判定集，所有实体指代在目标语言下完全镜像统一。

在评判端，研究人员彻底移除了判官提示词中对英文示例的过度依赖，重写了底层规则，并引入 Mixture-of-Experts 架构的开放权重模型 GPT-OSS-120B 作为轻量级仲裁核心。校准实验证明，这一组合在人工标注的轨迹金标准集上实现了与人类裁决高度一致的 Cohen’s $\kappa$ 分数（在需模型判定的切片上达到 0.886 至 0.971），消除了评测工具本身的语言偏向。

普适的跨语言落差：模型没有变笨，但工具开始失控

在扫清了基准构建与评测偏差的障碍后，研究团队在涵盖适应性（Adaptability）、歧义处理（Ambiguity）、复杂执行（Execution）和精准检索（Search）四个核心维度的子集上，对七大主流 Agent 展开了全面评测。结果呈现出一种残酷的一致性：没有任何一家模型能够将英文环境下的 Agent 成功率无损平移到其他语言中。

如图 2 的多语言热力图所示，几乎所有模型在所有能力维度上的最高分均出现在英语（eng）列，而一旦切换到其他语言，性能便呈现出阶梯式的滑落。从整体平均指标来看，各模型的 $\text{pass}@3$ 表现相较于英语均存在 8.8 至 18.4 个百分点的绝对差距。

从模型梯队来看，这种差距呈现出明显的不对称性。以 Claude-4.7-Opus 和 GPT-5.4 为代表的最顶尖商业模型表现出了更强的跨语言鲁棒性，在多种拉丁语系语言中保留了较多的非显著差异单元格（图 2 中带有橙色标记的区域，代表经配对 McNemar 检验 $p \geq 0.05$）。然而，开源权重大模型以及参数量较小的稠密模型，在绝大多数非英语环境下的表现均与英语存在统计学上的显著劣势。

尤为值得关注的是任务难度的分布规律。尽管各语言的绝对得分普遍下降，但四种能力的相对难度排序在跨语言迁移后表现出了极强的稳定性：检索（Search） > 执行（Execution） > 适应性（Adaptability） > 歧义处理（Ambiguity）。这说明语言的转换并没有重塑环境交互的内在认知逻辑——容易的任务在其他语言中依然相对容易，真正发生改变的是模型处理交互细节时的容错能力。

通过对失败轨迹的细粒度行为分析，研究团队发现了一个颠覆传统认知的现象：跨语言落差并不是因为模型的“常识理解”或“数量与分类推理”出了问题。当场景仅要求模型根据上下文做算术求和、逻辑判断时，非英语环境下的正确率与英语几乎持平。

真正的灾难发生在工具编排（Tool-orchestration）阶段。一旦指令离开英语，Agent 的行为模式发生了根本性漂移：它们在环境中执行“只读”性质的探索操作（例如反复刷新、反复搜索）比例大幅攀升，但真正能够推进任务进展、改变系统状态的“写入”操作（如发送邮件、修改日历、提交最终结果）却急剧减少或出错。

不同模型面对这种失控时展现出了截然相反的病态行为特征：

过度忙碌型（以 GPT-5.4 为代表）：在脱离英语后，GPT-5.4 发起的工具调用次数普遍暴增，在全部目标语言中平均多调用了 21.6% 的工具，在印地语（hin）和西班牙语（spa）中增幅甚至达到 41% 和 37%。然而，这种“勤奋”并没有换来成功率，数据表明那些最终失败的轨迹与成功的轨迹发起的额外调用量几乎相同。模型陷入了局部死循环，不断在环境中执行低效的重试。
过早放弃型（以 Claude-4.7-Opus 为代表）：与 GPT 恰恰相反，Claude-4.7-Opus 在非英语环境下的总调用次数呈现下降趋势（平均减少 7.6%）。在那些因多语言环境而失败的任务中，Claude 调用的步骤量显著少于成功任务（差值达 11 次工具调用）。面对非母语环境下的模糊或复杂工具响应，它更倾向于快速做出判断并提前退出，表现为典型的“提早认输”。

进一步的规模消融实验更揭示了一个令人清醒的现实：在 Qwen-3.6 家族内对比不同参数规模的模型时，随着参数量从数十亿扩展至数百亿，模型在所有语言上的绝对分值确实有所提升，但英语与非英语之间的差距并没有随模型规模的扩大而收窄。这直接证伪了“只要参数足够大，多语言 Agent 鸿沟就会自然消失”的乐观假设。

错误归因：55% 的锅来自模型本身，而非翻译污染

每当一项关于多语言能力的研究指出大模型性能下降时，学界最常见的质疑往往是：这究竟是模型真的不行，还是机器翻译把评测集翻坏了？

为了彻底厘清这一因果关系，Meta 团队提出了一套分层错误归因体系，结合自动化分类与人工语言学家的双重验证，对出现跨语言落差的场景样本进行了严格拆解。归因结果显示，这并非评测噪音主导的假象：

55% 归因于纯粹的模型能力缺陷：在这些场景中，翻译文本完全通顺无误，判官判定也公正无私，但 Agent 展现出了明确的跨语言规划能力崩塌，例如无法对齐非英语实体参数、在多次工具反馈后无法修正上下文，或在最终输出阶段遗漏核心要素。
35% 归因于翻译缺陷：机器翻译确实会产生噪音，但这部分主要集中在细微语境信息的丢失，而非不可读的乱码。
10% 归因于评判器本身的伪影：由于判官模型在某些罕见表达上的偶发性严格偏置所致。

更重要的是，研究团队通过将判定范围扩展至整个基准集，严密地计算出了机器翻译诱发污染的真实底线：在所有“场景-语言”对中，真正因翻译缺陷导致任务变得无法被人类或理想系统解决的比例，仅仅只有 6.4%。这一极低的数据确立了 OmnilingualGAIA2 的基准有效性——它测出的多语言性能跳水，超过一半是当前顶尖大模型在跨语言工具交互时暴露出的真实短板。

语言学微观剖析：为什么非拉丁语系成了 Agent 的“重灾区”？

在所有评测语言中，印欧语系下的罗曼语族（如法、意、西、葡）与日耳曼语族（德语）表现相对平稳，而中日韩及印地语（cmn, jpn, hin）等非拉丁书写系统的跌幅尤为惨烈。三位母语语言学家对数十条长轨迹的深入人工审查，揭示了潜藏在 Token 转换底层的语言学机制。

首先是形态线索的丢失（Morphological Cue Loss）。以汉语、日语和印尼语为例，这些语言在语法结构上普遍缺乏英语中强制性的冠词（如 the/a）以及显式的名词复数屈折变化。当一个英文场景描述“Check the emails and delete the meeting invite”时，单复数形态本身就蕴含着过滤条件。但在缺乏这些形态标记的语言中，机器翻译往往会抹去这种隐含约束，或者将其转化为需要依赖深层语境推断的句式。评估轨迹显示，模型在面对中文或日文指令时，极易发生“过度行动（Over-action）”——例如把原本只要求删除特定单项的操作，错误地扩展为批量删除所有同类项目，从而触发环境状态不一致而被判失败。

其次是歧义的被动放大与方向性约束剥离。在将英文场景翻译为非拉丁语系时，一些潜藏在介词短语中的细微逻辑关系经常被平滑掉。例如，英语中通过特定小品词指示的“从 A 移动到 B”或“基于 A 过滤出 B”，在某些高语境语言中如果缺少了精细的形态对应，指令的边界就会变得模糊。人类用户在阅读这类指令时能够结合生活常识自动消除歧义，但大模型 Agent 在处理非母语时，其上下文理解窗口的概率分布变得更为平坦，极易走向错误的执行路径。

最后则是跨书写系统的实体映射阻抗。在真实的数字环境交互中，底层的 API 接口、日历字段、数据库属性名往往是 ASCII 或英文形态的，而环境内的非结构化内容（如邮件正文）以及用户的输入指令则是汉字、平假名或天城文。模型不仅要理解目标语言，还必须在思考链中自如地完成“非拉丁实体引用 $\leftrightarrow$ 环境拉丁字段”的跨书写系统对齐。语言学家发现，开源模型在这一环节频繁暴露出参数复制错误、拼写归一化失败等底层编码缺陷。

走向全球化 Agent 部署的必由之路

OmnilingualGAIA2 带来的启示十分清晰：在英语单语基准上达成的“Agent 智能”，很大程度上是一种局部收敛的假象。

以往业界习惯于先在英语环境下刷高规划、反思与工具调用的上限，随后简单地假设这些能力会借由底座模型的通用多语言表征自动泛化至全球语种。但这项研究用详实的数据表明，多步自主决策对语义微观线索的敏感度，远远超出了传统的静态分类或选择题。当一个智能体被赋予了能够实际删除文件、转账或发送通信的权限时，仅仅因为缺乏单复数标记或非英语实体对齐偏差就引发的 10 个百分点以上的失效率，在工业级落地中是绝对无法承受的。

未来的通用智能体如果想要真正走出英语世界的温室，服务于多元语言背景的真实用户，其技术演进路线必须做出改变。多语言多步交互评测不能再是模型发布前可有可无的附录，而应成为衡量前沿系统成熟度的标准协议。唯有让 Agent 在多样化的形态线索、书写系统和混合实体环境中接受严苛的工具交互检验，AI 才能真正从“会说多国语言的聊天工具”，跃升为“能在全球数字世界里稳定干活的数字员工”。