纯自然语言斩获IMO金牌！Nemotron获30分，全套模型配方完整开源
An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics
在过去几年中，国际数学奥林匹克竞赛（IMO）逐渐从人类顶尖智力的展示舞台，演变为前沿人工智能系统检验高阶逻辑推理能力的终极试验场。与传统的数学基准测试不同，IMO 竞赛题目不仅要求模型给出简短的数值答案，更要求其撰写严密、无逻辑漏洞且形式完备的长篇数学证明。
ArXiv URL：https://arxiv.org/abs/2609.10712v1
从技术路径来看，早期取得突破的系统大多极度依赖形式化验证工具与神经符号混合架构。例如 2024 年的 AlphaProof 与 AlphaGeometry 2，便是通过将自然语言题目翻译为形式化语言 Lean，并借助严苛的形式化求解器进行搜索与验证，最终斩获银牌。然而，形式化路线面临着自然语言自动形式化（Autoformalization）的语义断层，以及绝大多数真实数学领域缺乏形式化库的工程瓶颈。到了 2025 年，Gemini Deep Think 与 OpenAI 的内部实验模型相继跨过金牌线，证明了纯自然语言证明的可行性，但这些闭源系统的核心训练配方与推理细节始终笼罩在黑盒之中。
英伟达团队发布的 Nemotron 3 Ultra 竞赛系统彻底打破了这一壁垒。该系统在完全不使用 Lean、Isabelle 等形式化验证器、不依赖外部计算工具、不访问互联网检索的纯自然语言设定下，于 IMO 2026 官方赛题评测中斩获 30 分（总分 42 分），成功迈过 29 分的金牌线。更为重要的是，该项目实现了极高程度的开源复现性：从两套经过长序列后训练的专用检查点权重、完整的 SFT 与强化学习训练数据、推理搜索管线代码，到包含 200 道原创奥数题的全新评测集 Nemotron-IMO-Bench，全部向社区公开。这项工作系统性地阐明了：仅凭自然语言的“生成-验证-修正”闭环与测试时计算扩展（Test-Time Compute Scaling），开源大模型究竟能达到怎样的严谨推理上限。
为什么选择纯自然语言推理路线？
在数学证明领域，纯自然语言模型一度被认为难以胜任顶级竞赛。人类数学证明包含大量的隐式常识、多步引理以及复杂的分类讨论，大模型极易在推导链条中出现隐蔽的形式漏洞或“幻觉证明”。形式化方法固然拥有无可辩驳的真值反馈，但其代价是将数学问题约束在狭窄的形式化语法内，对于组合数学和复杂几何等难以机器描述的领域尤为吃力。
英伟达团队的技术假设在于：自然语言的广阔表达空间更符合高阶数学的探索本质，而消除逻辑谬误的关键，不在于引入外部编译器，而在于构建专门化的后训练模型组合，并设计高算力驱动的测试时搜索与纠错机制。
整个系统的底层基座是拥有 5500 亿总参数、550 亿激活参数的混合专家模型 Nemotron-3-Ultra-GA。为了支撑极其繁复的推演，团队没有使用通用模型直接裸跑，而是基于该底座针对证明任务后训练出了两个专业模型（Specialist Checkpoints）：
-
Nemotron-3-Ultra-SFT：专注于长篇证明构造与基于多轮反馈的错误修复。
-
Nemotron-3-Ultra-RL：通过强化学习对探索策略与证明生成进行针对性激励。
这两个后训练模型与原生的通用模型 Nemotron-3-Ultra-GA 形成互补，分别扮演证明生成者、裁判仲裁者和迭代修改者的角色。整个推理流程从接收比赛组织者提供的 LaTeX 题目文本开始，到最终输出完整的 LaTeX 自然语言解答，全链路皆在自然语言空间中自洽演化。
专用模型的后训练：超长上下文与纠错轨迹
要让大语言模型写出长篇严谨证明，首先必须解决训练数据的构建难题。现有开源数据集中的数学证明往往篇幅偏短、缺乏复杂的推理曲折，更缺乏“看到错误批判后自我修复”的完整轨迹。为此，研究团队设计了一套多阶段合成数据流水线。
在监督微调（SFT）阶段，团队从 AoPS 竞赛题库中筛选出 15,879 道高难度数学证明题，并使用 DeepSeek-V4-Pro 的 Max 推理模式生成多批初始解题尝试，单次生成长度上限高达 400K Token。对于那些未能一次性完全解决的问题，系统并不会直接抛弃，而是最多引入三轮连续修正。在修正提示中，模型会接收上一轮尝试的具体内容以及专门验证器给出的针对性批判（Critique），被强制要求找出推导漏洞、修复无效论证并重写完整解答。
基于这批经过严格筛选的高难度合成数据，团队在最大序列长度达 $425,984$ Token 的极端长上下文窗口下对 Nemotron-3-Ultra-GA 进行了全量微调。最终选定的 SFT 检查点不仅具备极强的长链推导耐力，更学会了如何“消化负面评审意见并推翻重来”。
在强化学习（RL）阶段，团队以 GA 模型为起点，在专门构建的奥数题目集上使用强化学习算法展开策略优化。从训练曲线上看，随着训练步数的推进，模型在验证集上的奖励与外部高级模型（GPT-5.5）判定的正确率呈现出高度一致的快速上升。最终获得的 RL 检查点在策略生成的多样性与高阶探索能力上展现出了显著优势。
核心引擎：测试时高算力搜索与终审仲裁机制
有了专门化训练的模型后，如何调度算力成为了决定成败的核心。该系统采用两阶段串联的测试时计算（Test-Time Compute）架构：前序阶段是高算力深度搜索，后序阶段是极高样本量支持的候选终审评选。
在第一阶段的深度搜索中，系统部署了一个最高运行 8 轮的“生成-验证-修正”循环，每道题目独立建池：
-
初始生成：在首轮中，三款检查点（GA、SFT、RL）并行针对题目生成多批候选证明，并将证明文本、评分与评语存入该题专属的证明池（Proof Pool）。
-
多模型联合裁决：搜索阶段的验证面板由 Nemotron-3-Ultra-RL 与 Nemotron-3-Ultra-SFT 组成，每个模型独立给出 8 次判决（共计 16 次判决）。系统设定了极度严苛的准入规则：只有当 16 次独立评审全票给出满分（Score 1）时，该证明才会被判定为内部接受（Internally Accepted）。
-
反馈引导的迭代精炼：如果池中尚未出现获得全票认可的证明，系统会从全局证明池中提取综合排名最靠前的 16 个候选解，并汇总多达 8 条具体的验证批评意见，合成精炼提示词。接着，这 16 个提示词会被分发给所有三款检查点，每个检查点采样 4 个修改版本，单轮即可激发出 192 次精炼尝试。新生成的修正方案再次经受验证面板的严苛洗礼，并追加存入证明池。
为了避免算力浪费，搜索机制在模型层级引入了早停策略（Early Stopping）。一旦某个生成检查点产出了被面板全票接受的证明，该检查点在此题上的后续采样就会立即终止，而其余检查点继续探索直到当轮结束。这样一来，每道题目在完成第一阶段搜索后，最多能向终审阶段输送 3 个各具特性的“终极候选”（Finalists，每个检查点一个）。
第二阶段是更为慎重的终审遴选。面对通过第一阶段的候选方案，三款检查点全部化身为人性化的奥数裁判，各自独立生成 16 次符合 IMO 评分标准的 0 到 7 分细粒度裁判意见。这意味着每一个最终入围的候选解，都将经受多达 48 次独立且深度的长文本打分。系统最终依据这 48 次打分的算术平均值进行排位，在均分相同时优先选择文本更紧凑的证明，选出唯一的一份解答作为最终提交件。
IMO 2026 战绩与算力账单复盘
在 IMO 2026 的正式赛程中，该系统提交的答案由官方阅卷团队依据官方评分标准进行匿名评审。最终官方总分为 30 分，成功超过 29 分的金牌门槛。
具体到题目表现上，系统在第 1、2、4、5 题上均斩获了 7 分满分，展现出无可争议的严密性；而在公认极难的第 3 题与第 6 题上，官方阅卷人均给出了 1 分。虽然在两道极难题上未能拿到完整分数，但在四道中高难度题目上拿下全满分，足以让该系统跻身世界顶尖竞赛选手之列。
从上方的运行曲线图中可以观察到极具启发性的计算动态。官方竞赛分为两场，每场限时 4.5 小时（第一天处理 P1–P3，第二天处理 P4–P6），三道题在对应的赛段内共享算力池并行运行。
图中的绿线代表竞赛期间系统内部验证面板给出的实时预估分，蓝虚线则是赛后使用由 GPT-5.5、Gemini 3.1 Pro 和 Claude Opus 4.8 组成的独立评委团给出的回溯打分，黑点则代表最终提交版本通过终审面板的时间节点。数据表明，系统具有极高的早期收敛效率：所有 4 道满分题目（P1、P2、P4、P5）的最终提交证明，都在比赛开始后的前 76 分钟内就顺利通过了终审面板；两道仅得 1 分的题目也在 100 分钟内确立了提交版本。在 100 分钟之后直到 4.5 小时赛程截止，系统的搜索分数基本进入了平台期。
从计算资源的消耗来看，系统在生成全部 6 道提交证明的关键节点上，累计消耗了约 7.07 亿个 Token，耗费了 1,464 个 GB200 GPU 时。为了确保搜索不遗漏任何可能，系统在产生解后继续将当轮计算打满，整个官方比赛窗口内的总消耗最终定格在约 23.1 亿 Token 与 4,800 个 GB200 GPU 时。
更为有趣的是赛后的超时扩展实验（Continued run，图中灰色阴影区域）。在比赛窗口关闭后，研究团队让系统针对最难的第 6 题继续运算。在历经 8 小时 25 分钟、推进到第 8 轮搜索时，系统终于生成了一份逻辑更为深刻的新解答。虽然这份解答由于包含某些未完全形式化的跳步而未被内部严苛的判定面板全票接纳，但其深度显著超越了比赛提交版。为此，团队邀请了独立的资深人类数学家面板进行盲审重阅，在不参照官方细则的情况下，人类数学家判定该补充解可获得 4 分（满分 7 分）。这意味着，如果打破 4.5 小时的单场时间限制，再额外追加 6.1 亿 Token 与 890 个 GPU 时的测试时计算，系统的实际解题能力完全有机会冲上 33 分。
消融实验揭示的核心机制
为了拆解各个组件在极限推理中的真实贡献，研究团队在由 20 道 Nemotron-IMO-Bench 原创题目和 10 道近年竞赛真题组成的 30 题开发集上，开展了系统的消融实验。独立评委团（GPT-5.5、Gemini 3.1 Pro、Claude Opus 4.8）的盲审结果揭示了几个关键结论。
首先是单检查点独立管线的对比。如果只让单一模型自己完成生成、验证与修正，后训练的价值展现得淋漓尽致。SFT 模型在第 1 轮就展现出了最强的初始命中率，能够快速拿下大量常规难题；而 RL 模型则具备更持久的攻坚后劲，在经过多轮深度迭代后取得了最高的单模型综合得分。相比之下，未经专用后训练的通用基座 GA 模型在单打独斗时表现落后。然而，当三者组成集成流水线时，系统性能再次跃升，甚至仅用 3 轮迭代就达到了单模型跑满 8 轮也无法企及的解题上限。深入分析证明池发现，虽然 GA 模型极少独立贡献直接被采纳的最终满分解，但它生成的候选解具备极高的探索多样性，为 SFT 和 RL 提供了大量关键的“修正原材料”。
其次，研究揭示了纯自然语言验证器的共性脆弱点。在对开发集中 300 篇高难度候选证明的深度审计中，团队评估了由 16 次独立评审构成的全票通过规则。在这 25 篇被内部面板一致裁定为满分的证明中，经外部独立顶级模型与专家复核，有 23 篇确实是完美的 7 分解答，1 篇因量词表述略微欠缺严谨性被判 6 分，但有 1 篇被判定为 0 分。这篇 0 分证明的核心推导基于一个错误的列排列对称性假设，甚至存在显而易见的反例。令人警惕的是，无论是 GA、SFT 还是 RL，在面对这一精巧的伪逻辑时，全部给出了无可挑剔的满分评语。这一现象解释了为何比赛中系统内部预估分（约 32 分）会略高于官方给出的 30 分：第 3 题与第 6 题内部误判的深层原因，并非单次采样的随机噪声，而是当前自然语言模型对高深逻辑陷阱存在共性的“验证盲区”。
此外，团队还记录了一系列直觉合理但实测无效的探索尝试。例如，团队尝试在提示词中提供其他候选证明作为交叉上下文参考，或者基于早期分数建立激进的剪枝分流策略（Triage-based Routing）。实验证明，激进的早停和剪枝机制往往会扼杀那些在初始阶段表现平平、但包含关键灵感片段的解法分支，反而损害了最终的全局得分。最终提交系统所保留的“全池保留、顶尖精炼、多模型交叉打分”的相对纯粹的结构，反而是鲁棒性最强的一套组合拳。
对前沿 AI 推理范式的启示
英伟达 Nemotron 团队的这项成果，不仅是一次奥林匹克竞赛级别的登顶，更为当前大语言模型在数学与科学发现领域的研究提供了多维度的关键启示。
其一，确立了纯自然语言闭环在高阶形式逻辑任务中的可行性。长期以来，学术界普遍存在一种悲观论调，认为自然语言固有的模糊性使得大模型无法跨越长链条的严格推导。Nemotron 证明了只要引入严苛的多模型交叉裁判制度，并在测试时分配充足的迭代精炼算力，纯自然语言模型同样能够生成经得起人类顶尖阅卷人审视的完备证明。
其二，验证了测试时计算扩展（Test-Time Compute Scaling）的巨大杠杆效应。这项工作清晰地勾勒出后训练与测试时计算的分工界面：后训练的核心目的在于塑造模型的专业技能（生成具有探索性的长链证明、产出具备指导意义的批评文本），而真正的智力跨越则发生在推理阶段的多次采样、多模型交叉碰撞以及持续数小时的批判修正循环之中。算力投入与解答质量之间存在着可预测的扩展红利。
最后，这项工作展现出极具诚意的开源精神。在顶尖推理模型普遍走向闭源与黑盒的大环境下，英伟达将 30 分金牌背后的完整配方倾囊相授。所开源的不仅仅是经过极长文本微调的模型权重与代码，更包含了珍贵的未泄漏奥数基准 Nemotron-IMO-Bench 和海量长篇反思修正数据。这为全球开源社区探索真正的机器数学家与下一代推理代理（Reasoning Agents），铺设了一条清晰且坚实的技术基石。