TCS-Bench：大模型攻入顶会理论计算机证明，GPT 5.6 Pro达68%
TCS-BENCH: Benchmarking State-of-the-Art Generative AI Theoretical Computer Science Research Ability
大语言模型在数学奥赛题上拿到相当于国际数学奥林匹克竞赛（IMO）金牌的水平，已经不再是新鲜事。然而，能够在定义清晰、题干自洽的竞赛题中寻找灵光一闪的技巧，并不等于模型具备真正的科学研究能力。在真实的理论计算机科学（Theoretical Computer Science, TCS）前沿，学者们面对的从来不是孤立的问题，而是一套极其庞杂的上下文：特有的数学定义、贯穿全篇的记号约定，以及环环相扣、层层递进的引理脚手架。
ArXiv URL：https://arxiv.org/abs/2608.09538v2
为了衡量大模型能否真正胜任顶级理论计算机科学的研究级证明，来自 Google Research、DeepMind、加州理工学院、普林斯顿大学以及法国国家科学研究中心（CNRS）等机构的研究团队共同推出了全新基准：TCS-Bench。
这项研究直接从理论计算机科学三大顶级会议——STOC、FOCS 和 SODA（涵盖 2020 至 2026 年）的学术论文中提取出 300 道证明生成任务。实验表明，当前最顶尖的推理模型 GPT 5.6 Pro 在该基准上达到了 $68\%$ 的正确率。同时，研究团队开发的自动化证明验证器在人类专家标注集上取得了超过 $90\%$ 的判断准确率，首次为自然语言数学证明的自动化评测打通了可靠闭环。
竞赛题与真实科研的鸿沟
在过去的模型评估中，学术界常借助奥数题库来检验大模型的逻辑链条。竞赛题目的特点在于信息高度自足，解题者只需要从公理出发，寻找某种精妙的代数变形或组合构造即可。然而在真正的理论研究中，证明一个核心定理往往需要搭起宏大的理论脚手架。一个定理的成立，建立在数个前置引理、定制的概念定义以及对前人工作特定变形的引用之上。
现有基准未能还原这一过程。例如，交互式定理证明（如 Lean 或 Coq）虽然形式化严密，但与人类数学家撰写自然语言论文的日常工作流存在割裂；而部分基于前印本提取的引理库，又往往缺乏对长程依赖的精细解构。
TCS-Bench 的核心目标，是让模型在剥离了最终证明的真实顶会论文环境中，根据已有的前置定义与引理上下文，自主推导并补全缺失的核心证明。这不仅检验模型的局部推理能力，更在检验它在长程逻辑依赖中寻找证明路径的宏观把控力。
从论文源码到自洽任务：依赖图与上下文精炼
构建这一基准的最大难点在于：如何在剔除互联网访问的前提下，让每一个任务既包含推导出目标结果所需的全部数学语境，又不会因为冗长而超出模型的有效处理范围？
研究团队通过解析 arXiv 上的 LaTeX 源码，提出了一套兼顾完整性与可扩展难度的构建流：
-
依赖有向无环图（DAG）抽取：系统首先提取论文中所有形式化陈述（包括定理、引理、主张等），并建立它们之间的逻辑依赖图。若引理 $B$ 的推导直接调用了命题 $A$，则在图中构建一条由 $A$ 指向 $B$ 的有向边。
-
上下文组装与难度缩放：对于某个目标陈述 $s$，任务会截取论文至该陈述之前的内容，剔除所有后续陈述以防止信息泄漏，并抹去所有证明体。为了测试模型在不同挑战下的表现，研究团队通过“隐藏中间引理”来人为增加跨度——原本一步到位的两级依赖，如果隐藏了中间节点，模型就必须在推导主目标的同时，自行发现并证明必要的过渡结论。
-
上下文迭代压缩与质量过滤：由于研究论文包含大量背景介绍与动机陈述，团队通过层级剖析与大模型剪枝，剔除对当前推导无实质作用的段落，并将最终输入严格控制在 10,000 个 Token 以内。随后，任务还必须通过引用完整性检测与多重语义一致性审查，剔除任何符号缺失或逻辑开天窗的问题。
最终，每个任务都被打包为一个完全自洽的测试单元：包含完备数学上下文、目标陈述，以及仅在评估阶段作为基准参考的人类专家原始证明。
跨越评估瓶颈：准确率超90%的自动化裁判
在自然语言数学推理领域，评测长期面临两难：人工评审成本高昂、难以规模化，而简单的文本匹配或未经校准的模型打分又极易产生误判。
为了解决这一问题，研究团队构建了一个专门的验证代理（Verification Agent）。验证器在评判时不仅接收候选证明、题干上下文与目标陈述，还会同时读取人类专家的标准答案。评估流程由轻量级模型 Gemini 3.1 Flash 进行 4 次独立判定，仅当至少 3 次判定均认可逻辑自洽且无致命漏洞时，才判定该证明有效。为了贴合真实的学术审稿标准，验证器被校准为容忍常见的简略叙述（例如“其余步骤通过简单代数变换易得”），但对关键逻辑跳跃与错误推演执行严格的一票否决。
在与基准测试集完全隔离的 100 篇人类专家人工标注证明（包含 50 篇正确与 50 篇错误）的对照实验中，该验证代理与人类专家的一致性超过了 $90\%$。这一精度为前沿理论计算机科学的大规模自动化评估提供了坚实的地基。
前沿模型试金石：GPT 5.6 Pro 拔得头筹
研究团队在包含 300 道任务的 TCS-Bench 完整集合上测试了多款前沿大模型。所有具备长思考（Extended Thinking）特性的模型均被赋予最大的推理算力预算，以充分展开探索空间。
在纯单模型盲测下，各大模型的表现拉开了鲜明的梯队。GPT 5.6 Pro 展现出极强的理论推导实力，在 300 道顶会任务中成功完成了 204 道，以 $68\%$ 的准确率位居榜首。相比之下，部分具备极长上下文能力的模型在处理超深层数学证明时遇到了搜索瓶颈；例如 Opus 5 在其中 162 道题目上直接耗尽了 128K Token 的上下文配额而未能给出完整结论，限制了其最终表现。
尽管 $68\%$ 的准确率展示了大模型在理解复杂理论构造上的惊人进展，但距离 100% 的人类顶会水准仍有显著距离。这表明在面对涉及深层构造、极端细分领域的现代理论计算机科学问题时，模型依然会受制于长程逻辑发散与推理断代。
探寻自我怀疑的价值：Colosseum 框架与跨模型批判
除了测试单模型的原始表现，研究团队还引入了一个名为 Colosseum 的 Agent 化证明搜索脚手架。该框架让模型在证明过程中主动探索多条候选策略、将复杂目标拆解为子问题逐步击破，并在最后阶段进行拼装与自纠。
在多模型协作的探究中，研究团队发现了一个极具启发性的规律：模型对自身证明的“自我认可”往往含金量不高，但模型的“自我否定”却具备极高的参考价值。
以 Gemini 3.1 Pro 为例，在其内置验证模块认可自身证明的案例中，高达 $93.4\%$ 的结论获得了多次检验的全体通过，这种高度盲目的自信导致该信号几乎无法区分最终结果的真伪。然而，一旦引入“自我拒绝”路由——即只要模型自身发现逻辑疑点便果断换路，其证明准确率立刻从 $54.0\%$ 跃升至 $63.7\%$。
更进一步，当引入不同模型之间的交叉批判时，效果得到了更显著的增强。实验显示，让 Gemini 3.6 Flash 作为审稿人去审查 Gemini 3.1 Pro 生成的证明，能够以高达 $0.854$ 的 AUC 准确区分正确证明与错误证明。在 47 个 Gemini 3.1 Pro 自身坚信正确、但被 Gemini 3.6 Flash 驳回的争议案例中，审稿方被证实判断正确的次数多达 21 次，而原作者模型仅守住了 9 次。
借助这套“自身拒绝优先，外部批判复审”的互验规则，混合驱动的工作流在特定切片上将挑选出的证明准确率进一步推高至 $84\%$。这一现象揭示了未来科学研究型 Agent 的一个核心演进方向：单一模型的线性思考极易陷入逻辑盲区，而基于不同参数架构、不同注意偏好的多模型交叉挑刺机制，正在成为攻克高难度理论探索的关键杠杆。
理论科研自动化的下一站
TCS-Bench 的推出，将大模型的评测战场从预先规范好的奥数竞技场，正式推向了充满未知的学术前沿。通过在任务中动态隐藏中间引理，研究人员可以无级调节任务难度，使得该基准既不会因当前模型的快速迭代而轻易饱和，也能持续吸纳 2026 年以后的全新顶会成果，天然免疫数据污染。
从证明三大顶会的既有定理，到未来独立提出猜想、构筑引理链条，并协助人类科学家攻克悬而未决的理论极限，大模型展现出了由“解题工具”向“研究助手”转变的真实潜力。对于大模型逻辑推理的研发者而言，如何让系统在动辄数万 Token 的高密度依赖网络中保持步步严丝合缝，将是下一步不可回避的核心战役。