Gambit：思维级束搜索重配算力，Token缩减68.5%且准确率提升6.7%

Thought-Level Beam Search for Reasoning

论文原文 ↗ 论文发布 2026-08-08 解读发布 2026-09-09 解读：AI前沿分享

在以 DeepSeek-R1、o1 为代表的大模型推理突破之后，行业对“测试期计算扩展”（Test-Time Compute Scaling）的期待被推到了前所未有的高度。只要在推理阶段分配更多算力，给模型更长的思考链或采样更多轨迹，数学和代码等复杂任务的准确率就会水涨船高。然而，这种依靠暴力堆砌算力的扩展方式，正在迅速撞上物理墙。

ArXiv URL：https://arxiv.org/abs/2608.08020v1

在标准的并行采样与自洽性投票（Self-Consistency）机制下，系统往往需要独立并发生成数百条甚至上千条完整的推理轨迹。面对极难的问题，绝大多数路径在刚开始不久就已误入歧途，但推理引擎仍然会机械地将它们生成至终点。更致命的是，每条长轨迹都会不断膨胀 KV-cache，迅速耗尽 GPU 显存，导致严重的排队延迟。哪怕使用顶级芯片，让 Qwen3-8B 跑完单个 AIME-2025 难题的 512 条候选轨迹，也往往需要数小时，且极易在最难的题目上折戟。近期涌现的“减法剪枝”策略虽然能提前掐死低分轨迹，却带来了显存利用率暴跌、硬件算力“饥饿空转”的新顽疾。

来自麻省理工学院（MIT）、Meta 与普林斯顿大学的研究团队在最新论文中指出：测试期推理扩展的核心矛盾，已经从“花多少算力（how much）”转向了“算力分配到何处（where）”。为此，他们提出了名为 Gambit 的推理算法框架，将长思考链推理形式化为一个在严苛硬件约束下的动态资源分配问题。通过引入思维级束搜索（Thought-Level Beam Search），Gambit 在周期性剔除低质量轨迹的同时，立刻从优质前缀派生新分支，实现硬件占用的“零和替换”。在相同硬件预算下，Gambit 不仅在 HMMT-24 和 AIME-25 上相较剪枝基线分别取得了 +6.7% 和 +3.3% 的绝对准确率提升，更将整体 Token 消耗最高削减了 68.5%，实现了推理吞吐与解题精度的双重突破。

暴力采样与单向剪枝的双重困境

为了理解 Gambit 的动机，必须首先审视当前推理系统的两条技术死胡同。

第一条路是传统的独立并行采样。自洽性投票假设轨迹之间相互独立，通过最终多数表决确定答案。但在复杂逻辑推理中，成功的解题路径往往凤毛麟角，而看似合理实则谬误的歧途数不胜数。大模型在数百条独立路径上盲目探索，相当于在极低的先验概率下反复掷骰子。从系统工程角度看，并发的大量长文本导致 KV-cache 急剧膨胀，迅速击穿显存带宽与容量上限，推理框架不得不将请求挂起并频繁调度排队，产生惊人的端到端延迟。

第二条路是近年来兴起的提前剪枝方案（如 STEP 或 DeepConf）。这类方案引入轻量级打分器探测中间隐藏状态，一旦发现某条轨迹的置信度滑落，就提前终止其生成以释放显存。然而，这种“只做减法”的策略存在致命缺陷：它虽然释放了显存，却把腾出来的计算槽位永久闲置了。

如上图所示，在 256 并发的长推理测试中，并行采样因显存耗尽导致延迟暴增近 3 倍；纯剪枝的 STEP 虽然缓解了显存排队，但随着大量低分轨迹被掐断，活跃并发数持续萎缩，GPU 在生成后半程陷入了严重的“硬件饥饿”，算力被白白浪费。更根本的数学缺陷在于：单纯终止坏路径，并不能主动增加正确解在集成空间中的采样概率。好比在一场选拔赛中，考官提前淘汰了不及格者，却不给种子选手更多解题时间，最终的胜出概率依然受限于那几根脆弱的幼苗。

真正高效的推理拓扑，既不能放任显存排队，也不能让硬件算力闲置，而是必须建立一种“动态再分配”机制——把从淘汰轨迹中夺回的算力和显存配额，瞬间注入给那些被验证为走在正确道路上的优质半成品前缀。

思维级束搜索：零和配对与前缀复用

Gambit 的核心思想，是用思维级束搜索（Thought-Level Beam Search）重塑测试期推理拓扑。

整个推理生命周期被抽象为一个受限优化问题：在给定问题 $\mathcal{P}$ 和严格硬件预算 $B$ 的前提下，寻找一个动态轨迹分配策略 $\pi$，最大化命中真实答案 $y^*$ 的概率。Gambit 将物理显存允许的最大并发活跃轨迹数设为容量 $C$。

如流程图所示，Gambit 摒弃了传统的静态单批次生成，运行过程分为紧密咬合的几个阶段：

首先是预热探索（Warmup Phase）。在初始阶段，模型以 $C$ 条并发轨迹并行启动。此时不急于介入评估，因为极早期的推理片段往往残缺不全，打分器容易被浅层的表面特征误导。系统允许模型自由探索至设定的安全步数（如 12,000 个 Token 阈值），待解题思路初步展开、隐藏状态特征稳定。

进入稳定期后，系统以固定的生成间隔 $\Delta$（例如每 200 个 Token）周期性触发一次锦标赛重排（Tournament）。在此节点，系统调用基于中间隐层状态的轻量打分器，评估当前活跃池中所有未完成轨迹的累积得分 $\bar{s}$。随后，算法执行严格对称的“剪枝-分支”零和操作：

淘汰末位：选出得分最低的 $K$ 条轨迹立即终止，彻底抹去并释放其独占的物理 KV-cache 显存块。
派生优质：与此同时，系统锁定得分最高的 $K$ 个轨迹前缀，并在其当前切断点上原地派生出 $K$ 个全新的子请求。这些子请求通过前缀缓存（Prefix Caching）技术，原生地复用其父节点的整条 KV-cache，边际显存和预填充计算开销极低。
注入多样性：为了防止多个子分支落入同质化的逻辑闭环，系统在派生子请求时动态调整采样温度，鼓励子分支在父级扎实逻辑的基础上探索多样化的推导后续。

这一操作的精妙之处在于“零和显存守恒”：$K$ 出 $K$ 进，活跃轨迹的总量始终锁定在物理容量 $C$。它从工程底层同时化解了两种极端状况——既杜绝了暴击显存引发的系统排队，又彻底消除了纯剪枝带来的算力饥荒，让 GPU 算力全程满载运转。而在生成终止后，Gambit 会提取所有成功落地的答案，利用轨迹在不同阶段的置信度打分加权进行多数表决（Score-weighted Majority Vote），进一步过滤侥幸蒙对或后劲不足的噪声路径。

解耦内存管理：抵御显存抖动引发的分布坍缩

将束搜索从理论搬到大规模实际推理系统（如 vLLM）中，面临着一个此前常被忽视的隐形陷阱：系统底层的内存抖动会反噬高层算法的搜索逻辑。

在长文本高并发推理中，即便是最精密的调度器，偶发的显存水位峰值也可能触发底层引擎的抢占（Preemption）或物理驱逐。研究团队发现，如果算法直接读取调度器的物理执行状态（Scheduler View），一旦某条轨迹因系统显存瞬时紧张被底层剔除，算法感知到的活跃数就会跌落至 $N < C$。此时，算法会误以为系统存在空闲槽位，从而触发贪婪的回退逻辑——反复在当前仅存的 Top-1 或 Top-2 极少数轨迹上疯狂分支。

这种级联反应会在极短时间内毁灭搜索树的多样性：整个算力被病态地焊死在极少数局部最优前缀上，导致输出分布急剧坍缩，一旦该前缀本身存在隐蔽谬误，最终的准确率便会全盘崩溃。

为了解决这一系统与算法的错配，Gambit 提出了解耦内存管理方案（Decoupled Memory Management）。系统在逻辑层维系一棵独立的“搜索树视图”（Tree View），与物理引擎的“调度器视图”实现双轨并行：

容量裁决归逻辑：锦标赛的容量检查与交换决策完全依托于“树视图”。哪怕底层物理调度器因显存压力暂时挂起或丢弃了某条轨迹，在树视图中该节点依旧占位，并被标记为“幽灵轨迹”（Ghost Trace）。此时，系统识别到逻辑容量依然饱和（$N = C$），坚决执行严格对称的“末位 $K$ 换首位 $K$”平衡交换，阻断贪婪分支的反馈回路。
终局终止视物理：幽灵轨迹不占用生成算力，只在逻辑槽位中随着迭代自然滑落至末位 $K$ 并被合法替换；而真正的物理结束与答案汇总，则交由调度器视图严格确认，当物理活跃数收敛且足量完整轨迹交付后，流水线平滑关闭。

这种软硬件视角的解耦，为高负载下的束搜索构筑了一道防洪堤，确保了复杂算力再分配策略在实际部署中具备工业级的容错与稳定性。

实验评测：全维度压制与效率新边界

为了验证 Gambit 的真实威力，论文在单张 275GB NVIDIA B300 GPU 上搭建了严苛的评测基准，模型横跨 Qwen3-4B-Thinking、DeepSeek-R1-Distill-Qwen3-8B 以及 Phi-4-reasoning-plus-14B，覆盖 AIME-2025、AIME-2026、HMMT-2024、HMMT-2025 以及极具挑战的研究生级科学评测 GPQA-Diamond。

对比基准涵盖了无权重的标准自洽性投票（SC）、基于余弦相似度去重的 Slim-SC、依赖离线阈值剪枝的 DeepConf，以及基于 GPU 显存限制剪枝的 STEP。为了确保绝对公平，Gambit 直接沿用了 STEP 预训练好的同一款 2 层轻量 MLP 隐状态打分器，剥离打分器本身强弱的干扰，纯粹检验搜索拓扑的优劣。

实验表明，Gambit 展现出了对现有基线的全面统治力：

精度全面超越：在相同的 256 条轨迹生成预算下，面对竞赛级数学高难测试 HMMT-24，Gambit 在 Qwen3-4B 上相较 STEP 实现了 +3.3% 的提升，相较 DeepConf 大幅领先 +6.7%；在 AIME-25 上相较 STEP 稳健提升 +3.3%。在 8B 与 14B 模型上，准确率提升优势同样稳定保持。
Token 消耗锐减：相较于不设防的并行采样 SC，Gambit 在各个模型与数据集上均砍掉了半数以上的 Token 支出。在 Phi-4 模型测试 HMMT-25 时，Token 消耗从 5.56M 骤降至 1.75M，跌幅达惊人的 68.5%；在 Qwen3-4B 运行 HMMT-24 时，Token 削减幅度同样超过了 60.6%。
吞吐量翻倍与微弱开销：在实际端到端墙钟时间（Wall-clock Latency）上，Gambit 达到并行采样的 2 倍以上速度，并在硬件持续打满的状态下，提供了超过 STEP 2 倍的有效轨迹吞吐量（例如在 Qwen3-4B 上，轨迹吞吐从 0.098 跃升至 0.216 traces/s），而中间打分锦标赛引入的系统额外开销还不到 1%。

为什么 Token 减少了近七成，延迟却没有同比例下降？

在细颗粒度的系统动力学分析中，论文揭示了一个极具启发性的现象：Gambit 砍掉了高达 68.5% 的绝对 Token 数量，但端到端实际耗时虽然大幅优于并行采样，却没有同步缩短 68.5%，而是与激进剪枝的 STEP 保持在相近水位。

这个看似矛盾的“非对称收益”，恰恰揭示了 Gambit 对模型思考行为的深刻重构。深入追踪生成序列分布可以发现两个核心事实：

其一，独特 Token（Unique Tokens）的大幅缩减。所谓独特 Token，是指每条完成轨迹中剔除继承自父级前缀后、模型全新解码生成的 Token 数。并行采样每一条轨迹都得从头算到尾，独特 Token 中位数高达 14.5K；而 Gambit 借助前缀缓存机制，大量子轨迹共享优质前缀，探索全新解题分支所需的独特 Token 中位数直降至 5.2K。这意味着模型只用极小的边际算力，就探索了大量截然不同的逻辑可能。

其二，存活轨迹长度分布的“向右平移”。STEP 这类纯减法剪枝，在遭遇疑似错误时一剪了之，导致绝大多数轨迹在很短的长度上就被腰斩，最终存活并交付答案的轨迹整体偏短（中位数约 16.5K）。而 Gambit 绝非盲目掐断，它在剪掉毒瘤的同时立刻补充分支，等于主动把算力资源持续倾斜给那些正在产出高质量长逻辑的轨迹。这就使得 Gambit 最终完成的轨迹中，真正深入展开的长链条比例显著增加（中位数达到 35.8K）。

换言之，Gambit 并没有缩短解题所需的完整思考深度，而是消灭了无效的重复试错。它省下的海量 Token，是原本在平庸前缀上独立空耗的“垃圾算力”；而它所维持的延迟，则扎扎实实转化为了对核心推理路径更充分、更深度的算力浇灌。

从静态堆砌到动态调度的范式转移

长期以来，测试期计算扩展常被简省地理解为“扩大 Batch Size、增加采样样本”。然而，长思维链的本质是一个高度脆弱且非线性的树状搜索空间，在错误的分支上投入再多并行算力，换来的也只能是无意义的显存拥堵与低分答案的堆积。

Gambit 证明了一条全新的技术路径：大模型推理的扩展重点，在于将算法逻辑与现代推理系统的底层特征深度契合。通过“思维级束搜索”实现算力的动态有进有出，借助“前缀共享”抹平分支探索的边际开销，并利用“双重视图解耦”稳固高并发下的调度平衡。

这一工作的落地预示着，未来的推理集群将不再只是机械执行静态前向传播的被动管道，而是演化为具备自我感知、动态修剪与按需分支的高维思考引擎。在算力愈发昂贵的时代，能够精明地感知“何处值得深究、何处应当止损”的动态架构，将成为模型突破推理天花板的关键胜负手。