不改权重！强模型为弱模型写脚手架，准确率从0.49升至0.91
AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
在过去很长一段时间里，大模型领域提升小模型能力的主流思路几乎完全等同于“模型蒸馏”：无论是基于静态数据的教师-学生知识蒸馏，还是结合强化学习的 on-policy 策略对齐，其根本逻辑都是通过更新小模型的参数权重，把大模型的推理能力硬生生“灌注”进小模型的神经网络之中。这一路线行之有效，但也带来了一个思维定势——想要让小模型解决更复杂的逻辑推理任务，唯一的途径就是投入计算资源重新训练或微调。
ArXiv URL：https://arxiv.org/abs/2608.12307v1
然而，来自 Salesforce AI Research 与 伊利诺伊大学厄巴纳-香槟分校（UIUC） 的研究团队在最新论文《AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses》中提出了一个反直觉的视角：小模型在复杂任务上的频繁失败，往往并不纯粹是因为其内部能力不足，很大程度上是因为输入方式给它施加了过高的“认知负荷”。如果把思路从“让小模型变聪明”转变为“把任务变容易”，完全可以在推理阶段（Test-Time）通过外部工程化的交互环境，把强模型的能力迁移给弱模型。
这项研究正式提出了强弱脚手架（Strong-to-Weak Scaffolding）概念：在完全不更新弱模型任何参数的前提下，仅凭强“构建模型”（Builder）观察极少量的验证数据，自动编写一套包含路由、确定性代码、状态提取和格式校验的推理“脚手架”（Harness）。在涵盖多阶推理的心智理论（Theory of Mind, ToM）基准测试中，由强模型自动构建的外挂环境直接将固定的目标弱模型（GPT-5.4-mini）宏平均准确率从基础的 $0.49$ 几乎翻倍提升到了 $0.91$。更有甚者，穿上脚手架的弱模型在全部基准任务上均反超了未经脚手架包装的未裁剪大模型本身。
从改动权重到重塑环境：强弱脚手架如何运转？
为了将这种推理阶段的能力迁移研究规范化，作者团队设计了一个严谨的自动化脚手架构建与盲测流程。整个系统由两个核心角色构成：担任“工程师”的构建模型 $M_{\text{build}}$（Builder），以及被评估的固定目标弱模型 $M_{\text{tar}}$（Target）。构建模型面对的是一个开放式的编程工作空间，里面仅包含任务说明、演示示例以及仅占总数据量 $5\%$ 的极小验证集 $\mathcal{V}$。
构建模型的核心任务是充分利用这 $5\%$ 的验证反馈，通过多轮迭代尝试编写出一套完整的外部调用脚本。这套脚手架代码可以自由组合各种手段：不仅包括给弱模型设计的 Prompt 模板、思维链引导和少样本示例，还可以包含 Python 编写的确定性求解器、针对不同子任务的分类路由器、答案提取正则规则以及跨步验证逻辑。整个迭代过程中，构建模型永远无法接触剩余 $95\%$ 的隐藏测试集 $\mathcal{T}$。这意味着构建模型不可能通过穷举或过拟合来背题，它必须从极少量的切片数据中提炼出任务的抽象可复用结构，并将这种认知结构“编译”成代码与交互规则。
在构建模型完成代码导出后，评测管道完全脱离构建模型的介入，直接在底层隐藏测试集上运行该脚手架，调用目标弱模型 $M_{\text{tar}}$ 得出最终准确率。实验涵盖了当前极具挑战性的四大心智理论推理基准：涉及反事实与因果模板的 BigToM、专注于多层高阶嵌套信念推断的 Hi-ToM、家务活动场景下的贝叶斯目标推理 MMToM-QA，以及包含具身多智能体交互的 MuMA-ToM。这类基准向来对小模型极其苛刻，因为它们要求模型在同一个上下文中追踪不同角色的视角切换、隐蔽信息以及虚假信念。
令人意外的飞跃：弱模型不仅翻盘，还击败了大模型自身
评测涉及的构建模型阵容囊括了业界顶尖梯队，包括 Claude Opus-4.7、Claude Sonnet-4.6、GPT-5.5、Gemini-3.1-Pro 以及 Grok-0.1 等，开发环境则覆盖了 Cursor、Claude Code 及 GPT Codex。以 GPT-5.4-mini 作为弱目标模型的实验结果揭示了几个极为鲜明的趋势。
第一，能力的跨越式提升具有极高的稳健性。在多轮独立重复实验中，所有评测配置均无一例外地取得了正向净收益。基线状态下，未经过任何脚手架包装的“裸奔” GPT-5.4-mini 宏平均准确率仅有 $0.488$。而经过优秀构建模型编写脚手架后，其表现全面跃升，最强脚手架直接将其准确率拉升至 $0.91$ 左右，整体平均净提升幅度达到 $+0.275$。
第二，优秀的脚手架足以抹平参数量级的鸿沟。实验设置了数个对比基准，其中包括无脚手架状态下的原始 GPT-5.4 以及 GPT-OSS-120B。令人瞩目的是，顶尖构建模型为 GPT-5.4-mini 打造的脚手架，其最终测试得分不仅大幅拉开了与小模型原型的差距，甚至全面超越了未套用脚手架的原型大模型 GPT-5.4。这有力地证明了一个常被忽视的工程现实：在很多复杂多步骤任务中，一个架构精巧、流程受控的推理外围结构，所释放的边际效能有时比单纯将底座模型升级一个参数量级还要巨大。
第三，核心变异来源于构建模型自身，而非宿主开发平台。从热力图和聚合数据来看，构建模型的能力层次在测试结果中呈现出严格的垂直分布梯度：头部推理模型（如 Opus-4.7、GPT-5.5）生成的脚手架质量明显处于第一梯队，而较弱的模型生成的脚手架收益相对平庸。相比之下，各厂商所谓的“原生平台优待”（如 Anthropic 模型在 Claude Code 上运行、OpenAI 模型在 Codex 平台运行）带来的差异极其微弱，平均原生平台优势仅有微弱的 $+0.013$ 且统计上不显著。这表明强弱迁移的关键取决于构建模型能否看懂任务本质，而非它在何种 IDE 环境中敲代码。
拆解黑盒：脚手架为什么能在不改参数的情况下生效？
为了弄清这些强模型究竟在代码中写了什么玄机，作者团队对所有运行中沉淀下的脚手架源码和优化日志进行了逐一逆向分析，提取并定义了一套包含十二项技术维度的脚手架分类体系。深入的归因分析彻底打破了人们对于“Prompt 工程”的传统想象：性能的大幅跃进，绝非单纯诱导小模型进行更长的思考或做更多次采样，而是来自清晰的两层结构化设计。
首先是全员标配的“可靠性托底层”。分析显示，几乎所有的构建模型都不约而同地引入了严格的格式强制约束（Format Enforcement）、贪心解码设置（Greedy Decoding）以及基于规则的问题分类路由（Routing）。小模型之所以在很多基准测试中得分惨淡，往往是因为输出格式崩坏、解析出错、采样发散或者遗漏了特定子任务的指令细节。构建模型通过最外层的 Python 正则与强制解析器，彻底阻断了由于输出格式错乱造成的无谓失分，为弱模型稳住了最基本的基线底盘。
其次是高阶构建模型独有的“任务结构外化与确定性卸载”（Deterministic Offloading）。这也是拉开顶尖脚手架与普通脚手架差距的关键。在面对复杂基准时，顶尖构建模型展示出了卓越的任务可编译性识别能力：
-
确定性代码代劳（Deterministic Solvers）：强模型发现，任务中部分看似高深的推理步骤，本质上是遵循固定因果模板或图遍历逻辑的。例如在 BigToM 基准中，涉及物品移动、物理遮挡与观察者视线的关系，完全可以抽象为确定性的布尔因果图。最强的脚手架直接用 Python 代码编写了解析器，小模型甚至完全不需要介入这类子任务的思考，题目直接被确定性代码秒杀。
-
结构化状态抽取（Structured State Extraction）：对于无法纯代码化的部分，脚手架不再直接把长篇故事丢给小模型问“张三此时相信什么”，而是设计分步提取机制，让弱模型只负责填空式地提取“谁在何时看到了什么”这类原子事实，再由脚手架合并状态进行推断，极大降低了弱模型在长距离依赖下的工作记忆载荷。
通过统计每个脚手架在 $3900$ 个测试用例中完全绕过大模型、仅由纯代码规则给出答案的比例（即确定性卸载比例，Determinism Fraction），可以发现这一指标与最终准确率呈现出强烈的正相关。尤其在 BigToM 上，顶尖脚手架将大部分题目编译成了确定性程序，但在更加依赖非结构化交互判断的 MuMA-ToM 上，纯代码接管率则骤降。这不仅量化了认知负荷的减轻程度，也描绘出了不同推理任务的“可编译性图谱”。
验证预算、模型思考与边际收益的博弈
这项研究还推翻了另一个常见的直觉：是不是让构建模型多刷几次验证集，最终拿出来的脚手架就越强？
实验数据给出了明确的否定答案。构建模型在 $5\%$ 验证集上的尝试轮数和评估频次，与最终在全量测试集上的表现几乎没有任何相关性。较弱的构建模型即便在验证集上反复折腾、不断尝试微调 Prompt，其最终得分依旧在原地踏步；相反，顶尖的构建模型往往仅需两到三次原则性的代码迭代，就能交出近乎完美的脚手架架构。
真正能够单调驱动脚手架质量提升的变量，是构建模型编写脚手架时的推理努力程度（Reasoning Effort）。当研究人员将 Opus-4.7 在编写脚手架时的思考预算从低档一路拉到超高档时，最终产出的脚手架代码量从约 $500$ 行膨胀到 $1300$ 行左右，全集准确率也呈现出平稳的单调上升趋势，期间完全没有出现因过度思考导致的逻辑“过度工程化”坍塌。这说明在测试期能力迁移中，最有价值的计算资源并不是盲目对验证集进行搜索试错，而是强模型在动手写代码前，针对任务深层结构进行的形式化抽象思考。
此外，针对不同目标弱模型的横向对照实验揭示了显著的“提升空间”（Headroom）规律。当被套上脚手架的目标模型从软弱的 GPT-5.4-mini 换成底座能力本就十分强悍的 Gemini-3.5-flash 时，脚手架带来的平均准确率增幅显著收窄。构建模型也极其聪明地针对目标模型调整了策略：在目标模型能力偏弱的子任务上堆叠大量确定性规则和分流兜底；而在目标模型本身正确率极高的区域，则聪明地保持克制，采用极简 Prompt。这种自适应行为极为关键——当一个模型本身已经能答对大部分题目时，过于沉重的外部逻辑往往反而容易画蛇添足，破坏模型原有的正确输出。
互补性与深水区：我们离全自动化认知增强还有多远？
既然顶级强模型能写出如此强大的脚手架，不同构建模型写出来的东西是在互相抄作业，还是各有千秋？
作者团队进行的互补性分析（Complementarity Analysis）给出了一个极为耐人寻味的结果。虽然顶级脚手架都在宏观上修复了基线小模型绝大部分的失误，但通过对错误修复交集的微观透视可以发现，不同构建模型生成的脚手架所修补的错题集合存在大量非重叠部分。有的脚手架依靠精密的极性追踪逻辑解开了复杂的欺骗场景，有的脚手架则依靠严格的因果状态转移图在长链追踪中胜出。这也意味着，当前自动化脚手架依然远没有触及该范式理论上的天花板；在未来，将多个强模型独立编写的脚手架进行跨系统集成或动态路由，有望在小模型上挖掘出更为极致的推理上限。
当然，强弱脚手架并非万灵丹。通过对 8 个顶尖脚手架共同失败的“残留错误”（Residual Errors）进行深层切片，真正的推理“深水区”清晰地显露出来：
-
高阶信念递归的崩溃：在 Hi-ToM 任务中，一旦问题的递归阶数上升到二阶甚至更高（例如“小红认为小刚相信小明知道什么”），脚手架的增益幅度开始急剧收窄，错误率随着阶数攀升迅速攀折。
-
拒绝被编译的连续贝叶斯推断：在涉及深层心理动机逆向规划的场景中，人类或智能体的目标意图具有连续性和模糊性，无法通过简单的规则表或离散逻辑树进行符号化表达。面对这些顽固硬骨头，脚手架必须退回到依赖弱模型自身的纯语义直觉，而这恰恰又是小模型本身的短板所在。
重新审视大模型：从“应试者”到“架构师”
Salesforce 与 UIUC 的这项研究，在模型蒸馏与智能体工程的交汇处开辟了一个极富应用前景的新赛道。在过去的落地部署中，为了让小模型承担专业业务，团队往往需要耗费大量时间标注精细的思维链数据并进行针对性微调，流程漫长且容易带来灾难性遗忘。而强弱脚手架展示了一条崭新的工程路线：让大模型充当系统架构师，根据业务场景的微量样本，全自动编译出一套兼具确定性代码、分流策略和鲁棒校验的推理脚手架，赋能给廉价的小模型直接执行。
更深远的意义在于对模型评估体系的重塑。一直以来，评估大模型的标准往往停留在“它自己做某道题能拿多少分”。这项研究向整个学术界和工业界展示了一个更具生态价值的评测维度：一个强大的模型，究竟能不能把自己的认知优势，形式化为可以让弱者稳定运行的规则、代码与工具环境？
当大模型的角色从一个单纯答题的“考生”，进化为能够根据局势搭建工具、降低下游认知负荷的“工具制造者”，大模型对于整个技术系统的辐射半径，才算真正迎来了本质性的扩张。