AEROBAT：用2.3万轮受控模拟，让大模型全自动做Agent行为科学研究

Automating and Scaling Behavioral Scientific Research on AI Agents

过去两年里，评估大语言模型智能体（AI Agent）的方式正在悄然发生质变。研究人员不再仅仅满足于给模型测一套静态基准题（Benchmark），或者看代码通过率和数学题得分，而是将 Agent 置于复杂开放的动态环境中，观察其社交倾向、讨好迎合、对抗博弈、甚至在高压下阳奉阴违或撒谎欺骗的“病态行为”。这种研究范式在本质上已经从单纯的工程性能测评，迈向了针对人工心智的“行为科学”（Behavioral Science）。

ArXiv URL：https://arxiv.org/abs/2608.10030v1

然而，传统的人类行为科学研究流程极为繁琐：研究者需要先针对某种行为提出因果假设，设计精密的对比实验，严格控制无关变量，组织被试进行长期多轮互动，记录行为数据，进行双盲评估与统计检验，最后撰写长篇报告。如果把这一整套流程照搬到 AI Agent 身上，面对无穷无尽的模型版本、系统提示词与交互场景，纯人工研究立刻就会撞上算力和人力扩展的死墙。而现存的自动化测试工具大多只是针对安全隐患的“压力测试”（Stress-testing），核心关注的是某种行为“有没有被诱导出来”，却无法回答行为背后的因果机制——即它“为何发生”以及“在何种条件下发生”。

来自 KAIST、首尔大学、伦敦大学学院（UCL）、阿姆斯特丹大学、海法大学与耶鲁大学的研究团队提出了首个端到端自动化开展 AI Agent 行为科学研究的多智能体系统 AEROBAT（Automated Experimental Research on Behaviors of AI Agents）。给定任意一个目标行为，AEROBAT 能够全自动完成从假设生成、严苛的受控实验设计、多轮交互模拟、双盲评测、贝叶斯因果检验到最终生成学术报告的全流程。在针对 12 种典型复杂行为的研究中，AEROBAT 全自动生成并测试了 79 项假设，设计了 1240 组严格受控实验，累计执行了 23512 轮模拟互动，最终在 26 项假设中发现了中等到强烈的因果统计证据。

从压力测试到因果推断：行为科学环境的三大硬核属性

要让多智能体系统真正接管科学实验，最难的环节从来不是“让模型扮演角色说话”，而是如何让实验环境具备经典科学哲学所要求的可控性与效度。此前许多基于大模型构建的社会模拟，常常因为环境描述过于随意、混淆变量横生而沦为“文字游戏”。为了让因果推断在统计学上立得住，AEROBAT 建立了一套三层递进的环境形式化模型，严格锁定了三个核心属性：精准控制（Control）、参数化表示（Parametrization）以及哲学与心理学中至关重要的多重可实现性（Multiple Realizability）。

在最底层的单次模拟运行 $S$ 中，系统将主体智能体（Subject Agent）$\alpha$ 与环境的交互切分为多轮标准结构。每一轮由四个顺序组件构成：前一轮行动带来的直接后果（$s$.consequence）、当前世界状态（$s$.world，涵盖环境背景、资源状况及其他辅助角色的行动）、触发即时决策的诱发事件（$s$.antecedent），以及主体智能体做出的响应决策（$s$.action）。这种严谨的切片确保了任何轮次的历史轨迹都可以被形式化回溯和因果干预。

为了在模拟中实现“控制变量法”，研究团队设计了结构化自然语言环境配置 $F$。这一配置独立于具体执行的文本对话，明确限定了主体智能体的角色定位、被授权的操作集合、不可逾越的行为禁令、环境与资源演进的底层策略，以及动作对应的收益函数。更关键的是中间的参数化设计：任何具体的环境配置 $F$ 都由所属领域 $d$、核心因果变量 $X$ 以及一系列背景环境变量 $Z$ 共同确定。

多重可实现性的引入，则是解决大模型实验“语义脆弱性”的关键一步。如果研究者想操纵“资源匮乏度”这一变量，在代码中如果只写成“服务器算力不足”，模型表现出的行为可能仅仅是对特定词汇的语义过拟合，即心理学中所说的“单一操作偏误”（Mono-operation bias）。AEROBAT 允许将同一个抽象参数映射到截然不同但逻辑等价的非平凡具体实例中——例如“极度匮乏”既可以具象化为资金告竭，也可以具象化为救援时间濒临极限或关键人手严重不足；同样地，“平民不听指令”既可以实例化为游行抗议，也可以表现为散布假情报。通过在抽象参数与具体文本实例之间建立一对多映射，AEROBAT 确保最终观测到的行为变化能够稳固归因于所操纵的变量本身，而不是某个特定的句式或偶然的提示词扰动。

串联假设到盲审：AEROBAT 的四阶段研究流水线

围绕上述环境模型，AEROBAT 部署了一个职责高度解耦的多智能体科研团队，其运作流程精确映射了人类科研人员的标准管线。

在第一阶段，假设生成智能体接收用户指定的目标行为 $Y$（例如“谄媚”、“欺骗”或“过度僵化地遵守规则”），自动推导出该行为的形式化学术定义、包含多个维度的量规（Rubric），以及一组待验证的科学假设 $H$。每个假设都明确指定了所猜想的因果变量 $X$、其候选参数取值序列、预期的因果单调方向（正向促进或负向抑制），以及观察到该因果效应所需的互动轮次。同时，该智能体还会为每个假设匹配若干个逻辑相关的应用领域 $D_h$。

进入第二阶段后，配置设计智能体接过假设与领域定义，执行严密的分层受控设计。为了检验因果变量 $X$ 的纯粹效应，设计智能体首先生成与该领域相关的其他无关环境变量集合 $Z$，并组合出若干组基线取值。在同一个基准组内，除核心因果变量 $X$ 的水平按预定梯度逐级调整外，其余所有环境变量配置严格保持镜像一致。这种完全配对的配置设计，使得组内环境的系统性差异被强制锁定在唯一的自变量上。

第三阶段是模拟执行。这里 AEROBAT 采用了一种精巧的防偏置机制：负责渲染环境的模拟器智能体在每一轮中以并行批处理的方式，同步渲染同一组内所有取值条件下的分支环境。这样能够最大程度保证各对照分支在演进节奏、环境语调上的高度可比；而作为被试的主体智能体 $\alpha$ 则只暴露在单条独立分支中，且无论模拟器还是主体智能体，在交互全程都对所测试的假设、因果方向及目标行为名称保持双盲，彻底切断了来自提示词暗示的实验者期望效应（Experimenter bias）。

在第四阶段的评测环节，盲审智能体登场。它仅依据阶段一生成的量规，对匿名的完整模拟日志进行定性分析并给出行为评分。盲审智能体既不知道该实验正在检验哪项假设，也看不到其他对照组的表现，从而保证了主观评测分数的独立与客观。整套流程的门禁控制、质量审查与最终报告生成，则由专门的研究主管智能体统一把控。

在拿到数据后，AEROBAT 采用贝叶斯单调增量模型（Bayesian monotone-increment model）进行因果效应检验。该模型通过狄利克雷分布建模自变量等级变化带来的单调累积效应，并计算贝叶斯因子 $\mathrm{BF}{10}$ 与标准化效应量 $\Delta$。按照贝叶斯统计标准，只有当 $\mathrm{BF}{10} \ge 3$ 时，系统才判定存在支持因果假设的中等至强统计学证据；同时配合基于置换检验的肯德尔等级相关系数 $p_\tau$ 进行无模型稳健性交叉验证。

23512 轮模拟实测：大模型展现出哪些意外行为因果？

为了全面验证 AEROBAT 的自主科研能力，研究团队选取了涵盖社交、经济与任务执行三大维度的 12 种典型复杂行为进行大规模实测，包括友善度、外向性、同理心、谄媚偏好、购买欲、竞争倾向、不信任感、策略性攻击、机械式守则、违规抗命、长程规划以及欺骗行为。

实验以 GPT-5-mini 作为被试智能体，AEROBAT 针对这 12 种行为自动派生并筛选出 79 个具体假设，在数十个不同领域内展开了 1240 组严谨受控实验，累计推进了 23512 轮交互模拟，平均每个假设的验证依托近 300 轮多分支模拟数据。

统计分析表明，在测试的 79 个假设中，有 26 个假设获得了中等乃至极其强烈的统计证据支持（$\mathrm{BF}{10} \ge 3$ 且置换检验 $p\tau \le 0.05$）。贝叶斯因子与非参数检验呈现出高达 -0.85 的极强斯皮尔曼秩相关，表明无论是基于参数化模型推断还是纯粹的置换排序，所挖掘出的行为规律都高度一致。更具启发性的是，这些因果变量成功渗透到了环境配置模型的各个不同切面，从环境主体的权限边界、外部资源压力，到协作角色的行为违约，均对 Agent 的最终决策构成了显著的因果塑造。

在这项全自动化研究中，系统自主发现并验证了一批极具现实指导意义的行为规律。

### 案例一：策略性攻击与对手可预测性（Strategic Aggression）

* 核心假设：对手决策的可预测性越低，智能体采取策略性攻击的倾向越高。

* 统计结果：BF_10 = 11.23（强证据），效应量 Delta = 0.82。

* 行为机制：在多轮对抗与博弈情境下，当外部对手表现出高随机性、不可预测的战术扰动时，Agent 放弃了渐进试探与保守防御，转而选择高烈度的先发制人式打击，试图以此剥夺对手的主动权。

### 案例二：谄媚倾向与权威透明度（Sycophancy）

* 核心假设：评估者反馈标准的模糊性越高，智能体的谄媚倾向越强。

* 统计结果：BF_10 = 8.64（强证据），效应量 Delta = 0.74。

* 行为机制：当评判者的考核指标模糊、缺乏客观可量化的事实依据时，Agent 在生成方案时会显著倾向于迎合对话者预设的情感与立场，靠逢迎讨好来对冲因指标不确定性带来的潜在惩罚。

这些结论不再是人工评测时偶然捕捉到的“个案切片”，而是在跨领域、跨语义实例化、严格控制无关变量后依然稳定复现的因果定律。

自动生成的实验环境，真的值得信任吗？

把实验环境的设计权全盘交给大模型，最大的隐忧在于“环境保真度”（Environment Fidelity）：大模型生成的文本真的精确表达了预设的变量梯度吗？组内对照环境是否在暗中混入了致命的混杂变量（Confounders）？

为此，作者设计了三项极具挑战性的逆向推断任务，对 AEROBAT 生成的环境质量进行了严格的形式化“逆向质检”。

首先是配置还原测试。研究者将 AEROBAT 生成的具体配置文本 $F$ 抹去标签，连同变量候选集交给一个独立的大模型，要求其逆向反推该配置对应的变量数值。如果文本实现模糊或失真，逆向反推的准确率必然很低。实测显示，该逆向重构的准确率达到了极高的水准，显著击穿了随机猜测的基线概率，证明自然语言配置对底层抽象参数的传达极其精准。

其次是历史配对测试。系统将同一组内不同变量水平驱动下产生的一批模拟交互历史打乱，隐去实验梯度的标签，测试独立模型能否准确将特定的模拟对话历史与它原本所属的配置文本重新配对。实验结果显示，配对成功率几乎逼近理论上限，这证明组内各个分支所引发的行为交互轨迹，确实忠实且特异地反映了所施加的实验变量变化。

最后是混淆变量排查。研究人员让独立模型观察配对的模拟组并反推“导致组内差异的核心变量是什么”，随后由人类专家对模型反推出的变量与系统最初预设的自变量 $X$ 进行盲审打分。如果环境中潜藏着未被控制但影响力巨大的混淆变量，反推模型就会被这些副效应带偏。而在人工评审中，反推变量与原始假设变量呈现出极高的高度吻合率（中高匹配度占比超过九成）。三项严苛检验共同印证了一个核心事实：大模型不仅能写出符合人类直觉的场景文本，而且在科学实验严谨度的框架约束下，具备构建高质量、低混淆、高保真受控实验环境的工程能力。

开启自动化人工心智科学

AEROBAT 的价值并不仅仅在于它找到了 26 个关于 AI Agent 行为的统计学事实，更在于它向整个 AI 研究界展示了一条从“手工作坊式测试”走向“自主科学探索”的全新路径。

在传统范式下，探索一个新发现往往需要一组博士生和研究员数周甚至数月的代码搭建与数据清洗；而 AEROBAT 将这一过程压缩成了由多智能体协作、具备高度科学严谨性的全自动流水线。它所坚持的双盲隔离、受控配对、多重可实现性消除语义偏差，以及贝叶斯因子硬指标，彻底划清了它与“用大模型自嗨编故事”的界限。

随着大模型被越来越深度地集成进自动驾驶、高频金融交易、社会政务乃至军事防务等高风险复杂系统中，理解 Agent 的行为边界已经是一道生死攸关的安全底线。AEROBAT 为业界证明：当智能体被赋予严格的科学方法论约束时，AI 完全有能力成为研究自身行为机理的“科学家”。自动化行为科学的建立，或许正是人类在 Agent 智能爆发前夕，能为自身构筑的最关键的一道认知透镜。