AI评测

ShiJianBench:评测AI投顾不能只看回复,7199人校准的长程决策新基准

为了复现真实人类面对金钱诱惑与亏损恐惧时的复杂心理,ShiJianBench 没有采用常见的单一静态 Prompt 角色设定(Persona),而是提出了一个结构化的多智能体投资者模拟器(Multi-agent Investor Simulator)。人类在做投资决策时,内心从来不是单一维度的。

EvoGUI:从轨迹挖掘状态转移探针,28个主流VLM最高得分仅60.4

来自清华大学等机构的研究团队提出了名为 EvoGUI 的诊断型评测框架及其评测集 EvoGUI-Bench 。该研究的核心切入点是: GUI 交互本质上是状态演进敏感(Evolution-Aware)的,Agent 必须理解界面状态随动作发生转移的动力学机制 。

Rubric4Setwise:打破nDCG陷阱,用评测细则以更少文档拿下SOTA

在此诊断基础上,团队进一步提出了免训练的集合选择方法 Rubric4Setwise ,首次将评估准则直接转化为选择信号,在短文本和长文本两套场景中,仅用更少文档和更少搜索轮次便斩获了下游生成性能的 SOTA。要理解这项工作的必要性,必须先认清现有评测体系为何在大模型时代失效。

从单条事实检索到人格特质推断:个性化Agent分层理解基准Setoka详解

华东师范大学与香港中文大学的研究团队提出了专门针对记忆增强个性化智能体的评测基准 Setoka 。这项工作直击现有记忆基准(如 LongMemEval、LoCoMo 等)的盲区:过去的研究过度关注单轮或多轮长文本对话中的显式事实提取,无法评测系统跨越不同数据源、提炼高阶抽象特征的推理能力。

大模型编排到底划算吗?消耗2到4倍Token仅换来4.6%提升

结果表明: 多调用编排带来的平均准确率提升极其有限(最高仅 4.6 个百分点),但付出的 Token 资源代价却高达 2 到 4 倍;更关键的是,编排带来的收益并没有随着任务难度的增加而扩大,且不同模型之间的适配表现极度分化。评估多智能体或编排工作流最大的痛点在于基准不公。

ARAC-Bench:顶会审稿视角评测Auto-Research,最高分仅67.9

针对这一核心断层,来自浙江大学等机构的研究者提出了 ARAC-Bench (Auto-Research's Alignment and Completeness Benchmark)。该基准不再单纯以“最终答案是否匹配”来定胜负,而是将研究过程对齐真实人类科研行为与完整性作为评测核心。

MissionBench:大模型掌舵无人机,人类达84%而最强AI仅35%

从地面到天空,具身智能的技术演进并非仅仅多了一个 轴的高度维度,它实质上对大模型的视点自适应选择、连续位姿动态控制和多阶段任务闭环提出了前所未有的严苛要求。MissionBench 的出现,如同一面清晰的棱镜。