ShiJianBench:评测AI投顾不能只看回复,7199人校准的长程决策新基准
为了复现真实人类面对金钱诱惑与亏损恐惧时的复杂心理,ShiJianBench 没有采用常见的单一静态 Prompt 角色设定(Persona),而是提出了一个结构化的多智能体投资者模拟器(Multi-agent Investor Simulator)。人类在做投资决策时,内心从来不是单一维度的。
为了复现真实人类面对金钱诱惑与亏损恐惧时的复杂心理,ShiJianBench 没有采用常见的单一静态 Prompt 角色设定(Persona),而是提出了一个结构化的多智能体投资者模拟器(Multi-agent Investor Simulator)。人类在做投资决策时,内心从来不是单一维度的。
针对这一核心盲区,新基准 WorldExam 提出了从“表象外观(Apparent Appearance)”向“内在反应性(Inherent Reactivity)”跃升的四层诊断体系。
来自清华大学等机构的研究团队提出了名为 EvoGUI 的诊断型评测框架及其评测集 EvoGUI-Bench 。该研究的核心切入点是: GUI 交互本质上是状态演进敏感(Evolution-Aware)的,Agent 必须理解界面状态随动作发生转移的动力学机制 。
针对这一困境,研究团队提出了 SkillZip 。该方法完全摒弃了对下游评测任务、环境轨迹和奖励反馈的依赖,将技能视作一种结构严密的“类型化操作契约”(Typed Contract)。
来自华为、南洋理工大学和中山大学的研究团队提出了 UserToolBench 基准,首次将评估焦点转向 隐式画像下的个性化决策(Personalized Decision Making) 。
为填补这一盲区,研究者提出了 Copyright-Bench ,这是业内首个专门用于量化评估大模型智能体在商业场景下版权法合规性的基准测试。测试结果展现出一个令人担忧的现实:在任务成功率普遍超过 98% 的背后,主流大模型智能体存在严重的“能力与合规脱节”。
在此诊断基础上,团队进一步提出了免训练的集合选择方法 Rubric4Setwise ,首次将评估准则直接转化为选择信号,在短文本和长文本两套场景中,仅用更少文档和更少搜索轮次便斩获了下游生成性能的 SOTA。要理解这项工作的必要性,必须先认清现有评测体系为何在大模型时代失效。
来自南京大学、新加坡管理大学、中山大学等机构的研究团队推出了 SciCodePile ,构建了迄今为止规模最大的 128GB 多学科科学代码语料库,并配套推出了包含 200 个任务的可执行沙箱评测基准。
来自上海人工智能实验室(Shanghai Artificial Intelligence Laboratory)的研究团队近期推出了专门针对科学安全风险的全新基准 SciHazard ,并提出了一套解耦式的危害评估框架 DeHarm-Score 。
ACWorld:这就是研究者们提出的 vibe commerce 。想象一个普通的购物场景:买家给自己的 Buyer Agent 设定至多 100 美元的私人预算上限,卖家则要求 Merchant Agent 绝不能低于 90 美元底价出售。
ExtractBench 设计了一套三轨并行的严苛工程化标注管线。针对 真实商业文档 (如 SEC 13F 文件、市政水电账单),团队引入多模型集成一致性裁决机制。首先根据样本起草初始 Schema,再让来自不同模型家族的多个高阶抽取系统独立执行。
华东师范大学与香港中文大学的研究团队提出了专门针对记忆增强个性化智能体的评测基准 Setoka 。这项工作直击现有记忆基准(如 LongMemEval、LoCoMo 等)的盲区:过去的研究过度关注单轮或多轮长文本对话中的显式事实提取,无法评测系统跨越不同数据源、提炼高阶抽象特征的推理能力。
结果表明: 多调用编排带来的平均准确率提升极其有限(最高仅 4.6 个百分点),但付出的 Token 资源代价却高达 2 到 4 倍;更关键的是,编排带来的收益并没有随着任务难度的增加而扩大,且不同模型之间的适配表现极度分化。评估多智能体或编排工作流最大的痛点在于基准不公。
针对这一核心断层,来自浙江大学等机构的研究者提出了 ARAC-Bench (Auto-Research's Alignment and Completeness Benchmark)。该基准不再单纯以“最终答案是否匹配”来定胜负,而是将研究过程对齐真实人类科研行为与完整性作为评测核心。
为此,他们提出了 叙事承诺保持 (Narrative Commitment Preservation,简称 NCP)的形式化框架,并构建了包含 100 个基于经典电影情节的环境基准 NCP-Bench 。评测结果揭示了一个残酷的事实:文笔出众并不等于具备长程逻辑鲁棒性。
由百度、上海交通大学、西安交通大学与中关村学院等机构组成的联合研究团队,针对这一长期困扰 AI for Science 的根本瓶颈,提出了名为 Janus 的算法与评估器协同演化框架。
KVDiagnosis:为了让长文本推理在有限的硬件上跑得通,工业界与学术界提出了五花八门、令人眼花缭乱的 KV Cache 压缩算法,涵盖 Token 驱逐、层/头动态分配、通道剪枝、低比特量化以及语义块合并等不同技术路线。
该工作不仅建立了一个包含 3,000 个经过真实 API 执行验证的高质量中文测试集,更首次提出了能够实现自我迭代演进的双阶段闭环构建框架 PCCF(PluginEval Closed-Loop Construction Framework)。
RealisticTritonBench:实验结果给大模型在底层系统优化上的应用浇了一盆冷水:即使是当前最顶尖的推理与代码模型,在真实系统环境下的综合任务成功率最高也仅有 25.81%,全模型平均成功率低至 18.71%。
AhaBench:研究团队设计了一个三联记分卡机制: 1. 初始得分(Initial Score, ) :模型在没有经验时的“冷启动”能力。2. 经验后得分(Post-Experience Score, ) :经历过相关教学、过往解题轨迹或经营历史后,在 去除了显式提示或改变了测试条件 的新环...
从地面到天空,具身智能的技术演进并非仅仅多了一个 轴的高度维度,它实质上对大模型的视点自适应选择、连续位姿动态控制和多阶段任务闭环提出了前所未有的严苛要求。MissionBench 的出现,如同一面清晰的棱镜。
MMShopBench:在交互工具层面,沙盒为 Agent 提供了两项互补的检索手段: 1. 基于 BM25 的文本检索 :覆盖商品标题、属性、类目及店铺字段,在用户以自然语言明确提出品牌、材质、特定型号等参数时发挥主要作用。
最新提出的基准测试 PAUSE (Personal AI Assistants in Unified Service Environments)直截了当地揭穿了这种繁荣表象:在包含持久化用户状态、严格权限隔离和动态系统配置的真实个人服务环境中,即便是当前最强大的前沿模型,在涉及状态推理与配置感...
来自亚利桑那州立大学(Arizona State University)与独立研究者的最新工作提出了 AndroidReality 。该工作没有止步于笼统地感叹“现实很残酷”,而是从马尔可夫决策过程(MDP)的形式化视角出发。