EduClaw-Bench:长线评测30天,大模型AI导师为何超半数零增益?
针对这一断层,来自韩国京畿道教育研究院、印第安纳大学、高丽大学等机构的研究团队提出了 EduClaw-Bench 。这是首个将智能体导师置于 30 天连续虚拟教学环境中的长周期评测基准。
针对这一断层,来自韩国京畿道教育研究院、印第安纳大学、高丽大学等机构的研究团队提出了 EduClaw-Bench 。这是首个将智能体导师置于 30 天连续虚拟教学环境中的长周期评测基准。
来自北京人工智能研究院(BAAI)、北京理工大学、北京工业大学、湖南大学、奥克兰大学、澳门大学和悉尼科技大学等机构的研究团队,针对这一痛点推出了视频真值诊断基准 VideoVIBE,并同步提出了免训练的多智能体协同诊断系统 V2Lens。
为了探索适合科研文献的专门记忆模式,研究团队在论文中提出了名为 Theoria 的三层记忆框架。科研人员阅读文献的过程通常是分层的:底层是具体的实证结果(Evidence),中间是由若干相似方法或流派形成的聚类群落(Community),顶层则是统领性的理论脉络(Theory)。
针对这一矛盾,ProEvent 提出了一套“先定骨架、逆向推导、层层加噪”的数据合成流水线。整个流程如图 2 所示,主要划分为四个系统化阶段: 第一阶段是 联系人画像池构建 。
SteerBench-Work 最具突破性的设计在于其构建的“证据翻转镜像”(Evidence-Reversed Mirrors)。研究团队选取了最典型的真实事故场景,完整保留其表层的操作危险特征,但将背后的验证状态彻底翻转——补充具备法律效力的授权凭单、合规部门的签名确认、审计日志或明确的业...
论文作者在此提出了一个极其清醒的警示: 基准测试数据表明,多智能体协同并不必然优于经过良好微调的单一强基模型 。如果智能体之间的角色划分缺乏实质性的临床任务映射,所谓的协同很容易退化为多模型输出的机械重叠,甚至会诱发错误观点的虚假共识。
针对这一痛点,中国科学院信息工程研究所等机构的研究团队提出了名为 DocOps 的可验证基准测试框架。该框架将真实办公场景中的文档操作拆解为多层级的能力维度与工作流梯度,并引入了严格基于原生文档结构的代码化确定性验证机制。
FilmBench 的提出,标志着视频生成的评测重心正从“普通网民视角的可用性”迈向“专业创作者维度的严苛性”。通过将北京电影学院的视听语言训练体系与前沿 AI 评测技术结合,该基准为模型研发者提供了一面直面工业缺陷的镜子。
来自大连理工大学、哈尔滨工业大学、香港科技大学、上海人工智能实验室、深圳河套学院以及香港中文大学等机构的联合研究团队,针对这一长期被忽视的痛点,提出了专为化学自驱实验室设计的机器人故障分析框架 LabRobFail 。
这篇题为《Zing: Social Mind for LLMs》的技术报告,系统性地提出了面向大模型“社交心智”(Social Mind)的完整工程与算法方案:代号为 知境 (Zing)的体系。
为了解决这一难题,DataClawEval 团队设计了一套融合“人在回路(Human-in-the-Loop)”的任务重构与验证管线。如上图所示,整套流水线从企业脱敏源码切入。研究人员首先对生产环境的代码片段进行清洗和特征采样,随后借助大模型逆向重构任务意图,并针对性地合成输入测试表。
为了系统性攻关这一难题,研究团队提出了 DrawAI 框架,构建了一套覆盖四大视觉资产领域、结合确定性规则与多模态大模型裁判的综合评测基准 DrawAI-Bench ,并设计了将感知规划与代码执行拆解的两阶段智能体工作流 DrawAI-Flow 。
然而实验结果显示,模型的指令遵循率不足 1%。即便面临违规惩罚,大模型依然顽固地使用英语枢纽来拆解任务。这解释了那近 30% 的策略丢失从何而来:非英语语种被迫引入的翻译转换步骤、由翻译不准确诱发的二次重试、以及从非英语跨越到英语所导致的 Token 消耗与推理路径扭曲。
来自中国科学院、西南大学和腾讯的研究团队在论文中提出了全新评测基准 ForestBench 。该方案跳出了大模型主观判分的窠臼,将异构的多智能体原生执行轨迹映射到统一的有向无环协作图(DAG)空间中,并提出了“参考森林”(Reference Forest)的概念。
FrontierFinance:他们提出了“细粒度、源头可归因准则”(Source-Attributed Rubrics)评分机制。每一个复杂查询都被专业金融专家拆解为数个到数十个必须满足的事实判断准则,总计构成了 11,543 条二元判据。
西北工业大学与清华大学的研究团队提出了 Act2Intention 框架,首次系统性地构建了覆盖“意图理解(Understanding) 意图预测(Prediction) 经验执行(Execution)”全链路的主动式移动智能体体系。
为了精准刻画并探究这一瓶颈,阿里巴巴集团联合清华大学提出了面向通用移动智能体的高难度基准 GMA(General Mobile Assistants)。这项研究不仅构建了一个包含 7 款深度定制开源应用的多样化 Android 仿真生态,还设计了横跨四个难度层级的 300 项真实评估任务。
为了搞清楚研发过程中的增益与损失发生在何处,研究团队将 Agent 的研发闭环显式拆解为三大正交的能力维度: 1. 方案构想(Solution Framing, C1) :衡量模型在最开始能否提出合理、有潜力的优化假设。
为了全面覆盖机械工程设计流程,CADWorld 系统梳理了机械设计与制造领域的系统知识,构建了涵盖 11 个工作流类别的任务分类学(Taxonomy)。基准包含的 200 个任务覆盖了 183 个具体机械知识点。
TimeSage-EV:目前大模型社区在时序理解上的评测,大多遵循类似 ChatTime-TSQA 或 TSRBench 的思路:给定一段历史数值曲线,向模型提出几个关于极大值、极小值、平均趋势或简单周期的定点问题。另一些通用智能体基准虽然引入了代码执行、网页检索和工具调用,却很少将时间演进作...
为了拆开这个黑盒,全新基准测试 ClawTrack 提出了一套“双轨评估”(Dual-assessment)框架:不仅看智能体达成了什么(Task Score,任务分),更要逐轮打分衡量它是如何达成的(Process Score,过程分)。
针对这两个根因,研究团队提出了名为 FACT (Force-Aware Contact-Rich Manipulation via Timestep Modulation)的框架,无需修改网络骨干或增加数据,仅凭噪声调度重分配与时间感知力注入。
通过前置依赖与执行轨迹反向合成管线,GABench 构建了包含 10,400 个兼具复杂性与可验证标准答案的端到端 Agent 任务。实验评估了包含 Qwen3-235B、GLM-5-turbo、DeepSeek-V4-pro、GPT-5-mini 等在内的前沿模型。
面对这种隐蔽而危险的群体性误导,传统的过滤门禁与只看讨论记录的法官模型几乎全线失效,而研究团队提出的“独立裁判(Referee)”机制,通过在会后向模型发起一次私下重质询(Private Re-query),以非介入式的干预信号切断了虚假的从众效应,为多智能体系统的临床安全治理提供了极其关键的...