ParaRecover:大模型并发调工具越快,越容易在错题中“盲目乱窜”?
ParaRecover:为了对模型在执行过程中的表现进行多维切片,研究团队提出了 SDE 评估细则(SDE Rubric) ,将评测视角由单一维度的二元对错,拆解为三个互为补充的核心支柱: - 结构完整性(Structural Integrity, SI) :评估模型是否能准确维持合法的 DA...
ParaRecover:为了对模型在执行过程中的表现进行多维切片,研究团队提出了 SDE 评估细则(SDE Rubric) ,将评测视角由单一维度的二元对错,拆解为三个互为补充的核心支柱: - 结构完整性(Structural Integrity, SI) :评估模型是否能准确维持合法的 DA...
针对这一前沿交叉地带,一项名为 ABLE (Agentic BAIM–LLM Evaluation)的评估基准正式提出。该基准专门设计用于测试大模型智能体调用专业生物 AI 工具完成蛋白质设计全流程的能力。
来自 Futurewei、普渡大学与德州大学奥斯汀分校的研究团队提出了 RoboPhys-3D 。这项工作构建了首个以 3D 重建为锚点的具身世界模型评测基准,覆盖 50 个机械臂操作任务、5,000 个交互片段以及 25,000 条多视角真值视频。
很多团队寄希望于“等待下一代更强的前沿大模型来解决一切”,而企业级商业分析 Agent 公司 Leni 提出的研究却给出了不同的视角: 大模型的可靠性并不主要依赖模型本身的智商跃迁,而是取决于包裹在模型外部的架构设计 。
AppSim-Bench 专门设计了 183 个包含数值推理属性的子任务,涵盖四类具体操作: - 计数(Counting) :需要连续滑动并统计界面上符合条件的卡片或列表项总数; - 算术计算(Arithmetic Calculation) :需要抓取多个控件中的数值并进行加减折算。
针对这一评估盲区,来自学术界的最新研究提出了首个专门用于受控评估终身智能体路径依赖特性的评测框架 PATH-Bench 。该框架利用多模型上下文学习(ICL)预先估计任务之间的有向迁移关系,构建以固定“探针任务”(Probe Task)为核心的受控历史序列。
基于这一观察,作者提出了名为探针过滤引导训练(Probe-Filtered Bootstrapped Training, PBT)与探针引导重排(Probe-Guided Reranking, PGR)的完整框架,并构建了难度分级的真实评测基准 ParamBench。
来自北京理工大学、北京交通大学和中国人民大学的研究团队提出了 WebGrader ,针对上述痛点提供了一种全新解法:他们将开放式网页生成的强化学习表述为一个 可执行奖励构建(Executable Reward Construction) 问题。
MobileJudgeBench:研究团队提出的第一个现实检验场景是: 裁判质量的提升,是否能真实保全 Agent 之间的排名关系?如果在基准测试中,裁判给出略带偏差的分数,是否会导致排行榜名次完全颠覆?
Harbor-Index:为了确保转译过程不破坏基准原有的评测语义,研究团队并未采取粗暴的代码重写,而是设计了由自动化检查、初审和终审构成的三阶段人工代码审查机制,累计在 GitHub 上产生了超过一万条审核讨论;同时在原版环境与 Harbor 适配版本之间运行严格的等价性(Parity)对比实验。
针对这一困境,来自 NVIDIA 与加利福尼亚大学圣克鲁兹分校(UC Santa Cruz)的研究团队提出了 BaT(Benchmark-as-Teacher) 。该方法颠覆了传统基准测试只作为静态考卷的固有定位,将其转变为指导智能体自我进化的动态基础设施。
基于这些长周期数据,EgoMonth 提出了一个受到认知心理学与工作记忆理论启发的 14 任务评估体系,将其清晰地划分为由浅入深的三个认知层级: 1. 图式巩固(Schema Consolidation) :评估模型从长时间高度冗余的生活记录中提取稳定行为模式与统计规律的能力。
来自斯坦福大学(Stanford University)、Prentis AI 以及 Titan Holdings 的联合研究团队在最新工作中提出了 AutoResearchEval 评测基准与实证失效分类法 ARFT (AutoResearch Failure Taxonomy)。
来自清华大学、爱丁堡大学、澳门科技大学、东南大学等机构的研究团队联合提出了全新基准 CAP (Cross-site, complex Actions, and Perception),针对跨网站工作流、复杂 UI 操作以及动态视觉感知三大核心瓶颈展开全面评测。
针对这一脱节现象,NVIDIA 团队提出了名为 ACES(Agentic Continuous Evaluation of Skills)的持续评估框架,并在开源工具 NVIDIA SkillEvaluator 中实现了该方法。
他们提出了一种具备自我修改能力的 Lean 证明智能体框架,核心亮点在于打破了“固定评测基准评判自修改代码”的传统范式,引入了智能体与基准题库的 协同进化(Coevolution)机制 。
大语言模型智能体(LLMAgent)的研究重心,正在从做一道数学题、写一段自洽代码等孤立任务,迅速转向跨越数天乃至数月的真实连续工作流。当任务的生命周期被拉长,上下文窗口的物理上限与持续膨胀的信息量之间产生了不可调和的矛盾。
绝大多数大语言模型Agent的评估基准,在设计逻辑上都有一个隐形假设:每个任务都是孤立发生的。Agent面对一个任务,调动工具、推理规划、输出结果,随后环境刷新,上下文清空,一切归零。但现实世界中的专业工作流绝非如此。
医疗大模型正在经历一场从“做题家”到“执行者”的剧烈转折。在过去两三年里,评估一个医学大模型的水平,主流方法几乎都是给它一张考卷:从美国医师执照考试(USMLE)到各科临床单项选择题,只要模型在问答基准上刷出高分,往往就会被冠以“具备医生级水准”的光环。
评估代码智能体(CodingAgent)的能力正在陷入一种尴尬的困境:榜单上的分数越来越高,但在真实工程环境里写起代码来依然漏洞百出。这种落差背后的核心症结在于两点。
大语言模型与多模态视觉模型(VLM)正在迅速成为具身智能体的“推理大脑”。然而,真正将视觉语言模型置于物理机器人中时,研究者往往会遭遇一个尖锐的矛盾:机器人的真实执行过程本质上是高频迭代的动态闭环,机器人的每一次机械臂抬起、每一次底盘移动,都会立即重构周围的几何场景与物理状态,从而不断产生全新...
在大模型推理成本高居不下的背景下,模型路由(LLMRouting)被普遍视为最直接的降本增效利器。它的逻辑非常直观:遇到简单问题交给廉价的小模型,遇到复杂推理才激活昂贵的大模型。
当下的前沿大模型不仅能回答简单的事实提问,还能借助搜索工具写出看似条理清晰的长篇调研报告。然而在真实的专业工作场景中,真正的难点往往不在于围绕单个话题天马行空地写几千字,而在于严谨、系统化地完成大规模信息收集与交叉核验。
移动端GUI(图形用户界面)智能体正处于一个关键的演进节点。多模态基础模型的出现,使得智能体可以直接通过屏幕像素感知和触摸动作来操作智能手机。这种通用的交互范式使其能够跨越繁杂的应用边界,直接执行复杂长程任务。