AI评测 第4页

HANDBOOK.md:65个长文档智能体任务,最强模型仅达36.2%

大语言模型智能体正在以前所未有的速度深入企业核心业务流。在真实的生产环境中,它们的部署模式通常遵循一种默认的“长期指令”架构:开发者会将一份系统提示词、一份企业合规文件或是一份厚厚的技能说明书塞进模型的上下文窗口中,并理所当然地信任智能体在后续所有的工具调用和多步交互中,都能严格受这些先决规则...

SRE-Bench:首个无污染逆向基准,最强AI仅解出31.5%

在过去一年里,具备自主运行能力的网络安全AI智能体(CybersecurityAgents)在漏洞挖掘和代码审计领域展现出了惊人的进展。然而,这种繁荣很大程度上建立在一个理想化的前提之上:智能体能够直接获取目标软件的源代码。

OSReward:VLM裁判靠谱吗?降本60倍的模型逼近闭源前沿

在计算机使用智能体(Computer-UsingAgents,简称CUA)的高速发展中,我们正面临一个极为棘手且往往被忽视的基础性问题:当一个智能体在屏幕上点来点去、输入文本、执行代码后,我们如何确定它真的完成了任务?

清华提出GEIS:Agent技能改进闭环,长文生成击败STORM

在当前的大模型能力版图中,短文本回答、代码生成或是日常对话的响应早已不是难点。然而,当我们把视线转向撰写维基百科级别的深度文章、行业技术报告或是长篇分析文档时,大模型的表现往往暴露出明显的局限性。

ContinuityBench:LLM有状态故障转移!对话连续性达99.2%

在生产级别的大语言模型(LLM)部署中,开发者往往会配置多个模型提供商(Provider)以确保系统的高可用性。当主模型服务商遭遇宕机或严格的速率限制时,网关会自动将流量切换到备用模型。从监控面板上看,HTTP状态码依然是绿色的“200OK”,系统看似运转正常。

告别单一成功率!AgentAtlas揭穿大模型评估盲区,准确率最高暴跌40%

当大语言模型从只能聊天的对话框,走向可以操作代码库、控制浏览器乃至接管操作系统的智能体时代时,我们该如何评价它究竟好不好用?现有的评估体系正陷入一种极度的“分数内卷”。在过去两年中,OSWorld、WebArena等知名基准测试上的最佳成功率飙升了5到7倍,甚至有系统声称超越了人类基准。

AI接管设备?超500篇文献全景解码大模型GUI Agent

当Claude发布其具备“电脑操控”能力的最新模型时,整个科技圈为之震动。这项技术让AI不再局限于聊天窗口,而是真正接管了我们的鼠标和键盘。微软、北京大学与上海人工智能实验室近期联合发布了一项重磅长篇综述。该综述系统梳理了超过500篇核心文献,全面揭开了这项前沿技术的神秘面纱。

Agent评测盲区:BIWM量化执行接口对多步信念的扭曲

评价一个大语言模型Agent的能力,业界通常只看一个最终指标:即该模型是否成功解决了当前任务。这就好比只看考试的最终成绩,却完全忽略了考场环境的干预。该研究揭示了一个在各类大模型榜单中常被忽视的盲点。决定Agent能否成功的,不仅是模型本身的基础智力。还有那个将模型与外部环境连接起来的“脚手架”。

AI全面接管设备:OS Agents核心架构机制万字全景解析

Anthropic近期发布的ComputerUse功能让整个科技圈沸腾了。AI不再局限于聊天窗口中的文本对话。它们正在跨越屏幕的边界,直接操控鼠标和键盘。从苹果的AppleIntelligence到智谱的AutoGLM,变革已然发生。这类能自主操作计算设备的AI被统称为操作系统智能体(OSAg...

打脸Agent自动演化:同等算力下不如简单重试,泛化提升仅0.6%

当前,让大语言模型自己优化其工具和提示词(即自动Harness演化)被视为通向更强Agent的前沿方向。许多研究宣称,通过让Agent分析自身失败轨迹并自动修改代码外壳,能在各类基准测试中取得显著的性能飞跃。然而,来自AllenAI等机构的一项最新研究无情地戳破了这一幻象。

PPTArena: A Benchmark for Agentic PowerPoint Editing

PPT炼狱场来了!新Agent PPTPilot精准编辑,性能超越专有模型10%。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。

GUI-360: A Comprehensive Dataset and Benchmark for Computer-Using Agents

本文提出 GUI-360,一个用于推进桌面级计算机使用智能体(CUA)的大规模、综合性数据集与基准测试套件,它通过一个由 LLM 增强的高度自动化流程构建,旨在解决真实世界任务稀缺、数据收集标注困难、以及缺乏统一基准的三大挑战。

A Survey on Evaluation of Large Language Models

A Survey on Evaluation of Large Language Models。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。