Agent Harness

Agent的外围执行系统不仅负责调用模型,还要处理工具、状态、上下文和约束。这条路线先澄清Harness的定义,再比较工程组织、自动优化和安全审计,不把最终任务成功当作唯一验收标准。

从你的问题开始

分不清框架、SDK和Harness

先读定义论文,再用工程综述整理组件和职责。

比较时看:看具体系统是否真正控制执行循环和环境交互,不只看产品名称。

失败很多,却不知道应该改哪里

从Code as Agent Harness读到AHE和Harness-R1。

比较时看:区分改接口、改运行时和改模型;检查可观测轨迹、回归集与补丁验收。

任务完成了,但担心越权和执行偏离

单独阅读HarnessAudit的轨迹审计视角。

比较时看:同时检查结果、权限边界和实际执行过程,避免用完成率替代安全性。

建议阅读顺序

按理解问题的顺序精选,非时间排名。下方日期为原文发表日期;不同论文的分数不作直接横比。

  1. 01 · 定义边界

    What Makes a Harness a Harness:先厘清定义

    用执行循环、环境接口、上下文管理等判定条件理解Harness,先建立共同语言。

    阅读边界:这是该论文提出的判定框架,不能当作行业已经统一的标准。

    论文原文 阅读解读
  2. 02 · 梳理组件

    Agent Harness Engineering:工程综述

    借助ETCLOVG分层框架整理沙盒、工具接口、运行时控制等职责,识别系统的薄弱层。

    阅读边界:组件多不代表系统好;对照自己的任务需求选取必要层,而非照单堆叠。

    论文原文 阅读解读
  3. 03 · 连接接口和反馈

    Code as Agent Harness:用代码组织执行

    关注代码作为环境接口、执行控制和验证反馈的作用,不把它仅看作模型生成的最终产物。

    阅读边界:可执行不等于安全,工具权限、隔离环境和结果验证仍需独立设计。

    论文原文 阅读解读
  4. 04 · 找到修改依据

    AHE:可观测性驱动的Harness优化

    观察组件、经验和决策的可观测性如何支持迭代,把失败轨迹转为可验证的修改假设。

    阅读边界:优化需要独立验证集和回归检查,不能把同一组任务上的反复调试当作泛化。

    论文原文 阅读解读
  5. 05 · 比较优化对象

    Harness-R1:从失败轨迹到运行时补丁

    阅读专职工程师根据失败信息编辑运行时的流程,区分优化Harness和直接训练任务Agent。

    阅读边界:补丁必须通过运行验证;不能假设在一个Agent上有效就能无条件迁移。

    论文原文 阅读解读
  6. 06 · 审计安全

    HarnessAudit:检查成功背后的执行过程

    从边界合规、执行保真度和系统稳定性三个层次检查轨迹,补足只看结果的盲区。

    阅读边界:基准测试覆盖的攻击和环境有限,不能据此宣称系统已具备全面安全保证。

    论文原文 阅读解读