ARCHITECT：MIT等用大白话纠错机械臂代码，人类干预降至0.83次

A Few Words Go a Long Way: Language Guided Robot Policy Synthesis

论文原文 ↗ 论文发布 2026-07-26 解读发布 2026-09-04 解读：AI前沿分享

让机器人学会干活，当前最火的路线莫过于以视觉-语言-动作（VLA）为代表的端到端大模型。将现场摄像头的画面与自然语言任务指令输入进去，神经网络便能直接输出机械臂关节的控制量。然而，这类黑盒模型在实际落地时常常面临严重的适应性瓶颈：只要场景中出现轻微的分布偏移，例如光照变化、物体摆放姿态略微不同，或者抓取过程中出现细微打滑，模型便会陷入不可逆的级联失效。更棘手的是，由于黑盒网络内部缺乏因果可解释性，现场操作人员根本无法通过言语或简单规则介入纠偏；要修正一个看似微小的动作缺陷，通常需要重新采集数百乃至上千条示范轨迹，并在 GPU 集群上耗费数小时进行微调。

ArXiv URL：https://arxiv.org/abs/2607.23784v1

来自麻省理工学院、微软研究院与华盛顿大学的联合研究团队提出了一种完全不同的具身范式：ARCHITECT（Agentic Robot Code with Human In ThE loop CorrecTions）。该框架不再把机器人策略视为不可拆解的黑盒神经网络权重，而是将其转化为一种交互式程序合成任务。系统利用大语言模型（LLM）作为中枢编排器，自主调用现成的感知模型、抓取规划器与运动轨迹求解器，为 Franka 机械臂即时编写 Python 控制代码。当机器人动作失误时，现场的人类观察员无需改写代码，只需说一句简短的自然语言纠错（例如“夹爪抓得太高了，试着抓杯口边缘”），系统便能结合代码执行轨迹自我诊断，精准修复函数逻辑，并将这次纠偏经验固化为可长期复用的“技能库”。

在包含柔性布料折叠、铰接抽屉操作等 8 项高难度长程任务的真实机械臂评测中，ARCHITECT 的完成度显著超越了前沿具身基准 $\pi_0$、$\pi_{0.5}$ 以及传统的代码生成基准 Code As Policies。更关键的是，实验证明人类在系统中的引导成本能够迅速被摊销：随着技能库的持续累积，操作人员在新任务中的平均纠错干预次数从 4.67 次大幅降至 0.83 次，零样本场景迁移成功率从 0 直接跃升至 66.7%。这项研究向行业揭示了一条极具启发性的路径：走向通用具身智能，或许并不一定非要用海量数据去“硬灌”黑盒模型，几句恰到好处的人类大白话，配合可自省的代码编排，就能走得更远。

告别黑盒与从零重写：具身智能的第三条道路

为了看清 ARCHITECT 的立足点，需要先审视当下具身智能领域面临的两大结构性矛盾。

第一种矛盾属于端到端 VLA 模型，即解释性与适应性的双重缺失。参数量动辄数十亿的 VLA 模型虽然展现出了令人惊艳的开箱即用泛化能力，但其行为逻辑深埋在高维矩阵中。在真实物理世界中，机器人执行长程任务时往往面临误差累积：第一步抓取轻微偏移，第二步放置就会彻底出界，进而滑出模型的训练数据分布。由于缺乏结构化先验，黑盒策略无法向人类解释“刚才为何要那样动”，人类也无法直接给它下达微调指令。这种缺乏转向能力（Steerability）的特性，使得工业级和家庭级部署的边际维护成本极其高昂。

第二种矛盾则属于早期的程序合成路线（例如经典的 Code As Policies）。这类方案试图让大语言模型将人类指令直接翻译为可调用的机器人运动 API 代码，避免了昂贵的策略网络训练。然而，自然语言指令存在天然的“规范鸿沟”（Specification Gap）。人类在说“把杯子放进托盘”时，往往省略了大量隐含的物理约束与几何常识：比如当前杯子是否有手柄、表面摩擦力如何、机械臂下落时是否会遮挡深度相机。即便 LLM 的常识推理再丰富，也无法在单次代码生成中穷尽现实物理环境的所有偶发变量。一旦生成的代码在真实世界执行失败，由于缺乏反馈闭环与历史记忆，系统往往只能推倒重来，重新从零合成一份代码，导致类似错误在类似场景中一再上演。

ARCHITECT 的切入点正是架设在这两座鸿沟之间的桥梁。它既不训练端到端黑盒，也不追求一步到位的完美代码生成，而是将机械臂策略的学习过程重塑为“编写代码—物理执行—人类口语纠偏—反思更新—沉淀技能”的交互进化回路。

模块解耦与工具生态：ARCHITECT 的架构机理

整个 ARCHITECT 系统的运行逻辑由中枢 Agent、工具库、执行轨迹诊断机制以及持久化技能库共同构成。

在中枢决策层，系统采用了推理与代码生成能力顶尖的 Claude Opus 4.6 作为主控 Agent。系统接收到高层自然语言任务目标后，Agent 并不会直接预测底层的关节扭矩或末端速度，而是根据系统提示词中暴露的环境 API，生成一段模块化的 Python 脚本。

为了让生成的代码能够在物理世界安全落地，ARCHITECT 构建了一套解耦清晰的工具套件（Tool Suite），主要涵盖三大维度：

控制工具（Control Tools）：充当 Agent 逻辑与机器人几何动作空间之间的翻译器。系统集成了 NVIDIA 开发的 cuRobo 运动生成库，底层自动处理正逆运动学求解（IK）、可达性分析以及基于场景点云的实时避障轨迹规划。Agent 在编写控制代码时，只需调用高级语义接口或指定相对位移向量（例如沿当前末端局部坐标系下移 2 厘米），底层的运动学可行性与碰撞风险由确定性的几何求解器兜底。
感知工具（Perception Tools）：提供从原始传感器数据到空间语义信息的跨越。系统整合了开放词表目标检测器、视觉问答模型（VQA）、基于学习的抓取姿态采样器（Grasp Sampler）以及物体放置表面分析模块。这些模块天然支持自然语言参数化查询，例如通过文本提示框选特定物体部件或计算表面法向量。
本体感受工具（Proprioception Tools）：允许合成的代码主动查询机械臂当前的关节角度、末端位姿与夹爪开合状态，为后续步骤的分支判断提供事实依据。

这种工具编排架构带来了一个决定性优势：故障定位的局部化。在黑盒 VLA 中，一次失败就是一次不可拆解的全局错误；而在 ARCHITECT 生成的代码中，如果机械臂没有抓稳物体，系统可以明确断定问题是出在感知工具返回的目标包围盒偏差、抓取采样器选取的接触点不当，还是末端下压的进刀深度不足。

从口头纠错到可执行代码：执行轨迹与自我诊断

ARCHITECT 的核心生命力在于它如何消化人类的自然语言纠错。系统并不要求人类具备机器人学背景，用户不需要告诉机械臂“末端向 $[x, y, z]$ 移动几厘米”，也不需要修改代码中的浮点数阈值，而只需像指导学徒一样说出日常指导语：“抓得太靠上了，再往左边夹一点”，或者“往下推，直到盒子完全碰到隔板”。

人类纠错之所以能够精确生效，关键在于系统引入了“程序执行轨迹（Execution Traces）”。当机械臂在现实世界运行根据代码生成的动作时，底层环境会记录下每一步工具调用的输入、输出状态、异常抛出点以及任务子目标是否达成的验证结果。

当人类在动作失败或动作不理想时切入并给出一句纠错语言后，中枢 Agent 会将三项信息合并输入上下文：

刚才生成并执行失败的代码片段；
机器人记录的执行轨迹日志（包含报错行号或停滞状态）；
人类的口头纠错指令。

依托强大的代码理解能力，Agent 能够将人类口语中的模糊概念（如“太靠上”）与代码中的具体变量（如抓取点沿 $z$ 轴的偏移参数）建立语义对齐，直接定位到引起失败的那一行代码。随后，Agent 会在现有代码基础上执行局部重构，重新生成能够解决当前物理阻碍的新策略代码。

技能库沉淀：让人类经验形成长期复利

在传统的交互式具身系统中，人类反馈往往是一次性的——用户在当前会话中教会了机器人避开障碍，换一个任务场景，系统由于上下文重置，又会犯下同样的错误。ARCHITECT 借鉴了 Voyager 等自主 Agent 在非实体游戏环境中的记忆构筑范式，引入了专为机械臂策略设计的持久化技能库（Skill Library）。

当一次人机纠错交互使得机器人成功完成了预期动作后，系统并不会只保留那一段针对特定物体的特定代码，而是由 Agent 将这次成功的干预过程抽象提炼为一个“技能条目”。这一条目不仅记录可执行的代码模式，还附带简明扼要的自然语言应用规则。例如：“在抓取带有把手的容器时，若从侧面抓取不稳定，应优先定位上沿轮廓执行垂直抓取”。

这些提炼出的技能会被持久化写入磁盘文件。在后续面对全新的任务指令时，技能库中的全部沉淀规则会作为动态上下文前置加载到 Agent 的提示词中。此时，大模型的上下文学习（In-Context Learning）演变成了一种长期记忆机制。Agent 在首次为新任务构思代码时，便能主动调取历史交互中积累的物理规则与操作避坑经验，从而在极早阶段规避同类失败。人类所付出的单次交互劳动，在此被转化为了长期生效的代码资产。

真实机械臂实战：硬核任务上的全方位对决

为了验证系统的真实能力，研究团队在配置有 Robotiq 2F-85 夹爪、腕部与全局双摄像头的 Franka Panda 机械臂上搭建了严苛的实机基准，选取的 8 项评估任务绝非简单的平面抓取与放置，而是深度涵盖了多步复合推理、接触感知操作、非预抓取动作、铰接机构开合以及柔性变形物体操作等高难度场景。

对比基准涵盖了具身智能领域极具代表性的方案：

Physical Intelligence 团队的最新基础策略 $\pi_0$ 与 $\pi_{0.5}$：当今最具代表性的通用黑盒 VLA 基础模型；
Code As Policies (CaP)：基于单次提示词代码生成的经典模块化基准；
ARCHITECT-VLM 消融版本：完全剥离人类干预，改用通用视觉语言模型根据现场图像自主输出纠错反馈的自动版本。

评测指标不仅记录最终任务是否达成的成功率（$SR$），还引入了目标状态召回率（$GCR$）以及反映多步骤长程推进程度的归一化任务进展度（$NTP$）。

在实验中，ARCHITECT 展现出了压倒性的性能差异。在多步骤复合操作以及涉及铰接、柔性物体的复杂挑战中，端到端 VLA 模型 $\pi_0$ 与 $\pi_{0.5}$ 遭遇了极大的挫折。例如在“揭开布料并拾取遮挡物”的任务中，由于布料属于非刚性形变体，机械臂抓取布料后的动力学状态变化极大，$\pi_0$ 能够抓住布角，但随后陷入动作发散，无法继续将布料拉离目标区域；$\pi_{0.5}$ 甚至未能在第一步完成充分提升。相反，ARCHITECT 编写出的程序逻辑能够通过感知工具确认遮挡物坐标已被显露，再进入下一阶段动作，平稳完成了全程抓放。

此外，黑盒 VLA 模型在测试中暴露出了对语言指令措辞与目标物体材质高度敏感的脆弱性。只要输入的任务提示词在表达风格上产生细微扰动，或者更换了一个训练集未高频覆盖的生疏物体，其成功率便剧烈滑坡。而 ARCHITECT 由于依靠顶层大模型对语言的深层语义解析以及解耦工具的鲁棒执行，在面对同类物体的姿态扰动和指令重写时表现出了极高的稳定性。

为什么 VLM 代替不了人类直觉？

一个极其关键的消融实验是 ARCHITECT 与 ARCHITECT-VLM 的对比。很多研究者直觉上会认为：既然大模型如此强大，为何不直接用多模态大模型（VLM）观察摄像头画面，自动输出纠错语句，从而实现全自动闭环？

实验结果给出了清晰的反驳：纯 VLM 生成纠错的策略在复杂场景下的表现远逊于人类在回路系统。核心症结在于传感器噪声与物理隐式属性的不可见性。

当深度相机由于反光或透明材质产生微小的测距误差，导致机械臂夹爪在放置物体时悬空了几厘米便提早松开，人类双眼能够依靠强大的三维空间常识瞬间捕捉到“杯底距离桌面还有空隙”的真相，并立即纠错“再往下压一点直到受力传感器有读数”。而当前的 VLM 仅依靠二维或对齐后的图像切片，极难在像素级别精准测量这种毫米级的深度落差，往往给出诸如“任务似乎已完成”或南辕北辙的错误修正。

更为重要的是，现实物理世界的许多关键属性是无法单从外观还原的。人类会根据生活经验纠错：“这个棒球表面很滑，夹爪合拢时动作要慢一点”，或者“合上这个抽屉需要施加持续向内的水平推力”。这种深植于人类大脑中的物理动力学直觉，是当前单纯在图文数据上预训练的视觉模型难以稳定涌现的。人类用最简单的一两句话，就能直接跨越视觉表象，注入最核心的物理因果先验。

人类工作量摊销：从“反复救火”到“经验复用”

为了定量测量人类介入的效率，研究团队设计了 $N=6$ 的严密受试者实验。测试设定了两个结构相似但物体完全不同的操作流程（任务 1：将倒下的水杯直立放置在桌面上；任务 2：将倾倒的意面包装盒直立摆放到置物架上）。

实验数据生动地展示了技能库对人类劳动的“摊销效应”：

干预次数的断崖式下降：在没有任何技能储备的初次任务中，用户为了帮助系统成功构建一套合格策略，平均需要进行 4.67 次口头纠偏；而当这一批纠偏提炼出的技能库被加载并应用于结构相似的任务 2 时，平均需要的人类交互查询次数骤降到了 0.83 次，下降幅度极为显著（$p=0.036$），并且有整整一半（3 位）受试者在任务 2 中实现了零干预直接成功。
零样本场景迁移的质变：如果完全不提供任务 1 累积的技能库，让 Agent 在面对任务 2 时直接根据指令单次生成代码，所有受试者对应的系统无一例外全部失败（成功率为 0/6）。然而，仅仅是将任务 1 沉淀出的代码技能库挂载到上下文中，在不进行任何后续人为干预的情况下，任务 2 的端到端成功率直接跃升至 4/6（66.7%）。

进一步的数据挖掘揭示了一个耐人寻味的现象：在任务 1 中只给出 1 次纠错的人类用户，其生成的技能库泛化性相对薄弱，导致对应系统在任务 2 中仍旧失利；而凡是在任务 1 中给出了 2 次及以上高质量纠错的用户，其沉淀的技能库全部成功支撑了机器人在任务 2 中的零样本迁移。这有力地印证了系统学习机制的健康性：纠错并非徒劳的应急补丁，每一次纠偏都在切实丰富系统的程序原语池。

局限、思考与具身智能的新范式

尽管 ARCHITECT 展现了惊人的数据效率与可解释性优势，客观审视其体系，依然存在不容忽视的边界与短板。

首先，它依然受制于底层工具链的硬上限。系统的高层推理与代码编排再巧妙，如果调用的开放词表检测器彻底漏检了极端几何形状的物体，或者抓取位姿采样器未能给出任何可行的接触法向量，上层的代码执行依然会发生阻塞。模块化方案虽然排除了“黑盒无法追责”的弊端，但各个工具模块自身的泛化盲区依然需要靠底层算法的迭代来逐步填平。

其次，技能库的初始化依然存在样本稀疏性风险。如果某类抓取由于环境偶然性一次性成功了，系统便不会触发人类纠错流程，也就不会在此环节生成对应的防护性技能规则。当机器人未来遇到几何形变更恶劣的边缘案例时，原先未曾暴露的问题仍可能重新浮现。

但从范式演进的角度审视，ARCHITECT 给整个机器人学习领域带来了深刻的启示。过去数年，大模型社区习惯了“数据飞轮”的叙事，认为只要砸下海量算力，将动作向量与多模态数据混合预训练，就能奇迹般地涌现出完美的操作物理学。然而物理世界的摩擦、形变、接触约束远比数字世界的文本预测复杂。

ARCHITECT 用实验证明：将大语言模型的角色从“末端动作执行者”转变为“具身系统的程序员与编排者”，把人机交互的切入点从“昂贵的轨迹遥操示范”转变为“低门槛的口语纠偏”，能够以极高的数据效率攻克长程复杂操作。机器人并不需要在每一次受挫时都去重训整个大脑；面对多变的现实世界，让人类说两句话，让机器人自己把代码改对，往往就是最务实、最高效的前行方式。