Handoff-H1：三层视觉Agent破局蓝图算量，81.6%高分超越专业预算员

Handoff-H1: An Orchestrated Vision-Agent System for Material Quantity Takeoff from Construction Blueprints

论文原文 ↗ 论文发布 2026-08-15 解读发布 2026-09-13 解读：AI前沿分享

在建筑工程管理中，工程材料算量（Material Quantity Takeoff, MTO）是一项极易引发灾难性后果的工序。一套哪怕仅有几百平方米的独栋住宅图纸，一旦在混凝土构件、木结构龙骨或屋面防水卷材的用量上出现偏差，往往会在施工阶段演变成数以万美元计的工程款超支。表面上看，算量工作似乎只是“查数与量尺”——数清门窗数量、量出内墙长度、计算屋顶面积；但在真实的工程实践中，图纸从未给预算员提供现成的答案，每一项材料工程量的落地，都依赖于跨图纸尺度的空间感知、复杂的几何与文本多跳推理，以及大量图纸上根本不会明写的行业建造惯例。

ArXiv URL：https://arxiv.org/abs/2608.15032v1

通用多模态大模型在这一领域遭遇了全面阻击。直接将建筑施工图 PDF 丢给前沿基础模型或传统工作流 Agent 时，系统输出的清单看似格式工整，实则错漏百出：不仅经常将不同比例尺的尺寸线相混淆，还会编造虚假的材料规格，甚至在同一张平面图中多次重复计数或完全漏掉整个工种的构件。Handoff AI Research 近期公布的工程算量系统 Handoff-H1 则证明，要攻克这种高维度的垂直工业场景，单靠通用模型的端到端生成是一条走不通的死胡同。研究团队通过将专用计算机视觉模型、具备图纸操作能力的视觉 Agent，以及固化了专业建造知识的持久化项目基座有机编排在一起，构建出了一套全自动图纸算量架构。

在团队构建的建筑施工图算量基准 TakeoffBench-v1 上，包含 10 套经由严格脱敏的真实住宅全套施工图，对应 1,348 项直接决定造价的核心材料行项。七款国内外主流前沿模型与开源权重模型在相同评测环境下，综合得分仅徘徊在 35% 到 61% 之间；具有 5 年以上实操经验的独立专业工程预算员群体，在对照多专家共识金标评审时，跑出了 77.6% 的综合得分（覆盖率 65.5%，数量精度 87.9%）。而输入纯原始 PDF、完全端到端运行的 Handoff-H1 则取得了 81.6% 的综合得分。它不仅比表现最好的通用大模型高出约 20 个百分点，更凭借 86.1% 的惊人材料覆盖率反超了人类预算员，展示出工业级复杂图纸自动化理解的关键演进方向。

蓝图算量为何成为通用多模态 AI 的死角？

建筑蓝图并不是为了迎合计算机视觉或自然语言处理算法而设计的，它是一种高度压缩、专供人类工长与技师阅读的工程契约符号体系。当通用模型面对一套包含平面图、基础图、立面图、剖面详图和通用说明书的完整蓝图时，会在三个递进的层次上接连失控。

首先是跨越图幅的混合感知与连续尺寸折算。在一张标注平面图上，墙体长度通常由一条条链式尺寸线标注，其绘制比例往往是 $\nicefrac{1}{4}’’ = 1’-0’’$；若要量取某道隔墙的净长，模型必须先准确定位尺寸引线端点，再按比例尺换算并执行连续链条加减法。与这种连续空间测量并存的，还有大量以文本说明或表格形式离散存在的工程信息。例如配电箱可能在平面图上没有任何实体符号，仅仅在某个走廊角落附有一句极小的引线说明“规格须与电气总包核实”。大语言模型在面对长文本与密集图形混排时，极易混淆符号与尺寸线的从属关系，造成致命的尺寸误读。

其次是图纸中大量缺失却至关重要的行业建造规范。建筑图纸极其昂贵且讲究表达效率，建筑师默认看图者已经完全掌握现行的建筑构造规范。例如图纸只会画出两道平行实线代表外墙，却绝不会在图上标注“龙骨中心间距为 16 英寸”；图纸会注明石膏板吊顶区域，但绝不会写出“吊顶需要按 4 尺乘 8 尺的标板规格进行模数排布与裁切损耗计算”。模型若只停留在“图纸上有什么就提取什么”，得到的只是一堆毫无施工价值的原始几何线段，根本无法推演出实际采购清单所需的规格与构件件数。

最后是多工种重叠带来的上下文污染。建筑工程是一门高度分工的学科，但图纸往往将多种工艺压缩在同一个局部详图中。以典型的深基础管桩节点为例，图纸使用 $\nicefrac{3}{4}’’ = 1’-0’’$ 的局部大样绘制了一个带底座的混凝土管桩基础。一个看似孤立的局部节点，实际上同时向三个不同的专业工种发散工程量：土方开挖工种需要根据左侧标明的 4 尺最小埋深与底座尺寸，计算三维基坑挖掘方量；土建基础工种需要分别提取 12 英寸管形模板数量、36 英寸扩展底座数量，以及 3000 psi 混凝土浇筑体积；而地面回填工种则需要提取底座下垫层的 6 英寸压实级配碎石方量。如果采用传统的平面 RAG（检索增强生成）策略将图纸切块丢进上下文窗口，地基信息就会与屋面防水或二层隔墙的参数混杂在一起，破坏人类预算员在按工种（Trade）推进时天然保持的领域逻辑纯洁性。

通用文档助手在此类任务中同样难以胜任。例如集成在专业建筑流中的商业助手能够精准解析文字层中的门窗明细表或特定区域的标注，但一旦面对完全栅格化（Rasterized）的纯图纸、跨图纸的构件重叠对齐（如一二层共用轴网但门窗编号重合导致的重复计数），或者缺乏显式标注的三维立体构件换算时，它们往往只能选择拒答或交由人工复核。全自动算量不仅需要看清图纸像素，更需要在没有人工介入的情况下独立完成“空间解构—跨图对齐—规范套用”的闭环。

Handoff-H1 的三层解法：专精模型、知识基座与多 Agent 编排

为了破解上述不可能三角，Handoff-H1 没有强行训练一个通用的庞大端到端权重，而是采取了一种模块化复合系统（Modular Composite System）策略。整个架构划分为感知层、知识层与编排层，每一层精确针对前文所述的一种经典失效模式。

感知层：提取具备工程语义的类型化图元

在任何推理 Agent 介入之前，输入蓝图的每一页 PDF 都会首先送入由专精计算机视觉模型与图纸专用多模态模型组成的感知流水线。这一层的核心使命，是将非结构化的像素密集阵列转化为具备明确空间属性和工程属性的类型化图元（Typed Primitives）。

感知流水线首先完成建筑空间的功能区划分，将原始线框自动识别并切分为起居室、厨房、车库、门廊、卫浴等功能房间实体；紧接着，系统利用在海量施工图上训练的目标检测与分割网络，标定所有的承重墙与隔墙实体、门窗构件及其开启朝向、卫浴洁具符号，并提取全局轴网与各级尺寸标注线。更重要的是，感知层赋予了每个识别图元严格的出处凭证（Provenance），包括图纸编号、空间坐标与局域比例尺。这从根源上消除了纯语义检索在定位建筑结构与长距离构件连续计数时的幻觉问题，让下游推理过程不再基于模糊的图像记忆，而是直接与结构化的几何实体打交道。

知识层：按工种隔离的项目基座

如果说感知层解决了图纸的“视觉解构”，那么知识层——被团队称为项目基座（Project Foundation）——则承担了将原始图元转化为工程实体知识的职责。这一层采用了分层检索增强（Hierarchical RAG）的思想，在整个项目的生命周期中只需一次性构建，即可被持久化保存，供后续所有算量任务调用。

项目基座的搭建包括提取、综合与一致性消解三个阶段。在提取阶段，系统在感知输出的图元库上进行密集的图纸上下文关联；在综合阶段，系统并不把整套图纸的信息平铺直叙，而是按照建筑工程分部分项的工种集群（如木作工程、砌筑工程、抹灰工程）进行结构化分区（Partitions）。这一分区机制相当于分层 RAG 中的“桥接层”（Bridge Layer），它确保在推演某个特定工种时，上下文窗口内只存在该工种强相关的构件与规范，避免了 cross-cluster 带来的灾难性信息交织。

尤为关键的是，综合分区并非单纯做空间聚类，而是将图纸信息与内部固化的“建造知识库”深度对齐。该知识库借鉴了 LLM-Wiki 的维护模式，由资深工程造价专家手工整理，包含了大量无法通过公域互联网检索获取的施工隐性逻辑，包括常见组合构件的标准构造剖面、住宅建筑规范要求的默认间距、区域性建材规格标准以及标准的损耗预留系数。在此基础上，基座的一致性消解模块会主动排查图纸各处存在的冲突信息（例如立面图上的窗高与门窗详表中的尺寸不符），并依据工程规则判定权威优先级，最终形成一套自洽的项目中间态知识图谱。

编排层：工种专属视觉 Agent 与独立审核回溯

最顶层的执行机构由一组专门化的视觉 Agent（Vision Agents）组成。每一个 Agent 在执行任务时只聚焦于单一工种的算量边界，避免全盘推进带来的注意力发散。

在具体的工具调用上，这些 Agent 拥有双层工具箱。第一层是通用图像操作工具，支持 Agent 自主截取图纸局部、多级放大观察模糊的尺寸细部或在多张关联图纸间平移比对；第二层则是深度定制的专用工具链，例如能够直接调用底层的专用 CV 模型对密集符号群进行空间排重计数，或者使用专门的算法工具将复杂的轻型木结构排布图直接解耦为单根立柱（Stud）、顶梁（Top Plate）与底梁构件。Agent 会根据任务难度自行权衡：当常规阅读能够确认时直接推理，当面临大面积密集排布或极小字体时，则果断将目标区域划定并委托给下游专用视觉工具处理。

当所有工种的初版材料清单汇总后，系统并不会直接输出，而是触发一个完全独立的审校与验证通道（Independent Verification Pass）。审校 Agent 拥有对原始图纸和中间计算链的完整访问权限，其核心逻辑基于自省与修正机制（Self-Refinement Architecture），重点对输出清单进行两项排查：是否存在因规范未明确而漏掉的配套辅材，以及计算出的工程量数量级是否偏离了该户型尺度的合理物理区间。这种感知前置、知识隔离、分工 Agent 推进与后置独立审校的闭环，构成了 Handoff-H1 抵御复杂工程幻觉的核心底牌。

TakeoffBench-v1：如何科学度量一份材料清单的真假？

评估工程算量系统长期面临着一个两难境地：完全开源的数据集容易在短时间内被爬虫抓取并纳入基础模型的预训练集，从而导致所谓的“高分”沦为单纯的数据记忆；而单一专家人工编制的工程量清单又带有极强的主观经验色彩，不同预算员在连续测量工种（如屋面防水层是否延伸至檐口、墙面抹灰是否扣除极小门窗洞口）上往往存在合理的计算差异，单凭单一真值无法建立公允的标准。

为此，研究团队推出了 TakeoffBench-v1，其涵盖了 10 套具有完整授权、经严格去除所有隐私标识（PII）的真实住宅建筑图纸全套文件。图纸包内包含了各层平面图、基础图、建筑立面、墙身剖面详图以及屋面布置图，完整映射了建筑工程大宗算量的实际业务形态。

为确立无法动摇的黄金参考标准，基准引入了严苛的专家共识审计流程。团队聘请了多名具有 5 年以上一线经验的资深工程预算员，在严格统一的编制指引下，背靠背独立完成全套图纸的工程量拆解。随后，内部工程专家团队执行两级联审：第一阶段审查清单结构、工种归属与行业命名规范的一致性；第二阶段脱离任何 AI 辅助，对有争议的连续工程量进行逐项手工几何复核与交叉平差。只有经过至少两名内部工程专家与两名外部独立预算员共同背书的工程量，才会被确立为多专家共识金标（Inter-Estimator-Approved Takeoff）。整套基准共包含 2,009 个验证项，最终精炼出主导工程总造价的 1,348 项一级核心材料行项，横跨混凝土、木作、屋面、外墙挂板、保温、石膏板、电气、给排水及门窗九大核心专业。

在打分机制上，基准摒弃了脆弱的文本精确匹配（Exact Match），而是使用评测专用的 LLM 裁判针对每个工种独立打分。裁判被允许将模型预测的若干细分行项与金标中的复合组装项进行多对多的语义归并，以客观评价工程实体的对应关系。评测由两个核心指标共同构成：

覆盖率（Coverage）：用于度量算量完整性，即金标材料行项中有多少比例被预测清单成功覆盖。需要特别指出的是，评测裁判会对工程规格进行严密校验——若图纸要求 $\nicefrac{5}{8}’’$ 厚防火石膏板，而模型只输出了普通的 $\nicefrac{1}{2}’’$ 标板；或者卫生间要求防潮耐水板，模型仅输出了普通石膏板，此类规格错报会被严格判为未覆盖。
25% 容差数量精度（Quantity Precision@25%, P@.25）：在成功匹配的材料行项中，模型预测的工程量与金标工程量的相对误差绝对值落在 25% 容许区间内的比例。该指标针对工程实操中允许一定合理测量误差的特性而设。

最终的综合表现由精度加权公式决定：

\[\text{score} = \text{coverage}^{0.4} \cdot \text{precision}^{0.6}\]

在这一计算公式下，单纯为了求稳而保守少报会导致覆盖率暴跌，而为了堆砌项目不顾精度的胡乱估算同样无法获得高分。更进一步，为彻底解决基准污染问题，TakeoffBench-v1 采取了“测试框架全开源（Apache-2.0），真实图纸与金标数据审核分发”的准入模式，确保后续进入评测榜单的系统皆无法通过作弊式预训练获得优势。

结果与启示：AI 是如何在复杂任务中击败人类专家的？

在完全一致的评测准则下，所有受试模型均面临同一条严酷的起跑线：仅提供最原始的整套 PDF 文件，不提供任何前置的人工文本摘要或图元切片指引。对于部分原生缺乏完整多模态视觉处理管线的基础大模型，评测框架提供了均等化的多模态辅助工具（支持通过专用视觉子代理按需截取和解读局域像素），以确保比拼的重心完全落在工程推理与规划能力上。

实验结果呈现出了极其鲜明的断层阶梯。七款采用主流前沿商业闭源模型与开源权重模型搭建的标准 Agent 框架，其综合得分集中在 35% 至 61% 的平庸区间内。这些通用模型在面对跨页面的尺寸链汇总与深层次构造隐喻时，表现出系统性的疲软，普遍在覆盖率不足的同时伴随着大量的数量级级联漂移。

真正引人深思的数据，来自独立专业预算员群体与 Handoff-H1 的直接对决：

人类独立预算员：平均覆盖率 65.5%，P@.25 数量精度 87.9%，综合得分 77.6%；
Handoff-H1：平均覆盖率 86.1%，P@.25 数量精度 78.8%，综合得分 81.6%。

从数据对比中可以清晰地洞察人机在认知结构上的截然不同。资深人类预算员凭借深厚的现场经验和对空间几何的严谨直觉，只要是其决定提取的材料行项，其数量精度的把控极高（87.9%），极少出现离谱的数量计算失误。然而，人类的大脑受制于短期注意力的生理极限，面对一套数十页、信息量极其密集的大型蓝图时，极易产生任务疲劳，倾向于潜意识地忽略某些非主要构件、细部收口辅材或图纸中隐蔽角色的专业管线，导致其在材料项的整体覆盖率上仅有 65.5%。

反观 Handoff-H1，其数量精度虽然比严谨的人类专家低了约 9 个百分点（78.8%），但其建立在类型化图元与按工种划分知识基座上的系统性扫描机制，展现出了机器智能独有的冷酷与全面。它不会因为图纸页数过多而产生遗漏，也不会因为某个构件写在不起眼的详图说明中而视而不见，其材料覆盖率达到了令人惊叹的 86.1%，直接高出人类专家 20 多个百分点。在综合得分公式对覆盖率与精度的双重权衡下，Handoff-H1 最终在总分上实现了对人类独立专家的超越。

这种超越并非意味着通用大模型“突然在空间感知上全面超越了人”，恰恰相反，这篇研究向业界传递的核心认知在于：对于高门槛、高精度的工业多模态任务，依靠纯粹扩大模型参数规模（Scale-up）和依靠单一 Prompt 驱动的端到端范式已经触碰到了天花板。真正能够将大模型潜能转化为工业级生产力的，是一套将专用机器视觉技术重构为结构化感知前端、将不可言传的行业规范沉淀为中间知识基座，并利用多智能体在明确定义的工种边界内分工自省的系统工程架构。这种“专精工具支撑感知 + 结构化领域知识过滤干扰 + 约束 Agent 负责推理”的复合路径，或许正是大模型真正步入实体工业纵深腹地的必由之路。