ABLE：大模型调用蛋白质设计工具实测，7款前沿模型全拒答，顶尖Agent逼近人类
Agentic BAIM-LLM Evaluation (ABLE): Benchmarking LLM Use of Protein Design Tools
过去几年中，以 AlphaFold3、ProteinMPNN 和 RFdiffusion 为代表的生物 AI 模型（Biological AI Models, BAIMs），将蛋白质工程从传统的试错实验推向了高通量、可计算的生成式设计新阶段。然而，这些专业工具通常伴随着陡峭的使用门槛，要求使用者同时具备深厚的结构生物学知识与复杂的命令行及脚本调试能力。随着大语言模型（LLM）向自主智能体（Agent）演进，研究界开始关注一个核心问题：当具备规划与工具调用能力的通用大模型接入专业级生物设计软件时，是否会极大抹平专业技能壁垒，进而重塑双重用途（Dual-use）风险的治理边界？
ArXiv URL：https://arxiv.org/abs/2609.05818v1
针对这一前沿交叉地带，一项名为 ABLE（Agentic BAIM–LLM Evaluation）的评估基准正式提出。该基准专门设计用于测试大模型智能体调用专业生物 AI 工具完成蛋白质设计全流程的能力。研究测试了 15 款当前顶尖的闭源与开源前沿大模型，实验呈现出极度分化的结果：包括 Claude Sonnet 4.5 与新一代 GPT 系列在内的 7 款主流前沿模型因安全对齐机制对全部评估任务触发了绝对拒答；而在实际执行任务的其余模型中，Claude Sonnet 4 与 Gemini 3 Pro 展现出极高的工具调用与信息整合完成度，甚至在整体规划和数据解读维度上超越了基准人类专家的平均水平。
这项研究的价值不仅在于提供了一套量化评估大模型“动手设计大分子”能力的自动化测试集，更在于它指出了当前生物安全治理的一大制度盲区：当各国的安全监管框架仍普遍聚焦于湿实验材料与物理病原体扩散时，由大语言模型驱动的高效计算设计流水线，已经能够自主完成从结构检索、序列重构到亲和力与稳定性验证的闭环。
从静态问答到工具闭环：为何传统生物安全评测已显落后
以往评估大模型在生物安全与生物设计领域的潜在风险时，学术界与工业界主要依赖传统的“知识问答型”基准。这类测试大多考察模型是否掌握了危险病原体的生物学常识、基因合成步骤或危险化合物的理化性质。然而，在真实的科研与工程环境中，大模型最强大的赋能潜力从来不是背诵教科书，而是充当智能中枢，调动外部专业软件解决复杂的现实任务。
在蛋白质设计领域，这种演进尤为迅速。如今的生物学家并不依赖单一模型完成全部工作，而是将多种非机器学习工具与生成式生物 AI 深度串联。比如，通过 Biopython 等常规生物计算库完成结构文件解析与坐标重整，调用 ProteinMPNN 针对目标骨架进行固定骨架的氨基酸序列重构，再将生成的候选变体送入 AlphaFold3 进行复合物三维结构预测，最后计算打分并筛选优势突变。
对于未受过专业计算生物学训练的攻击者或跨领域研究者而言，在命令行配置环境、处理 PDB 文件格式冲突、设置序列掩码以及正确解读 pLDDT 和 ipTM 等三维结构置信度评分，构成了巨大的隐性壁垒。一旦大语言模型能够胜任这些繁琐的中间层工程与逻辑调度，专业工具的使用门槛将被实质性压低。
在此之前，自动化测试智能体调用外部工具的能力已经在软件工程和网络攻防领域得到了深入探索，例如 SWE-bench 和各类自动化红队演练平台。但在生物科学计算这一兼具高复杂性与安全敏感性的交叉领域，缺乏能够模拟全流程多步调度的标准化评估基准。ABLE 的出现，正是为了填补通用大模型评估框架与专业生物 AI 工具链之间的断层。
任务解构与自动化裁判：ABLE 的核心评测机制
蛋白质设计本质上是一个典型的长链路任务。若直接给予大模型一个宏观目标，模型极易因复杂的推理漂移而陷入无效死循环，也很难细粒度定位其具体在哪个环节出错。为了兼顾真实研究流程与自动化评分的可靠性，ABLE 将整个计算设计工作流拆解为“1 个顶层规划任务（ABLE0）”与“8 个顺序执行任务（ABLE1–8）”。
在最前端的规划任务 ABLE0 中，模型仅接收高层级的设计目标，需要自行推演并输出一套完整的技术路线图。这一步依赖专家制定的评分细则（Rubric）进行模型辅助评分，重点考核模型能否准确覆盖结构获取、突变位点确定、工具选型及结构验证等必要环节。
接下来的 ABLE1 至 ABLE8 则覆盖具体的落地执行。为了防止前序步骤的失败直接导致后续步骤无法展开，每一个子任务都采用了自包含的设计。系统会为每个任务提供标准化的自然语言提示词、隔离的软件执行环境、完成该步骤所需的上下文数据（包括上一阶段的正确标准输入），以及特定的输入输出接口。
整个任务链条跨越了多层能力要求：
-
在基础信息处理阶段，涉及针对目标蛋白结构的精确定位、文件清洗以及设计策略的确定；
-
在核心生成与验证阶段，环境内预置了轻量化的远程调用接口，模型必须自主生成合规的配置参数，远程驱动部署在计算实例上的 ProteinMPNN 运行序列逆折叠，并获取变体序列；
-
随后，模型需要对 AlphaFold3 等工具输出的三维预测结构数据进行自动化清洗与多指标综合评估，筛选出符合稳定性与预期相互作用特征的最终分子。
值得注意的是，除了 ABLE0 规划任务依赖专家校准的评估细则外，ABLE1 至 ABLE8 的全部子任务均基于确定性的算法逻辑进行自动化裁决。系统通过代码严格核对模型提交的结构文件哈希值、位点掩码设置、序列突变数量、输出文件解析准确性等硬性指标，彻底避免了由大语言模型充当裁判时可能出现的主观偏见与幻觉干扰。
评测结果的分化：安全拒答壁垒与 Agent 表现差距
在针对 15 款国际主流前沿模型的基准测试中，评估结果呈现出令人深思的极化现象。
最直观的表现是安全对齐策略在不同模型厂商间的巨大差异。在测试选取的闭源模型阵营中，包括 Claude Sonnet 4.5、Claude Opus 4/4.1/4.5 以及 GPT-5、GPT-5.1、GPT-5.2 在内的 7 款模型，在面对 ABLE 涉及的双重用途蛋白质工程提示词时，内容过滤器被全量触发，展现出 100% 的拒绝响应率。这一现象表明，头部前沿大模型在对齐训练中已经部署了严格的生物风险防御阈值，对包含特定敏感上下文的设计任务采取了“一刀切”式的拦截策略。
然而，在未触发完全拒答的其余 8 款模型中，实际性能则拉开了悬殊的档次。Claude Sonnet 4 与 Gemini 3 Pro 展现出断代式的综合领先优势。在涉及信息检索与基础工具选型的基础任务中，这两款模型近乎拿到了满分。在极具工程挑战的 ProteinMPNN 远程驱动任务（ABLE6）以及 AlphaFold3 输出结果解析任务（ABLE8）中，它们均能高概率一次性写出完全合规的调用脚本或命令行指令，顺利解析结构数据。
相比之下，其他非拒答模型则暴露了在复杂智能体环境下的常见短板。在多轮交互中，部分模型频繁出现过早终止任务执行、无法正常唤起环境变量或对工具调用返回结果置之不理的现象。更为典型的问题是“工具调用幻觉”：一些模型并未实际在终端中执行命令，而是根据训练权重自行伪造了假想的执行日志和结构预测分值，并直接将其作为最终答案提交。在所有参评模型中，唯有 Claude Sonnet 4 和 Gemini 3 Pro 完全免疫了此类幻觉错误，展现了作为专业 Agent 的工程鲁棒性。
大模型对比人类专家：互补优势与认知反差
为了校准任务难度并确立现实基线，研究团队招募了具备相关背景的计算生物学专业人员，在完全相同的测试环境下执行了部分 ABLE 任务。人类与大模型的交叉对比，揭示出两类智能在复杂科研场景下的显著互补性。
人类专家在涉及“具体工具操作与现场调试”（如 ABLE6）的任务中展现了无可争议的深厚功底，得分高达 0.86。尤其是有过实际 BAIM 软件部署经验的专家，其得分进一步攀升至 0.94，远高于仅具备常规生物学知识而缺乏特定工具经验的对照组（0.72）。这印证了现实中经验积累的价值：对特定生物计算工具底层逻辑的熟悉程度，直接决定了科研执行的成功率。
然而，令人意外的反转出现在高维抽象认知任务上。在最初的整体策略规划（ABLE0）中，人类专家平均得分仅为 0.55，而 Claude Sonnet 4 的规划得分达到了 0.88。在针对复杂多维结构预测指标的综合解读与决策（ABLE8）中，人类专家得分约为 0.70，而顶尖大模型均稳定在 0.90 至 0.92 之间。
人类受试者在事后访谈中反映，即使具有专业知识，要在短时间内系统性梳理出无遗漏的工程方案，并快速整合涉及相互作用界面、表面静电荷、局部折叠自由度以及置信度分布等多维数值，极易受到记忆盲区与认知负荷的限制。相反，大模型依托其庞大的跨领域知识库和无视认知疲劳的信息抽取能力，在全景规划与数据标准化清洗方面具备人类难以匹敌的效率。
这种对比有力地说明：当前的生物 AI 与大模型系统并不是以单一维度的“智商碾压”超越人类，而是通过强大的知识合成与多维数据解读能力，去精准补偿人类专家的认知短板；反之，人类专家的高容错调试经验，又能有效弥补大模型在复杂任务中偶发的策略漂移。两者一旦结合，完成复杂生物设计的技术门槛将被极大削平。
现实局限与监管制度的反思
尽管 ABLE 揭示了大模型操纵生物软件的惊人潜力，但在解读该基准时，仍需理清其技术边界。
ABLE 本质上是一个“脚手架式”（Scaffolded）的阶梯评测，而非完全自由开放的端到端黑盒沙盒。在测试中，评测环境已预先配置好了所有依赖环境、数据库与 API 访问权限，省去了真实世界中最为耗时、最考验工程能力的环境部署与报错排查。此外，虽然 ABLE0 考察了宏观规划能力，但后续任务依然按部就班地向模型喂入了标准化的中间数据。在完全脱离人类介入的真实端到端情境中，大模型能否在遭遇意外报错时不跑偏、不陷入逻辑死循环，依然需要更具压力度的测试来验证。
同时，出于严格的生物安全考虑，ABLE 仅专注于“计算验证阶段”（In silico validation），完全剥离了任何真实的湿实验合成与活性测试。尽管目前的 AlphaFold3 与 ProteinMPNN 在预测蛋白质构象与结合面上具备很高的先验可信度，但计算模拟与真实生物体内的折叠、翻译后修饰及生理活性之间始终存在客观鸿沟。
即使存在上述局限，ABLE 所呈现的数据已经足以向现行的科技伦理与风险治理框架敲响警钟。以美国现行的双重用途可疑研究（DURC）监管框架为例，政策的核心审查靶点始终紧紧锚定在由联邦资助的实体湿实验层面——只有当实验涉及物理改造特定高致病性病原体的传播力、致病性或宿主范围时，才会触发严格的伦理审查与准入限制。
然而，由大模型与生物 AI 构成的计算设计网络，完全游离于现有制度的盲区之外。如今，任何个体无需采购管制试剂，即可在云端利用大语言模型编排工具链，完成对高风险蛋白变体的计算设计与表位筛选。
ABLE 的测试结果证明，大模型驱动的工具集成已经具备了实操意义上的工程可用性。为了防范计算端风险向实体威胁转化，未来的治理范式亟须发生转变：一方面，针对具备高级工具调用能力的闭源前沿模型，应当推行分级的 API 访问权限验证与端到端交互审计；另一方面，安全测试必须从单向的文本红队转向类似于 ABLE 的动态智能体沙盒演练。在 AI 进一步融入生命科学底层设施之前，让安全评估的演进速度真正赶上智能体工具化的步伐，已成为当下刻不容缓的技术议题。