TREK：告别LLM裁判，最强Agent复杂规划完美率仅46.2%
TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
在大模型从“对话框聊天”迈向“自主智能体”（Agent）的进程中，旅行规划（Travel Planning）一直被视作最具挑战性的试金石之一。一个真正可用的旅行行程，本质上是一个必须同时满足高维、异构约束的复杂实体：航班、酒店与景区必须真实存在且可预订，每日行程在时空物理上必须可达，各项开销总和不能击穿预算，同时方案还必须悄无声息地贴合旅行者未明确言明但隐含的个性化需求。
ArXiv URL：https://arxiv.org/abs/2607.26977v1
以往的大模型智能体评测往往将这些属性割裂开来逐一打分，或者高度依赖一个由大模型充当的裁判（LLM Judge）。这种评估方式既无法从形式逻辑上确证生成的行程是否真正能够落地执行，更因大模型打分员本身的偏见和漂移而丧失了可复现性与审计价值。来自澳门理工大学与香港中文大学的研究团队推出了全新评测基准 TREK（Travel Reasoning and Evaluation Kit），试图从根本上解决这一顽疾。他们构建了一个包含 800 个复杂任务、完全摈弃 LLM 裁判的纯确定性规则评估系统，并为每个任务配备了经人类验证且得分达到 1.0 的可行基准解。
这一基准对当前顶尖大模型构成了极为严苛的考验：在测试的 15 款主流大模型 Agent 中，即使是表现最强的 GPT-5.6，在可行任务上的“完全可行率”（Task-Perfect Rate）也仅有 46.2%，而全部受测模型的表现中位数仅为 6.6%，最弱模型更是直接交出 0.0% 的白卷。大模型究竟在复杂长程规划的哪一个环节折戟？这项研究揭开了一个被广泛忽视的瓶颈。
联合可行性：为什么旅行规划评测长期“失真”？
在真实世界的业务部署中，用户对行程规划的要求是全有或全无的：哪怕一张机票预订失败、两处景点在当天营业时间内无法赶到，或者酒店费用略微超标，整个规划方案在落地时都会彻底作废。研究团队将这种能力定义为“可行行程合成”（Feasible Itinerary Synthesis），它要求智能体产出的单一结构化行程必须在显式约束、无幻觉校验、时空可执行性、预算有效性以及对隐式需求的响应这五个维度上同时成立。
现有的 Agent 基准在面对这一要求时往往显得无能为力。以早期的经典基准 TravelPlanner 为例，其智能体的最终输出并非由程序直接校验，而是先交由 GPT-4-Turbo 解析成结构化数据，再由脚本进行规则判断。一旦评测链条中引入了大模型解析器或打分员，就会不可避免地引入位置偏见、冗长偏见、自偏好以及版本漂移等问题。
更深层的漏洞在于天花板的虚无。很多基准报告了惨淡的模型得分，但外界无法证实这些未通过的任务是否在现实世界中本身就存在逻辑悖论，抑或是规则过于苛刻导致甚至不存在理论满分。当评估工具无法给出一条能够切实拿到满分的黄金参考路径时，智能体的真实能力缺陷与打分器的不合理性便被混为一谈。
针对这一困境，TREK 确立了两大立论支柱。其一，全流程采用纯规则、零 LLM 参与的确定性评测器，实现比特级的严格可复现；其二，为基准内的全部 800 个任务均配备经过人类专家校验、在同一评测器下能稳定拿到 1.0 满分的“黄金解”（Gold Reference）。这意味着评测天花板是经过充分验证、绝对可达的，智能体与满分之间的每一个差距，都可以百分之百归因于模型自身能力的局限，而非打分机制的严苛或漏洞。
21万条自洽实体与生产级沙盒
为了让确定性规则评测真正成立，基准背后的世界状态必须绝对可控。真实网络抓取的数据往往充斥着价格浮动、路线变更和网页下线等不确定性，无法作为可验证规划的定盘星。TREK 采取了由固定种子生成的合成知识库方案，这并非退而求其次的妥协，而是为了换取更关键的“内部一致性”。
该知识库基于 OurAirports 真实地理架构生成，涵盖了 375 座城市和 392 个机场，并在这套坚实的骨架之上构建了 212,530 条互相勾连的业务记录，包括 107,195 个航班班次、39,396 家酒店、55,814 处旅游景点以及 10,125 项租车服务。每一条数据都遵循严格的强类型约束：评分以 10 分制界定，酒店星级严格对应 1 至 5 星，且客房单价明确限定为双人标准间，以此消除多房间成本计算上的二义性。
在与智能体的交互层面，TREK 彻底摒弃了那些将所有信息直接作为上下文塞给模型的简化做法，构建了一套具备生产级标准的 RESTful API 工具沙盒。沙盒提供涵盖航班、酒店、景点、租车查询与最终方案提交的 5 个接口。这些接口具备极其严格的参数校验机制，面对智能体的非法输入会返回结构化的 JSON 错误提示，要求智能体自行解析并修正错误，逼近真实应用中软件工程环境的交互形态。
更关键的是隐式偏好的处理机制。现实中旅行者往往不会把自身画像详尽地写进 Prompt，例如“带儿童的家庭”需要酒店配备婴儿床或儿童乐园，“轮椅出行者”需要无障碍通道。TREK 定义了 13 类旅行者画像，当智能体通过沙盒的语义检索接口寻找资源时，评测器不会使用任何模糊的模型对齐打分，而是直接将实体属性集与画像必备设施进行集合交集判定（Set-Intersection）。这种设计既给智能体留出了利用语义检索发掘偏好的空间，又确保了评分逻辑的绝对确定性。
可证明不可行：反思 Agent 的“拒绝”艺术
在许多复杂的真实场景中，正确的行动不是给出一个千疮百孔的妥协方案，而是明确识别出当前约束在物理或逻辑上不可解，并给出合理的拒绝理由。然而，在现有绝大多数基准中，不可行任务要么被简单粗暴地剔除，要么仅作为无差别的异常出现。
TREK 首次将“带有类型证明的不可行性”（Typed Infeasibility）作为一等公民纳入核心指标。在全部 800 个任务中，有 267 个任务（占比 33.4%）被严格构造为“证明不可行”。这些任务平均分布在三个明确的不可行类型上：
-
实体不存在（Entity Infeasible）：用户指名要求的特定景点、酒店或服务在知识库中并不存在。
-
路线物理不可达（Route Infeasible）：由于特定城市间缺乏合法的直飞或中转航线，导致旅程连通性在客观上断裂。
-
预算击穿下限（Budget Infeasible）：用户给定的预算总额严格低于知识库内所有可能组合所能达到的理论最低花销。
智能体如果试图“硬编”一个行程，或者含糊地回复“无法完成”，都无法取得高分。TREK 的评估器要求智能体不仅要执行拒绝，还必须准确诊断并报告出底层的不可行原因类型。评估器在评测时会脱离标注元数据，直接从知识库和任务约束中独立推导该任务的真实不可行原因，以此验证智能体是否具备扎实的反向因果推理能力。
规则裁决：九维约束与“完全可行率”
为了精准测量智能体在规划各环节的失效模式，TREK 设立了横跨九个维度的确定性评估框架。这些维度只有在任务显式或隐式引入该属性时才会被激活计分，确保评测的绝对公正。
这九个维度覆盖了行程规划的方方面面：基础层包括实体真实存在且无幻觉（E1）、服务类型完备性（E2）；显式约束层涵盖出行天数精确对齐（C1）、同行人数容纳能力（C2）以及多城市访问覆盖（C3）；物理与财务硬指标层包含多城市游玩顺序合理性（B1）、预算总开销合规（B2）以及至关重要的同日时空可达性（B3）；最后则是对旅行者隐式偏好设施匹配度（D1）的检验。
在上述九个细分维度之上，TREK 确立了衡量智能体综合能力的核心金指标：任务完全可行率（Task-Perfect Rate）。该指标的判定极为严苛——对于可行任务，智能体必须在全部被激活的细分维度上同时获得满分，才算成功解决该任务；只要在任意一个维度出现短板，得分即直接清零。
此外，为了防范智能体在沙盒中进行无节制的暴力穷举，评测框架还单独设立了效率度量轴，记录智能体完成规划所需的 API 调用次数、Token 消耗总量以及网络交互轮次，全面透视模型在推理效能与经济成本上的取舍。
评测发现：大模型规划能力的三大断层
研究团队基于这一基准，对涵盖闭源前沿模型与开源主流模型的 15 款 LLM Agent 进行了系统测试。这组实验没有止步于分数排名的罗列，而是通过细致的消融与归因，回答了关于大模型推理能力的三个核心问题。
第一，前沿模型究竟能否完整交付一个合规的复杂旅行方案？答案是极其悲观的。在 533 个可解任务中，即便表现最佳的模型 GPT-5.6，也仅仅达到了 46.2% 的完全可行率；这 15 款智能体的可行率中位数甚至暴跌至 6.6%，有部分开源基线模型的得分直接锁定在 0.0%。这个结果清晰地表明，当前大模型在处理高维单体产物的联合求解时，依然面临着结构性的系统崩溃。模型看似在每一个单独问题上都有较高的胜率，但要让九个约束在一个输出中同时闭环，其复合概率会断崖式下跌。
第二，长程规划究竟在哪个环节出现了致命短板？数据表明，隐式偏好满足（D1）构成了当前跨模型层级的“普遍瓶颈”。对于弱模型而言，它们几乎在所有维度上全面失守；但当模型能力演进到第一梯队时，其他维度如实体正确性、显式人数与预算控制的通过率已普遍攀升至 86.7% 甚至 95% 以上，唯独隐式需求维度的通过率卡死在 46.3% 左右。模型能够熟练地调用接口去比价和查票，却往往在潜意识中“遗忘”了旅伴的潜在诉求。
时空物理可达性（B3）则构成了划分“真正具备规划意识的 Agent”与“机械组装工具调用结果的 Agent”的分水岭。在这一维度上，顶尖模型的失败率仅为 13.3%，而底层模型的同日时间超限失败率竟高达 93.8%。弱模型可以列出一连串真实的航班和景点，但两地之间的位移所需时间、登机前置时间与景点游玩时长的总和，早已远远击穿了物理一天的 24 小时上限。
第三，更深度的思考和更多的算力投入，是否必然换来规划可行性的提升？实验给出了一个反直觉的洞察。在基准所允许的一组同版本 Instruct 与 Reasoning 模型对比中，专门强化了推理步骤的 Reasoning 变体在任务可行率上反而明显低于原版指令微调模型。这种“过度思考”（Overthinking）在面对具有严格参数校验的生产级沙盒时暴露出了负面效应：长程链式思考极易诱发格式漂移、调用冗余以及循环纠错，破坏了智能体与强类型 API 之间的控制契约。与此同时，更高的准确率并未与 Token 消耗形成正比，顶尖模型凭借极具针对性的高效调用以最低的每查询 Token 成本位列榜首，而数款表现平平的弱模型反而消耗了 5 到 7 倍的 Token 却收获了垫底的分数。
从生成式幻觉迈向可验证的工程落地
TREK 的诞生不仅为旅行规划这一细分场景提供了高难度的压力测试场，更对大模型智能体评估的方法论提出了新的范式转移。它向整个社区传递了一个明确的信号：依赖大模型裁决软性评分的时代应当被重新审视，特别是在那些关乎真实业务落地的严肃场景中，唯有完全客观、零裁判的确定性规则以及经过实证可达的黄金上限，才能真正丈量出 AI 迈向真实世界执行的客观间距。
当顶尖模型在面对未明确言明的用户偏好与物理时空跨度时依然举步维艰，这也暗示了未来智能体架构的演进方向：单纯依赖端到端的大模型自回归生成，很难完美胜任严苛的组合优化约束。未来的实用型规划系统，或许必须走向将大模型对模糊需求的理解能力与外部符号求解器（Solver）、形式化验证工具深度绑定的“神经-符号”混合架构。
旅行规划绝非文字的罗列，而是一场容不得半点虚构与错配的时空接力。在 1.0 的确定性终点面前，AI 智能体真正的漫长旅程才刚刚破题。