TimeSage-EV：首个动态时序智能体基准，大模型归因预测不足47分
TimeSage-EV: A Live Benchmark for Agentic Time Series Analysis in Evolving Environments
在金融交易、公共卫生预警、能源调度以及气候监测等关键决策领域，时间序列分析从来都不是一次性的静态预测任务，而是一套高度依赖周期性数据发布的连续工作流。专业分析师需要不断接收最新的统计公报，将其与历史走势交叉比对，并在严格遵守“信息截止时间”（Information Cutoff）的前提下，结合外部研报与宏观背景产出具有前瞻性的洞察。然而，现有的时间序列问答评测大多局限于固定的历史数据快照，默认给模型投喂一段裁剪好的静态序列，完全切断了现实世界中数据随时间持续演进、外部证据逐步释放的动态特性。
ArXiv URL：https://arxiv.org/abs/2608.14270v1
针对这一长期被忽视的评估盲区，来自牛津大学、埃因霍温理工大学等多家机构的研究团队联合推出了首个面向演进环境的时序智能体评测基准 TimeSage-EV。该基准追踪了覆盖 6 大领域的 60 个真实机构场景，构建了包含 1,485 个跨周期问答对的动态评测流。实验表明，即便是 GPT-5.4、Claude 3.7 Sonnet 或 Qwen-3.5 这一梯队的顶尖模型，在面对基础的状态识别时游刃有余，一旦进入涉及因果归因与前瞻推演的复杂任务，表现便出现断崖式下跌，最高得分甚至无法突破 47 分。这项工作不仅暴露出当前大语言模型（LLM）智能体在严格时间边界约束下的逻辑漏洞，也为构建真正可靠的自动化分析师指明了演进路径。
静态快照的局限与动态时序的真实挑战
目前大模型社区在时序理解上的评测，大多遵循类似 ChatTime-TSQA 或 TSRBench 的思路：给定一段历史数值曲线，向模型提出几个关于极大值、极小值、平均趋势或简单周期的定点问题。另一些通用智能体基准虽然引入了代码执行、网页检索和工具调用，却很少将时间演进作为核心变量。这种静态评测范式隐藏了真实世界中最致命的两个问题：时间有效性（Temporal Validity）与截止期感知（Cutoff-Aware Evidence Use）。
在真实机构的分析场景中，数据与文本是按特定节奏逐步释放的。例如，美国劳工统计局按月发布通胀数据，气象机构按周更新厄尔尼诺指数。每一次数据更新，不仅拉长了数值序列的长度，更重塑了可信证据的边界。分析师在评估当前周期时，必须且只能调用当前时间节点之前发布的所有历史数值与文献；而在目标时间点之后发布的修正报告、事后解释或未来数据，在因果逻辑上属于严格禁用的“未来信息”。现有模型在拥有海量上下文和联网搜索能力后，极易发生“时间穿越”式的信息泄漏——用后验的事实来反向推导前验的假设，从而在跑分榜单上虚高，在实际业务中彻底失效。
为了解决这一问题，研究团队将演进环境中的时序分析正式形式化为一个跨周期的连续序贯任务。在数学表达上，每一个场景环境 $\mathcal{E}_{s}$ 由领域、问题族、答案规范以及按时间步推进的证据流构成：
\[\mathcal{E}_{s}=\left(D_{s},\,Q_{s},\,A_{s},\,\{e_{t_{k}}^{(s)}\}_{t_{k}\in\mathcal{T}_{s}}\right)\]在每个特定周期 $t_k$，智能体所能感知的输入状态 $e_{t_k}^{(s)}$ 严格由当前可观测数据构成：
\[e_{t_{k}}^{(s)}=\left(q_{t_{k}},\,X_{\leq t_{k}},\,R_{<t_{k}},\,W_{\leq t_{k}}^{(s)}\right)\]其中 $X_{\leq t_k}$ 表示截至 $t_k$ 的累积时序数据，$R_{<t_k}$ 表示此前各周期已公开的历史源报告，而 $W_{\leq t_k}^{(s)}$ 则是截至当前时点的外部背景知识。智能体必须在该输入下，产出对当前周期的结构化解答 $\hat{y}{t_k}$、可读性分析研报 $\hat{r}{t_k}$，并更新其内部工作记忆 $S_{t_{k+1}}$。与此同时，当前周期真正的官方分析报告 $R_{t_k}$ 被环境强制扣留，作为评估智能体推断是否准确的事实依据。随着时间推进到 $t_{k+1}$，旧的目标报告才被释放为新的历史输入。这种动态沙盒设计，彻底从机制上隔绝了时序上的信息作弊。
真实场景与严格的时间沙盒流水线
构建一个兼具真实度与绝对时间隔离的评测基准，工程复杂度远超传统的静态数据集抓取。数据团队必须确保每一个场景的数据源都具备公开、可验证且按固定节奏发布的属性。TimeSage-EV 最终锚定了 60 个真实的机构场景，跨越农业、气候、能源、金融、医疗与交通 6 大关键支柱领域，时间跨度从 2023 年 2 月一直延续至 2026 年 5 月。
从数据特征来看，这 60 个场景并非单一的月度指标，而是囊括了日频、周频、月频以及非规则发布的异构时序。为了全面刺探智能体的推理深度，基准将场景均匀划分为三档难度：简单任务主要聚焦于单指标状态识别与基础数值过滤；中等任务引入了多变量变化检测、结构构成分析与异动事件捕捉；高等任务则直接要求智能体进行深度的外生归因分析与严密的前瞻趋势推演。
整个基准的构建流水线包含多层校验。首先是对数据源的时间稳定性与单调性进行物理审查，确保能够按时间戳无损重建任何历史切片的状态；随后，流水线根据各周期的可见信息生成结构化问答对与事实标准；最后，每一道测试用例都必须通过严格的自动化时间泄漏审计与三名人类专家的双重核验。一旦发现题目中包含对未来信息的预设引用，该周期实例便会被直接作废。这种标准确保了基准中的每一个判断标准都有据可查，并且完全可由代码重现。
告别单一跑分：结构化事实与生成报告的双轨审计
在现实工业场景中，没有人会仅仅向大模型索取一个孤立的数字，分析师的价值体现在由数据支撑的完整决策研报中。然而，大语言模型极其擅长生成“听起来非常专业、实则满纸荒唐”的幻觉研报。如果沿用传统的 ROUGE、BLEU 指标，或者单纯比对结构化输出，都会导致评测结果严重失真。为此，TimeSage-EV 设计了一套四维联合评测协议：
-
关键点准确率（Keypoint Accuracy）：通过确定性规则与严格的代码断言，比对智能体给出的结构化答案与环境扣留的标准真值是否一致。
-
关键点覆盖率（Keypoint Coverage）：由经过充分对齐的独立裁判模型判定，智能体最终生成的分析研报是否切实涵盖了结构化解答中的核心论断，杜绝“算了一套、写了另一套”的脱节现象。
-
研报忠实度（Report Faithfulness）：深度核查研报中的每一处因果推断与数据引用，判断其究竟来自允许使用的历史切片，还是源于凭空编造或越界使用了未来事实。
-
研报整体质量（Report Quality）：从专业机构写作规范出发，评估研报的逻辑组织结构、论证严密性与语言表达的专业度。
如图 5 所示，在针对厄尔尼诺-南方涛动（ENSO）的持续监测场景中，智能体不仅要计算出最新的海面温度距平值、判断当前所处的相态，还要综合多源气象描述，撰写一份面向决策者的推演报告。评测系统将结构化的量化指标打分与自由文本生成打分彻底解耦，使得那些虽然文笔流畅但核心数据预测错误、或者数据正确但通篇违背时间截止期的劣质运行无法遁形。
前沿模型实测：简单任务饱和，高阶推演断崖式跳水
在统一的智能体运行框架（配备代码沙盒、搜索与记忆管理能力）下，研究人员对涵盖专有闭源与前沿开源的一系列代表性模型进行了系统评测，包括 Sonnet-4.6、GPT-5.4、Qwen-3.5-397B、Kimi-K2.6 以及 Gemma-4-31B 等。实验统一在各场景最近的 24 个演进周期中展开，全面考察它们在连续时空下的表现。
整体评估呈现出鲜明的梯队分化与难度断层。GPT-5.4 取得了 86.0 的全场最高综合分，开源旗舰 Qwen-3.5-397B 紧随其后拿下 84.2 分，Sonnet-4.6 位列第三。在简单任务梯队，前沿大模型的表现已经高度饱和，所有主流模型的得分均跨过了 92 分大关。这意味着，如果评测仅仅停留在传统基准所关注的“读出时序最大值”或“计算过去三个月平均涨幅”，当代 LLM 几乎已经没有提升空间。
然而，一旦进入要求多变量因果分析与前瞻预测的高难度场景，所有模型均遭遇了严重滑铁卢。即便表现最优的 GPT-5.4，其高难度场景得分也跌落到了 72.7 分，而中等规模的开源模型更是直线下跌至 50 分左右。
为了更透彻地观察能力短板，将题目按 6 大认知能力细分后，差异变得更为刺眼。在状态识别、变化检测与成分结构分析上，领军模型得分大多保持在 85 到 97 分的高位；但在需要结合外部文本进行事件归因（Attribution）的任务中，全场最高得分仅有 46.7 分；而在面向未来走势的前瞻推演（Outlook）任务中，最强模型的得分甚至被压制在 43.0 分。
这种断崖式下跌揭示了一个残酷的技术现状：当下的时序智能体本质上仍是“优秀的数值计算器”，而非“合格的逻辑分析师”。模型完全可以通过编写 Python 脚本精准完成统计汇总，但面对复杂的宏观系统时，它们既缺乏将外生冲击（如政策变化、供应链中断）与时序波动建立因果链条的能力，更无法在严守时间截止期的前提下，做出克制、严密且符合物理逻辑的前瞻推导。
失败归因：为什么时序智能体会频频翻车？
通过对海量智能体运行轨迹的系统回溯，研究团队量化了模型在演进环境中频发的典型故障模式（Failure Modes）。
从故障分布来看，除了传统的数值幻觉外，两大核心系统性瓶颈占据了主导：推理超时（Reasoning Overrun） 与 指令漂移（Instruction Drift）。
在动态时序场景中，智能体需要同时处理历史累计的表格数据和长篇专业文档，信息量随周期不断膨胀。许多模型在面对多步工具调用时，往往会陷入自我怀疑式的低效探索循环：反复重写数据清洗脚本、执行无效的代码调试，最终消耗尽单轮推理预算直接被系统掐断。更为严重的是长上下文诱发的指令漂移：随着执行步数的增加，底层模型在注意力机制的扰动下，逐渐遗忘或忽略了最初设定的系统级铁律。例如，模型开始在代码块中调用被明确禁用的系统命令，或者在研报撰写时突然放飞自我，引用了未曾在沙盒中提供的未经核实的信息。
记忆真的总是有益的吗？
在跨周期的连续任务中，直觉上让智能体保留上一周期的工作记忆，能够避免从零开始重复劳动，从而提升分析效率。为了检验这一假设，评测团队对比了智能体在“完全无状态独立运行（Independent）”与“保留跨周期上下文记忆（Sequential）”两种模式下的表现演变。
实验得出了一个极具警示意义的结论：记忆对于智能体而言是一把极其锋利的双刃剑，其收益完全取决于底层模型对长程上下文的管理水平。
对于参数规模庞大、长文本注意力保持能力优异的模型（如 Qwen-3.5-397B），跨周期的记忆传递确实带来了持续的正面效益。模型能够学会复用上一周期的分析模板与数据索引方法，其连续评测得分全程显著高于独立单次评测。然而，对于规模较小的轻量级模型（如 Gemma-4-31B），记忆反而成了不可承受之重。在任务的前几个周期，继承的历史记忆带来了一定提升；但随着周期推进，不断累加的历史上下文迅速侵蚀了模型的有效注意力，导致后期性能出现灾难性倒挂，表现远不如每一轮都“完全格式化重启”的无状态智能体。未经高度筛选与压缩的原始记忆，极易在后续步骤中转化为严重的上下文污染源。
自进化技能库：从重复摸索到程序化沉淀
针对长上下文负担与分析效率低下的矛盾，研究团队在基线智能体框架中融入了一套轻量级的自进化技能库管理器，构建了试验型智能体 TimeSage-1.0。该机制的核心思想在于：智能体在成功解决某一周期的时序分析任务后，应将可复用的数据清洗范式、统计分析逻辑或归因分析路径提炼为模块化的工具函数，存入外部技能库中；在面对后续周期的相似问题时，优先检索并调用成熟技能，而不是重复展开长程多步试错。
实验数据充分证实了这一架构的有效性。在引入可复用技能库后，智能体在最具挑战性的中高难度场景中取得了肉眼可见的性能增益。更引人注目的是运行效率的跃升：由于跳过了大量无效的多轮工具探索，智能体的整体 Token 消耗量直接下降至原来的 $0.82\times$。分析进一步指出，智能体对技能库的调用频次在高难度场景中最为密集，说明程序化的技能沉淀切实分担了复杂逻辑推理的计算开销。
然而，这项探索也揭示了自进化机制的局限性：技能的提炼与沉淀高度集中在前几个周期，随着任务持续演进，技能库的更新速率迅速衰减，未能在长达几十个周期的演进全周期内维持持续进化的势头。如何在瞬息万变的数据环境中维持技能库的健壮性、淘汰过时的分析假说，仍是未来构建自主智能体亟待攻克的课题。
迈向真正可靠的时序决策智能体
TimeSage-EV 的发布填补了业界在“动态演进、严格时间截止期、多源报告结合”这一现实时序场景下的评测空白。该基准将随真实机构报告保持月度自动化同步更新，并向社区全面开源代码、沙盒环境与评测榜单，有效防止模型开发者通过数据污染跑分。
从工程与应用的角度来看，这项研究传递出了一个明确信号：在大模型赋能垂直专业分析的浪潮中，单纯比拼上下文窗口长度或刷取静态数据集的高分，已无法反映智能体的真实落地能力。在动辄数以亿计资金变动的金融市场或关乎民生的大宗能源调度中，时间维度的因果合法性容不得半点偏差。未来的智能体架构不仅需要学会写代码画图表，更需要内建严密的时空边界意识、动态记忆淘汰机制以及结构化的归因逻辑。唯有跨越这些深水区，大语言模型才能真正从机械的“数值搬运工”，蜕变成为值得人类决策者信赖的高级时序分析专家。