AI理论

TCS-Bench:大模型攻入顶会理论计算机证明,GPT 5.6 Pro达68%

TCS-Bench:研究团队通过解析 arXiv 上的 LaTeX 源码,提出了一套兼顾完整性与可扩展难度的构建流: 1. 依赖有向无环图(DAG)抽取 :系统首先提取论文中所有形式化陈述(包括定理、引理、主张等),并建立它们之间的逻辑依赖图。

Language Agent最新综述!10大认知架构与50个系统机制解构

Language:在 Soar 中,问题表征在工作记忆内,各种算子(Operators)被提出作为状态转移候选。当系统面临平局(Tie)、冲突(Conflict)、全盘拒绝或无可用候选时,不会直接抛出异常,而是将其表征为一个“类型化僵局(Typed Impasse)”。

SKILL.state:用显式状态取代对话历史,Google将长程Agent复杂度降至O(T)

在构建自主智能体(AutonomousAgent)时,业界几乎默认遵循一种“对话式上下文累积”的运行范式:智能体每执行一步,就把环境观察、思考链(CoT)、工具调用参数和执行返回值,线性追加到上下文末尾。只要执行步骤变长,Prompt就会像滚雪球一样迅速膨胀。

告别黑盒!InfoFlow揭秘多层Transformer:两层架构如何省下指数级参数?

Transformer架构无疑是当今AI繁荣的绝对基石。然而,面对动辄数十乃至上百层的庞然大物,理论界却长期陷入一种尴尬的“偏科”状态。目前,学界对单层Transformer的数学性质已经有了相对透彻的理解,但多层Transformer的内部运作机制依然是一个巨大的黑盒。堆叠层数仅仅是为了增加...

Context-Free Recognition with Transformers

Transformer 突破理论极限: 循环层解锁 CFL 语法识别。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。

LLM Router: Prefill is All You Need

英伟达亮剑LLM路由:成本锐减74%,性能直追理论最优!。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。

Group Representational Position Encoding

群表示位置编码(GRAPE):统一RoPE与ALiBi的理论框架。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。

Algorithmic Thinking Theory

LLM推理的“系统2”觉醒:谷歌、斯坦福联手揭秘“算法思维”理论。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。

On the Fundamental Limits of LLMs at Scale

LLM越大越强?谷歌DeepMind等雄文揭示其5大“理论天花板”。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。

An Augmentation Overlap Theory of Contrastive Learning

本文提出了一个“增强重叠”(Augmentation Overlap)理论,通过揭示同一类别的不同样本在数据增强下会产生重叠的视图,解释了实例级别的对比学习为何能学习到具有类别区分性的表示,并基于此推导出了更紧密的下游任务性能界。

Quantitative Bounds for Length Generalization in Transformers

本文首次为Transformer的长度泛化(length generalization)能力提供了定量的边界,通过引入一种“模拟论证”方法,证明了当训练序列足够长,能够“模拟”更长序列上的内部行为时,模型便能实现长度泛化,并给出了所需训练长度与模型参数、任务复杂度之间关系的具体数学刻画。

Encoder-Decoder or Decoder-Only? Revisiting Encoder-Decoder Large Language Model

本文通过为编码器-解码器架构(RedLLM)集成现代LLM技术(如旋转位置编码),并在约1.5亿至80亿参数规模上与主流的解码器-仅架构(DecLLM)进行系统性对比,发现RedLLM在指令微调后,能以显著更高的推理效率达到甚至超越DecLLM的性能,证明了该被忽视架构的巨大潜力。

Thought Communication in Multiagent Collaboration

本文提出了一种名为 THOUGHTCOMM 的多智能体协作新范式,它使智能体能通过理论上可识别的、直接的潜在“思想”进行交流,而非传统的自然语言,从而突破语言瓶颈,提升集体智能的协作效率和上限。