从DenseOn到mLateOn:LightOn用28亿数据证明,延迟交互才是多语言检索更优解?
基于预训练掩码语言模型 mmBERT-base(307M 参数),团队分别构建了单向量模型 mDenseOn 与多向量模型 mLateOn。两者训练时的骨干网络完全相同,训练批次完全相同,数据配比完全相同,且均引入了针对重排器 mxbai-rerank-large-v2 的 KL 散度知识蒸馏目标。
基于预训练掩码语言模型 mmBERT-base(307M 参数),团队分别构建了单向量模型 mDenseOn 与多向量模型 mLateOn。两者训练时的骨干网络完全相同,训练批次完全相同,数据配比完全相同,且均引入了针对重排器 mxbai-rerank-large-v2 的 KL 散度知识蒸馏目标。
来自中国科学院、复旦大学、南京大学、香港中文大学与香港科技大学的研究团队在论文中提出了名为 HERALD 的离线反事实审计框架,在策略正式训练前对奖励函数进行精确的程序化单元测试。
来自帝国理工学院、慕尼黑工业大学和波茨坦大学等机构的研究团队,首次提出了全流程落地的 连续深度批处理(Continuous Depth Batching, CDB) 系统。
TCS-Bench:研究团队通过解析 arXiv 上的 LaTeX 源码,提出了一套兼顾完整性与可扩展难度的构建流: 1. 依赖有向无环图(DAG)抽取 :系统首先提取论文中所有形式化陈述(包括定理、引理、主张等),并建立它们之间的逻辑依赖图。
Language:在 Soar 中,问题表征在工作记忆内,各种算子(Operators)被提出作为状态转移候选。当系统面临平局(Tie)、冲突(Conflict)、全盘拒绝或无可用候选时,不会直接抛出异常,而是将其表征为一个“类型化僵局(Typed Impasse)”。
Context:有人会提出质疑:现代存储介质极其廉价,Agent 难道不能把全部历史完整保存在本地数据库中,每次需要调用大模型时,再重新对全量历史做一次检索或动态摘要吗?这在工程经济学和系统延迟上是一笔注定破产的账。
在构建自主智能体(AutonomousAgent)时,业界几乎默认遵循一种“对话式上下文累积”的运行范式:智能体每执行一步,就把环境观察、思考链(CoT)、工具调用参数和执行返回值,线性追加到上下文末尾。只要执行步骤变长,Prompt就会像滚雪球一样迅速膨胀。
在过去几年中,模仿学习(ImitationLearning,IL)已经成为理解和训练大型语言模型(LLM)的核心范式。从最基础的指令微调(SFT)到更高级的模型对齐,我们都可以将其视为让一个学习者(模型)去模仿一个专家(人类反馈或更强大的教师模型)的序列决策过程。
Transformer架构无疑是当今AI繁荣的绝对基石。然而,面对动辄数十乃至上百层的庞然大物,理论界却长期陷入一种尴尬的“偏科”状态。目前,学界对单层Transformer的数学性质已经有了相对透彻的理解,但多层Transformer的内部运作机制依然是一个巨大的黑盒。堆叠层数仅仅是为了增加...
告别“黑盒”炼丹:人大&厦大联合发布,LLM全生命周期理论图谱。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
Transformer 突破理论极限: 循环层解锁 CFL 语法识别。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
英伟达亮剑LLM路由:成本锐减74%,性能直追理论最优!。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
9小时攻克11道Putnam难题!Seed-Prover 1.5重塑AI形式化证明。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
DeepSeek-Prover潜力释放:仅需简单“骨架”提示,性能飙升43%。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
群表示位置编码(GRAPE):统一RoPE与ALiBi的理论框架。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
LLM推理的“系统2”觉醒:谷歌、斯坦福联手揭秘“算法思维”理论。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
数据告急?北大清华发现:数据集越大,重复训练收益越高,价值可达logN倍。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
LLM越大越强?谷歌DeepMind等雄文揭示其5大“理论天花板”。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
本文提出了一个“增强重叠”(Augmentation Overlap)理论,通过揭示同一类别的不同样本在数据增强下会产生重叠的视图,解释了实例级别的对比学习为何能学习到具有类别区分性的表示,并基于此推导出了更紧密的下游任务性能界。
本文主张用“单位资源能力”而非单纯的规模来衡量AI进展,并提出了一个基于梯度指导资源分配的理论框架,通过识别和优先利用高影响力的参数和数据,来显著提升大语言模型(LLM)生命周期中的效率。
本文首次为Transformer的长度泛化(length generalization)能力提供了定量的边界,通过引入一种“模拟论证”方法,证明了当训练序列足够长,能够“模拟”更长序列上的内部行为时,模型便能实现长度泛化,并给出了所需训练长度与模型参数、任务复杂度之间关系的具体数学刻画。
本文通过为编码器-解码器架构(RedLLM)集成现代LLM技术(如旋转位置编码),并在约1.5亿至80亿参数规模上与主流的解码器-仅架构(DecLLM)进行系统性对比,发现RedLLM在指令微调后,能以显著更高的推理效率达到甚至超越DecLLM的性能,证明了该被忽视架构的巨大潜力。
本文推导出了一个连接Kullback-Leibler散度(KLD)和Jensen-Shannon散度(JSD)的新的、紧致的下界,从而在理论上证明了最大化基于JSD的判别器目标函数等同于最大化互信息(MI)的一个可靠下界,为表示学习中广泛使用的判别式方法提供了坚实的理论基础。
本文提出了一种名为 THOUGHTCOMM 的多智能体协作新范式,它使智能体能通过理论上可识别的、直接的潜在“思想”进行交流,而非传统的自然语言,从而突破语言瓶颈,提升集体智能的协作效率和上限。