Chimera:混合注意力提速7.3倍,无需位置编码零样本外推30秒视频
最新研究提出的 Chimera 正面打破了这一瓶颈。它是一套面向海量 Token 生成范式而设计的混合视觉扩散骨干网络,并配备了一套严密的缩放配方。Chimera 将单流统一表示、线性复杂度的 Kimi Delta Attention(KDA)、多头潜在注意力(MLA)、模态感知短卷积(mSh...
最新研究提出的 Chimera 正面打破了这一瓶颈。它是一套面向海量 Token 生成范式而设计的混合视觉扩散骨干网络,并配备了一套严密的缩放配方。Chimera 将单流统一表示、线性复杂度的 Kimi Delta Attention(KDA)、多头潜在注意力(MLA)、模态感知短卷积(mSh...
他们重新审视了 DCOP 与博弈论中势能博弈(Potential Games)的等价性,将现代在线学习中的无悔算法(No-regret Learning)引入分布式局部搜索;同时,提出了名为“迭代定价”(Iterative Pricing)的分解机制,将复杂的全局问题拆解为高层的任务分配与底层...
CMU:本文提出了一个统一的理论框架—— 路由槽内存 (Routing Slot Memories, RSM),指出序列模型的核心问题不是要不要遗忘,而是必须将“信息写向何处”(Where)与“信息留存多久”(How long)彻底解耦。
这项最新工作直接击中了这一痛点,提出了首个无须真实标签的自我监督技能优化框架: SSO(Self-Supervised Skill Optimization) 。
JoyAI-Video-Edit 提出的 长时程自回归蒸馏(Long-Horizon Autoregressive Distillation, LHAD) ,巧妙地解决了长程稳定性与显存占用的矛盾。LHAD 采用了分段优化(Segmented Optimization)机制。
针对这一洞察,作者提出了无需训练的“锚定消息核心集剪枝”方法(Grounded Message Coreset Pruning,简称 GMC )。该方法不再纠结于单个 Token 的孤立打分,而是将视觉压缩重构为解码器消息的紧凑核心集(Coreset)构建与传输问题。
为此,来自诺基亚(Nokia)与莱斯大学(Rice University)的研究团队提出了名为 SPECTRA 的全新免微调、即插即用 KV Cache 编解码方案。
来自腾讯、厦门大学以及中俄数字经济研究中心的研究团队提出了名为 BinaryPC 的全新注意力方案。该方案放弃了“数据无关的随机投影”与“黑盒梯度训练”这两条旧路线,巧妙借助矩阵的二值主成分(Binary Principal Components),在无须任何梯度训练的前提下,直接从数据自身提...
为此,研究团队提出了 SMRC-SD(State-Matched Routing and Contextualized Self-Distillation),通过显式检验执行状态的一致性,决定何时该蒸馏、如何组织上下文。
为此,研究团队提出了自适应工具文档优化框架 DocsChisel 。该框架通过分析智能体在实际任务中的失败执行轨迹,在字段级别自适应地对工具文档进行“增、删、改”,从而打破“静态文档通吃所有场景”的固有假设。
腾讯团队针对这一痛点提出了 PIVOT(Proxy Indexing Via One full-prefix Traversal),直接跳出以往在 Token 轴、Head 轴或 Layer 轴做局部裁剪的传统思维,首次将目光投向了长期被忽视的 Query 轴。
为了从根本上拔除这一病灶,研究团队提出了一套基于二维方块(2D Square Block)的 FP4 量化训练框架。通过保证几何结构在转置下的内在不变性,该方法使得张量在反向传播中完美保留前向的缩放因子,彻底消除了前反向之间的量化失配。
来自美团、南京大学、中国科学技术大学与武汉大学的研究团队在最新论文中提出了名为 CAST(Credit Assignment from Solver Teachers) 的全新框架。
Context:有人会提出质疑:现代存储介质极其廉价,Agent 难道不能把全部历史完整保存在本地数据库中,每次需要调用大模型时,再重新对全量历史做一次检索或动态摘要吗?这在工程经济学和系统延迟上是一笔注定破产的账。
香港科技大学与腾讯的研究团队提出了 CoSA(Proxy-Kernel Co-Designed Sparse Attention),直接指出了这种困境的症结所在:以往的优化将“上层算法代理”与“底层计算核函数(Kernel)”割裂开来。
为了彻底解决这一困境,研究团队提出了 FocusMem 。它不再试图打造一个容量更大的黑盒压缩器,而是将隐式记忆的职责明确解耦为三个维度: 存什么(内容基底) 、 怎么看(状态自适应读取) 以及 信不信(置信度门控) 。
近日,来自字节跳动、佐治亚理工学院、加州大学圣地亚哥分校(UCSD)以及马里兰大学帕克分校的研究团队提出了一项颠覆性的训练范式: 无监督在线自蒸馏(Unsupervised On-Policy Self-Distillation, u-OPSD) 。
他们提出了名为 SPADE 的免训练(Training-Free)、输入自适应稀疏注意力引擎。该框架打破了以往算法设计与系统实现相割裂的局限,从“算法-系统协同设计”出发,构建了一套统一的稀疏表达规范、极低开销的自适应方案生成算法,以及深度适配现代 GPU 架构的执行引擎。
KVDiagnosis:为了让长文本推理在有限的硬件上跑得通,工业界与学术界提出了五花八门、令人眼花缭乱的 KV Cache 压缩算法,涵盖 Token 驱逐、层/头动态分配、通道剪枝、低比特量化以及语义块合并等不同技术路线。
无论是各类商业化的研究助手,还是开源社区构建的自动化研究流水线,都在尝试让大语言模型处理极其开放且复杂的调研任务。然而,这类长程(Long-horizon)任务普遍伴随着极其高昂的计算代价:智能体沿着分解出的子问题不断发起检索、抽取网页、发散分支,上下文体积呈现雪崩式膨胀。
来自上海人工智能实验室(Shanghai Artificial Intelligence Laboratory)等机构的研究团队提出了全新的蒸馏框架 SimpleOPD 。
最新提出的 AnchorKV 彻底打破了这种两难困境。它在 不丢弃任何一个 Token 位置 的前提下,将 KV 缓存体积压缩了整整 20 倍。在 70B 参数规模的模型上,AnchorKV 在 20 倍极致压缩下依然保留了未压缩基准 99.3% 的综合性能;而在多任务检索和长文本大海捞针测试中。
最新提出的 SKILL-KD 框架打破了这一僵局。它将外部技能库重新定义为跨能力智能体之间的 显式蒸馏介质 :不依赖参数微调,而是直接对比教师与学生在同一任务中的 行为落差 (Actionable Discrepancy),将其转化为能够动态验证并迭代修正的“文本技能补丁”。
来自中国科学院、上海交通大学以及上海期智研究院的研究团队针对该瓶颈,提出了软硬件协同设计的专用加速框架 Deltoris。该框架敏锐地抓住了机器人高频控制场景中的物理连续性特征——相邻两帧之间的视觉和状态输入往往拥有高达 98% 的冗余。