模型优化

Chimera:混合注意力提速7.3倍,无需位置编码零样本外推30秒视频

最新研究提出的 Chimera 正面打破了这一瓶颈。它是一套面向海量 Token 生成范式而设计的混合视觉扩散骨干网络,并配备了一套严密的缩放配方。Chimera 将单流统一表示、线性复杂度的 Kimi Delta Attention(KDA)、多头潜在注意力(MLA)、模态感知短卷积(mSh...

履约率从87%跃升至99%:CMU与JPL提出迭代定价分布式约束优化

他们重新审视了 DCOP 与博弈论中势能博弈(Potential Games)的等价性,将现代在线学习中的无悔算法(No-regret Learning)引入分布式局部搜索;同时,提出了名为“迭代定价”(Iterative Pricing)的分解机制,将复杂的全局问题拆解为高层的任务分配与底层...

GMC:砍掉80%视觉Token仍保98%性能,VLM压缩重在消息而非Token

针对这一洞察,作者提出了无需训练的“锚定消息核心集剪枝”方法(Grounded Message Coreset Pruning,简称 GMC )。该方法不再纠结于单个 Token 的孤立打分,而是将视觉压缩重构为解码器消息的紧凑核心集(Coreset)构建与传输问题。

BinaryPC:无需训练的二值主成分哈希,长文本解码吞吐提升3.56倍

来自腾讯、厦门大学以及中俄数字经济研究中心的研究团队提出了名为 BinaryPC 的全新注意力方案。该方案放弃了“数据无关的随机投影”与“黑盒梯度训练”这两条旧路线,巧妙借助矩阵的二值主成分(Binary Principal Components),在无须任何梯度训练的前提下,直接从数据自身提...

消除转置偏差!2D方块量化破解FP4训练,与BF16差距小于1.3%

为了从根本上拔除这一病灶,研究团队提出了一套基于二维方块(2D Square Block)的 FP4 量化训练框架。通过保证几何结构在转置下的内在不变性,该方法使得张量在反向传播中完美保留前向的缩放因子,彻底消除了前反向之间的量化失配。

SPADE:自适应3D分块稀疏引擎,视频扩散注意力提速3.4倍

他们提出了名为 SPADE 的免训练(Training-Free)、输入自适应稀疏注意力引擎。该框架打破了以往算法设计与系统实现相割裂的局限,从“算法-系统协同设计”出发,构建了一套统一的稀疏表达规范、极低开销的自适应方案生成算法,以及深度适配现代 GPU 架构的执行引擎。

深度研究Agent剪枝:位置比算法更关键,Token消耗降低73%

无论是各类商业化的研究助手,还是开源社区构建的自动化研究流水线,都在尝试让大语言模型处理极其开放且复杂的调研任务。然而,这类长程(Long-horizon)任务普遍伴随着极其高昂的计算代价:智能体沿着分解出的子问题不断发起检索、抽取网页、发散分支,上下文体积呈现雪崩式膨胀。

AnchorKV:不丢弃任何Token实现20倍KV缓存压缩,70B模型保留99%精度

最新提出的 AnchorKV 彻底打破了这种两难困境。它在 不丢弃任何一个 Token 位置 的前提下,将 KV 缓存体积压缩了整整 20 倍。在 70B 参数规模的模型上,AnchorKV 在 20 倍极致压缩下依然保留了未压缩基准 99.3% 的综合性能;而在多任务检索和长文本大海捞针测试中。

SKILL-KD:把行为落差转化为文本补丁,对比蒸馏让弱Agent最高提升56%

最新提出的 SKILL-KD 框架打破了这一僵局。它将外部技能库重新定义为跨能力智能体之间的 显式蒸馏介质 :不依赖参数微调,而是直接对比教师与学生在同一任务中的 行为落差 (Actionable Discrepancy),将其转化为能够动态验证并迭代修正的“文本技能补丁”。