多模态&视觉

Chimera:混合注意力提速7.3倍,无需位置编码零样本外推30秒视频

最新研究提出的 Chimera 正面打破了这一瓶颈。它是一套面向海量 Token 生成范式而设计的混合视觉扩散骨干网络,并配备了一套严密的缩放配方。Chimera 将单流统一表示、线性复杂度的 Kimi Delta Attention(KDA)、多头潜在注意力(MLA)、模态感知短卷积(mSh...

DreamTraj:直读未渲染扩散隐层,单图预测6-DoF轨迹提速4.6倍

面对上述两难,DreamTraj 提出了一种截然不同的范式:它不仅将推理接口极限压缩到仅需“单张 RGB 图像 + 一句自然语言任务指令”,而且彻底颠覆了依赖像素渲染的传统思路。研究人员发现,在大规模视频扩散模型的去噪早期阶段,其内部特征就已经形成了关于物体未来运动的高度结构化表征。

MiniWorld:单机8卡从零训出流式世界模型,轨迹精度提升249%

更关键的是,MiniWorld 提出了 块级非递减加噪调度(Chunk-wise Non-Decreasing Noise Schedule) : {% raw %} {% endraw %} 在一个由 个时间块组成的序列中,越靠近未来的时间块,被赋予的噪声水平 越高;历史块的噪声水平则更低甚...

TraceViT:循环推理不能只看终点,带接地的轨迹监督突破67.8%

发表于近期的一项研究提出了 TraceViT 。它的核心主张看似直观:既然人类在纸上推理时是逐步绘制草图,循环视觉模型的中间迭代也应当沿着一条语义连贯的“轨迹”逐步推进。然而,该研究揭示了一个反直觉的现象: 如果在循环模型中直接对中间状态施加轨迹监督,模型表现不仅不会提升,反而会直接掉点。

Visko Orbis 1.0:边播边改指令!有界记忆打通4K 24帧实时交互长视频

Visko Orbis 1.0 没有盲目堆叠全量历史上下文,而是提出了一套有界多尺度记忆(Bounded Multi-Scale Memory)架构: 近端与远端的分层组织 :在推演当前块时,离当前时间最近的几个潜空间时序块保持原始的高时间与空间分辨率,以便模型捕捉即时动作的连续性;而距离较远...

GMC:砍掉80%视觉Token仍保98%性能,VLM压缩重在消息而非Token

针对这一洞察,作者提出了无需训练的“锚定消息核心集剪枝”方法(Grounded Message Coreset Pruning,简称 GMC )。该方法不再纠结于单个 Token 的孤立打分,而是将视觉压缩重构为解码器消息的紧凑核心集(Coreset)构建与传输问题。

VTO:过程监督强化学习编排视觉工具,多步异常检测超越72B大模型

针对这一根本顽疾,来自北京邮电大学等机构的研究团队提出了全新的过程监督强化学习框架 VTO (Visual Tool Orchestration)。该工作彻底抛弃静态的端到端黑盒映射,将异常检测重构为一个在动态物理视频环境中主动探索、调用工具并吸收多模态反馈的认知决策过程。

不是单步防御而是时序赛跑:提前5步拦截99.3%多智能体分布式后门

实验结果揭示了现有防御令人担忧的脆性: 一旦消除了信息熵破绽,并封禁了长度特征,分类器的预警时机直接从第 7 步恶化推迟到了第 12 步,中位预警提前量被压缩殆尽;更致命的是,跨任务域的迁移能力发生断崖式暴跌,从数据库域迁移到 API 域时,模型几乎无法在新环境下建立有效判别面。

MemVLN:用金字塔情景与程序记忆,让连续视觉语言导航跑出14 FPS

针对这一矛盾,来自香港中文大学、香港科技大学、香港大学以及 Lightspeed 团队的研究人员提出了全新导航框架 MemVLN 。该工作从人类认知系统的双重记忆结构中汲取灵感:一方面引入 金字塔分辨率的情景记忆(Episodic Memory) ,在完整保留二维空间结构的前提下。

诊断推理超93%却找不到病灶?PathAgentBench揭示病理大模型“寻证”困境

为了打破这一脱离临床现实的评测范式,来自哈尔滨工业大学、新加坡国立大学、北京协和医院以及 PuzzleLogic 的研究团队构建了专门评测多模态模型“主动寻证能力”的基准体系: PathAgentBench 。通过建立多尺度诊断树结构,他们测试了 20 个主流通用、医疗与病理专用大模型。