Chimera:混合注意力提速7.3倍,无需位置编码零样本外推30秒视频
最新研究提出的 Chimera 正面打破了这一瓶颈。它是一套面向海量 Token 生成范式而设计的混合视觉扩散骨干网络,并配备了一套严密的缩放配方。Chimera 将单流统一表示、线性复杂度的 Kimi Delta Attention(KDA)、多头潜在注意力(MLA)、模态感知短卷积(mSh...
最新研究提出的 Chimera 正面打破了这一瓶颈。它是一套面向海量 Token 生成范式而设计的混合视觉扩散骨干网络,并配备了一套严密的缩放配方。Chimera 将单流统一表示、线性复杂度的 Kimi Delta Attention(KDA)、多头潜在注意力(MLA)、模态感知短卷积(mSh...
针对这两大瓶颈,来自阿里达摩院、清华大学、浙江大学及北京清华长庚医院等机构的研究团队提出了 ClinFusion 。这是一个专门为全景医学理解设计的视觉中心多模态大语言模型系统。
面对上述两难,DreamTraj 提出了一种截然不同的范式:它不仅将推理接口极限压缩到仅需“单张 RGB 图像 + 一句自然语言任务指令”,而且彻底颠覆了依赖像素渲染的传统思路。研究人员发现,在大规模视频扩散模型的去噪早期阶段,其内部特征就已经形成了关于物体未来运动的高度结构化表征。
更关键的是,MiniWorld 提出了 块级非递减加噪调度(Chunk-wise Non-Decreasing Noise Schedule) : {% raw %} {% endraw %} 在一个由 个时间块组成的序列中,越靠近未来的时间块,被赋予的噪声水平 越高;历史块的噪声水平则更低甚...
发表于近期的一项研究提出了 TraceViT 。它的核心主张看似直观:既然人类在纸上推理时是逐步绘制草图,循环视觉模型的中间迭代也应当沿着一条语义连贯的“轨迹”逐步推进。然而,该研究揭示了一个反直觉的现象: 如果在循环模型中直接对中间状态施加轨迹监督,模型表现不仅不会提升,反而会直接掉点。
来自苏黎世联邦理工学院(ETH Zurich)、Google 与微软(Microsoft)的研究团队提出了 VidMap。该框架并没有在原有路径上做缝缝补补,而是系统性地将 SLAM 的时序约束与全局 SfM 的全局鲁棒优化结合在一起。
Visko Orbis 1.0 没有盲目堆叠全量历史上下文,而是提出了一套有界多尺度记忆(Bounded Multi-Scale Memory)架构: 近端与远端的分层组织 :在推演当前块时,离当前时间最近的几个潜空间时序块保持原始的高时间与空间分辨率,以便模型捕捉即时动作的连续性;而距离较远...
针对这一困境,研究团队在论文中正式定义了智能体多模态大模型合并任务(Agentic MLLM Merging),并提出了名为 AgentPatch 的免训练“由粗到细”(Coarse-to-Fine)弱任务修复框架。
HelloWorld:更为巧妙的是,这一能力并没有依赖昂贵的人工采集与精细标注,而是通过纯粹的 自蒸馏(Self-Distillation) 管线驱动:先用预训练视频生成模型自生成交互动作,再利用点云重渲染构建相机条件来微调轻量 LoRA。
JoyAI-Video-Edit 提出的 长时程自回归蒸馏(Long-Horizon Autoregressive Distillation, LHAD) ,巧妙地解决了长程稳定性与显存占用的矛盾。LHAD 采用了分段优化(Segmented Optimization)机制。
针对这一洞察,作者提出了无需训练的“锚定消息核心集剪枝”方法(Grounded Message Coreset Pruning,简称 GMC )。该方法不再纠结于单个 Token 的孤立打分,而是将视觉压缩重构为解码器消息的紧凑核心集(Coreset)构建与传输问题。
针对长视频理解中这种“固定设计难以应对多样化信息分布”的核心痛点,来自阿里巴巴、北京航空航天大学、字节跳动和浙江大学的研究团队提出了一套名为 MetaVideoAgent 的自动化演化框架。
香港科技大学(HKUST)的研究团队在最新论文中提出了 MCTS-Report 。该方法完全颠覆了预设的线性流水线,将表格生成多模态报告的过程重新形式化为结构化搜索空间中的树构建问题。
针对这一核心盲区,新基准 WorldExam 提出了从“表象外观(Apparent Appearance)”向“内在反应性(Inherent Reactivity)”跃升的四层诊断体系。
Rollplex:然而,当工程师们直接把为纯文本 LLM 设计的强化学习运行时架构(如 OpenRLHF、verl、ROLL 等)套用在 VLM 上时,会立刻撞上一堵无形的系统性能墙。
针对这一根本顽疾,来自北京邮电大学等机构的研究团队提出了全新的过程监督强化学习框架 VTO (Visual Tool Orchestration)。该工作彻底抛弃静态的端到端黑盒映射,将异常检测重构为一个在动态物理视频环境中主动探索、调用工具并吸收多模态反馈的认知决策过程。
实验结果揭示了现有防御令人担忧的脆性: 一旦消除了信息熵破绽,并封禁了长度特征,分类器的预警时机直接从第 7 步恶化推迟到了第 12 步,中位预警提前量被压缩殆尽;更致命的是,跨任务域的迁移能力发生断崖式暴跌,从数据库域迁移到 API 域时,模型几乎无法在新环境下建立有效判别面。
针对这一缺失,开源项目 JarvisHub 给出了一种全新的解题视角:它彻底放弃以线性对话记录为核心的交互范式,提出了一套 以画布为原生载体(Canvas-Native)的开源多模态创作智能体运行底座 。
Apple:针对上述痛点,研究团队提出了一种彻底解耦时序维度与深度维度的三组件流水线架构: 流式编码器(Streaming Encoder)、时间解码器(Temporal Decoder)与深度解码器(Depth Decoder) 。
针对这一矛盾,来自香港中文大学、香港科技大学、香港大学以及 Lightspeed 团队的研究人员提出了全新导航框架 MemVLN 。该工作从人类认知系统的双重记忆结构中汲取灵感:一方面引入 金字塔分辨率的情景记忆(Episodic Memory) ,在完整保留二维空间结构的前提下。
为了打破这一脱离临床现实的评测范式,来自哈尔滨工业大学、新加坡国立大学、北京协和医院以及 PuzzleLogic 的研究团队构建了专门评测多模态模型“主动寻证能力”的基准体系: PathAgentBench 。通过建立多尺度诊断树结构,他们测试了 20 个主流通用、医疗与病理专用大模型。
针对这一核心瓶颈,最新研究提出了 ActFovea 。这是一个完全即插即用(Plug-and-play)、无需重新训练或微调底层 VLA 模型的运行时安全守卫框架。
AMFD:快手与香港中文大学的研究团队在论文《Amortized Moment Matching for Visual Generation》中,从扩散去噪模型的数学本质出发,提出了一种全新的解决路径: 摊销矩匹配(Amortized Moment Matching) 。
来自德国波恩大学与 Lamarr 研究所的研究团队提出了一种名为 Contact Flow(接触流)的跨本体动作表征。该方法的核心直觉非常纯粹:在物理操作中,决定物体运动趋势的并非施动者长成什么模样,而是外力施加在物体表面的具体位置和运动方向。