具身智能

具身操作最新综述!五层数据金字塔与大模型训练配方全景解析

这篇综述所提出的 五层数据金字塔 ,不仅是对现有数据集碎片化现状的分类总结,更为下一代具身大模型指明了研发全景:未来的系统不可能依赖单一数据源取得成功,而是必然走向以通用图文铸造通用认知、以合成仿真扩张探索广度、以手持人机视频汲取多样技巧,并最终以高保真真机触视觉数据完成严苛物理接地的混合共融之路。

GraphThink:引入双图先验,具身长程规划成功率达到90%

针对这一系列痛点,来自北京智源人工智能研究院、清华大学、中国人民大学、香港理工大学等机构的研究团队提出了 GraphThink 框架。该研究的核心洞察在于:不能把长程规划完全寄托于大模型的自由文本生成,而是应当在任务逻辑与物理环境之间构建结构化的约束网络。

Robust-WAM:对齐未来语义预见,具身世界动作模型真机OOD达80%

针对这种两难境地,来自北京航空航天大学、华为与香港科技大学的研究团队提出了 Robust-WAM 。这是一种面向基于视频生成的通用后训练(Post-training)方法,其核心思想并非推倒重建潜空间,而是在保留原有 VAE 生成路径以继承动力学先验的同时。

UniTexture:单一3D物体纹理跨任务攻破VLA,成功率从90%腰斩至48.4%

由北京邮电大学、MBZUAI、同济大学和电子科技大学等机构联合提出的 UniTexture 正式给出了令人警惕的答案。作为针对多任务 VLA 模型的跨任务通用 3D 对抗纹理攻击,UniTexture 仅优化单一物体的 3D 表面贴图,便在无需针对具体任务二次调优的前提下。

Enfold:将世界模型的未来想象折叠进当前表征,控制延迟缩减10倍

研究团队提出了一种全新的具身控制范式,将世界模型在去噪与生成过程中展现的多层级时空计算,完整“折叠”(Enfold)进一个仅依赖当前视觉和语言指令的预测性表征中。在部署阶段,策略完全无需运行沉重的视频生成器,仅靠轻量级编码器即可直接输出动作。

EMRD框架:具身VLM真懂应急逃生?决策靠文本偏见而非空间证据

EMRD:空间理论(ToS)框架首次提出了“空间信念探测”(Spatial Belief Probing),要求智能体在好奇心驱动下自主探索未知环境,并将内部隐式记忆显式转化为连续的拓扑认知地图。本项研究将这一理念推进到了生命安全至上的应急避难维度。

LAWM-3D:破解人类视频动作捷径,具身世界模型泛化新范式

为此,研究团队提出了 LAWM-3D 框架,通过揭示并修补传统自监督训练中的“信息泄露捷径”,首次在无标注视频中成功提取出具有真实 3D 几何一致性的潜在动作,并在 16 项评测指标与严苛的分布外(OOD)泛化测试中刷新了 SOTA 表现。

4D-WAM:给自动驾驶世界模型注入4D几何监督,高难榜单提升3.7分

针对这一根本性断层,来自美的集团、中国科学技术大学、西安交通大学与引望智能的研究团队提出了 4D-WAM 。该工作首次将前沿的几何基础模型作为训练期的离线几何导师,为联合预测的未来视频施加 4D 一致性约束;同时揭示了世界模型去噪过程中的“早期决策现象”,提出针对关键决策阶段的时间步重采样策略。

SALT:动作对齐语言,机器人控制成功率从42.7%提升至71.9%

为了解决这一隐蔽的表征瓶颈,本文提出了 SALT (Semantically ALigned action Tokenizer,语义对齐动作分词器)。它打破了传统动作分词器只顾拟合轨迹坐标的范式,通过引入一个冻结的视觉语言模型(VLM)监督量化后的动作潜在表征,要求其反向推断出任务指令。

360CityArena:东京大学实景重建秋叶原,最强AI导航得分仅17.1%

为了打破这种“模拟器内很漂亮,一上街就抓瞎”的困境,来自东京大学的研究团队提出了全新基准 360CityArena 。该工作直接利用 602 段连续拍摄的 360 度全景视频,在 Unity 引擎中高保真重建了日本东京著名的秋叶原核心街区。

SiMDex:像推荐系统一样精选5%人类视频,灵巧手成功率达61.1%

面对这个难题,来自字节跳动、上海交通大学、清华大学、香港大学和东京大学的研究团队提出了全新视角:将大模型时代的后训练数据选择转化为一个成熟的“工业级推荐系统问题”,并推出了相似性数据挖掘框架 SiMDex 。

BrainWAM:动作空间解耦打破跨模态干扰,NAVSIM双榜达89.6分

为了解决这一由于多模态注意力竞争导致的性能倒退,研究团队提出了 BrainWAM 。该框架受人类大脑左右半球分工与小脑协调机制的启发,放弃了在底层原始 Token 空间的暴力混合,转而在高维紧凑的“动作空间”中对语义先验与预测动力学进行结构化对齐。

DriveVLA-M0:结构化失败记忆解耦修正,26ms低延迟拿下94.1分

来自中国科学院与重庆长安科技的研究团队提出了 DriveVLA-M0 。这项工作不再试图通过无休止的离线全量重训来抹平所有长尾错误,而是开创性地为自动驾驶VLA系统构建了一套带有“失败感知”的结构化隐式记忆库与测试时自适应机制。