具身操作最新综述!五层数据金字塔与大模型训练配方全景解析
这篇综述所提出的 五层数据金字塔 ,不仅是对现有数据集碎片化现状的分类总结,更为下一代具身大模型指明了研发全景:未来的系统不可能依赖单一数据源取得成功,而是必然走向以通用图文铸造通用认知、以合成仿真扩张探索广度、以手持人机视频汲取多样技巧,并最终以高保真真机触视觉数据完成严苛物理接地的混合共融之路。
这篇综述所提出的 五层数据金字塔 ,不仅是对现有数据集碎片化现状的分类总结,更为下一代具身大模型指明了研发全景:未来的系统不可能依赖单一数据源取得成功,而是必然走向以通用图文铸造通用认知、以合成仿真扩张探索广度、以手持人机视频汲取多样技巧,并最终以高保真真机触视觉数据完成严苛物理接地的混合共融之路。
针对这一系列痛点,来自北京智源人工智能研究院、清华大学、中国人民大学、香港理工大学等机构的研究团队提出了 GraphThink 框架。该研究的核心洞察在于:不能把长程规划完全寄托于大模型的自由文本生成,而是应当在任务逻辑与物理环境之间构建结构化的约束网络。
来自云知声、自然资源部、深信服、深圳理工大学和天津大学等机构的研究团队提出了 LiLa-WAM (Lightweight Latent Reasoning World-Action Model)。它打破了传统世界模型必须依赖几十上百卡算力集训的门槛, 仅凭一张消费级 24GB 显存显卡即可实现...
针对这种两难境地,来自北京航空航天大学、华为与香港科技大学的研究团队提出了 Robust-WAM 。这是一种面向基于视频生成的通用后训练(Post-training)方法,其核心思想并非推倒重建潜空间,而是在保留原有 VAE 生成路径以继承动力学先验的同时。
针对这一系列痛点,来自复旦大学、帕西尼感知科技(Paxini Tech)、上海创新研究院、上海交通大学以及浙江大学的研究团队提出了一个统一的视觉-语言-动作(Vision-Language-Action, VLA)框架—— AdvDex 。
由北京邮电大学、MBZUAI、同济大学和电子科技大学等机构联合提出的 UniTexture 正式给出了令人警惕的答案。作为针对多任务 VLA 模型的跨任务通用 3D 对抗纹理攻击,UniTexture 仅优化单一物体的 3D 表面贴图,便在无需针对具体任务二次调优的前提下。
针对这一瓶颈,弗赖堡大学团队提出了一套轻量级且与底层策略无关的全新框架 DynaMAC (Dynamic Multi-Agent Cooperation)。该方法巧妙地将对侧手臂的末端执行器建模为一个动态任务参数(Dynamic Task Parameter)。
针对这一核心瓶颈,最新研究提出了 ActFovea 。这是一个完全即插即用(Plug-and-play)、无需重新训练或微调底层 VLA 模型的运行时安全守卫框架。
研究团队提出了一种全新的具身控制范式,将世界模型在去噪与生成过程中展现的多层级时空计算,完整“折叠”(Enfold)进一个仅依赖当前视觉和语言指令的预测性表征中。在部署阶段,策略完全无需运行沉重的视频生成器,仅靠轻量级编码器即可直接输出动作。
EMRD:空间理论(ToS)框架首次提出了“空间信念探测”(Spatial Belief Probing),要求智能体在好奇心驱动下自主探索未知环境,并将内部隐式记忆显式转化为连续的拓扑认知地图。本项研究将这一理念推进到了生命安全至上的应急避难维度。
为此,研究团队提出了 LAWM-3D 框架,通过揭示并修补传统自监督训练中的“信息泄露捷径”,首次在无标注视频中成功提取出具有真实 3D 几何一致性的潜在动作,并在 16 项评测指标与严苛的分布外(OOD)泛化测试中刷新了 SOTA 表现。
由中国科学院空天信息创新研究院、目标认知与应用技术重点实验室以及上海交通大学人工智能学院等机构组成的研究团队,提出了名为 Lingjing (灵境)的开放城市异构多智能体具身仿真评测平台。
为了打破这种“见过即会、重组即废”的僵局,来自北京师范大学、南洋理工大学与清华大学的研究团队提出了名为 SkillMemo(Skill-Based Memory)的技能记忆增强框架。
W2-VLA:为了打破这一瓶颈,研究团队提出了 。该框架并没有在像素空间去费力重建未来的整幅图像,而是巧妙地在潜空间(Latent Space)中打通了一条“从世界到手腕”(World-to-Wrist)的前瞻通路。
针对这一根本性断层,来自美的集团、中国科学技术大学、西安交通大学与引望智能的研究团队提出了 4D-WAM 。该工作首次将前沿的几何基础模型作为训练期的离线几何导师,为联合预测的未来视频施加 4D 一致性约束;同时揭示了世界模型去噪过程中的“早期决策现象”,提出针对关键决策阶段的时间步重采样策略。
为了打破空间几何与人类动态行为之间的隔阂,来自 Google Research、马普所(IMPRS-IS)、慕尼黑工大(TUM)、KTH 及斯图加特大学的研究团队联合提出了 GESTO (Grounded Event and Spatio-Temporal memOry)。
为了解决这一隐蔽的表征瓶颈,本文提出了 SALT (Semantically ALigned action Tokenizer,语义对齐动作分词器)。它打破了传统动作分词器只顾拟合轨迹坐标的范式,通过引入一个冻结的视觉语言模型(VLM)监督量化后的动作潜在表征,要求其反向推断出任务指令。
为了打破这一困局,来自星尘智能(Astribot)、云天励飞、聚溪科技、香港中文大学与清华大学的研究团队提出了一种名为 ART(Agentic Robot with Tool-use)的全新工具注入微调框架。
针对这一瓶颈,研究者们提出了 OAT (Ordered Action Tokenization,有序动作离散化)。OAT 的核心洞察在于,一个优秀的机器人动作分词器不能仅仅充当离线的无损压缩工具,而必须成为深度契合策略生成与监督特性的“交互接口”。
为了打破这种“模拟器内很漂亮,一上街就抓瞎”的困境,来自东京大学的研究团队提出了全新基准 360CityArena 。该工作直接利用 602 段连续拍摄的 360 度全景视频,在 Unity 引擎中高保真重建了日本东京著名的秋叶原核心街区。
来自中国科学院、上海交通大学以及上海期智研究院的研究团队针对该瓶颈,提出了软硬件协同设计的专用加速框架 Deltoris。该框架敏锐地抓住了机器人高频控制场景中的物理连续性特征——相邻两帧之间的视觉和状态输入往往拥有高达 98% 的冗余。
面对这个难题,来自字节跳动、上海交通大学、清华大学、香港大学和东京大学的研究团队提出了全新视角:将大模型时代的后训练数据选择转化为一个成熟的“工业级推荐系统问题”,并推出了相似性数据挖掘框架 SiMDex 。
为了解决这一由于多模态注意力竞争导致的性能倒退,研究团队提出了 BrainWAM 。该框架受人类大脑左右半球分工与小脑协调机制的启发,放弃了在底层原始 Token 空间的暴力混合,转而在高维紧凑的“动作空间”中对语义先验与预测动力学进行结构化对齐。
来自中国科学院与重庆长安科技的研究团队提出了 DriveVLA-M0 。这项工作不再试图通过无休止的离线全量重训来抹平所有长尾错误,而是开创性地为自动驾驶VLA系统构建了一套带有“失败感知”的结构化隐式记忆库与测试时自适应机制。