CMU提出MiDAS:仅靠1次示范+在线残差RL,打通具身大模型自主微调
针对这一瓶颈,来自卡内基梅隆大学(Carnegie Mellon University, CMU)的研究团队提出了一种更加逼近全自主进化的新范式—— 极简数据自适应(Minimal-Data Adaptation, MDA) 。
针对这一瓶颈,来自卡内基梅隆大学(Carnegie Mellon University, CMU)的研究团队提出了一种更加逼近全自主进化的新范式—— 极简数据自适应(Minimal-Data Adaptation, MDA) 。
来自阿里巴巴达摩院与湖畔实验室的研究团队提出了具身价值基石模型 RynnValue 。该工作放弃了主观的偏好标注与归一化的虚拟进度,直接回归最优控制理论中最本质的物理物理量: 时间距离(Temporal Distance) 。
中关村学院等机构提出的 World Tokens 给出了一条极具启发性的破解思路: 将世界模型完全限制在训练阶段,推理部署时彻底剥离 。该方案既保留了世界模型带来的物理时空演进监督,又让在线推理维持在毫秒级的纯 VLA 延迟水平。
针对这一根本痛点,来自北京大学、北京理工大学、EvoPhys AI 以及香港科技大学等机构的研究团队提出了名为 WorldSimProbe 的系统性诊断基准。该研究不再把世界模型当成单纯的视频生成器,而是将其拉回物理模拟器的严苛标准进行检验,提出了具身物理模拟必须满足的“可观测模拟器契约”。
针对端到端策略这一根本缺陷,论文《World Action Planner: Generalizable Decision-Making with Action-Conditioned World Models》提出了全新的破局思路—— World Action Planner (简称 WAP )。
由来自 Drexel、Northeastern、Purdue 和 Virginia Tech 的研究团队最新提出的 GlanceWAM ,给出了破解这一困局的优雅答案。该工作指出,现存的“速度与成功率不可兼得”并非视觉前瞻本身的内在缺陷,而是因为传统方案机械地把庞大的视频生成绑死在毫秒级的高频...
为打破这一僵局,来自北京航空航天大学、京东科技与北京大学的研究团队提出了可扩展的数据合成管线 MAGE ,并基于其构建了首个大规模家电操作规划数据集 UseAppliance 。
让机器人学会干活,当前最火的路线莫过于以视觉-语言-动作(VLA)为代表的端到端大模型。将现场摄像头的画面与自然语言任务指令输入进去,神经网络便能直接输出机械臂关节的控制量。
在视觉-语言-动作(VLA)模型的后训练阶段,强化学习(RL)正在成为突破模仿学习天花板的关键路径。然而,当前主流的Actor-Critic范式在机器人操控任务中遭遇了一个隐蔽却致命的瓶颈:大多数Critic模型要么只基于单帧视觉观测,要么直接依赖预训练VLM的单帧隐层特征来估计状态价值。
在具身智能(EmbodiedAI)的研究中,视觉-语言-动作(Vision-Language-Action,VLA)模型正逐渐成为通向通用机器人操作的核心范式。从基于自回归离散编码生成的OpenVLA,到基于连续轨迹去噪扩散的与CogACT,主流架构都在努力建立“看到什么,就执行什么”的端到端...
大语言模型与多模态视觉模型(VLM)正在迅速成为具身智能体的“推理大脑”。然而,真正将视觉语言模型置于物理机器人中时,研究者往往会遭遇一个尖锐的矛盾:机器人的真实执行过程本质上是高频迭代的动态闭环,机器人的每一次机械臂抬起、每一次底盘移动,都会立即重构周围的几何场景与物理状态,从而不断产生全新...
在具身智能与机器人控制领域,视觉-语言-动作模型(Vision-Language-Action,VLA)在过去两年中确立了统治地位。从RT-2到OpenVLA,主流的研究范式几乎全部围绕着一个核心思路展开:将庞大的大语言模型(LLM)作为感知与动作之间的中央处理器。
在具身智能(EmbodiedAI)的实际部署中,环境始终充满了不确定性。无论是执行过程中的物理偏移、传感器带来的部分可观察性,还是多智能体协同中的突发状况,都迫使智能体必须频繁地进行“重新规划(Replanning)”以纠正错误。
在视觉-语言-动作(Vision-Language-Action,VLA)模型的演进路径上,行业正面临一个关键的架构分岔口。当前主流的范式倾向于将预训练的视觉语言模型(VLM)与一个独立训练的动作专家(如基于流匹配或扩散模型的策略头)拼接。
当前具身智能与机器人学习正经历一场深度的范式革命。以往大放异彩的视觉-语言-动作模型(Vision-Language-Action,VLA)正逐渐暴露出其在物理世界中的局限性。以直接将多模态观察映射为底层动作为核心,这些模型本质上仍是“纯反应式”的系统。
自动驾驶的“认知”革命:大模型如何攻克7大核心推理挑战?。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
本文提出了DR. WELL,一个去中心化的神经符号框架,该框架通过结构化的协商协议和动态演化的符号世界模型,使基于大语言模型(LLM)的具身智能体能够高效地进行协作规划、学习与自我优化。
面向具身智能的世界模型综合综述。本文系统梳理其研究背景、核心方法、关键实验结果、现有局限以及后续工程实践启示。
A Vision-Language-Action Flow Model for General Robot Control。
本文介绍了 BridgeData V2,一个大规模、多样化的机器人操作行为数据集,旨在推动可扩展机器人学习的研究。该数据集包含在24个环境中、使用一个公开可用的低成本机器人收集的超过6万条轨迹,并证明了其能够支持多种主流学习算法训练出可泛化到新任务、新环境甚至新机构的策略。
本文提出了一套名为 ALOHA 的低成本开源双臂遥操作硬件系统,并结合一种名为 ACT 的新型模仿学习算法,通过预测动作序列(Action Chunking)而非单步动作,成功地让低成本机器人学会了多种以往需要昂贵设备才能完成的精细操作任务。
本文介绍了一款名为 Octo 的开源通用机器人策略 (generalist robot policy),它是一个基于 Transformer 的大型策略模型,在迄今为止最大的机器人操作数据集 (Open X-Embodiment) 的 800k 条轨迹上进行预训练,能够通过简单的微调高效适应具...
OpenVLA是一个开源7B视觉语言动作模型,使用97万条真实机器人演示进行训练。本文解读其视觉编码、语言骨干和动作预测方式,说明LoRA微调及量化部署的实验结果,并讨论跨机器人适配、计算资源和实际使用边界。
本文提出了一种具身多模态语言模型 PaLM-E,通过将图像等连续的真实世界传感器数据直接注入到预训练语言模型的词嵌入空间,从而在一个统一的模型中实现了机器人规划、视觉问答和语言理解等多种任务,并证明了跨领域联合训练带来的正向知识迁移效应。