Robostral Navigate：单目视觉超越多相机系统，训练Token缩减22倍

Robostral Navigate

当整个行业都在试图通过堆叠激光雷达、深度相机全景阵列甚至预先构建的高精地图来提升机器人的导航成功率时，Mistral 团队给出了一个截然不同的答案。他们带来的最新成果 Robostral Navigate，不仅是一个拥有 80 亿参数的视觉语言模型（VLM），更代表了一种极简、高泛化性的具身智能扩展路线。

ArXiv URL：https://arxiv.org/abs/2607.20785

这项工作证明了一个反直觉的结论：只要表征方法和训练策略得当，仅依靠最廉价、最普及的传感器——单目 RGB 摄像头，其导航表现就能彻底击败那些武装到牙齿的多传感器系统。在极具挑战性的 R2R-CE（连续环境下的房间到房间导航）基准测试中，Robostral Navigate 取得了 77.4% 的惊人成功率，不仅将其他单目方案远远甩开 10.5 个百分点，更是超越了搭载深度相机的最强基线 5.3 个百分点。

优异的成绩背后，是针对模型架构和训练流水线的全面重构。为了让 8B 模型能够在数百万条轨迹上进行经济可行的训练，研究团队引入了一种基于树状前缀缓存（Prefix-caching）的注意力机制，将导航动作序列的训练 Token 数量硬生生压缩了 22 倍，把原本需要耗费数月的集群计算时间缩短到了短短几天。Robostral Navigate 为通用机器人的规模化部署提供了一套几乎无需定制校准的标准配方。

抛弃物理坐标系：在像素空间里“指点江山”

当前大多数主流视觉导航策略，都在试图让模型直接预测机器人当前的物理位移坐标（例如向前移动 1.2 米，向右偏转 30 度）。这种方法的硬伤在于，物理坐标系与机器人的具体物理形态（底盘大小、轮距、重心位置）以及相机的硬件安装参数（高度、俯仰角、FOV）深度绑定。一旦从一台大型送货机器人切换到一台低矮的家庭扫地机，原本在特定物理坐标下训练出的策略就会完全失效，必须重新收集数据并进行微调。

Robostral Navigate 为了彻底打破这种硬件壁垒，提出了一种全新的“视觉指向（Pointing）”机制。模型不再强行输出特定于某台机器人的几何位移，而是直接在当前摄像头的图像画面中，推断出下一个目标航点所在的像素坐标。

具体来说，当模型接收到环境指令并看到 RGB 图像时，它会输出一个视觉动作向量 $a_{\text{vis}}=(u,v,\Delta x,\Delta y,\Delta\theta)$，其中 $(u,v)$ 直接对应于图像平面上的一个像素点，指示着“你应该往那个点移动”。这种完全在图像空间中运作的策略，天然具备了对相机内参变化和场景绝对物理尺度的鲁棒性。

当然，系统也考虑到了特殊情况。当下一个导航目标暂时处于当前摄像头的视野盲区（例如需要向后转）时，指向机制会失效，此时模型会平滑地退回到无视觉锚点的度量位移输出 $a_{\text{invis}}=(\Delta x,\Delta y,\Delta\theta)$。此外，当判断任务已经达成时，模型会主动输出 STOP 信号。这种将几何推理转化为视觉 grounding 任务的做法，极大降低了具身模型的跨平台迁移阻力。

“大小脑”分工的混合系统架构

在解决了动作表征问题后，如何将高维度的宏观规划转化为电机可以执行的连续高频指令，是所有基于 LLM/VLM 的具身智能方案面临的共同挑战。大模型虽然具备强大的空间推理和指令理解能力，但其巨大的参数量注定了推理延迟无法满足底层控制所需的实时性。

为了兼顾“深度思考”与“敏捷反应”，Robostral Navigate 采用了一种精巧的串联式双层架构：

第一层是作为“大脑”的 8B 参数 Robostral Navigate 视觉语言模型。它的前身是针对空间定位、物体计数等任务训练的 VLM，具有极强的场景理解能力。在导航任务中，大模型以较低的 0.5 赫兹频率运行，它的唯一任务就是阅读自然语言指令、观察历史帧，并利用前文提到的“指向”机制，在画面中找出粗略的下一个航点。

第二层则是作为“小脑”的轻量级扩散策略网络（Diffusion Policy）。这是一个仅有 1.21 亿参数的扩散 Transformer 模型，专门负责处理执行层的几何理解。它接收大模型给出的航点信息、大模型推理那一刻的上下文图像帧 $O_{t_{\text{vlm}}}$、机器人当前的最新图像帧 $O_{t}$，以及机器人的基本体型参数（高度和半径）。扩散模型以 10 赫兹的高频，生成未来一秒内的 30 步密集位移序列 $(dx, dy, d\theta)$。随后，特定于具体机器人硬件的运动跟踪控制器会将这些位移指令转换为 100 赫兹的电机扭矩。

这种解耦设计的绝妙之处在于，沉重的语义理解与轻巧的运动执行被完美分开。即便因为 VLM 推理耗时导致 $O_{t_{\text{vlm}}}$ 和 $O_{t}$ 之间存在微小的延迟差，扩散策略网络也能通过比对这两帧图像，修正机器人在大模型思考期间产生的位移偏差，确保导航轨迹的平滑。

为了验证这种设计的泛化上限，研究团队特意在生成训练数据时，对机器人的高度（0.4至1.8米）、半径（0.15至0.45米）、相机安装高度和俯仰角进行了大幅度的随机扰动。结果证明，无需任何额外的重新训练，同一套 Robostral Navigate 权重可以完美部署在形态差异巨大的 Galaxea R1 和 Hiwonder JetAuto 平台上，展现出了极强的跨实体泛化性能。

训练范式革命：用前缀缓存将数月时间压缩至几天

具身导航任务，尤其是像 RxR-CE 这样包含超长语言指令和跨楼层复杂轨迹的任务，对基于 Transformer 的模型训练提出了极高的要求。在传统的自回归训练模式下，为了让模型在时间步 $t$ 预测出动作 $a_{t}$，必须将最初的语言指令 $I$ 和从时刻 $0$ 到时刻 $t$ 的所有历史图像帧拼接成一个长序列。随着轨迹不断推进，序列长度呈二次方级数增长，这不仅消耗海量的 GPU 显存，还会导致巨大的重复计算。

如果在 35 万个模拟场景中生成的 240 万条轨迹都按照这种极其冗余的方式进行监督微调（SFT），训练周期将长达数月，这在工程上是不可接受的。

为了攻克这一算力瓶颈，Robostral Navigate 团队引入了一种巧妙的前缀缓存（Prefix-caching）训练方法。其核心思想是将整个导航回合（Episode）打包成一个单一的连续训练序列：

\[I|O_{0}|a_{0}|\dots|O_{n}|a_{n}\]

表面上看，这只是简单地把所有信息首尾相连。但为了防止模型在预测中间动作时“偷看”到未来的动作标签或画面，团队精心设计了一种基于前缀树（Prefix Trees）的树状注意力掩码（Tree-based attention mask）。

在这种掩码机制下，所有共享相同起始状态的轨迹分支都可以复用底层的 K-V 缓存，同时严格阻断了时间线向后的信息流动。模型在时刻 $i$ 推断时，只能关注到当前的图像 $O_{i}$ 以及之前的所有状态，而绝不会受到此前正确动作标签（Ground-truth actions）的直接干扰。这种机制强制模型基于视觉信息来生成接下来的动作，而不是简单地顺着上文的动作标签进行无脑续写。

这一看似底层的计算图优化，为整个系统带来了惊人的收益：它在没有丢弃任何一个动作预测目标的前提下，将训练 Token 总数硬生生削减了 22 倍。在实际操作中，这不仅极大缓解了显存压力，更是将长达数月的分布式训练硬生生压缩到了几天之内，确立了一套极具经济性的高效训练基准。

在线强化学习与长尾环境的突围

通过大规模仿真数据和前缀缓存技术完成监督微调（SFT）后，模型已经具备了相当优秀的导航能力，但团队并未止步于此。在面对极度复杂的室内布局、充满歧义的自然语言指令，或是需要经历漫长路程的长视距任务时，纯粹基于 SFT 的策略依然会暴露脆弱性——一旦在路口走错一步，往往难以自行纠错恢复，最终导致任务失败。

为了弥合这一差距，Robostral Navigate 引入了基于 CISPO 算法的在线强化学习（Online RL）阶段。

实施涉及超大参数量视觉大模型的在线 RL，是一项极其苛刻的系统工程挑战。与仅仅依靠文本环境的 RL 不同，具身环境下的 RL 需要同时调度三大极为消耗算力的模块：

物理与渲染引擎：需要消耗大量显存来渲染高保真的物理仿真画面，维持数百个并行环境的运转。
分布式推理引擎：以 vLLM 为代表的高吞吐引擎，负责自回归地为所有并行环境生成动作。
训练节点：收集轨迹数据并执行分布式的权重梯度更新。

如果这三个系统发生死锁或算力争抢，整个训练流就会停滞。研究团队通过极度精细的集群资源分配，确保了渲染和推理引擎之间的高效异步轮询，避免了昂贵的 GPU 算力闲置。

在数据的利用上，RL 阶段也采取了极其务实的“困难样本挖掘”策略。团队首先运行 SFT 策略，专门筛选出那些模型无法稳定到达目标的失败轨迹，构成了一个包含 3.5 万个任务的“困难子集”。在线强化学习将算力完全聚焦于这些模型最不擅长、最容易迷失的死角。

更有趣的是，为了加快收敛，RL 过程没有采用完全随机洗牌（Random shuffling）的数据输入方式，而是将同一物理场景（Scene）下的多个不同导航任务打包进同一个批次中。这就形成了一种隐式的“视觉课程学习（Visual Curriculum）”——模型在一个批次内始终浸泡在相同的视觉风格、光影条件和材质特征中，只需专心攻克路径规划的难题，而不用在每一条轨迹切换时重新适应全新的视觉环境。

最终，通过强化学习中基于目标距离反馈（$-{\max}(2,\text{dist_to_goal})$）的惩罚机制，模型不仅学会了更高效的路径探索，更获得了关键的纠错恢复能力，使得其在长指令任务中的成功率再度实现了显著跃升。

重新定义单目视觉的边界与未来

最终的基准测试结果，为上述一系列架构和训练创新提供了强有力的背书。

在主流的 R2R-CE（未见过的连续环境测试集）中，Robostral Navigate 以 77.4% 的成功率刷新了行业天花板。这一数据证明了，即便不依赖激光雷达或深度摄像头这些能直接提供三维空间信息的昂贵传感器，仅靠单颗最普通的 RGB 摄像头，先进的视觉大模型结合图像空间内的“指向”机制，依然能够构建出比多模态融合系统更为精确的路径认知。

而在指令更长、环境更为复杂的 RxR-CE 纯英文验证集上，基于 SFT 的版本已经表现不俗（71.2%），但在加入在线强化学习阶段后，模型成功率一举拉升 3.9 个百分点，达到 75.1% 的最高纪录。这不仅标志着它在路径完成度上的压倒性优势，其 SPL（由路径长度加权的成功率）指标同样优异，这意味着模型不仅能找到目标，而且极少绕弯路，其探索轨迹甚至比那些依赖深度信息的基线模型更加干脆利落。

从宏观角度来看，Robostral Navigate 的意义远超于在两个基准测试中刷榜。在具身智能硬件日益繁杂、数据收集成本高昂的今天，Mistral 团队实质上提供了一份通用机器人操作系统的先导范本：用最少的传感器假设换取最广的硬件兼容性，用高频次轻量级小模型弥补大模型的执行延迟，再用高效的缓存机制将昂贵的计算成本打碎。这无疑为整个具身智能向真实物理世界的规模化拓展，指明了一条极具可行性的新路。