G0.5：用单一自回归流统一推理与动作，登顶7大机器人基准！
G0.5: One Autoregressive Stream for Robot Reasoning and Action
在视觉-语言-动作（Vision-Language-Action, VLA）模型的演进路径上，行业正面临一个关键的架构分岔口。当前主流的范式倾向于将预训练的视觉语言模型（VLM）与一个独立训练的动作专家（如基于流匹配或扩散模型的策略头）拼接。这种设计虽然缓解了高频控制中的解码效率问题，但实质上将 VLM 降级为了一个单纯的上下文编码器，剥夺了其作为核心决策者的生成能力。针对这一根本性结构问题，G0.5 模型提出了一种截然不同的解法：重新回归自回归（Autoregressive, AR）生成范式，并通过统一的动作编解码器、原生思维链（Chain-of-Thought, CoT）以及短期视觉记忆模块，在单一 Transformer 解码器内同时生成推理与动作 Token。
ArXiv URL：https://arxiv.org/abs/2608.11739v1
这一架构的底层直觉在于，如果推理和动作共享同一套权重和同一个自回归目标，预训练 VLM 强大的多模态理解与上下文学习能力就能直接迁移到物理世界的物理行为中。实验数据直接验证了这一假设：G0.5 在真实机器人微调、长视野复杂任务、零样本泛化等 7 个独立评估体系中全面超越了现有的 SOTA 模型。特别是在真实环境下的 R1-Lite 和 R1-Pro 机器人微调测试中，G0.5 达到了 76.7% 的成功率，远超 $\pi_{0.5}$ 的 53.3% 和 GR00T-N1.7 的 24.4%；在 2025 BEHAVIOR 挑战赛的长视野移动操作任务中，它同样以 31.4% 的成绩击败了所有竞争对手。G0.5 的出现不仅是一个工程上的胜利，更在理论层面证明了让 VLM 重新扮演“行动者”而非“编码器”才是通向通用具身智能的正确道路。
范式之争：为什么 VLM 不应该只做编码器？
要真正理解 G0.5 带来的架构变革，首先需要审视当前 VLA 模型面临的瓶颈。早期的 VLA 系统（如 RT-2 和 OpenVLA）采用的是原生的自回归接口，将连续的机器人动作离散化后附加到语言词表中，由 VLM 与文本 Token 一起预测。这种方法的优势在于 VLM 本身就是决策者，但劣势同样明显：随着控制频率、任务视野和动作维度的增加，每个时间步所需的动作 Token 数量呈爆炸式增长，导致高频控制变得极其缓慢且计算成本高昂。
为了绕过这个效率瓶颈，行业迅速转向了“VLM作为编码器”（VLM-as-encoder）的架构。在 $\pi_0$、$\pi_{0.5}$ 以及 GR00T 系列中，预训练的 VLM 仅负责提供隐藏状态或 KV Cache，最终的连续动作分布由一个独立参数、独立目标的流匹配（Flow-matching）或扩散模型专家来生成。这种妥协虽然提升了动作生成的效率，但也付出了巨大的代价。
核心代价在于，VLM 的核心生成能力——包括思维链推理、上下文学习以及基于提示词的运动引导——只能通过一个被严重压缩的特征表示通道传递给动作专家。由于动作生成不再是 VLM 原生预测序列的一部分，语言指令对物理行为的细粒度控制力被大幅削弱。此外，这种架构还引入了严重的“灾难性遗忘”问题：当动作专家的梯度回传到 VLM 时，VLM 原本在海量互联网数据上建立的感知与语言能力会急剧退化。为了解决这个问题，许多研究不得不采用梯度截断（Knowledge Insulation）或引入辅助自回归目标，这恰恰从反面印证了自回归监督信号对维持 VLM 能力的不可或缺性。
G0.5 的研究团队选择直面自回归范式的原始缺陷，而不是将其抛弃。他们的核心主张是：统一模型使用同一套权重，在单一自回归 Token 流中同时生成推理和动作。通过引入高效的学习型动作分词器来消除 Token 膨胀，G0.5 成功保留了 VLM 作为生成式演员的角色，从而在物理操作中完全释放了多模态大模型的认知潜力。
跨具身动作编解码：打破异构数据的结构壁垒
要在大模型规模下让自回归动作生成变得可行，首要任务是设计一个能够将不同自由度、不同控制频率和不同形态的异构机器人动作映射到共享词表中的机制。现有的动作离散化方法要么对所有维度进行机械的分箱（Binning），要么像 FAST 那样对每个具身系统单独应用固定的 DCT 变换。这些做法忽略了机器人固有的形态拓扑结构，导致语义上相近的动作映射出差异巨大的 Token 序列，给 VLM 的优化带来了极大的噪声。
G0.5 引入了一个端到端学习的异构动作编解码器（Action Codec）。该模块彻底摒弃了将整个动作空间展平为单一向量的粗暴做法，而是将机器人的自由度按照独立的运动部位（例如左臂控制、右臂控制、下半身移动）进行结构化分解。每个部位被填充至共享的最大维度，随后通过残差向量量化（Residual Vector Quantization, RVQ）模型对分组后的动作进行编码。
在处理时间维度的平滑性时，研究团队在编解码器中加入了一个时间对比学习目标，强制要求时间上相邻的动作在离散 Token 空间中也保持高度一致性。这种设计大幅降低了 VLM 在预测连续运动轨迹时的难度。
更精妙的是，在生成 Token 序列时，G0.5 会显式地注入结构化的特殊标记。在图表中展示的生成片段中，动作跨度会被展开为 $R$ 个残差轮次，每一轮首先输出当前激活的自由度组标记（如 <left_control_r>、<right_control_r>），紧接着是该组对应的 8 个动作代码。这一机制赋予了模型极高的灵活性：在推理过程中，模型只需预测当前任务中真正需要运动的部位；对于处于静止状态的部位，模型可以直接跳过其 Token 的生成，完全无需像传统方法那样用零填充。这种动态的稀疏动作预测不仅提升了跨具身系统（如单臂、双臂、带底盘机器人）之间的数据共享效率，还从根本上解决了高频控制带来的自回归解码延迟问题。
原生思维链：将推理深深植入动作生成
在过往的具身智能研究中，为了增强 VLM 的物理智能，研究者通常会加入子任务分解或边界框预测等辅助视觉问答（VQA）任务。然而，这些任务往往仅在训练阶段作为额外的监督信号，从未真正参与到推理时的动作生成流水线中。另一种做法则是外挂式的思维链（Bolt-on CoT），即让一个高级 VLM 生成自然语言计划或二维路径，再喂给一个低级控制器执行。这使得“推理”沦为了模块间的接口，而非动作本身的内生属性。
G0.5 提出了一种更为原生的链式推理机制（Native Chain-of-Thought）。通过完全统一的自回归公式，G0.5 将中间推理目标直接交织在动作 Token 之前或之间。在训练阶段，模型被要求在预测动作前，选择性地生成四种自描述的推理目标：
第一是任务分解（Subtask），将高层指令转化为当前的原子操作；第二是关键物体定位（BBox），输出与当前子任务最相关的物体的边界框坐标；第三是运动规划轨迹（Trace），预测二维的末端执行器轨迹；第四是动作提示（ActionHint）。
这四种推理 Token 与视觉、语言、动作 Token 共享同一个解码器、同一个上下文窗口，并接受同一个标准的下一个 Token 预测交叉熵损失的优化：
\[\mathcal{L}(\theta)\;=\;-\!\!\sum_{i\in\mathcal{G}}\log p_{\theta}\bigl(x_{i}\mid x_{<i}\bigr)\]当推理与动作共享相同的生成流时，它们不再是割裂的两个阶段，而是同一生成过程耦合的两个相位。实验揭示了这种设计的巨大优势：在面对训练分布外的新场景和复杂的多阶段长指令时，G0.5 展现出了极强的零样本泛化能力。它能够准确分解任务，主动识别目标及其空间位置，并将这些中间推理结果作为强有力的上下文，引导后续的动作 Token 生成。更为关键的是，由于自回归接口保留了 VLM 完整的上下文语言能力，用户仅通过改变提示词的措辞（如修改副词修饰语、空间提示或同义动词），就能在不重新训练模型的情况下，直接改变机器人的行为粒度和操作策略。这种提示驱动的行为控制（Prompt-driven behavior control），在 VLM 仅作为编码器的架构中是极难实现的。
应对非马尔可夫挑战：短期视觉记忆模块
在真实的家庭环境中，移动操作任务充满了遮挡、视角切换和环境变化。仅依赖单帧图像进行决策，一旦机械臂遮挡了目标物体或任务需要多步协调，模型就极易陷入崩溃，这便是典型的非马尔可夫（Non-Markovian）挑战。
最直接的解决方案是直接拼接历史视觉 Token，但在高频控制场景下，这种做法会导致计算复杂度呈平方级爆炸，且极易让模型在遇到未见过的运动轨迹时产生状态漂移。为了在获取时间上下文和维持推理效率之间取得平衡，G0.5 引入了轻量级的短期视觉记忆机制。该模块在视觉 Transformer 内部每隔四层插入分解的空间与时间注意力模块，通过依次在时间步和空间块之间混合信息，高效地融合历史上下文。
为了严格限制计算延迟，模型在视觉编码器的最后一层会丢弃所有历史 Token 的计算图；同时在训练期间随机丢弃历史帧，迫使模型不至于过度依赖特定的历史轨迹从而引发过拟合。通过将离散的文本分词器替换为连续的状态嵌入，G0.5 实现了本体感觉输入与视觉帧的完美时间同步，使得持久的视觉上下文能够切实支持长视野控制和闭环的错误恢复重规划。
预训练数据合成与多阶段混合策略
支撑 G0.5 强大泛化能力的，是其背后复杂且极具针对性的预训练数据管道。模型的预训练混合了跨越 14 种不同真实与仿真机器人本体的大规模演示数据，以及海量的 Web 级视觉语言数据。
为了获取高质量的推理监督信号，研究团队构建了一个自动化多模态标注管道。该管道首先使用基于规则的时间分割技术识别动作片段和关键帧，随后调用 Gemini 3 和 Doubao Seed 2.0 Pro 等最先进的多模态大模型 API，为原始视频片段生成动作提示、原子任务描述和长视野指令。在视觉 grounding 方面，团队结合基础模型与 SAM3 跟踪算法，自动生成任务相关物体的逐帧边界框和分割掩码。此外，通过正向运动学将机器人关节姿态转化为三维末端执行器位置，并投影到头部相机的图像平面上，提取出精确的二维运动轨迹。
这些自动标注生成的数据不仅支撑了前面提到的四种原生思维链格式，还与传统的通用 Web VQA、具身 VQA 数据混合在一起进行了联合训练。所有数据均转化为动作繁重的混合样本，语言回答、思维链轨迹和动作代码在同一个自回归解码器下被同等对待并优化。这种协同训练策略确保了模型在掌握底层物理控制逻辑的同时，不会丧失通用大模型强大的常识推理和空间感知能力。
登顶七大基准：自回归架构的全面复兴
G0.5 在 7 个完全独立的评估体系中进行了详尽测试，这些测试覆盖了通用 VLA 模型所需具备的各种能力维度：真实世界物理微调、长视野家庭移动操作、零样本场景泛化、严格的语言指令遵循，以及多种标准化仿真测试平台。其结果清晰地证明了统一自回归架构的绝对优势。
在直接关系到物理部署可行性的真机微调任务中，G0.5 在 R1-Lite 和 R1-Pro 双臂平台上取得了惊人的表现。面对复杂的现实操作，G0.5 的成功率达到了 76.7%，对当前最强的一批开源与闭源竞争者形成了断层式的领先：同等条件下，基于扩散头的 $\pi_{0.5}$ 仅有 53.3% 的成功率，而 GR00T-N1.7 更是只有 24.4%。这充分说明了结构化动作分词与原生推理结合后，模型对物理本体的控制精度和鲁棒性得到了质的飞跃。
在衡量长视野任务规划能力的 2025 BEHAVIOR 挑战赛中，包含了 50 个极其复杂的家庭移动操作任务。G0.5 使用单一的通用策略，仅经过一个后训练周期，就斩获了 31.4% 的成功率，不仅超过了经过四轮训练的 $\pi_{0.5}$（26.3%），更直接击败了使用了四个检查点集成的原挑战赛冠军（26.1%）。这一结果直接印证了 G0.5 将任务分解（Subtask）嵌入到动作生成流中的优越性，使其在多阶段操作中不易迷失方向。
在通用泛化能力的试金石——DROID 后训练与零样本转移测试中，模型需要在未见过的物理环境和从未接触过的物体实例上执行任务。G0.5 在此项测试中达到了 82.5% 的惊人成功率。而在侧重语言指令理解的 Pick-and-Place 基准测试，以及 LIBERO（98.9%）、RoboTwin 2.0（93.3%）、SimplerEnv-Bridge（87.3%）这三大标准化仿真套件中，G0.5 同样无一例外地刷新了 SOTA 记录。
数据背后更深刻的启示在于，当在语言跟随和多阶段执行上进行横向对比时，G0.5 大幅领先于那些把 VLM 当作编码器的模型。这有力地支撑了论文开篇的假设：一旦 VLM 被降级为条件编码器，其基于语言的结构化推理能力在向物理动作映射时就会发生严重的结构性衰减。
结语与启示
具身智能的发展路线不应是不断在受限的 VLM 基础之上叠加越来越复杂的动作专家模块，而应让 VLM 保持其预训练时的核心身份：一个既能推理，也能行动，还能在上下文中记忆和自适应的自回归智能体。G0.5 用极其亮眼的 7 大基准霸榜数据证明，只要合理解决异构动作的分词压缩问题，并巧妙地将思维链推理编织进动作 Token 流中，原生的自回归 VLA 模型就能展现出惊人的潜力。这不仅为大模型驱动的物理控制提供了一个全新的基座，更宣告了自回归范式在具身领域的强势回归。在通向下一代通用机器人的道路上，统一的生成流，或许才是解开认知与物理行动之间隔阂的真正钥匙。