小米DriveZero：不依赖人类示范，端到端自动驾驶如何超越真人？
DriveZero: End-to-End Driving Beyond Human Demonstrations
当前绝大多数端到端自动驾驶系统，本质上都是大型的“人类驾驶模仿器”。工程师们采集数百万公里的真实路测日志，用传感器输入作为自变量，将人类司机的油门、刹车与转向作为标签进行监督学习。这种模仿学习范式虽然扩展性极佳、工程实现稳定，却隐蔽地埋下了一个不可忽视的天花板：系统的驾驶能力被牢牢框死在人类驾驶数据的质量与覆盖度之内。在海量的离线日志中，面对同一处复杂的路况，往往只存在一种已经发生的、且不一定是全局最优的人类轨迹；至于边缘极端工况、安全防御性操作以及车辆失控边缘的自救策略，在常规日志里更是近乎空白。一旦策略在真实行驶中偏离了数据分布，复合误差便会迅速累积，导致灾难性的失误。
ArXiv URL：https://arxiv.org/abs/2609.06055v1
近期，小米团队提出了名为 DriveZero 的全新端到端自动驾驶框架，试图从底层打破对人类轨迹监督的绝对依赖。这项研究的核心结论非常直截了当：即便完全不使用任何人类驾驶轨迹作为训练目标，端到端系统不仅能够学会复杂路况下的闭环驾驶，而且在多个公认的基准评测中超越了真实人类司机以及传统回放专家。在 NAVSIMv1 的 navtest 评测集上，DriveZero 跑出了 95.3 的 PDMS 分数，超越了人类驾驶基线（94.8）；在更高难度的 NAVSIMv2 以及真实闭环基准 HUGSIM 上，同样刷新了纪录。
这一突破并非依赖某种单一的算法魔术，而是源于对端到端系统内部“感知”与“动作”本质差异的彻底解耦与针对性重构。
感知与动作的解耦：端到端探索的本质矛盾
如果人类司机的离线日志不足以提供完美的监督，强化学习（Reinforcement Learning, RL）自然是最具潜力的替代路径。闭环强化学习允许智能体在环境中持续试错，亲身观察自身决策引发的连锁后果，并学会如何从扰动和危险状态中自我拯救。然而，在自动驾驶领域直接做“像素级到控制动作”的端到端强化学习，一直面临着巨大的算力天堑：视觉仿真环境的渲染极其昂贵，高维图像空间中的动作探索样本效率极低，这让大规模闭环在线强化学习几乎无法落地到纯相机端到端策略上。
DriveZero 的突破口在于直面这种张力：感知和动作需要的预训练土壤完全不同。
-
感知模型的核心使命是“理解物理世界”，它极其依赖海量、开放、多样化的多源视觉数据，需要强大的语义、几何以及密集空间表征；
-
动作模型的核心使命则是“与物理世界博弈”，它根本不需要在海量像素中盲目摸索，而是需要在紧凑、结构化的物理状态空间中，通过每秒数十万次的高吞吐闭环交互，探索最优的博弈与控制策略。
因此，DriveZero 采用了“解耦预训练，蒸馏一体化”的设计路径：首先在紧凑结构化状态空间中，用大规模并行闭环强化学习训练一个极其强大的“特权专家”动作模型 DriveRL；同时，在无任务标注的情况下，将多个顶级视觉基础模型融合成一个强大的驾驶通用视觉骨干 DriveVFM；最后，以原始驾驶日志作为状态与相机的天然桥梁，将 DriveRL 的强化学习行为蒸馏给以 DriveVFM 为底座的纯视觉规划器，从而合成为无需人类轨迹监督的端到端系统 DriveZero。
DriveRL：在 20 万个并行世界中从零学起
动作模型的核心是 DriveRL，一个参数量仅为 5.70M 的特权专家策略。它不依赖任何人类驾驶演示的预热（No Imitation Pretraining），从纯随机初始化开始，完全基于大规模闭环强化学习算法 PPO（Proximal Policy Optimization）进行训练。
DriveRL 接收的是特权结构化输入，而非原始摄像头画面。在每个时间步 $t$，观测空间 $O_t$ 包含了本车及其周边最多 96 个交通参与者的历史与当前运动状态（以 5Hz 采样的 5 帧时空序列）、由至多 256 个局部矢量元素构成的矢量地图，以及与对应道路元素绑定的红绿灯状态。系统给定的导航意图则被极其精简地抽象为自车坐标系下的两个目标点（近锚点与远锚点），其前视距离随车速动态伸缩。
为了让强化学习能够学到真正自然的博弈，训练环境的仿真保真度至关重要。研究团队基于真实 nuPlan 日志构建了高并行的“混合智能体交互世界”（Mixed-Agent Simulator）。这个仿真底座运行在 96 张 GPU 上，能够同时并行展开多达 196,608 个虚拟交通世界。在这个世界中，背景交通参与者不再是僵硬死板的轨迹回放，而是接入了异构的行为控制器：部分车辆采用智能驾驶模型（IDM）及其急刹逻辑，部分行人遵循日志回放，而一部分关键背景车则接入了自博弈（Self-Play）策略。当强化学习智能体（自车）做出激进或保守的操作时，周边的交通流能够做出动态响应。
此外，研究人员还设计了一套“场景一致性接入机制”（Scene-consistent Actor Insertion）。在纯回放仿真中，如果自车早前已经大幅偏离原始轨迹，此时若强行按照日志时间戳在原始坐标处生成一辆新车，极易瞬间凭空出现碰撞。DriveRL 只有在自车位姿与历史日志偏差处于安全阈值内（5 米与 0.35 弧度以内）且空间无重叠时，才会按时空逻辑释放迟到入场的背景交通参与者，极大降低了由于仿真假象带来的无效训练惩罚。
在控制底层，DriveRL 并不直接预测离散轨迹再做下层跟踪，而是直接在归一化的纵向加加速度（Jerk）和轮胎转向角速度上建立动作空间。策略网络输出有界的 Beta 分布参数，并通过约束形状参数大于 1 来保持单峰性，避免出现极端离群指令。最终的物理控制指令通过运动学自行车模型直接执行。
整个策略通过一个精细设计的标量奖励函数进行优化：
\[r_{t}=h_{t}+(1-d_{t})\left(g_{t}+\frac{1}{H}\prod_{k\in\mathcal{K}}q_{t,k}\right)\]其中，$h_t$ 代表硬性安全惩罚（碰撞、越界等违规），一旦发生直接触发终止标志 $d_t$；$g_t$ 是到达目标的一次性奖励；而六项细粒度的软性驾驶质量指标 $q_{t,k} \in [0, 1]$（涵盖安全性、交规顺应性、舒适性等）则以连乘积的形式进入目标。这一数学设计非常严苛且巧妙：任何单一软性指标的崩塌都会使整个正向奖励趋近于零，强制策略在舒适、速度与规则之间寻找高度均衡的解。
更值得关注的是其在推理阶段引入的价值引导测试期动作搜索（Value-Guided Test-Time Action Search, TTS）。传统的 PPO 在部署时通常只取策略分布的模式（Mode），完全浪费了训练过程中得到的强力价值评估网络（Critic）。DriveZero 在测试时，保留当前模式动作作为基准，同时从 Beta 分布中并行采样 $N-1$ 个候选首步动作，利用轻量级运动学对周围车辆做短时步前向推演，并结合单步即时奖励与 Critic 输出的长期折扣价值计算总分：
\[S^{(i)}=\sum_{\ell=0}^{L-1}\gamma^{\ell}\prod_{u<\ell}\bigl(1-d_{u}\bigr)\,r_{\ell}+\gamma^{L}\prod_{u<L}\bigl(1-d_{u}\bigr)\,V\!\left(O_{L}\right)\]为了避免 Critic 本身近似带来的噪声，系统采用了保守切换策略：只有当采样动作的预估回报超出基准模式一个固定的置信裕度 $\delta$ 时，才会替换基准动作。仅仅凭借这一机制，DriveRL 就在 nuPlan 社区三大公认测试集（Val14、Test14-hard、Test14-random）的非反应与反应模式下，将均分刷新至 93.57，全面压制了原本用于初始化场景的人类回放专家（Log-Replay Expert）。
DriveVFM：多视觉基座模型的“无监督大熔炉”
解决了动作的高效探索，下一个硬骨头是纯视觉感知。传统的端到端系统通常依赖目标检测、车道线识别、深度估计等多任务标注头来“热身”主干网络。这种做法不仅成本昂贵，而且受限于标注协议，难以将海量的非驾驶领域互联网图像据为己用。
DriveZero 提出了 DriveVFM。它的核心思想极具启发性：既然通用视觉领域已经诞生了在各个单一维度极其出色的视觉基础模型（Vision Foundation Models, VFMs），为何不直接将它们作为“特权教师”，在一套统一的骨干网络中提炼它们的特征表示？
DriveVFM 选择了四种异构的冻结基础模型作为知识源：
-
DINOv3：提供极强的局部空间几何结构与跨视角视觉对应性；
-
SigLIP2：提供强大的图像级开集语义理解；
-
SAM (Segment Anything)：提供精准的物体轮廓边界与密集掩码特征；
-
Depth Anything V2：提供单目场景绝对与相对深度等三维几何线索。
这四个模型的强项分布在不同的粒度上。为了高效吸收，DriveVFM 采用非对称的蒸馏结构：主干 Vision Transformer 为每个基础模型生成一个专用的摘要 Token（Summary Token），同时输出共享的密集 Patch Token。SigLIP2 只负责监督摘要 Token，SAM 只负责监督 Patch Token，DINOv3 同时监督两者，而 Depth Anything V2 则通过特征回归的形式向 Patch Token 注入三维先验。
然而，强行将四个异构模型捏合在一个损失函数中，在工程上极易导致训练崩溃。各个模型的特征向量在尺度、方差与激活分布的各向异性上差异巨大，某些维度激活值极大的模型会迅速主导梯度反传。针对这一底层隐患，DriveVFM 引入了 PHI 标准化（PHI Standardization, PHI-S）：通过离线预估的均值和协方差，对特征进行中心化，并通过 PCA-Hadamard 旋转将方差均匀分散到各个变换维度上，最后施加全局缩放。这保证了所有基础模型向主干网络反向传播梯度时处于势均力敌的状态。此外，团队借鉴了 Kimi K2 中的 QK-Clip 方案，通过对注意力计算中的 Query-Key 点积进行动态裁剪，彻底解决了大规模视觉 ViT 训练中常见的数值溢出与梯度爆炸问题。
得益于完全不需要任何人工任务标签，DriveVFM 的预训练数据集得以自由融合：不仅纳入了 OpenDV、nuPlan、Waymo 等真实车载视觉数据，更大量混合了 LAION-2B、ImageNet-21K、SA-1B 等百亿级通用互联网图库，使骨干网络在极早阶段就同时具备了开放世界语义与道路几何敏锐度。
DriveZero：从特权闭环到纯视觉端到端的桥梁
有了顶级的闭环动作专家 DriveRL，又有了兼具几何与语义的视觉基座 DriveVFM，最后一步是如何将二者缝合成一个可部署在车载计算平台上的纯视觉端到端规划器 DriveZero。
这两者之间天然存在一道鸿沟：DriveRL 依赖特权结构化输入（真值目标框与高精地图），而车载端到端系统只能读取多路摄像头图像。看似只能通过昂贵复杂的神经渲染（NeRF/3D-GS）做闭环端到端视觉仿真，但 DriveZero 找到了一个更轻量而优雅的转换支点——真实的离线行驶日志本身就是两者的天然对齐桥梁。
在离线日志的任意一帧中，系统同时沉淀了多路环视相机图像和精确的结构化真值。因此，DriveZero 采用了一种“开环式训练、闭环式能力继承”的方案：
-
将当前帧的结构化状态输入给已经冻结的 DriveRL 特权专家，在短时域内进行局部展开，生成一条由 RL 专家闭环探索得出的最优轨迹 $\tau^T$；
-
纯相机规划器仅以环视图像、自车运动学特征和当前导航意图作为输入，利用 LoRA 微调的 DriveVFM 提取视觉特征，并通过场景 Token 与轨迹查询（Trajectory Queries）在解码器中生成 $M$ 条多模态候选轨迹；
-
将 DriveRL 展开的专家轨迹作为监督信号，利用“胜者为王”（Winner-Takes-All, WTA）的匹配损失拉近最匹配候选轨迹与专家轨迹的距离；
-
同时，一个并行的评分头（Scoring Head）直接在多视角视觉特征上对各候选轨迹在安全性、法规顺应性等六个维度进行打分，在测试期挑选出期望得分最高的轨迹输出执行。
更具突破性的一点在于意图条件数据增强（Goal-Conditioned Augmentation）。在传统模仿学习中，一张照片背后的人类未来动作是唯一且不可篡改的，随意更改自车导航意图就会破坏监督真值。但在 DriveZero 体系中，DriveRL 是一个目标条件化（Goal-Conditioned）的闭环策略。对于同一帧多视角画面，算法可以任意指定向左变道、直行或右转等多种不同导航锚点，并让 DriveRL 分别展开生成严格与该意图一致的专家驾驶轨迹。这使离线数据集中的每一帧静态画面，都能裂变出极度丰富、逻辑自洽的高质量监督信号，一举打破了人类单次驾驶行为对场景标注的物理束缚。
关键数据验证：不学人类，反而胜过人类
为了验证彻底摆脱人类轨迹监督的可行性，研究团队在多个行业高难度基准上进行了系统性评测。
在以严苛著称的 NAVSIMv1 评测集（navtest）上，未经任何人类轨迹训练的 DriveZero 直接达到了 95.3 PDMS 的高分。作为参考，基准库中人类司机的实际表现得分为 94.8。这是端到端自动驾驶领域少有的、明确在统一严谨的开环与闭环混合指标上全面超越真实人类驾驶表现的案例。
在进一步加大动态博弈复杂度的 NAVSIMv2 极难子集（navhard）上，DriveZero 斩获了 57.1 EPDMS，刷新了该榜单的最新纪录；而在基于高质量真实场景重构的闭环评测基准 HUGSIM 中，无需微调零样本迁移的 DriveZero 依然取得了 46.6 的 HD-Score，大幅领先于过往基于纯模仿学习构建的先进基线。
消融实验进一步印证了解耦设计的有效性：
-
意图增强的决定性作用：如果剥离意图条件增强、退回到只在人类原始意图下查询 DriveRL，模型的泛化能力出现明显回落；而一旦引入多意图密集展开，其最终表现显著超越了直接使用人类真实历史轨迹做监督训练的对照组。这强有力地说明：强化学习探索出的轨迹质量与多样性，在训练信号的密度上已经胜过了真实人类数据。
-
多基础模型蒸馏的增益累加：在针对 DriveVFM 的逐项剔除测试中，去掉 SAM 会显著损伤模型在密集车流中的边界避让精度；去掉 Depth Anything V2 会导致纵向时距控制退化；而去掉 DINOv3 则使整体特征对恶劣天气的抗干扰能力下滑。各个视觉基座模型的知识确实在统一主干中形成了相互补充的正向协同。
范式重塑：走向“后人类示范”的物理世界智能
长期以来，自动驾驶领域存在一种惯性思维：端到端模型之所以容易在长尾极端场景下失效，是因为收集的人类驾驶数据“还不够多”、“长尾分布覆盖还不够密”。但 DriveZero 的实践揭示了另一种可能性——限制系统进化的核心瓶颈，或许恰恰是人类示范数据本身。
人类驾驶日志充斥着次优选择、分神延迟、以及极其狭窄的单一解空间。强行用数十亿参数的神经网络去过拟合这些带有缺陷的单次历史切片，无异于在沙滩上筑高楼。DriveZero 证明了一条极具启发性的技术路线：利用紧凑状态空间和高保真物理交互环境，让强化学习在算力允许的最高吞吐量下探索出远超人类基准的超强动作专家；同时，将全网无标注的通用视觉世界知识无监督地注入感知主干；最后，用真实的驾驶日志作为物理锚点，完成从超强行为到通用感知的端到端合流。
这种“跳过人类轨迹，从交互中重新学习驾驶”的思路，不仅为破解端到端自动驾驶的长尾安全难题提供了全新解法，也为更广阔的具身智能（Embodied AI）系统的预训练范式带来了极具价值的技术参照。