Pictura：告别开挂上帝视角，500亿步透视自博弈零样本反超特权模型

Pictura: Perspective-View Self-Play at Scale for Driving

在自动驾驶的研究版图中，强化学习（RL）特别是基于多智能体自博弈（Self-play）的方法，一直被视为打破传统离线人类驾驶模仿学习天花板的一把利剑。离线模仿学习极度依赖昂贵的实车采集数据，并且天然受困于协变量偏移（Covariate Shift），一旦模型自己走出没见过的危险轨迹，往往束手无策；而自博弈能让无数个智能体在虚拟环境中互为对手、彼此博弈，在数十亿甚至数百亿步的试错碰撞中，自发涌现出博弈避让、合流切线等极其鲁棒的决策行为。

ArXiv URL：https://arxiv.org/abs/2607.26005v1

然而，过去这项令人兴奋的技术始终带着一块无法忽视的“遮羞布”：为了在极低算力开销下跑出数十亿步的数据吞吐，现有的绝大多数大规模自动驾驶自博弈模拟器（如 Gigaflow、GPUDrive）都依赖特权矢量化状态（Privileged Vectorized State）。也就是说，车端策略读取的不是摄像头抓取的像素，而是模拟器直接喂给它的结构化上帝数据——周围所有车辆与行人的绝对坐标、精确朝向、瞬时速度，甚至包括被高墙和前车彻底遮挡的盲区障碍物。

这种“开天眼”的假设，在物理现实面前极度脆弱。真实车辆只能依赖车载视角（Perspective View）感知局部世界，必须从嘈杂的二维投影中推导几何距离、语义要素和动态速度。此前学术界折中的做法是“特权教师向视觉学生蒸馏”，但这种两阶段方案天然存在表示断层（Representation Gap）：学生网络被迫去盲目模仿教师所做的、在当前视野下根本找不到合理支撑的激进决策。来自 CNRS、索邦大学以及法雷奥（Valeo / valeo.ai）的研究团队打破了这一妥协路线，推出了首个支持大规模第一人称透视视角自博弈的训练方案 Pictura，以及由此完全从零训练出的视觉自博弈驾驶策略 Alberti。

为什么我们必须在自博弈闭环中“丢掉上帝视角”？

要理解 Pictura 的意义，首先需要正视特权矢量化策略的结构性硬伤。当智能体在强化学习环境中能够直接获取无遮挡、全局对齐的矢量实体坐标时，它所求解的实际上是一个被严重简化的问题。它不需要处理深度模糊，不需要在十字路口盲区试探减速，甚至可以在视线受阻的情况下做出预知式的变道或急刹。

当研究人员尝试将这种特权策略蒸馏到基于相机输入的端到端模型中时，就会遭遇所谓的“不可证明决策”危机。车载相机受物理视线限制，被大车或建筑遮挡的行人无法成像；但特权教师因为“看见”了盲区数据而提前停车，受监督的学生模型在缺乏相应视觉线索的情况下强行拟合控制信号，不仅破坏了视觉特征与决策之间的因果关联，更容易在真实测试中产生灾难性的幻觉刹车或漏检碰撞。

更理想的路线显然是让智能体从一开始就在局部可观测的环境下训练。第一人称透视图像带来了天然的物理约束：远处物体缩成几个像素、遮挡关系完全符合光学投射、画面中没有任何直接给出的度量公制数值。智能体要想在这种环境下存活，就必须在强化学习的反复试错中，同步建立起空间常识与驾驶策略。

阻碍这一理想路线落地的唯一现实阻碍，是计算吞吐。基于照片级真实感的传统渲染器（如 CARLA 的虚幻引擎或 3D 高斯泼溅）单步渲染极慢，根本无法支撑自博弈所需的数十亿级交互；而既有的快速矢量仿真器虽然能做到每秒数百万步，却只吐出数字坐标，没有任何画面。Pictura 的破局思路，正是在“物理观测约束”与“渲染速度”之间找到一个极具洞察力的平衡点。

Pictura 仿真器：把渲染器做进强化学习张量核心

为了让透视自博弈变得切实可行，研究团队并没有执着于生成连光影反射都分毫不差的照片级画面，而是抓住了一个在三维生成与规划领域被反复印证的共识：驱动策略学习的核心信号来自于场景的几何结构、空间拓扑和多体动态，而非精细的材质纹理。

基于这一判断，Pictura 采用轻量级的无纹理几何光栅化表征，将场景绘制为平坦着色的几何图元。但与此前在 CPU 上运行 OpenCV 绘制或借助传统图形管线（如 Vulkan、OpenGL）的方案不同，Pictura 彻底重写了渲染底层，开发了一套直接驻留在 GPU 通用计算核心（General-Purpose Compute Cores）上的定制 CUDA 光栅化内核。

这个设计决定带来了三个决定性的系统级优势。首先，渲染数据完全不离开显存，生成的张量可以直接作为 PyTorch 强化学习网络的前向输入，彻底消除了显卡与主机 CPU 之间昂贵的数据来回拷贝与进程间同步开销。其次，现代深度学习芯片（如 NVIDIA A100、H100）每一代都在大幅削减甚至边缘化固定功能的传统图形渲染管线，而把晶体管资源极度倾斜给通用张量计算单元；Pictura 将渲染任务完全由 CUDA 计算核承担，使其能够直接吃满硬件升级红利。最后，该内核完全使用 JIT（即时编译）机制构建，不需要宿主机安装复杂的图形驱动或显示服务，能在任何标准 HPC 计算集群上即插即用。

在具体渲染要素上，Pictura 针对驾驶任务进行了精细定制。

从上图可以看到，仿真器绘制的要素包括以下几个核心部分：

多类动态智能体：行人和骑行者与机动车一同加入环境，均被渲染为带有深度感知亮度的三维长方体，不同的朝向面具有不同明暗度，单凭纯色像素就能推断出目标的航向角与大致距离。
符合真实几何的交通信号与道路元素：红绿灯被绘制为具有视场角限制的圆形光斑，只有正对该信号灯照射方向的车辆才能看到，背对或斜向视角会自动剔除；同时完全支持美式交叉路口中“信号灯悬挂于对向远端、却控制近端停止线”的非对称空间布局。此外，路边随机停放的静止车辆以及建筑物墙体被完整还原为遮挡体，强制智能体面对真实的视线死角；地面车道线则随视线距离自动递减粗细，并配合单像素解析抗锯齿算法，即便在超低分辨率下也不会断线。

在这一整套极致优化的加持下，Pictura 在单张 NVIDIA H100 显卡上达到了令人咋舌的 500,000 agent-steps/s 的纯渲染吞吐量，相当于每秒在显存内即时画出 2,000,000 张车载第一人称相机图像。相比此前基于 Madrona 引擎构建的 Gigapixel 渲染器，Pictura 在相同硬件下实现了 10 到 19 倍的吞吐飞跃，将渲染耗时在整个 PPO 训练迭代中的时间占比压缩到了仅仅 10% 左右。

Alberti 策略：无特权教师、无蒸馏的纯视觉自博弈

有了每秒百万帧的渲染底座，研究团队构建了名为 Alberti 的自博弈驾驶策略。与以往采用特权教师蒸馏或两阶段表征对齐的方案截然不同，Alberti 的训练机制极其纯粹：直接使用原汁原味的多智能体 PPO 算法，在全闭环透视视角下从零开始（From Scratch）进行强化学习联合优化。

在每个仿真步中，环境中的所有智能体由同一个共享参数的策略网络驱动。每个智能体的自身线速度、加速度等内部状态仍然以矢量形式输入（模拟真实车载 IMU），但外部世界的信息则完全收敛为当前安装在车身上的多相机渲染图像 $\hat{o}_i^{(t)}$。为了保证与部署时车载传感器的严格对齐，作者甚至从内部矢量状态中剔除了诸如“距离车道中心线的精确横向偏移量”和“相对于车道切线的精确航向角”这类必须靠高精地图与定位算法反算的特权特征，逼迫网络纯靠视觉输入识别车道边界并实现车道保持。

为了在极高帧率下匹配轻量级计算，Alberti 的模型架构保持了极高效率。输入的多视角图像首先送入一个从零初始化的紧凑型卷积网络（ConvNet）提取局部特征图。为了将任意分辨率、多相机视角的特征压缩为固定长度的上下文，模型引入了一组可学习的 Query Token，通过交叉注意力（Cross-Attention）机制在卷积特征图上进行自适应池化。提取出的场景 Token 经过线性映射后，与本车基础状态向量拼合，送入共享的 Actor-Critic MLP 主干网络，分别输出连续控制动作与状态价值评估。

整个训练过程跨越了惊人的 500 亿（50B）智能体交互步，折合大约 3500 万公里的虚拟道路行驶里程。值得注意的是，全过程没有任何专家标注数据，没有离线预训练权重，也没有任何形式的特权特工在背后指导。

实验结论：从“逼近特权”到“反超特权”

在经过 500 亿步高强度对抗训练后，Alberti 展现出了令人惊艳的拟人驾驶质感。在复杂的城区道路穿行时，策略并没有像很多纯模仿学习模型那样在路口盲目冲刺，而是自发涌现出了防御性驾驶行为：当车辆驶入由高墙和转角构成的严重盲区、或视线被前车完全阻挡时，它会自动平缓减速；一旦通过盲区确认前方安全，便立刻重新加速回归目标巡航速度。

而在定量评估层面，实验给出了两个极具冲击力的核心发现。

首先是在训练所在的 CARLA 合成地图测试中，面对完全不可见的局部视野，纯视觉的 Alberti 在行车成功率、违章率与路线遵从度等核心指标上，几乎打平了拥有全局无遮挡矢量特权信息的上限基准模型。这直接证伪了“驾驶策略必须先在特权状态下学会导航才能迁移给视觉”的传统惯性思维，证明了高吞吐、大规模的强化学习自身就有能力直接从低级像素投影中解耦出可靠的空间规划逻辑。

更具说服力的是跨域零样本迁移实验。研究团队将 Alberti 直接搬到了来自真实世界自动驾驶数据集 Waymo Open Motion Dataset (WOMD) 的路网与交通流初始化场景中（将其路网要素导入 Pictura 重新光栅化渲染）。结果显示：直接从透视视角自博弈练出的 Alberti，在零样本迁移场景下的驾驶表现反超了原本在训练集上占优的特权矢量化智能体。

这一反常识但又合乎逻辑的实验结果，深刻揭示了特权状态的本质弊端。特权矢量化模型在 CARLA 模拟环境中虽然跑得顺风顺水，但它学到的是对精确全局参数的深度过拟合；一旦进入几何拓扑和道路分布迥异的 WOMD 真实路网，那些赖以生存的精确绝对指标发生漂移，特权策略便极易失效。相反，Alberti 在长达 3500 万公里的视觉自博弈中，早已习惯了“从局部残缺视角中推理通行可能性”的泛化机制。它学会的是如何在信息不完备的世界中观察并做出自保与博弈决策，这种建立在物理可观测性基础之上的能力，展现出了远高于特权系统的鲁棒性与迁移韧性。

行业启示：仿真器通用算力化与端到端进阶

回顾 Pictura 与 Alberti 的工作，它对当下正处于深水区的端到端自动驾驶（End-to-End AD）与多智能体具身智能研究，提供了两个关键的技术锚点。

一方面，它重塑了自动驾驶仿真底座的构建逻辑。在过去很长一段时间里，工业界和学术界总是在“极其逼真但极慢的 3D 引擎”和“极快但没有画面的纯矢量环境”两极之间艰难摇摆，这也直接导致了“先特权再蒸馏”这种充满妥协的过渡架构盛行。Pictura 证明了：通过放弃对不必要细节纹理的执念，纯靠 GPU 通用计算核心去实现极简几何光栅化，完全能够打破速度与可观测性的零和博弈，将渲染原生地织入大规模强化学习的每一步前向计算中。

另一方面，它为端到端模型的训练范式开辟了新的想象空间。目前的行业主流依旧是重度依赖海量人工标注与回放重构视频的世界模型或离线模仿学习，但这种模式正在逼近数据与 corner case 的边际收益瓶颈。Alberti 证实了纯视觉策略完全可以通过高强度的多智能体闭环博弈，自发建立起应对极端交互的博弈直觉。虽然当前 Pictura 绘制的扁平几何世界距离直接接入实车摄像头仍有域间鸿沟（作者也明确指出这可以通过后续轻量级的表征对齐或生成式域迁移网络来补充），但它毫无疑问指明了一条极其诱人的技术演进路线：让自动驾驶大模型在不需要任何人教的情况下，在自己构建的微型虚拟视界里，跑出真正可靠的安全共识。