CMU提出V2V-VLA：单卡跑通16车闭环协同评测，驾驶得分提升超7分
CMU-Drive and V2V-VLA: Cooperative Multi-agent Unified Driving with Reasoning Benchmark and Vehicle-to-Vehicle Vision-Language-Action Models
端到端自动驾驶领域近年来正全面转向视觉-语言-动作（Vision-Language-Action, VLA）模型。这类架构通过将视觉感知、常识推理与轨迹规划深度融合在统一的多模态大模型中，展现出了惊人的泛化潜力。然而，现有的自动驾驶大模型研究绝大多数局限在“单车孤岛”设定下。单车系统在面对建筑物盲区“鬼探头”、暴雨大雾导致的传感器退化，以及大型车辆遮挡关键视线等严苛的长尾场景时，受限于单车视场的物理极限，依然极易遭遇安全瓶颈。
ArXiv URL：https://arxiv.org/abs/2608.07621v1
为了打破感知盲区，车路协同（V2X）与车车协同（V2V）被广泛视为自动驾驶走向完全无人化的必由之路。但如何在闭环端到端体系中优雅地融合多车协同能力，一直是学界面临的巨大挑战。传统的车群协同往往停留在开环感知集成的层面；而少数尝试闭环协同的研究，要么依赖大模型进行多轮低效的语言对话协商，无法满足毫秒级的行车控制要求，要么评测规模仅局限于两三辆车，远远无法复现真实复杂的城市交通流。
卡耐基梅隆大学（Carnegie Mellon University, CMU）机器人研究所的研究团队针对这一系列瓶颈，推出了全新的协同多智能体闭环评测基准 CMU-Drive，并提出了首个将协同感知、语言推理与动作规划集于一体的基础模型 V2V-VLA。该研究不仅构建了最高支持 16 辆联网自动驾驶车（CAV）同时闭环博弈的高保真城市环境，更实现了仅靠单张前向推理即可同步完成驾驶规划与按需通信的精简架构，为下一代网联智驾大模型奠定了坚实的基础。
协同自动驾驶基准的现实困境
要理解这项研究的价值，首先需要审视多智能体闭环自动驾驶研究为何长期停滞不前。构建一个真实可信的多车闭环评测平台，在算力开销与交通复杂度之间存在着极其尖锐的冲突。
以往的高质量端到端闭环基准，例如著名的 Bench2Drive，主要针对单车设计。场景中虽然有丰富的行人和背景车辆，但能够由算法自主控制的智能体只有唯一的自车。后来出现的多智能体拓展基准（如 InterDrive 和 MDrive）虽然引入了协同自动驾驶评估，但受限于底层仿真架构和通信开销，每条路线中受控的联网自动驾驶车数量极少，平均仅有 3.3 到 3.8 辆，最多也不过 8 辆。而在真实的繁华城市十字路口，同时参与通行的车辆动辄数十辆，极少的协同车辆数量根本无法复现真实的密集车流博弈。
更为致命的是评测所需的硬件门槛。在先前的多车闭环评测中，运行单条多车路线通常需要消耗至少 3 张 GPU 的高额算力。过高的硬件门槛不仅限制了场景拓展，也让大规模闭环调优和评测变得异常奢侈。此外，先前的基准往往聚焦于直行让道等相对单纯的交互，对恶劣天气、特种车辆闯红灯、非机动车突然横穿等高危极端工况（Safety-critical scenarios）缺乏系统覆盖，导致评测结果难以客观反映复杂长尾环境下的真实安全性。
CMU-Drive：单卡支持16车全场景闭环博弈
针对上述局限，研究团队构建了 CMU-Drive 闭环评测基准。该基准直接脱胎于高难度的 Bench2Drive 体系，完整继承了其中的 44 种典型高危交通场景，涵盖行人从停靠车辆后突然横穿、救护车闯红灯强行通行、交叉口盲区切入等严苛工况，并分别在 5 种不同的光照和天气条件下实例化，总计构筑了 220 条高拟真评测路线。
与过往方案截然不同的是，CMU-Drive 对底层通信与仿真调度机制进行了大幅度的代码级重构。这一优化使得系统在最多接入 16 辆联网自动驾驶车辆进行复杂闭环博弈时，整条评测路线仅仅需要 1 张 GPU 即可顺畅运行。相较于先前基准需要 3 张 GPU 却只能承载 3 到 8 辆车的窘境，CMU-Drive 实现了计算资源消耗缩减至三分之一的同时，最大受控车流密度翻倍的飞跃。在 220 条测试路线中，受控协同车辆的平均数量达到了 6.56 辆，真实模拟了城市主干道多车协同通行的动态压力。
在场景生成机制上，CMU-Drive 保持了严谨的基准一致性。路线中的第一辆协同车（主控车）完全继承原生的高危事件触发逻辑，确保所有突发险情能够精准、稳定地按设计展开；其余 1 到 15 辆协同车辆的起止路线则依托精细的路网拓扑算法自动生成。研究团队特别避开了会提前误触危险事件触发器的车道，确保附加车辆既能提供真实的多车视重视角与动态博弈，又不会破坏原生测试集对极端应对能力的检验标准。
为了全面量化多车编队的协同稳定性，评测体系对单车指标进行了深度的多智能体拓展。对于某一路线 $j$ 中的单辆智能体 $i$，系统分别评估其路线完成率 $RC_i^j$ 以及由碰撞、压线、闯红灯等违规行为惩罚构成的扣分乘数 $IS_i^j$。但在计算整条路线的综合表现时，路线完成度取各车平均值，而违规扣分乘数则采用了极其残酷的“全乘积机制”：
\[RC^j = \frac{1}{N^j} \sum_{i=1}^{N^j} RC_i^j\] \[IS^j = \prod_{i=1}^{N^j} IS_i^j\] \[DS^j = RC^j \cdot IS^j\]其中 $N^j$ 为该路线上的协同车辆总数。这意味着，整条路线的违规扣分乘数 $IS^j$ 是车队中所有成员得分因子的连乘积。如果车队中有 15 辆车表现完美，但只要有 1 辆车发生了剐蹭或闯红灯事故，整条路线的总驾驶得分（Driving Score, $DS^j$）就会遭受断崖式惩罚。只有当全车队无一违规、全员满分通关（$DS^j = 100$）时，路线成功率（Success Rate, $SR$）才会被记为 1。这一近乎零容忍的评价指标，逼迫协同算法必须具备高度的稳健性，杜绝了“牺牲个别附从车辆来保全主控车辆”的投机策略。
V2V-VLA：单次前向完成感知、推理与通信
在模型设计层面，现有的端到端多车协同方法往往走入另一个极端。例如部分先驱研究采用大语言模型在多车之间进行多轮文本对话（Multi-round LLM negotiation）来协商路权。这种方式在现实世界中几乎不可行：车辆在十字路口以数十公里的时速行驶，大模型多轮文本生成的往返延迟极易达到数秒级别，远远无法满足自动驾驶通常要求的 10Hz（100毫秒）控制周期。
针对这一根本痛点，CMU 团队提出了 V2V-VLA 模型。该架构将车车感知融合、自然语言因果推理、底层未来航路点预测以及下一时刻的通信策略决策，全部收拢在单次前向推理（Single Forward Pass）中同步输出。
模型的核心骨架由多模态输入处理模块与基于 Qwen2 的大语言模型构成，并结合了轻量级的 LoRA 微调方案。在每个时间步，自车（$CAV_{ego}$）的处理流水线由三大部分构成：
- 多模态感知输入重构：输入特征由自车前视相机的 RGB 图像 $I_{ego}$ 与一张融合后的鸟瞰图（BEV）占用栅格 $O_{merged}$ 共同组成。研究团队利用冻结权重的 UniAD 模型在自车和所选通信伙伴车（$CAV_c$）上分别提取局部相机 BEV 占用图 $O_{ego}$ 与 $O_c$。随后，利用两车的实时位姿坐标外参，将伙伴车的占用图通过坐标映射矩阵投影至自车坐标系下生成 $O_{c \to ego}$，并通过元素级逻辑“或”（Element-wise OR）运算完成无缝融合：
融合后的鸟瞰图被渲染为视觉张量，与自车前视相机画面拼接后，交由视觉编码器 InternViT 进行特征提取。这种基于特征图空间几何变换的融合方式，通信带宽开销极低，且规避了传输原始多路视频流的信道拥堵。
-
语言与目标条件引导：语言输入不仅包含常规的任务提示词，还显式注入了周围其他联网协同车在自车相对坐标系下的空间位置信息；动作输入则将规划器给出的粗粒度导航目标航路点经过多层感知机（MLP）编码为连续 Token。
-
四位一体的多模态输出：通过单次前向计算，模型同时解耦输出两组关键表征。一组是连续的动作航路点预测（包含等时与等距轨迹点序列），可直接接入经典的 PID 控制器转换为转向角、油门与刹车控制量；另一组则是结构化的语言 Token 序列。语言输出不仅详尽解释当前的避障逻辑和被遮挡物体的空间状态，还同步给出了具有前瞻性的通信决策指令。如果模型通过语义空间推断出某辆视野更佳的友车能够覆盖自身当前的视觉死角，就会在输出中显式指定该车作为下一周期的优先通信目标，从而打破了传统方案只能固定向正前方车辆通信的呆板逻辑。
数据工程与两阶段协同监督
要让一个此前仅在单车数据上预训练的多模态大模型学会“何时协同”与“如何协同”，高质量的监督信号至关重要。研究团队基于 CARLA 平台中的全知规则型规划专家 PDM-lite，构建了一套多车协同场景的数据自动标注工厂。
在仿真数据采集阶段，PDM-lite 能够访问环境中所有物体的全局真实坐标、速度与语义标签，从而在 44 种极端路况中生成近乎完美的无碰撞轨迹。研究团队将这些专家轨迹保存为模型动作输出的真实标签（Ground Truth）。
针对语言与通信策略的标注，研究团队设计了一套基于因果遮挡的自动规则引擎。在每一个时间步，算法会自动排查环境中所有对专家决策产生实质影响的安全关键障碍物（例如突然横穿的行人）。算法通过几何光线投射判断该物体在自车视野中是否遭遇视线遮挡；若存在物理遮挡但该物体恰好处于周围某一辆联网协同车（$CAV_k$）的有效视场内，标注流水线便会自动生成一条协同推理文本。这段文本不仅指明了危险物的存在与自车盲区，更明确写入了推荐通信指令（例如：建议自车通过 V2V 链路调用 $CAV_k$ 的感知数据）。
基于这套自动化体系，研究团队共采集了包含 18 万条样本（180K）的多模态微调数据集。在模型训练过程中，损失函数由针对动作航路点回归的 Smooth-L1 损失与针对自然语言 Token 预测的交叉熵损失联合组成。以预训练的 SimLingo 与 UniAD 权重为初始化起点，研究团队在 8 张 NVIDIA H100 GPU 上对模型的 LoRA 层及所有适配层进行了为期 12 个 Epoch 的微调，总耗时仅 48 小时，实现了高效率的知识迁移。
实验结果与场景切片剖析
在涵盖 220 条严苛路线的 CMU-Drive 最终闭环评测中，V2V-VLA 展现出了极其显著的协同优势。作为评测对比基线的是当前单车领域最先进的开源驾驶大模型之一 SimLingo。
在无车车协同通信的情况下，SimLingo 的路线综合驾驶得分（DS）为 56.32，整体验证成功率（SR）为 30.91%。引入了单步感知推理通信机制的 V2V-VLA，在相同场景下的驾驶得分大幅攀升至 63.67，实现了超过 7 分的显著提升；最终通过成功率亦提升至 34.55%。考虑到 CMU-Drive 严苛的“车队违规累乘扣分制”，任何单车的非受迫性失误都会直接让总分归零，这几点百分比与综合得分的提升，充分证实了车车多模态协同在规避盲区碰撞方面的实质作用。
定性分析更直观地展现了这种端到端协同模型的优势场景。在一个暴雨天气的实测案例中，自车（$CAV_0$）正准备提速通行。由于雨水对挡风玻璃和相机镜头的折射干扰，叠加前向过长视距引起的图像退化，自车的前视画面中几乎无法辨识远处的路况。然而，在自车前方 17.7 米处行驶的另一辆联网车（$CAV_4$）距离前方潜在危险更近，其车载传感器清晰地捕获到了一辆正在横穿道路的自行车。
依托坐标对齐与 BEV 栅格融合，该障碍物在 $CAV_0$ 输入的融合占用图中被高亮标注。自车搭载的 V2V-VLA 模型在单次前向推理中迅速给出了多模态因果解释：“维持减速状态，保持在前方自行车后方。该危险目标在自车视野中被遮挡/模糊，但由前方 $CAV_4$ 通过 V2V 通信检出。”随后输出平滑的刹车与减速航路点序列，从容避免了追尾或推撞事故。这种自然语言推理与底层运动控制在物理世界的完全一致性，为自动驾驶系统的行为可解释性提供了极具说服力的范本。
从不同场景类型的详细得分分布来看，V2V-VLA 在绝大部分视线受阻的直行与跟车场景中表现优异，但在“无信号灯十字路口左转汇入密集车流”（NonSignalizedJunctionLeftTurnEnterFlow）等极端复杂的连续博弈场景下，得分依然面临挑战。这反映出即便消除了空间盲区，当面对多方高动态路权争夺时，多智能体之间的博弈规划仍然需要更深度的博弈论建模或强化学习探索。
演进意义与未来方向
CMU 这项工作的深远意义，在于它第一次证明了：大模型不仅能在单车上充当智能驾驶员，更能以极其低廉的推理延迟与通信代价，充当多车分布式系统的“协同决策中枢”。
长期以来，工业界对于车联网与大模型结合的质疑，主要集中在两点：一是多模态大模型的计算开销过大，根本承受不起车际间的反复对话握手；二是传统的车路协同标准过于死板，海量原始传感器数据的泛滥广播极易导致信道崩溃。V2V-VLA 给出的解题思路非常清晰：传输端仅共享轻量化的低维 BEV 语义占用栅格，决策端利用单次前向的大模型自主推理“何时该听谁的”，从而将大模型的强常识推理能力与车际极简通信完美闭合在同一个网络内。
随着 CMU-Drive 评测基准代码与预训练权重的开源，协同自动驾驶研究终于拥有了一个兼具真实交通流密度、严苛物理指标约束以及低硬件测试门槛的标准试验场。从单车“目力所及”的被动避障，走向多车“视野交织”的全局协同，这项研究无疑为具身智能从单体迈向群体智能，迈出了极具启发性的一步。