MOSS-VL：边说边看的新架构，主动预警提升至66分，首字延迟快5倍

MOSS-VL Technical Report

论文原文 ↗ 论文发布 2026-08-15 解读发布 2026-09-13 解读：AI前沿分享

目前的绝大多数多模态大模型在处理动态视频时，本质上都在做“延时摄影后的事后复盘”。哪怕一些主打流式输入（Streaming）的模型能够一边接收视频流一边响应，它们也普遍存在一个致命的感知断层：一旦模型开始吐字输出，视觉通道就被隐性切断了。在生成一段数十甚至数百字回答的这几秒钟内，外部物理世界即便发生了天翻地覆的变化，模型也是处于“失明”状态的。它既无法根据最新画面修正刚刚说出口的话，也无法在突发危险出现时紧急打断自己。

ArXiv URL：https://arxiv.org/abs/2608.15045v1

开源多模态模型 MOSS-VL 的核心切入点正在于此。该工作系统性地定义了从离线到实时的 5 个能力等级，并将最具挑战性的 L5 级“边说边看”（Perceiving while it speaks）作为核心优化目标。为了实现生成过程中的无缝感知，MOSS-VL 并没有沿用当前主流将视觉 Token 与文本 Token 混排自回归（Interleaved Autoregressive）的老路，而是重新设计了门控交叉注意力架构，使得外部视频流的注入完全独立于文本解码序列。

配合仅占总训练 Token 不到 3% 的 Realtime-SFT（实时微调）训练，MOSS-VL-Realtime 在包含主动预警、前向主动响应等流式交互评测中大幅超越现有开源基线。其中在直接测试模型“审时度势、主动开腔”能力的 OmniMMI Proactive Alerting 基准上，该模型取得了 66.0 的高分，而此前的最优基准仅为 37.5。更具工程价值的是，得益于视觉 Token 被隔离在文本上下文之外，模型推理时的首字延迟（TTFT）随视觉上下文增长的开销极其平缓，相比相同语言底座的 Qwen3-VL-8B 实现了最高 5.1 倍的响应加速。

视频交互的代际划分：从被动流式到 L5 级实时在线

要理解 MOSS-VL 的设计取舍，首先需要看清当前视频大模型在交互维度上的能力天花板。论文将视频理解能力划分为 L1 到 L5 五个梯度：

L1（离线分析）：输入完整的离线视频片段，模型读完整段视频后被动回答问题，这是绝大部分开源模型所处的层级。
L2（基础流式）：视频帧随时间连续输入，用户可以随时提问，模型立即响应，但在生成答案期间对后续画面“视而不见”。
L3（带等待的流式）：引入“主动沉默”能力。如果关键线索尚未在画面中出现，模型不会胡乱猜测，而是保持静默，等待关键证据显现后再开口。
L4（持久化查询流式）：支持常驻指令（Persistent Queries），即一条任务指令常驻内存，模型随着场景的演变持续给出多次阶段性反馈，但在每次独立发言时依然处于感知盲态。
L5（边说边看，真正实时）：模型在连续输出语言的同时，视觉通道持续保持激活状态。当新输入的视频帧打破了前序结论时，模型能够即时修正甚至直接掐断正在生成的语句。

业界此前的很多流式工作停留在了 L2 至 L4 阶段。要跨越到 L5，首要阻碍不是数据，而是主流架构天然的计算缺陷。目前最流行的全能视觉语言模型普遍采用“视觉 Token 序列化后并入语言序列”的单流解码模式。在这种架构下，如果在自回归生成文本的中途强行插入新的视频帧 Token，不仅会打乱语言模型原有的因果注意力掩码（Causal Mask），还会导致自回归的 KV Cache 频繁变长重算，推理延迟和显存开销会迅速击穿实时交互的承受极限。

视觉与文本解耦：门控交叉注意力与 XRoPE

MOSS-VL 选择彻底重构信息流动拓扑。模型的语言解码器基于 Qwen3-8B 初始化，共有 48 层，但它并没有把视觉 Token 塞进文本输入端。相反，48 层解码器被拆分为 36 层纯文本自注意力层，以及每隔 3 层插入的 1 层门控交叉注意力（Gated Cross-Attention）层，共计 12 层。视觉特征抽取则由一个 27 层的动态分辨率视觉编码器完成，经过 $2\times 2$ 空间下采样和投影后，直接作为这 12 个交叉注意力层的 Key 和 Value。

在文本解码端，每一帧画面仅仅在文本序列中贡献几个绝对时间戳 Token 和单个占位符 Token。所有的视觉图像 Patch 无论分辨率多大、Token 数量多密，统统停留在交叉注意力机制的另一侧。这意味着，当现实世界中涌入新的视频帧时，视觉编码器只需对这一帧进行前向提取，随后将其键值对追加到交叉注意力的缓存中。正在吐字生成的语言模型解码序列长度几乎不受视觉帧膨胀的影响，上一步生成的下一个 Token 便能在下一次前向传播中直接通过交叉注意力感知到刚刚进入的帧。

然而，切断自回归序列中的视觉混排带来了一个新的物理难题：视觉流与文本流分居两侧，如何建立严格的时空关联？

MOSS-VL 为此引入了 XRoPE（交叉注意力旋转位置编码）。在此之前，多模态架构的交叉注意力通道几乎都不携带细粒度的时空位置信息。XRoPE 在一个统一的三维坐标系 $(t, h, w)$ 下对文本和视觉 Patch 进行联合编码。文本 Token 在三轴上同步演进，坐标为 $(x, x, x)$；紧随其后的视频帧则以当前时间戳 $t$ 为基准针，其内部被切分的 Patch 网格按照空间相对偏移排布为 $(t, t+a, t+b)$。当该帧结束时，视觉分隔符与文本侧的占位符统一锚定在最大偏移坐标上，驱动后续的文本 Token 从单轴时间线上继续递增。通过将 64 组旋转频率分配给时间与空间轴，文本 Query 与视觉 Key 在相遇的一瞬间就天然明确了彼此在绝对时序和空间网格上的对应关系。

配合每个帧前插入的显式物理时间戳（如 <|time_start|>X.X seconds<|time_end|>），模型不仅能理解画面的相对先后顺序，还能以真实物理世界的时间节奏去衡量动作的速率。即便外部采样帧率在 1 到 16 fps 之间自适应波动，模型对时序的感知也不会产生偏差。

渐进式训练与“审时度势”的 Realtime-SFT

即使硬件和模型结构在物理上支持了连续帧注入，模型如何知道“什么时候该说话、什么时候该闭嘴、发现情况不对怎么改口”？这些复杂的行为模式完全依赖于后训练阶段的精准引导。

MOSS-VL 采用了极度克制的训练策略。其基础能力的积累被分配在一个四阶段的庞大预训练管线中，序列长度从 8K 逐步拓展到 256K，涵盖了海量的字幕生成、OCR、细粒度时空定位（Temporal Grounding）以及高质量多模态推理退火。这一阶段奠定了 MOSS-VL 极其强悍的基础时序理解能力。

随后的后训练并没有引入复杂的高成本强化学习，而是分为两步走：先以 760 万常规指令样本训练得到离线基座 MOSS-VL-Instruct；再通过一个极其紧凑的 Realtime-SFT 阶段，为模型注入实时交互的“灵魂”。

整个 Realtime-SFT 仅消耗了不到总训练预算 3% 的 Token（约 348 亿 Token），其核心设计非常优雅：完全摒弃了在模型头部外挂复杂决策分类头的做法，仅仅扩展了词表中的两个状态 Token：<|silence|>（继续观察）与 <|response|>（开始输出）。

为了构建这套高质量流式交互数据，团队升级了全自动合成管线：利用多级密集时序标注定位关键实体的状态跃迁，每一条更新不仅有“可被回答的起始时间点”，还有“结论失效的终止时间点”。如果物理场景突然发生变化，原先正在生成的半截语句不需要特殊的强行中断符，而是被引导为极其自然的口语化自我纠正（例如：“它正准备左转……不对，它突然加速直行了”）。在这套语料中，超过 58% 的发言决策是由模型自主计时触发的，而非用户主动提问；同时有 5.1% 的陷阱样本中目标事件全程未发生，模型必须学会全程保持沉默。

尤为巧妙的是，从离线问答切换到这种高频主动交互，只需要在推理阶段给模型注入一句系统提示词。如果清空提示词，模型就会无缝回退为标准的离线专家，一套权重支撑了离线、流式和实时三种运行范式。

评测见真章：主动性指标拔群，推理吞吐更稳健

在离线多模态领域，MOSS-VL-Instruct 展现出了极强的时间与空间感知基本功。在 Minerva（40.5）、TOMATO（39.5）以及 VideoMME-Logical（17.1）等极度考验时序因果推理的视频基准测试中，它全面超越了包括同量级 Qwen2.5-VL 在内的开源竞争对手，领先幅度均在 4.9 分以上；在感知密集型的 BLINK 和 MME-RealWorld 上，其得分更是高出同级别模型近 9 个百分点。

但 MOSS-VL 最具碾压优势的战场显然是流式基准。在针对流式模型设立的四项公开测评（OVO-Bench、OmniMMI、StreamingBench、ProactiveVideoQA）中，MOSS-VL-Realtime 在其中三项拿下了开源流式模型的平均分第一，第四项位列第二。

更具说服力的是针对“主动交互”（Proactive Behavior）的细分测试。传统的流式模型极其容易患上两种“病症”：要么过于激进，在没有充分证据时频频插嘴幻觉；要么过于保守，面对长期常驻任务始终不敢开口。而在 OmniMMI 的主动预警（Proactive Alerting）子集中，MOSS-VL 跑出了 66.0 的高分，几乎是将此前最优秀的开源基线（37.5）斩落马下翻倍领先；在 StreamingBench 的 Proactive Output 和 OVO-Bench 的 Forward Active Responding 测试中，MOSS-VL 同样全线登顶。这证明 Realtime-SFT 真正让模型学会了基于画面因果的审慎决策。

除了算法层面的准确度，工程落地中最敏感的是推理延迟与硬件开销。传统将视觉特征全量拼接至输入序列的模型，随着视频变长，首字延迟会呈现陡峭的二次方或超线性增长。而 MOSS-VL 的总参数量虽达到 11.3B（其中语言底座 8.2B，交叉注意力 2.3B，视觉前端 0.8B），略高于基础的 8B 模型，但因其视觉 Token 独立于文本自回归路径之外，文本侧的序列增长极为克制。

在 SGLang 框架的实际基准测试中，当输入的视觉上下文从少量帧增加到长程视频流时，相同语言骨干的 Qwen3-VL-8B 首字延迟激增，而 MOSS-VL 的响应耗时曲线极度平缓。在长视觉上下文场景下，MOSS-VL 的首字延迟优势从初始的 2.8 倍一路扩大至 5.1 倍。为了充分榨干这种架构的吞吐潜能，研发团队还对 FlashAttention-3 底层进行了定制扩展，设计了 cross_kv_boundary 接口，使交叉注意力核函数仅计算每个文本 Query 可见的当前及前序帧，将因果掩码带来的多余显存和算力开销直接剪枝归零，相关改动目前已被合并至 SGLang 官方主干。

迈向具身与实时交互的关键拼图

长久以来，学术界与工业界在构建端到端视觉助手时，往往陷入一个折中困境：要么使用单帧极度轻量的模型来保证帧率，但牺牲了深度的推理与上下文记忆；要么使用功能完备的重型多模态大模型，但忍受其笨重的离线问答延迟。

MOSS-VL 证明了一条架构共生道路的可行性：通过门控交叉注意力和时空坐标解耦，大型多模态模型完全有能力在不重写底层解码机制的前提下，把输入端改造为持续吞吐新特征的“感官系统”，而语言中枢依然能够自如地组织思维并输出指令。

模型在说话时不再是“盲人”，这是 AI 智能体进入真实动态物理世界、承担自动驾驶座舱感知、盲人实时导航乃至高频工业操作监控的基础门槛。当视觉感知的刷新频率能够毫无阻碍地穿透文本自回归的漫长周期，具身智能和实时助理才算真正迈出了告别延迟、拥抱当下的一大步。