HelloWorld：让视频世界模型角色“按F交互”，时序命中率提升至81.7%
HelloWorld: Enabling Socially Interactive Characters in Video World Models
当前的视频世界模型已经能够生成具有物理一致性的动态画面，甚至允许用户通过键盘或运镜轨迹漫游整个虚拟空间。但在这些被广泛看作“未来游戏雏形”的生成世界里，存在一个显而易见的违和感：置身其中的角色往往只是一组无法交互的背景贴图。即便部分前沿模型能赋予角色基础的自发动作，这些动作也属于环境里的自言自语，无法对镜头前的观众产生即时、定时的社交响应。
ArXiv URL：https://arxiv.org/abs/2608.05070v1
来自东京大学 Alaya Lab 的研究团队推出了名为 HelloWorld 的交互式视频世界模型，首次打破了这一局限。该模型引入了经典游戏中的“F 键交互”理念——在视频生成过程中，用户只需指定交互窗口，画面中的人物、动物或玩具角色就会准时转向镜头，向观众点头、挥手、微笑甚至开口问候，同时维持原本复杂的相机运镜轨迹与场景真实度。
更为巧妙的是，这一能力并没有依赖昂贵的人工采集与精细标注，而是通过纯粹的自蒸馏（Self-Distillation）管线驱动：先用预训练视频生成模型自生成交互动作，再利用点云重渲染构建相机条件来微调轻量 LoRA。同时，推理阶段引入了免训练的时序交叉注意力掩码机制，让互动发生的时序命中率一举从基线模型的约 30%（近乎随机选择）跃升至 81.7%。
从“背景贴图”到“对视响应”：世界模型缺失的社交维度
回看近年视频世界模型的发展轨迹，学界的兴奋点主要集中在空间探索与物理规则模拟上。通过注入相机位姿 $\mathbf{c} \in \mathrm{SE}(3)$，用户可以像操纵无人机或第一人称视角那样在生成的房间、街道中穿梭；另一些工作则尝试通过动作标签控制物体的位移或拾取。但只要画面中出现人物、宠物或 NPC，世界模型的“破绽”就会暴露无遗。
现存框架处理角色时通常陷入两种极端：要么让角色僵直在原地，沦为背景几何体的一部分；要么放任其自顾自地做一些环境动画，完全忽略视线与玩家的存在。即便文字提示词写明“看向镜头并打招呼”，主流模型往往也无法处理运镜视角与角色朝向之间的相对空间关系，动作何时开始、何时结束更是处于完全失控的随机状态。
这种缺陷的根源在于控制信号的混杂。在物理运镜过程中，画面的几何透视在持续改变；如果要让角色在特定秒数内做出面向镜头的主动交互，模型必须同时解耦两类强信号：一是全局相机的几何变换，二是角色局部受控的时序动作与视线聚焦。针对这一挑战，HelloWorld 将生成任务形式化为一个具备四重输入的新范式：首帧图像 $\mathbf{x}^{0}$、场景与交互文本提示 $\mathbf{y}$、全片相机运动轨迹 $\mathcal{C}={\mathbf{c}^{i}}{i=1}^{N}$，以及用于定义社交响应发生区间的交互窗口 $\mathcal{W}=[\tau{s}, \tau_{e}]$。
自蒸馏管线：不碰外部标注，用自己的生成数据打磨世界
为了赋予基础扩散变压器（DiT）精确跟随运镜的能力，通常需要海量的真实视频配合相机位姿估算进行微调。然而，包含高质量“面向镜头主动交互”且具备清晰相机运动的真实视频数据极其罕见。团队没有选择耗资巨大的人工拍摄或复杂的外部数据集爬取，而是设计了一套优雅的自蒸馏训练框架。
整个训练过程被拆解为数据自生成、空间解耦与条件重建三个紧密配合的阶段：
首先，利用冻结的开源高质量视频生成底座（以 LTX-2.3 为代表），通过精心设计的提示词生成一批兼具自然社交动作与动态相机运动的视频片段。由于纯文生视频模型在不受外部刚性位姿约束时能够释放丰富的语义先验，这批自身生成的片段天然包含了高质量的互动细节。
随后进入几何解耦阶段。针对每一段合成视频，研究人员借助现成的单目重建工具 Pi3X 从第一帧估算出场景的 3D 点云，并同时从视频流中反推相机的时序运动轨迹 $\mathcal{C}$。有了点云与轨迹后，通过透视投影重渲染出一段沿预定路径移动的伪视频，即 Warp 视频（$\mathcal{V}_{\mathrm{warp}}$）：
\[\mathcal{V}_{\mathrm{warp}}=\mathrm{warp}(\mathbf{x}^{0},\mathcal{C})\]这段 Warp 视频直接提供了精确对齐各帧几何透视的显式线索，作为历史条件（History Condition）token 注入到 DiT 结构中，共享对应帧的时序位置编码。
在微调训练时，目标是让模型基于首帧 $\mathbf{x}^{0}$、Warp 视频 $\mathcal{V}_{\mathrm{warp}}$ 和文字提示词，重新预测去噪速度场并还原原始合成视频：
\[\mathcal{L}=\;\mathbb{E}_{\mathbf{z}_{0},\,t,\,\mathbf{\epsilon}}\big\|\mathbf{v}_{\theta}\big(\mathbf{z}_{t},\,t,\,\mathbf{x}^{0},\,\mathbf{y}_{\mathrm{scene}},\,\mathbf{y}_{\mathrm{inter}},\,\mathbf{y}_{\mathrm{quality}},\,\mathcal{V}_{\mathrm{warp}}\big)-\left(\mathbf{\epsilon}-\mathbf{z}_{0}\right)\big\|_{2}^{2}\]这里隐藏了一个至关重要的设计取舍：在输入文本中，研究人员特意将相机轨迹相关的描述（$\mathbf{y}{\mathrm{camera}}$）彻底剔除，只保留场景描述 $\mathbf{y}{\mathrm{scene}}$、交互指令 $\mathbf{y}{\mathrm{inter}}$ 和画质词 $\mathbf{y}{\mathrm{quality}}$。这一机制强制模型将相机运动的控制权完全移交给视觉分支中的 Warp 视频，而将文字分支的注意力纯粹聚焦在人物动作与交互语义本身。实验表明，仅需 156 条自合成视频、微调 2000 步的秩为 32 的轻量 LoRA，就能让模型彻底掌握运镜跟随，且完全不损害底座原有的动作表现力。
0 额外训练的“时序扳机”：交叉注意力时空遮罩
掌握了运镜与交互能力的模型，在进入实际交互时依然面临一个核心工程难题：如何决定交互何时发生？
如果在生成时直接将“挥手”写入全局 Prompt，扩散模型往往会在全片中持续不断地挥手，或者在不可预测的某一时刻突然动作。如果为了控制时间而专门训练一个带有时间戳编码的动作控制器，又需要极其庞大且标注精细的数据集，极易导致过拟合与画质退化。HelloWorld 的解决方式回归到了扩散模型的底层机制——在推理阶段直接劫持 DiT 的交叉注意力图（Cross-Attention Map）。
如上图右侧所示，用户通过按下“F 键”划定交互时间窗口 $\mathcal{W}=[\tau_{s}, \tau_{e}]$。此时，系统无需改变模型权重，而是直接在 DiT 的交叉注意力层中注入一个时序掩码矩阵 $M$：
\[M_{ij} =\begin{cases}-\infty,&i\notin\mathcal{W}\;\text{且}\;j\in\mathbf{y}_{\mathrm{inter}},\\ 0,&\text{其他情况},\end{cases}\] \[\mathrm{Attention} =\mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d}}+M\right)V\]式中，$i$ 代表当前生成视频（及音频）在时序上的帧索引，$j$ 则代表文本提示词的 Token 索引。这个掩码的逻辑简单且严密：当帧索引 $i$ 落在按键窗口 $\mathcal{W}$ 之外时，它对交互提示词 $\mathbf{y}_{\mathrm{inter}}$（如“面向镜头微笑并打招呼”）的注意力权重直接被置为 $-\infty$。
这种强硬的负无穷截断带来了一个非常优雅的物理效果：在没有按键触发的常规时间段，模型只能“读”到场景描述，角色保持着松弛的自然环境行为（如巡视、走动、呼吸）；一旦按键被触发并进入 $\mathcal{W}$ 窗口，交互词的注意力通道瞬时畅通，角色迅速被文本驱动，转向镜头完成互动；窗口结束后，角色又重新回归常态。更进一步，研究团队将该掩码同步拓展到了音频流 cross-attention，使得伴随动作而来的语音或招呼声也能完美收敛在按键区间内。
HelloWorldBench：社交互动如何客观量化？
传统的视频生成评测主要关注画质审美（Aesthetic）、背景时序一致性（BgCons）和相机运动准确率（CamCtrl）。这些指标完全无法捕捉“角色是否真的在与屏幕前的用户互动”。为此，团队构建了首个专注世界模型社交互动的评测基准 HelloWorldBench。
评测集收集了 120 张高质量高保真首帧图像，涵盖了写实人类、卡通角色、动物以及机器人等极其多元的实体，并通过大语言模型针对性设计了 101 类符合主体特性的互动行为，搭配静态、水平运镜（Scan）、推进（Dolly-in）和环绕（Orbit）等四种经典相机轨迹，最终派生出 400 个标准化测试用例。
为了解决社交互动的定量评估问题，论文将交互拆解为三个正交的维度，构建了三项核心评测指标：
-
动作准确率（ActAcc $\uparrow$）：通过强视觉大模型（VLM）以八选一的客观选择题形式，判断生成的角色是否真正执行了目标动作，评测交互的“内容”。
-
时序命中率（TimeAcc $\uparrow$）：将生成片段划分为均等的三段时序区间（前、中、后），让 VLM 裁决交互动作到底落在哪一阶段，还是“根本没有互动”，评测交互的“时机”。
-
视线偏离角（GazeDev $\downarrow$）：在人类样本中，利用视线估计网络量化角色在交互窗口内的视线向量与相机光轴之间的三维平均夹角，精确衡量动作是否确实“冲着观众而来”。
实测表现：击破基线，解决“互动幻觉”
在 HelloWorldBench 的严苛检验下，HelloWorld 与 WorldPlay、Matrix-Game 3.0、LingBot-World、SANA-WM 以及 Warp-as-History 等主流视频世界模型展开了直接交锋。
实验数据揭示了现有模型普遍面临的社交盲区：WorldPlay 和 Matrix-Game 3.0 倾向于生成近乎完全静止的画面，交互得分极低；LingBot-World 和 SANA-WM 虽然能顺应文本让角色动起来，并在动作准确率上表现尚可，但在时序定位能力上遭遇惨败——其 TimeAcc 长期徘徊在 30% 左右，与三选项盲猜的随机水平（33.3%）完全一致。而借助免训练时序掩码的 HelloWorld，将这一指标直接推升至 81.7%。
在视线对齐上，基线模型的视线偏离角普遍在 50° 至 65° 之间漂移，生成的人物动作多数是在自顾自活动；HelloWorld 则将平均偏离角显著压缩，证明了自蒸馏让模型真正习得了面向相机的凝视倾向。与此同时，HelloWorld 的相机运动跟随精度达到了 90.6%，背景一致性与画质得分也稳居第一梯队。
从定性对比图中可以更直观地看清差距。当输入“比心（make a heart）”或“交叉双臂”等涉及自我肢体交叠的指令时，LingBot-World 与 SANA-WM 频繁产生令人不适的“交互幻觉”——例如突然在画面中凭空多生成出一名无辜路人，或者身体躯干严重扭曲变形。而 HelloWorld 不仅精准保持了主体身份的一致性与运镜平滑度，而且肢体语言舒展，对镜头的眼神交流十分稳定。
通过消融实验进一步验证各模块的作用：
-
训练数据源的影响：如上图 (a) 所示，如果仅用不含交互动作的真实视频训练 LoRA（Real-video），模型虽然也能学懂运镜，但在面对交互 Prompt 时会瞬间失去面向镜头的能力，甚至出现画面撕裂和幻觉；只有注入自生成的互动数据（Human-only 及包含动物、玩偶的 Full 设定），才能在不损伤画质的前提下建立坚固的社交动作先验。
-
时序掩码的威力：如上图 (b) 所示，在移除时序掩码的情况下，角色往往会过早启动打招呼（在非交互窗口内即开始动作）；而加入掩码后，问候动作精准锚定在 F 键被按下的绿色区间内。同时，消融实验证实将掩码同时施加于视频（$M_v$）和音频（$M_a$）流时，语音与肢体表达的同步率最高。
在涉及 30 位人类评审、41 组典型场景的双盲评测中，针对“动作自然度”、“是否感觉角色在与你互动”以及“场景质量”三项主观问答，人类用户对 HelloWorld 的偏好比例全面超越竞争对手，所有偏好率的 95% 置信区间均落在 66% 以上。
开销与局限：通往全实时物理沙盒的中间站
对于交互式世界模型而言，推理延迟直接关乎交互体验。在单张 NVIDIA H200 GPU 上的性能基准测试显示，HelloWorld 在生成 $1280 \times 704$ 高清分辨率、241 帧（约 10 秒）的视频时，单帧生成耗时约为 0.26 秒。虽然相比基础生成模型 LTX-2.3 增加了引入 Warp 视频 Token 带来的微幅计算负担（FLOPs 增加约 36%），但其整体推理耗时与轻量级世界模型 SANA-WM（0.27s/frame）旗鼓相当，远快于 WorldPlay（0.56s/frame）和 LingBot-World（0.39s/frame）。
不过，HelloWorld 仍然有明确的边界与尚未解决的瓶颈。最显要的限制在于：它目前依然是一个由预设轨迹与脚本驱动的准交互系统，尚未迈入真正的全实时自回归流式响应。用户需要预先输入一段运镜路径与交互时间区间，模型随后以非因果（Non-causal）扩散去噪的方式端到端生成对应片段。
正因如此，研究团队也在论文末尾明确指出了下一步的演进路径：将这种独特的自蒸馏与视线解耦机制迁移至自回归（Autoregressive）世界模型架构中，以实现按键瞬间帧级实时响应。同时，如何跨越更长的时间维度维持同一角色的长期记忆与持续的多轮复杂互动，也将是社交世界模型必须攻破的下一道关卡。
HelloWorld 的技术价值在于，它打破了长久以来“世界模型只管模拟没有灵魂的物理背景”的固有范式。通过极具巧思的无监督自蒸馏与轻量注意力手术，它证明了无需昂贵重构，现有的视频生成模型内部就蕴含着充沛的社交潜能。当数字世界里的原住民终于开始凝视镜头、对用户的指令报以微笑时，生成式游戏与沉浸式数字孪生，才真正跨过了单向观赏与双向互动之间的隐形分水岭。