Wan-Streamer：视频等于世界加事件流

这篇论文给实时视频交互模型提了一个新的统一视角:一段视频=世界+事件流,由此把「理解视频」重新定义为「预测世界如何随输入实时变化」,并已经跑通到人机语音视频交互的实际系统里。

• 「世界」指相对稳定的部分——环境、场景、人物、环境声、说话人音色等背景设定;「事件流」指随时间变化的部分——场景切换、行为、语言、其他声音,这个划分让预训练任务变得通用:给定世界和新输入,预测世界如何演变。
• 这套能力被具体落地为「全双工音视频实时交互」,事件流被特化成智能体自己的说话和自由行为,理解过程被类比为「视觉-语言-动作」模型,把多模态用户输入直接映射成语言形式的语音与行为动作。
• Wan-Streamer v0.3 延续了 v0.2 的工作点参数:640x368、25 FPS 视频,160 毫秒流式单元,模型侧响应延迟约 200 毫秒,在 350 毫秒双向网络预算下总交互延迟约 550 毫秒。
• 版本号仍是 v0.3,说明这更像是概念框架和工程指标的持续迭代,而不是一次性的能力跃升。
• 看点在于「世界+事件流」这个抽象一旦成立,同一套预训练范式理论上可以泛化到更多实时下游任务(不止是语音交互),对追踪实时多模态智能体路线的人值得留意其后续开源与评测数据。