OpenMOSS开源MOSS-VL-Realtime实时视频流多模态模型
OpenMOSS开源MOSS-VL-Realtime,11B参数,支持实时视频流同步感知与生成。
AI 深度解读
OpenMOSS 开源 MOSS-VL-Realtime,一个 11B 参数的实时视频流多模态模型,支持边看边答,场景变化时主动修改回答。
- 模型支持在视频持续输入时同步感知与生成,可边处理新帧边回复。
- 在场景变化时能主动修改或中断回答,实现实时交互。
- 采用 Cross-Attention 架构与 XRoPE 时空位置编码,支持 256K 上下文窗口。
- 以 Apache-2.0 协议开源,便于社区使用和二次开发。
- 影响/看点:实时视频流多模态模型开源,为视频交互、监控、直播等场景提供新可能。