使用校准稀疏注意力加速文本到视频生成

苹果研究团队提出校准稀疏注意力方法，加速文本到视频生成模型。

• 研究发现，时空注意力中大量token连接分数可忽略，且模式重复，可跳过计算而不影响结果。
• 该方法适用于局部token块，显著减少计算量。
• 基于扩散模型的视频生成因大Transformer骨干而速度慢，稀疏注意力直接解决这一瓶颈。
• 影响/看点：该技术有望大幅降低视频生成的计算成本，推动实时或近实时视频生成应用。

本内容由 AI 生成，仅供参考，请注意甄别