SSD:空间推测解码加速自回归图像生成最高 13.28 倍
新方法SSD通过并行预测图像行,将自回归图像模型加速最高13.28倍,性能与标准解码相当。
AI 深度解读
空间推测解码(SSD)通过并行预测图像行,将自回归图像模型加速最高 13.28 倍。
- SSD 不逐个预测 token,而是利用附近空间信息整行草拟,添加小型辅助网络同时向右和向下查看。
- 辅助网络预测更易学习的内部特征而非精确视觉 token 标签,主模型并行审查每个草拟块并纠正错误。
- 在 Janus-Pro、Lumina-mGPT 和 Emu3 上,生成速度提升 5.74 至 13.28 倍,基准分数与标准解码相当。
- 更大 token 网格增益更高,小型训练头可加速过程。
- 影响/看点:SSD 大幅提升了自回归图像生成的效率,使高质量图像生成更接近实时,有望推动图像生成在实时应用中的普及。