苹果提出视频描述评测新方法：通过多项选择问答评估字幕质量

苹果机器学习研究团队提出视频字幕评测基准 CapQuiz 与评估指标 CapF1，尝试解决传统匹配类评测指标难以应对视频描述多样性的问题。

• 传统评估依赖与人工参考文本的比对，容易因视频描述的「一对多」特性而误判词汇不匹配或视觉焦点转移的高质量字幕。
• CapQuiz 采用免参考文本设计，通过视频衍生的 10 类多项选择题问答表现，反推字幕的信息覆盖率与真实性。
• 题库涵盖描述性与推断性两类维度，测试范围跨越 24 个多样化视频领域。
• 构建了结合事实精确度 CapP 与信息召回率 CapR 的综合指标 CapF1，实验表明其与人类主观评价的相关性显著优于传统指标。
• 影响/看点在于该方案为视频字幕生成提供了更具细粒度与可解释性的检验手段，若被多模态大模型评测集广泛采用，可能推动模型在视频细节捕捉与事实保真度上的针对性优化。
• 资料依据：
• Apple Machine Learning Research（2026-09-11）：https://machinelearning.apple.com/research/video-caption-quality
• arXiv（2026-09-11）：https://arxiv.org/abs/2609.09973

本内容由 AI 生成，仅供参考，请注意甄别