苹果研究：更快的内积检索，让 RAG 更高效

Apple 介绍一种面向最大内积检索的学习式加速方法，通过小型神经网络利用查询分布改进向量路由，关注价值在于 RAG 检索在数据规模和向量维度上升时，可能获得速度与准确率之间的新折中。

• Apple 说明，最大内积搜索用于推荐、搜索和 RAG，需要从大量候选向量中找到与查询最匹配的键。
• 传统聚类或量化方法主要利用键集合结构，而 RAG 的用户问题通常较短，和代表长文档的键向量存在分布差异。
• 该研究训练 SupportNet 等网络近似支持函数或直接预测匹配键，并在离线阶段为固定数据库承担训练成本。
• 方法依赖相对稳定且可预估的查询分布；数据库频繁变化或查询分布发生漂移时，预训练收益可能下降。
• 影响/看点：若在真实数据集上同时保持召回率和延迟优势，该方法可能减少 RAG 检索成本；成立条件是离线训练开销、索引更新成本和误检带来的回答质量损失低于节省的在线计算量。
• 资料依据:
• Apple Machine Learning Research（2026-11-05）：https://machinelearning.apple.com/research/faster-retrieval
• Apple Machine Learning Research（2026-11-05）：https://proceedings.mlr.press/v322/amiri24a.html

本内容由 AI 生成，仅供参考，请注意甄别