OpenAI API 新增 12 小时提示词缓存选项

OpenAI宣布API支持选择12小时提示词缓存，关注价值在于长时间运行的智能体可以减少重复上下文的处理成本，并改善跨时段任务的经济性。

• OpenAI开发者信息称，共享指令、工具和上下文可选择更长的缓存时长。
• 这一机制面向请求间隔数小时、但仍反复使用相同上下文的应用，例如持续运行的智能体。
• 缓存节省通常只适用于命中缓存的重复输入；动态变化的提示词、上下文失效或缓存未命中时，成本和延迟仍需按实际请求计算。
• 对开发者而言，除了价格，还需要考虑上下文更新策略、数据隔离、失效时间和缓存命中率。
• 影响/看点：12小时选项可能改善持久化智能体的成本可预测性，但收益成立的前提是任务具有较高的重复上下文比例，并且缓存内容不会因业务变化频繁失效。
• 资料依据:
• OpenAI Developers（2026-10-20）：12小时提示词缓存公告 https://x.com/OpenAIDevs/status/2112603916076781778
• OpenAI API文档（2026-10-20）：Prompt caching https://developers.openai.com/api/docs/guides/prompt-caching

本内容由 AI 生成，仅供参考，请注意甄别