OpenAI 优化 GPT-6 Prompt 缓存机制：提升命中率并支持显式断点

OpenAI 于 2026 年 9 月 22 日发布公告，针对 GPT-6 系列优化了 Prompt 缓存机制，旨在降低长时运行智能体在复杂任务中的调用延迟与计算成本。

• 缓存命中率与折扣：改进了默认缓存机制，在 30 分钟时间窗口内，对符合条件的共享前缀提供最高 90% 的输入 Token 费用减免。
• 可视化监控与诊断：上线 Prompt Caching 仪表盘支持查看缓存 Token 占比与命中趋势，并提供诊断工具用于定位工具或输入变动导致的未命中（Cache Miss）及受影响 Token 数量。
• 显式断点与动态配置：引入显式缓存断点，允许开发者自主指定复用前缀；同时支持通过追加配置动态调节推理强度，且不破坏已有缓存。
• 影响/看点：该机制意味着持续运行数小时的代码重构或研报生成智能体在 API 成本与响应速度上可能获得明显改善，但前提是开发者的上下文前缀与工具调用结构保持高度规范。
• 资料依据：
• OpenAI（2026-09-22）：https://openai.com/index/better-prompt-caching-for-gpt-6

本内容由 AI 生成，仅供参考，请注意甄别