Epoch AI 实测揭示长上下文延迟特征：GPT 首字延迟呈二次方增长而 Claude 接近线性

研究机构 Epoch AI 发布针对长上下文首字生成延迟（TTFT）的实测数据, 揭示了主流大模型在处理超长文本输入时的底层架构特征。

• Epoch AI 于 2026 年 9 月 8 日公布测试结果, 对比了 OpenAI GPT-5.6 系列与 Anthropic Claude 5 系列随输入序列长度增加时的首字延迟变化。
• 测试显示, GPT-5.6 模型在输入超过 272k token 时首字延迟呈现二次方增长趋势, 而 Claude 5 模型的延迟随长度增加更接近线性增长。
• 分析指出, 该延迟特征差异与注意力机制计算方式及工程调度策略直接相关, 同时也解释了两家厂商在超长上下文窗口阶段的不同定价结构。
• 影响/看点在于首字延迟的线性或二次方增长特征可能决定长文档检索与连续代码生成等任务的交互体验, 其商业选型取决于实际业务对首字响应时间与计算开销的权衡。
• 资料依据:
• X：Epoch AI（2026-09-08）：https://x.com/EpochAIResearch/status/2097432975172567373
• Epoch AI（2026-09-08）：https://epoch.ai/blog/ttft-scaling-gpt-claude

本内容由 AI 生成，仅供参考，请注意甄别