语音与实时智能体推理API延迟基准评测：为何首Token时间并非唯一指标

MarkTechPost发布一篇语音与实时智能体延迟评测，指出首Token时间TTFT不能代表用户感知的响应速度，并将语音链路拆分为STT、LLM、TTS、网络及工具调用等环节；关注价值在于它把语音体验从单一模型指标转向端到端延迟预算。

• 文章指出，TTS通常需要完整短语或句子后才能合成音频，因此生成首Token与听到首句话之间仍有时间差。
• 文章引用LiveKit 2026年4月13日的延迟指南，强调模型位置、工具调用、上下文长度和网络都会影响整体延迟。
• Daily在2026年2月2日发布的aiewf-eval基准同时测试延迟、工具调用、指令遵循和事实依据，说明语音模型不能只按速度排序。
• 文章给出的790毫秒至1.3秒级级联链路预算属于规划估计，不是对单一生产系统的统一测量。
• 影响/看点：语音智能体评估可能更多采用首句音频、端到端延迟和P95等指标；成立条件是各测试明确硬件、地区、网络、推理模式和工具调用设置，否则横向数字仍难直接比较。
• 资料依据:
• MarkTechPost（2026-08-30）：https://www.marktechpost.com/2026/08/30/lowest-latency-inference-apis-for-voice-and-realtime-agents-a-time-to-first-token-ttft-first-benchmark/
• LiveKit《Understand and Improve Voice Agent Latency》（2026-04-13）：https://livekit.com/blog/understand-and-improve-agent-latency
• Daily《Benchmarking LLMs for Voice Agent Use Cases》（2026-02-02）：https://www.daily.co/blog/benchmarking-llms-for-voice-agent-use-cases/

本内容由 AI 生成，仅供参考，请注意甄别