LiveKit优化Gemma 4 31B，实时语音比GPT-4.1快5倍

语音基础设施公司 LiveKit 针对 Google 新模型 Gemma 4 31B 做了推理优化，在实时语音对话场景中做到比 GPT-4.1 快 5 倍多、成本却只要六分之一左右，是开源/自研模型在语音 Agent 赛道对闭源大厂发起成本效率挑战的一个具体案例。

• 在 LiveKit 自家推理平台 LiveKit Inference 上运行优化后的 Gemma 4 31B，实时语音首字延迟低至 192 毫秒，是 GPT-4.1 的 5.2 倍速度。
• 成本方面较 GPT-4.1 便宜约 83%，大致只要六分之一，延迟和成本双双大幅优化，而非单一维度取舍。
• 团队用一个具体业务场景——酒店前台语音交互——做了实测对比：该方案任务完成率达 88%，高于 GPT-4.1 的 73% 和 Gemini 2.5 Flash 的 64%。
• 结果表明，经过针对性优化的中等规模模型，在实时语音这类对延迟极度敏感的场景里，不仅能追平、甚至可能反超参数量更大的通用闭源模型。
• 对正在做语音 Agent 或客服类产品的团队，这提供了一条现实路径——与其一味依赖顶级闭源模型，针对具体场景优化的中等模型配合专业推理平台，可能是延迟、成本、效果三者更优的组合。

本内容由 AI 生成，仅供参考，请注意甄别