Databricks 团队优化 GLM-5.3-Flash 推理速度突破 270 tok/s

Databricks 推理团队成员 Yuchen Jin 披露，团队对 GLM-5.3-Flash 进行了推理工程优化，使其生成速度达到了 270 tok/s。

• 推理吞吐提升：在工程优化支持下，GLM-5.3-Flash 的推理生成速度达到 270 tok/s 水平。
• 基准评测质量对比：在团队内部的 OfficeQA Pro v2 基准测试中，GLM-5.3-Flash 的输出质量相较上一代 GLM-5.2 提升了 10%。
• 运行成本结构改善：测试数据显示，新模型在质量提升的同时，计算成本降至前代版本的十分之一。
• 影响/看点：高吞吐与低成本的结合可能推动该轻量模型在对延迟要求极高的企业级实时问答场景中加快应用，其表现取决于优化方案在通用硬件环境下的迁移兼容性。
• 资料依据：
• 1. Yuchen Jin 个人 X 账号（2024年8月28日）：https://x.com/Yuchenj_UW/status/2093177892356472978

本内容由 AI 生成，仅供参考，请注意甄别