SGLang-TorchTPU 发布，Ling 3.1 Flash 等开源模型首批支持 TPU

SGLang-TorchTPU 作为面向 Google TPU 的开源插件发布，首批覆盖多款开源模型；其关注价值在于为 MoE 推理提供除 GPU 之外的部署路径。

• GitHub 官方仓库将其定位为 SGLang 的 TorchTPU 插件，代码以 Apache-2.0 协议公开。
• 条目提到 Ling 3.1 Flash 与 Ling 3.0 系列进入首批支持阵容，但具体适配范围仍取决于模型算子、编译链和运行配置。
• 公开材料给出的 770 tok/s 是特定模型、批大小和测试环境下的解码结果，不能直接等同于普遍性能。
• TPU 支持若能覆盖更多模型和生产工具链，可能降低部分企业对单一加速器平台的依赖。
• 影响/看点：实际价值取决于模型兼容性、服务稳定性、硬件可获得性及跨平台成本，而非单项基准数字。
• 资料依据:
• SGLang TorchTPU GitHub 仓库（2026-10-21）：https://github.com/sgl-project/sglang-torchtpu
• 蚂蚁百灵 X 帖子（2026-10-22）：https://x.com/AntLingAGI/status/2113066156508766526

本内容由 AI 生成，仅供参考，请注意甄别