华为昇腾 0 Day 支持 Kimi K3.1 Pro 推理部署

华为昇腾团队宣布基于 vLLM Ascend 和 SGLang 为 Kimi K3.1 Pro 提供首日推理适配，关注价值在于超大规模混合注意力模型的部署效率，越来越依赖模型结构与硬件、算子和框架的协同支持。

• IT之家援引华为计算信息称，适配覆盖 Atlas 800 A3、Atlas 900 A3 SuperPod 和昇腾 950 超节点系列。
• SGLang 官方 GitHub issue 记录了 Kimi K3.1 在 Ascend NPU 上的适配目标，并说明其包含线性注意力层、全注意力层和 DSA 稀疏注意力路径。
• 该 issue 显示单请求的 prefill 和 decode 已在 3 节点、每节点 8 卡的拓扑上完成验证，但吞吐基准仍待补充。
• 因此，首日可部署主要说明软件接入和基础验证完成，不能直接推出其性能、成本或稳定性已经优于其他硬件平台。
• 影响/看点：如果后续吞吐、长上下文延迟和多租户稳定性测试能够达到生产要求，昇腾的软件适配速度可能降低部分模型迁移门槛；实际价值取决于完整基准和持续维护情况。
• 资料依据:
• IT之家（2026-11-05）：https://www.ithome.com/1/022/502.htm
• SGLang GitHub（2026-11-04）：https://github.com/sgl-project/sglang/issues/48348

本内容由 AI 生成，仅供参考，请注意甄别