阿里云灵骏真武实例Day0适配月之暗面Kimi K3模型

阿里云自研芯片这次拿下了一次含金量很高的首发适配:月之暗面2.8万亿参数的旗舰模型Kimi K3,在真武M890超节点上实现Day0即用,芯片、推理平台、模型三方联合调优的效果直接可见。

• 真武M890基于平头哥训推一体芯片打造,64张卡靠自研ICN Switch互联芯片实现800GB/s全互联,显存规模达9TB
• 大显存加高带宽通信域的组合,专为Kimi K3这类万亿级MoE模型的专家并行通信设计,避免通信成为拖慢Token生成的瓶颈
• “Day0适配”意味着模型发布当天芯片侧已经跑通,背后是阿里云、平头哥、月之暗面三个团队在芯片和软件栈层面的提前深度协同,而非事后补课
• T-Head SAIL软件栈让Kimi自研的Mooncake推理框架“开箱即跑”,基于Triton编写的自定义算子也无需重写,大幅压低了迁移成本
• 这是国产芯片在超大参数MoE模型上少见的首发即战力案例,不只是能跑起来,还讲推理效率
• 对关注国产算力自主可控的人来说,这是个具体信号:自研芯片配自研大模型的组合正从“能用”迈向“好用”,英伟达之外的推理选项在实实在在往前走。

本内容由 AI 生成，仅供参考，请注意甄别