阶跃星辰联合 vLLM、蚂蚁发布 AFD 推理解耦插件

阶跃星辰联合vLLM团队、蚂蚁集团与FastAFD共同发布vLLM AFD Plugin,面向MoE大模型推理引入Attention-FFN解耦架构,是国产团队参与国际主流推理框架生态共建的一次实质性输出。

• 插件挂载在vllm-project官方仓库下,目前定位为实验性功能,面向MoE(混合专家)模型的推理优化场景;
• 核心思路是把注意力计算与专家/FFN路径拆分成两个独立服务分别运行,二者可按各自负载独立扩缩容,而非绑定在同一实例里一起伸缩;
• 部署方式对现有vLLM较为友好,无需fork主干代码即可接入使用,降低了工程集成成本;
• 同时兼容NVIDIA GPU与华为昇腾NPU两套硬件生态,兼顾了海外主流卡和国产算力平台。
• AFD解耦是应对MoE模型推理阶段资源利用率不均的针对性方案,能提升大规模MoE部署的弹性和成本效率,昇腾适配也让这项优化对国内AI基础设施建设更具直接意义。

本内容由 AI 生成，仅供参考，请注意甄别