Cohere 开源 LLM 推理服务系统：基于 Decode Megakernel 构建，比 vLLM 快 1.58 倍

Cohere 开源了基于解码大算子（Decode Megakernel）架构的大语言模型推理服务系统，重点优化模型在文本生成解码阶段的 GPU 吞吐效率。

• 该系统围绕 decode megakernel 技术构建，将整个解码步骤融合至单一内核启动中，减少内核调度开销并提高 GPU 计算单元利用率。
• 针对 North Mini Code 模型的基准评测显示，该推理系统相比 vLLM 实现了最高 1.58 倍的速度提升。
• 该方案以完全开源形式提供，在最大化算子融合的同时，集成了生产服务环境所需的调度与管理功能。
• 影响/看点：算子融合架构为代码补全与长序列推理提供了低延迟优化路径，其实际加速表现将取决于硬件架构支持程度以及与不同模型结构的适配性。
• 资料依据：
• X：Cohere（@cohere）（2026-09-08）：https://x.com/cohere/status/2097410772355666393
• GitHub：Cohere（2026-09-08）：https://github.com/cohere-ai

本内容由 AI 生成，仅供参考，请注意甄别