英伟达开源 srt-slurm：面向 Slurm 集群的生产级大模型推理编排层

英伟达于 2026 年 8 月开源了 srt-slurm 编排工具，为高性能计算集群中基于 Slurm 调度系统的大模型推理服务提供了标准化、可复现的声明式部署方案。

• 声明式作业编排：该工具通过 YAML 配置文件协调 Slurm 集群中的 sbatch 与 srun 指令，自动化处理 GPU 分配、网络环境配置、服务就绪检测与任务清理。
• 支持前沿拓扑：原生适配预填充与解码分离（Prefill-Decode Disaggregation）、多节点工作进程协同、KV 缓存感知路由等复杂推理拓扑结构。
• 评测与部署统一：为 vLLM、SGLang 等主流开源推理框架提供统一的基准测试流水线，降低从云原生环境向超算调度环境迁移的技术门槛。
• 影响/看点：该框架将高性能计算集群的调度规范与现代大模型分布式推理架构相结合，有助于研发团队在异构硬件环境下以更低成本验证高并发吞吐瓶颈。
• 资料依据：
• 1. GitHub 开源仓库 (https://github.com)
• 2. SemiAnalysis 行业报告 (https://semianalysis.com)

本内容由 AI 生成，仅供参考，请注意甄别