TokenRouter：面向Token级大语言模型路由的高效服务系统

论文《TokenRouter: Efficient Serving System for Token-Level LLM Routing》于2026-10-08提交至arXiv，提出面向Token级路由推理的服务系统，关注点在于解决多模型协同推理中的吞吐与调度问题。

• 系统采用“请求中心编程、模型中心执行”，开发者按单请求描述路由逻辑，运行时为不同模型启动子服务并异步分发请求。
• 每个子服务使用延迟批处理调度器，论文以吞吐模型推导相关超参数。
• 在不同路由算法、工作负载和模型组合上，论文报告解码吞吐较现有系统提升2.01至64.15倍。
• GitHub官方仓库已提供配置、示例和吞吐评测脚本，支持复现实验。
• 影响/看点：如果其测试负载与实际在线服务的并发、模型规模和网络条件相近，TokenRouter可能降低Token级路由的工程门槛；但论文结果主要反映特定实验设置，能否转化为生产收益取决于路由复杂度、通信开销和调度参数。资料依据：
• arXiv论文（2026-10-08）：https://arxiv.org/abs/2610.12242
• TokenRouter官方GitHub仓库（2026-10-08）：https://github.com/thu-nics/TokenRouter

本内容由 AI 生成，仅供参考，请注意甄别