HN热议:大家都在造LLM路由器,我们却弃用了自己的

创业公司 manifest.build 在博客里自曝「弃用了自己造的 LLM 路由器」,这篇帖子登上 Hacker News 热榜并拿下 102 分,在当下「人人都在做 LLM 路由」的行业热潮里显得格外反直觉,因此引发不小的讨论。

• LLM 路由器通常用于根据任务复杂度、成本、延迟等因素,自动把请求分发给不同模型,比如简单任务派给便宜模型、复杂任务才调旗舰模型。
• manifest.build 此前也搭建过这样一套系统,但最终选择彻底放弃,标题直接点明这一「反潮流」决定,与当下大量创业公司和基础设施厂商争相推出路由产品形成鲜明反差。
• 素材未展开具体技术细节,但从标题的对比意味推断,大概率是路由带来的额外复杂度、维护成本或效果不稳定,抵消甚至超过了它本该节省下来的调用成本或延迟收益。
• 帖子能在 HN 拿到 102 分并引发热议,说明「LLM 路由到底值不值得自建」这个问题,在从业者中存在明显分歧,不是一个已有定论的最佳实践。
• 对正在评估是否要自建模型路由层的团队而言,这是一个值得对照的反面案例:技术上做得出来,不等于工程上划算,路由未必是所有场景下的最优解。

本内容由 AI 生成，仅供参考，请注意甄别