模型路由简单？其实不然

模型路由看似简单——根据任务难度选择模型——但实际部署中，成本、缓存、合规等复杂因素让路由变成一个系统工程难题。

• 实际成本远非模型标价可比：IBM 在 AppWorld 测试中发现，虽然 GPT-4.1 的 token 单价更低，但 Claude Sonnet 因缓存命中率高，总成本反而只有前者一半。缓存策略对路由决策影响巨大。
• 任务难度在路由时往往不可见：一个“总结合同”的请求可能触发检索、合规检查等多步骤，而一个技术性很强的提示可能被小模型高效处理。难度评估需要动态执行信息。
• 企业路由还需平衡成本、延迟、模型专长、可靠性，以及合规要求、数据驻留等治理约束，理想模型可能因规则限制而不可用。
• 路由不是单一的分类问题，而是多目标优化问题，需要结合工作负载特征和基础设施细节。
• 影响/看点：这篇博客打破了“路由很简单”的迷思，为构建生产级 AI 系统提供了宝贵的实战洞察。