Google DeepMind发布有效模型路由策略新论文

Google DeepMind新论文指出，仅凭准确率和成本评估大模型路由器可能产生误导，提出了决定路由有效性的两个关键属性：模型间的行为差异化和对表面形式改写的稳定性。

• 如果路由池中的模型输出高度同质，那么路由就失去了意义，因为无论选择哪个模型结果都差不多。
• 如果同一查询的不同改写被分给不同的专家模型，路由就会不稳定，导致结果不一致。
• 论文提出两个关键属性：模型间的行为差异化（即不同模型对同一输入应给出不同输出）和对表面形式改写的稳定性（即同一查询的不同表述应路由到相同模型）。
• 这两个属性与任务准确率正交，意味着高准确率的路由器可能实际上冗余或不稳定。
• 实际启示：使用混合智能体或模型路由时，整体准确率可能掩盖问题，上述两项检验可识别出看似优秀实则无效的路由方案。
• 影响/看点：该研究为模型路由评估提供了新视角，提醒开发者不能只看准确率和成本，还需关注路由的差异化与稳定性，对构建高效的多模型系统具有指导意义。