何时光靠思考还不够：教小型推理模型突破自身参数知识瓶颈

研究团队在论文中揭示了小型推理模型单纯增加测试时计算（思考时间）的局限性，并提出选择性外部查询框架 FlyBy，为低成本提升小模型复杂推理能力提供了新思路。

• 研究通过干预中间推理状态发现，模型自我反思主要将概率质量收敛至当前状态已可触达的解空间，难以凭空生成超出自身参数知识范围的答案。
• 论文将推理失败区分为可通过反思恢复的「执行瓶颈」和必须引入外部信息的「知识瓶颈」，提出选择性查询框架 FlyBy。
• FlyBy 结合多层级查询微调与成本感知强化学习，驱动 4B 和 8B 模型先自行推理诊断，仅在知识瓶颈时才向更强的大模型定向查询。
• 在 6 项基准测试的 1158 道难题中，FlyBy-4B 达到 45.96% 的 pass@8，以 2.7 倍更低的服务成本超过 Qwen3-14B（41.64%），FlyBy-8B 的 pass@8 进一步达到 51.81%。
• 影响/看点：该成果表明小模型结合动态外部检索能有效缓解参数容量限制，其在生产环境中的实用价值取决于对知识瓶颈判断的准确率以及外部接口调用的通信开销。
• 资料依据：
• HuggingFace 论文速递（2026-09-28）：https://huggingface.co/papers/2609.34327
• arXiv 论文（2026-09-28）：https://arxiv.org/abs/2609.34327

本内容由 AI 生成，仅供参考，请注意甄别