SanSi 让 1.4B 小模型循环推理，决策准确率升至 72%

SanSi 论文提出让小型决策模型重复运行同一组层，并在每轮读取选项概率；在作者测试中，Ouro-1.4B 版本最多循环 8 次后达到 72.0% 准确率。

• 论文于 2026 年 10 月 6 日提交、10 月 10 日修订，研究的是不生成长文本推理、而通过递归更新隐藏状态来延长计算深度的方法。
• 在 10,027 个来自 59 个来源的测试决策上，SanSi 比同形状、同训练配方的单次运行模型高 13.5 个百分点。
• 循环次数可以作为计算预算，模型能够在第 1 至第 8 轮分别输出概率，因此速度和精度之间存在可调权衡。
• 结果来自论文设定的决策任务，不能直接推导出所有语言理解、数学或现实决策场景都会获得同等收益；额外循环也意味着更高推理成本和延迟。
• 影响/看点：该方法可能为小模型提供一种以重复计算换取准确率的路径，适合对延迟和算力有明确预算的分类任务；能否在开放式任务、噪声环境和更大模型上稳定复现，是其应用价值的关键条件。
• 资料依据:
• arXiv（2026-10-10）：https://arxiv.org/abs/2610.07730
• 项目页面（2026-10-10）：https://minnesotanlp.github.io/Sansi/

本内容由 AI 生成，仅供参考，请注意甄别