MiniCPM5-2B 经 LoRA 微调后智能体决策准确率升至 80.5%

社区项目 ReJev 报告称，经过 LoRA 后训练的 MiniCPM5-2B 决策模型在 1,892 条密封留出集上的准确率由 51.11% 提升至 80.50%，关注价值在于它展示了小模型针对结构化决策任务进行后训练的可能性。

• 该方法将状态、问题和候选选项作为输入，要求模型直接输出决策，而不是生成长篇解释。
• 报告称训练后有效输出率为 100%，累计 Modal 计算账单约 5.31 美元。
• 29.39 个百分点的提升来自项目自建评测，能否迁移到其他任务仍取决于数据分布、候选空间和标签质量。
• LoRA 只更新部分参数，通常有利于降低训练资源需求，但并不自动保证模型在开放环境中的鲁棒性或安全性。
• 对智能体而言，直接决策可能减少输出解析成本；同时也可能降低可解释性，需要配套日志、置信度或回退机制。
• 影响/看点：该结果可能支持用小模型承担局部智能体决策，但实际收益成立的前提是留出集没有与训练数据泄漏，且模型在分布变化、错误候选和未知状态下仍能可靠拒答或回退。
• 资料依据:
• X：面壁智能 OpenBMB（2026-10-08）：https://x.com/OpenBMB/status/2108188162677944478

本内容由 AI 生成，仅供参考，请注意甄别