用强化学习训练一个智能体来训练模型（花费约1.3k美元）

这篇论文展示了一个用强化学习训练出的智能体，它能够自主训练其他模型，整个实验仅花费约1300美元，极具成本效益。

• 核心思路是构建双层强化学习循环：外层智能体通过Tinker框架进行RL训练，其动作是生成内层训练任务的配置（包括验证器、评估标准和训练参数），内层则用prime-rl训练小模型。
• 智能体通过读写文件、调用评估工具等操作，自主生成训练任务并提交，任务通过验证后会在GPU集群上执行GRPO训练，最终根据模型在隐藏测试上的提升幅度获得奖励。
• 奖励设计兼顾验证效率和模型提升：首次提交即通过得1.0分，每多尝试一次扣分；若从未提交有效任务则得-0.1分；最终奖励是验证效率（权重0.35）、模型提升（0.60）和惩罚项（0.05）的加权和。
• 经过54步训练，奖励从约0.0提升至0.63峰值，且能泛化到从未见过的任务族，证明了方法的有效性。
• 所有代码、权重、训练脚本和实验记录均已开源，便于复现和进一步研究。
• 影响/看点：这项研究展示了AI自我进化的潜力，以极低成本实现了自动化模型训练，可能推动自动化机器学习进入新阶段。