腾讯混元发布 LLM 强化学习批大小扩展研究：GRPO 与 PPO 吞吐大幅提升

腾讯混元团队发布关于大语言模型强化学习批大小扩展的研究，为提升大规模 GPU 集群环境下的强化学习训练效率提供了理论依据与工程参数指导。

• 研究将经典的临界批大小（Critical Batch Size）理论成功拓展至大语言模型在线强化学习场景。
• 实验表明，在 GRPO 和 PPO 算法中重新调整学习率，可在特定批大小范围内维持单条样本的学习效果。
• 在固定硬件环境下，扩大批大小使 PPO 生成阶段的吞吐量提升最高达 2.29 倍。
• 在最优配置下，GRPO 算法达到相同验证目标所需的时间缩短了 29%。
• 影响/看点：该研究意味着在线强化学习阶段的大规模并行训练效率有望得到改善，但实际训练收益仍取决于硬件集群互联带宽、通信开销以及具体任务的梯度特性。
• 资料依据：
• X 平台腾讯混元官方账号（2026-09-24）：https://x.com/TencentHunyuan/status/2102960123379675423

本内容由 AI 生成，仅供参考，请注意甄别