LoRA微调速度排行榜：公开实际运行时间基准

LoRA Speedrun 项目推出了一个公开排行榜，用于比较不同 LoRA 微调技术在实际硬件上的运行时间，旨在为参数高效微调提供公平的竞技场。

• 任务固定：在单张 L40S GPU 上，对 Qwen2.5-1.5B 进行 LoRA 微调，使 GSM8K 准确率达到 57% 以上，记录以实际挂钟时间衡量。
• 每条记录需在相同硬件上独立运行 3 次（不同随机种子）并通过验证。
• 任何人都可免费参与：使用 Modal 提供的免费计算额度即可提交和验证记录。
• 当前记录：Track 1 为 6 分 05 秒（序列打包+完成损失掩码），Track 2 为 11 分 08 秒（标准 LoRA）。
• 项目借鉴了 nanoGPT speedrun 的成功经验，旨在推动微调技术的科学进步。
• 影响/看点：该排行榜为 LoRA 变体（如 DoRA、PiSSA 等）提供了可复现的比较基准，有望催生更高效的微调方法。

本内容由 AI 生成，仅供参考，请注意甄别