Mirendil 发布千亿参数代码基座模型：一名研究员带一群 Agent，3.5 个月、千万美元内完成预训练
Mirendil 由一名研究员带一群 Agent，用 3.5 个月、不到 1000 万美元从零预训练出千亿参数代码基座模型。
AI 深度解读
Mirendil 发布 Mirendil-Base，并称该代码基座模型由一名研究员与 Agent 协作，在 3.5 个月内、计算成本低于 1000 万美元完成预训练，关注点在于 Agent 是否能压缩部分模型研发组织成本，而不只是生成代码。
- Mirendil 官方文章称，项目从空仓库开始，训练数据来自 GitHub、公开网页和公共数据集，没有购买或授权额外数据，也未使用蒸馏或合成数据。
- 官方将 Mirendil-Base 的参数规模列为 1000 亿至 5000 亿，并称超过 99% 的代码由 Agent 编写，研究员负责方向选择、实验判断和干预。
- 文章给出的主要评估是留出代码上的交叉熵比较，结果显示其在部分外部代码仓库上接近或优于若干参照模型，但这不等于通用编程能力排名。
- Mirendil-Base-Large 和 XL 仍在训练，后续规模与结果尚未构成已完成产品能力。
- 影响/看点：若类似流程能在不同团队和数据条件下复现，模型预训练的组织门槛可能下降；但结论仍受算力价格、数据许可、评测覆盖、研究员经验和模型后训练质量限制。
- 资料依据:
- Mirendil（2026-10-21）：https://mirendil.com/news/pretraining-at-scale-without-a-pretraining-team/
- X：indigo（2026-10-22）：https://x.com/indigox/status/2113164357974823006
本内容由 AI 生成，仅供参考，请注意甄别