面壁智能推出 UltraX 框架，用于大规模预训练数据精炼

面壁智能推出 UltraX 框架，用于大规模预训练数据精炼，提升数据质量。

• UltraX 通过结构化编辑函数（插入、删除、修改）精确提升训练数据质量，而非端到端重写。
• 其 LAM+DCR 管道生成高质量监督信号，实现可扩展的精炼。
• 在 1B 模型预训练实验中，UltraX 在五个语料库上取得最佳平均性能。
• 相关论文、代码及数据集（UltraX-Preview）已在 arXiv、GitHub、Hugging Face 和 ModelScope 开源。
• 影响/看点：UltraX 提供了一种高效的数据精炼方案，有望降低预训练成本，推动开源社区在数据质量优化上的协作。