百度开源 ERNIE 5.5 Flash Base 基座模型：280B 总参数稀疏 MoE

百度于2026年11月5日开放 ERNIE 5.5 Flash Base 权重，这是一个总参数280B、每 token 激活14B的稀疏 MoE 基座模型，关注价值在于其为领域适配和后训练研究提供了新的公开起点。

• 百度官方技术博客（2026-11-05）称，模型在33.5T tokens上完成预训练，最长训练上下文为128K，微调与推理支持1M tokens上下文。
• 该权重未经中训练和后训练，因此更适合研究者进行指令微调、强化学习或行业数据适配，不能直接等同于面向终端用户的完整助手产品。
• 百度披露其训练数据覆盖网页、代码和长文档，并纳入代码提交、问题单、评审及经 CI 验证的修复等软件演化数据；这些设计可能有利于代码和长上下文任务，但实际效果仍取决于数据质量与后续训练。
• IT之家（2026-11-05）转述的横向评测来自模型方公布的30项 Benchmark，比较对象和评测设置虽有说明，但独立复测、推理成本及真实业务表现仍需进一步观察。
• 影响/看点：该发布可能降低研究者获取大规模稀疏模型基座的门槛；其实际影响取决于权重许可、社区适配效率、推理硬件成本以及后续后训练版本的表现。
• 资料依据:
• 百度文心技术博客（2026-11-05）：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
• Hugging Face 模型卡（2026-11-05）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
• IT之家（2026-11-05）：https://www.ithome.com/1/022/785.htm

本内容由 AI 生成，仅供参考，请注意甄别