百度开源 ERNIE 5.5 Flash Base:2800 亿参数基础模型
百度开源ERNIE 5.5 Flash Base,2800亿参数MoE模型,基于33.5万亿token预训练,未做微调。
AI 深度解读
百度发布 ERNIE 5.5 Flash Base,这是一个仅完成预训练、未经过中后训练的 2800 亿参数 MoE 基础模型,关注点在于其把后续能力塑造交给开发者和研究者。
- 百度官方公告(2026-11-05)称,模型总参数量为 2800 亿,每个 token 激活约 140 亿参数,预训练使用 33.5 万亿 token。
- 模型训练上下文长度为 128K,微调和推理支持最长 1M token,并提供 FP8、BF16 权重。
- 官方将其定位为领域适配、指令微调、强化学习和智能体训练的起点,而非开箱即用的对话产品。
- 官方对比测试显示,它在部分代码、推理和长上下文基准中表现较强,但结果来自百度设定的统一评测流程,不能直接等同于真实业务性能。
- 影响/看点:开放基础权重可能降低大模型预训练门槛,但实际价值取决于许可证、硬件成本、微调数据和社区能否补足后训练环节。
- 资料依据:
- 百度 ERNIE 官方发布(2026-11-05):https://ernie.baidu.com/release/ernie-5-5-flash-base/
- The Decoder(2026-11-05):https://the-decoder.com/baidu-releases-ernie-5-5-flash-base-with-280-billion-parameters-as-an-open-source-foundation-model/
本内容由 AI 生成,仅供参考,请注意甄别