Liquid AI发布LFM2.5编码器系列：双向编码器在CPU上保持8K上下文的快速推理

Liquid AI 发布两款开源双向编码器 LFM2.5-Encoder-230M 和 350M，在 CPU 上保持 8K 上下文快速推理，值得关注因为它们延续 BERT 路线且成本增长更慢。

• 模型基于 LFM2 混合骨干网络，由解码器转换而来：因果注意力掩码改为双向，短卷积采用对称中心填充实现非因果，并以 30% 掩码率进行 MLM 训练（高于 BERT 的 15%）。
• 两阶段训练：第一阶段在 1K token 语料上训练通用语言能力；第二阶段扩展到 8K 上下文，增强事实、法律和多语言能力。
• 支持 15 种语言，词汇表 65K，隐藏维度 1024，采用 LFM Open License v1.0 开源。
• 在 17 个任务（GLUE、SuperGLUE、多语言分类）上，350M 平均 81.02，排名第四，前三名模型更大（如 XLM-R XL 3.5B、ModernBERT-large 395M、XLM-R large 560M）；230M 平均 79.29。
• CPU 延迟曲线显示，长上下文下推理速度优于同类模型，成本随输入增长更慢。
• 看点：LFM2.5 编码器在精度与推理效率上取得平衡，有望替代 BERT 系列，成为部署在 CPU 上的高效文本理解基座。

本内容由 AI 生成，仅供参考，请注意甄别