LiquidAI 发布 LFM2.5-Encoders,面向 CPU 长上下文快速推理

LiquidAI 继上月推出多语言检索模型 LFM2.5-Retrievers 之后,再度发布同源但定位更通用的编码器 LFM2.5-Encoders,主打「CPU 上处理长文本还能保持低延迟」,目标场景是意图路由、策略过滤、PII 检测等需要 7×24 小时低成本运行的分类任务。

• 模型由 LFM2 架构的 230M/350M 因果解码器改造而来,加入双向注意力掩码、对称双向短卷积和掩码语言建模(训练时遮蔽 30% token),把单向解码器变成双向编码器。
• 训练分两阶段:先在 1024 token 短上下文上做通用语言能力预训练,再扩展到 8192 token 长上下文,同步强化事实、法律、多语言方面的能力。
• 官方在 GLUE、SuperGLUE 及多语言分类共 17 项任务上做了 5 组随机种子的稳定性测试,350M 版本在 14 个参与对比的模型里排到第四,能打平甚至超过参数量更大的编码器。
• 长上下文下推理延迟增长缓慢,在 CPU 上比 ModernBERT-base 快约 3.7 倍,不依赖 GPU 也能常驻跑。
• 训练框架、基准测试代码和原始结果均已开源,便于自行复现和微调。
• 对需要低成本部署分类器、路由器、安全过滤器的团队来说,这是一个可直接微调、不吃 GPU 资源的轻量底座新选项。

本内容由 AI 生成，仅供参考，请注意甄别