在本地设备上运行快速、私密的 LFM2.5-24B-A2B 智能体

Liquid AI 于 Hugging Face Blog 2026-10-13 发布 LFM2.5-24B-A2B，称该模型拥有 240 亿总参数、每 token 激活约 20 亿参数，面向本地设备上的推理和工具调用智能体。关注价值在于，模型通过稀疏混合专家结构降低单 token 计算量，并把本地运行、隐私和智能体任务作为主要使用场景。

• 官方报告其在 LiveClaw 上得分 48.09，高于对比的 Qwen3.6-35B-A3B 的 38.19，但同时承认其在知识和部分代码基准上落后于更大模型。
• 公布的测试覆盖工具使用、指令遵循、数学、知识和编程，且使用 vLLM 与各基准推荐参数。
• 官方称模型在 Apple M5 Max 上达到 184 token/s，并在单张 NVIDIA B300 高并发下达到超过 2.1 万 token/s；这些结果依赖硬件、量化和并发设置。
• 模型开放权重并支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX，但本地部署仍受内存、功耗和设备兼容性限制。
• 影响/看点：如果独立环境能复现其工具调用和本地推理表现，小型激活参数模型可能降低端侧智能体的部署门槛；实际优势取决于任务类型、硬件成本和长上下文下的稳定性。
• 资料依据:
• Hugging Face Blog（2026-10-13）：Run fast, private agents on-device with LFM2.5-24B-A2B https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b

本内容由 AI 生成，仅供参考，请注意甄别