Liquid AI 开源端侧基础模型端到端评测套件 Pipette

Liquid AI 联合第三方评测机构 Artificial Analysis 开源了端侧模型评测套件 Pipette，为边缘设备上的基础模型部署提供端到端的可复现基准测试方案。

• 根据 MarkTechPost 于 2026 年 8 月 25 日的报道，Liquid AI 推出的 Pipette 采用 Apache 2.0 协议开源，Artificial Analysis 参与了其评测方法学的独立验证。
• Pipette 将评测基本单元定义为「模型+量化方式+运行时+硬件设备」的完整系统组合，打破仅在云端全精度环境下测试模型质量的局限。
• 首发数据集涵盖 30 余款模型在跨 macOS、iOS、Windows 与 Android 平台的 llama.cpp 运行时下超过 1000 组配置组合，验证硬件包括 MacBook Pro（M5 Max）、iPhone 17 Pro 及 Galaxy S26 Ultra。
• 实际测试显示端侧差异显著，例如两个 350M 参数模型在同款手机及同等量化条件下，4096 上下文长度时的解码吞吐保留率分别为 78.4% 和 33.8%。
• 影响/看点：全栈系统级端侧评测工具的开源有助于消费电子与汽车厂商更精准地进行芯片与模型选型，但其行业参考效力依赖于后续对多样化边缘芯片架构与运行时的持续适配更新。
• 资料依据：
• MarkTechPost 报道（2026 年 8 月 25 日）（https://www.marktechpost.com/2026/08/25/liquid-ai-open-sources-pipette-a-reproducible-benchmarking-suite-that-measures-on-device-models-quantization-runtime-and-hardware-together/）

本内容由 AI 生成，仅供参考，请注意甄别