开源小模型 Agent 能力实测天梯榜：首推 Qwen3.8-27B 量化方案

开发者 karminski 发布了开源小模型智能体能力的实测对比榜单，重点推荐了 Qwen3.8-27B 模型的特定量化与推理配置方案。

• 实测表现最佳的组合为 Qwen3.8-27B-UD-Q4_K_XL 量化版本，建议在 Agent 场景将推理思考程度设为 low，代码编写场景调至 medium 或 high。
• 测评基准环境统一基于单张 NVIDIA H100 NVL 显卡配合最新版 llama.cpp 进行跑分与推理。
• 针对 Apple Mac 设备用户，测试指出采用 MLX 框架开启 MTP（多 Token 预测）时的推理速率高于 llama.cpp。
• 影响/看点在于为中小团队本地部署轻量 Agent 提供了精细化的量化与推理参数参考，实际效果仍取决于具体业务场景的提示词构造与工具调用容错率。
• 资料依据:
• X：karminski（2026-08-31）：https://x.com/karminski3/status/2094341123124985991

本内容由 AI 生成，仅供参考，请注意甄别