Underdog Saluki 27B：2-bit Qwen3.8-27B 工具调用实战指南

一篇于2026年10月24日发布的教程对比了7.9GB的Underdog Saluki 27B量化模型与完整版本，重点讨论低比特量化后工具调用能力是否仍可用，价值在于把模型压缩、部署和功能验证放到同一套实验流程中观察。

• 教程称Saluki基于Qwen3.8-27B，采用约2-bit权重量化，并使用llama.cpp进行本地推理。
• 作者按张量和字节比较模型文件，再在单GPU环境下测试显存和速度，最后使用BFCL的120项任务及其检查器评估工具调用。
• Hugging Face模型卡显示该模型为GGUF格式、Apache 2.0许可，并标注了2-bit、tool-calling和function-calling等标签。
• 教程所述“超过完整模型”的结果来自制作者自己的120项测试，不能直接推广为普遍性能结论；量化效果也会受任务、解析规则和硬件影响。
• 影响/看点: 低比特模型可能降低本地运行门槛，但工具调用对格式遵循和错误率较敏感；是否适合生产环境，取决于独立复测、任务覆盖和失败成本。
• 资料依据:
• MarkTechPost（2026-10-24）：https://www.marktechpost.com/2026/10/24/underdog-saluki-27b-coding-guide-llama-cpp/
• Hugging Face模型卡（2026-10-24）：https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0

本内容由 AI 生成，仅供参考，请注意甄别