Unsloth 将 Kimi K3 量化至 594GB，可在 Mac Studio 本地运行
Unsloth将2.8万亿参数Kimi K3量化至594GB，精度保留78.9%，可在Mac Studio本地运行。
AI 深度解读
UnslothAI 在 Kimi K3 开源仅两天内，将其从 1.56TB 动态 1-bit 量化至 594GB，缩容 62%，仍保留约 78.9% 精度，使 2.8 万亿参数模型首次能在消费级硬件 Mac Studio 上本地运行。
- 量化后模型大小从 1.56TB 降至 594GB，降低了约 62% 的存储需求。
- 精度保留约 78.9%，实用效果接近原版。
- 在 128GB 内存的 Mac Studio 上可本地运行，无需高端服务器。
- 从权重发布到完成量化、适配与教程，仅用 48 小时，体现开源社区的高效协作。
- 影响/看点：这一进展标志着消费级硬件也能运行顶尖开源大模型，极大降低了研究和部署门槛。
本内容由 AI 生成，仅供参考，请注意甄别