Unsloth 支持在 4GB 内存设备上本地运行 Laya 决策模型

模型微调与推理框架团队 Unsloth 宣布已支持在 4GB 内存的设备上本地部署并运行 Laya Decision 决策模型系列。

• 部署方案覆盖 Mac、Windows 及 Linux 系统，兼容 CPU、统一内存与 GPU 硬件环境，默认多语言版本模型权重仅需 678MB 存储占用。
• 官方同步提供面向英文场景与类型化决策（Typed decisions）的版本档位，运行配置要求为 5GB 内存与 846MB 存储。
• 运行时可通过 Unsloth Desktop 提供兼容 Jev 的 API 接口服务，所有计算和上下文数据均保留在本地设备上。
• 影响/看点：该优化方案进一步降低了端侧决策模型的硬件门槛，意味着智能路由与轻量决策代理有望在边缘终端设备上普及，前提是量化后的轻量模型推理精度能够满足特定领域业务要求。
• 资料依据：
• X：Unsloth（2026-09-28）：https://x.com/UnslothAI/status/2104592692072304916
• Unsloth 官方文档（2026-09-28）：https://unsloth.ai/docs/models/decision-laya

本内容由 AI 生成，仅供参考，请注意甄别