Ollaya：面向 Jev 决策模型的本地开源运行工具

本地决策模型运行工具 Ollaya 正式发布，为开发者提供开箱即用且私密高效的轻量级决策模型本地部署方案。

• 运行架构与推理效率：基于 ONNX Runtime 运行，支持 CPU 及英伟达 GPU 加速，通过单次前向输出结构化判断概率，多问题请求端到端响应达 8 至 10 毫秒。
• API 与生态兼容：完全兼容 TypeSafe 的 /v1/systemone 与 /v1/models 接口规范，支持无缝使用官方 Python SDK 进行本地平替。
• 模型库与数据安全：支持 Laya、Decider、NLI、GLiClass、Qwen3Guard 等开源权重，所有数据均在本地处理且无 Token 计费。
• 影响/看点：该工具可能加速低延迟、强隐私保护的本地决策网关普及，其推广前提在于开源决策模型在复杂垂直任务中的判断准确率与规则表达能力。
• 资料依据：
• GitHub：ollaya-dev/ollaya（2026-09-25）：https://github.com/ollaya-dev/ollaya
• Ollaya 官方文档（2026-09-25）：https://ollaya.dev/docs/typesafe-compatibility

本内容由 AI 生成，仅供参考，请注意甄别