llm-chat-completions-server 0.1a0 发布

Simon Willison 放出 llm-chat-completions-server 0.1a0,是给他自己的 llm 命令行工具配的一个小插件,核心是把本地已安装的所有模型统一包装成 OpenAI Chat Completions 兼容接口。

• 起因是 llm 0.32rc1 引入了内容寻址日志,消息按哈希去重存储,天然适合处理“越聊越长”的多轮对话
• 插件启动后会在本地开一个端口,把 llm 装的所有模型插件都暴露成标准 Chat Completions 接口
• 用 curl 就能像调用 OpenAI API 一样调用本地任意模型,兼容现有生态工具链
• 作者提到整个插件是让 GPT-5.6 Sol 写出来的,因为它对该 API 格式非常熟悉
• 看点:小工具但很实用,相当于给本地多模型环境加了一层标准化“翻译层”,方便接入原本只认 OpenAI 接口的第三方工具。

本内容由 AI 生成，仅供参考，请注意甄别