MiniMax M3 上线 Together AI 预留吞吐量服务
Together AI为MiniMax M3推出预留吞吐量服务,提供按分钟计费的推理容量保障,适合生产级工作负载。
AI 深度解读
Together AI 为 MiniMax M3 推出预留吞吐量服务,提供按分钟计费的推理容量保障,填补了无服务器推理与专用推理之间的空白,适合生产级标准模型工作负载。
- 该服务以 PTU(预留吞吐量单元)为单位,每个 PTU 每分钟 $0.05,满负载下有效成本约为输入 $0.36/百万 token、输出 $2.16/百万 token。
- 提供 99% 可用性 SLA,确保推理容量稳定,适合对延迟和吞吐量有严格要求的应用。
- 该模式介于按需推理(无容量保证)和专用实例(高成本)之间,为中等规模工作负载提供平衡方案。
- MiniMax M3 模型本身在长上下文和多模态任务上表现优异,结合预留吞吐量服务,可支持企业级部署。
- 影响/看点:Together AI 的预留吞吐量服务降低了 MiniMax M3 的生产部署门槛,可能推动更多企业采用该模型,并促进推理服务市场的差异化竞争。
本内容由 AI 生成,仅供参考,请注意甄别