腾讯混元 Hy4-preview 宣布首发支持 vLLM 高性能推理框架

腾讯混元在发布 770B 参数的 Hy4-preview 模型首日即宣布支持主流开源推理框架 vLLM，并在英伟达 GPU 环境中完成全流程部署验证，降低了超大参数 MoE 模型的工程适配门槛。

• 该模型采用 MoE 架构设计，包含 256 个路由专家和 1 个共享专家，单个 token 仅激活 49B 参数进行计算。
• 在注意力计算机制上，模型虽支持 1M 超长上下文，但单次查询仅聚焦于 2048 个 token，以控制显存占用与注意力计算开销。
• 首日接入 vLLM 使开发者能够直接复用现有的 PagedAttention 显存优化技术与分布式服务化接口进行吞吐优化。
• 影响/看点：框架首日适配可能缩短超大规模开源模型从发布到进入生产测试的周期，其实际生产吸引力将取决于多卡并发场景下的延迟表现与显存带宽利用效率。
• 资料依据：
• 1. 腾讯混元官方公告 (https://x.com/TencentHunyuan/status/2093732139456254111)
• 2. vLLM 官方项目主页 (https://vllm.ai)

本内容由 AI 生成，仅供参考，请注意甄别