腾讯混元开源旗舰 MoE 模型 Hy4-preview：总参数 770B 且支持 1M 上下文

腾讯混元于 2026 年 8 月 28 日正式开源混合专家（MoE）旗舰大模型 Hy4-preview，并采用宽松的 Apache 2.0 协议发布，为开发者提供了具备超长上下文理解能力的大参数开源选项。

• 该模型总参数量为 770B，每个 token 激活参数量为 49B，在保证模型表达能力的同时优化了单步计算负载。
• 架构上原生集成了 10B 参数的多 Token 预测（MTP）层，开箱即可直接支持推测解码，有助于提升下游推理吞吐。
• 模型支持超过 100 万 token（1M）的长上下文窗口，适用于代码工程、长篇文档分析及科研数据处理等任务。
• 官方已在 ModelScope、Hugging Face 等开源平台同步开放权重，并表示当前版本为预览版，将持续优化长链条推理与自验证机制。
• 影响/看点：该模型的开源可能为需要处理超长文本和复杂业务流的企业降低自研大模型的门槛，其在产业端的实际落地效果取决于开源社区在多卡集群与分布式推理上的工程优化成本。
• 资料依据：
• 1. 腾讯混元官方公告 (https://x.com/TencentHunyuan/status/2093732416225697905)
• 2. ModelScope 腾讯混元 Hy4-preview 主页 (https://modelscope.cn/models/Tencent-Hunyuan/Hy4-preview)

本内容由 AI 生成，仅供参考，请注意甄别