腾讯发布混元 Hy4 Preview 模型：总参数 770B、支持 1M 上下文

腾讯于 2026 年 8 月 28 日开源发布混元 Hy4 Preview 大语言模型，因其采用 770B 级混合专家（MoE）架构并支持 1M 长的上下文窗口而受到技术社区关注。

• 模型架构与规模：根据 HuggingFace 官方发布页（2026 年 8 月 28 日）信息，Hy4 Preview 为 MoE 结构，总参数量约 770B，每 token 激活参数为 49B，骨干网络共 78 层（首层为稠密层，其余 77 层包含 256 个路由专家与 1 个共享专家），支持 1M token 上下文并配置了原生推测解码层。
• 场景测试表现：官方介绍称模型结合了软工、金融等专业数据进行训练；在腾讯内部组织的 163 名专业人员双盲测试中，Hy4 Preview 在 203 个工程任务中获得 2.99/4.00 的均分，评测指标略高于 GLM-5.3（2.92）与 Kimi K3（2.94）。
• 开源与服务接入：该模型权重已在 HuggingFace 开源，并在腾讯云 TokenHub 与 OpenRouter 上线，同时接入了 WorkBuddy、元宝等应用。
• 已知局限：官方公告明确指出该版本为早期预览形态，存在复杂任务下思考时间较长和过度自我验证的倾向，后续仍需敏捷迭代优化。
• 影响/看点：该模型的推出意味着超大参数 MoE 架构正进一步向百万级长上下文与工程场景落地渗透，但其在实际业务中的推广效果仍取决于高并发下的推理成本控制以及正式版本对长思考效率问题的改进情况。
• 资料依据：
• 1. HuggingFace 腾讯官方模型主页 https://huggingface.co/tencent/Hy4-preview
• 2. IT之家新闻报道（2026 年 8 月 28 日） https://www.ithome.com/0/995/570.htm

本内容由 AI 生成，仅供参考，请注意甄别