腾讯开源AngelSpec:面向混元模型的统一投机解码训练框架

腾讯开源的AngelSpec把“投机解码要不要用一个草稿模型打天下”这个问题正面回应:不同任务里token的可预测性差异巨大,与其找一个平均分最高的万能草稿模型,不如按场景配两套。

• 投机解码的原理是用一个轻量“草稿模型”提前猜后续几个token,再让大模型一次性并行验证,猜中越多、单轮往返越短,加速比越高
• 开放式对话场景可接受的续写很多,草稿越长命中率掉得越快,适合用自回归多token预测(MTP)方式提议较短候选序列
• 代码和数学推理场景语法、变量名、公式步骤高度约束了后续token,可预测片段更长,适合用block-parallel块并行方式批量提议
• AngelSpec因此没有做折中,而是训练两套互补草稿模型:一套用多样对话数据强化MTP,一套用代码、数学数据强化块并行模型;还针对原始模型MTP层训练与推理递归复用不匹配、深层预测命中率骤降的问题,引入共享参数、多深度自回归展开的训练方案
• 该框架已开源并配套训练代码,为国产大模型在真实生产流量下压低推理延迟提供了可复用方案,也说明推理加速正从“一套草稿模型打天下”转向按负载特征分层设计。

本内容由 AI 生成，仅供参考，请注意甄别