Meta 论文揭示字节级模型扩展规律：大算力下性能反超 Token 模型

Meta 研究团队发布关于字节级语言模型扩展规律的最新论文，发现在算力规模持续提升后，字节级模型性能有望超越传统基于词表（Token）的模型。

• 实验基于最高 1 万亿字节（1 Trillion Bytes）数据蒸馏的 10 亿参数模型进行验证。
• 论文提出了 Marginalize-It 与 End-Of-Token 两种新方法，用于将教师模型的 Token 概率分布平滑转换为字节级 Logits。
• 扩展定律预测表明，当训练算力足够充裕时，字节级架构相比 Token 架构在基准测试中可能取得最高 4% 的性能领先。
• 影响/看点：如果字节级架构的推理效率与显存开销能得到有效控制，意味着大语言模型未来可能摆脱分词器（Tokenizer）带来的多语言偏置与边界切分问题。
• 资料依据：
• DAIR.AI 平台（2026-09-14）：https://x.com/omarsar0/status/2099517031796347388
• Meta AI 研究团队论文（2026-09-14）：https://research.facebook.com/publications/byte-level-language-models-scaling-laws/

本内容由 AI 生成，仅供参考，请注意甄别