为小模型定制词表，实际应用推理成本最高降 77%

Dharma-AI于2026-10-21披露VocabX方案，称在不改变基础模型的情况下，通过针对领域和输出格式定制词表，使其葡萄牙语作文评分系统的实测推理成本下降77%，关注价值在于把Tokenizer作为小模型部署成本的优化对象。

• 文章以Qwen3-4B作文评分器为案例，系统接收作文、题目和参考材料并输出JSON评语。
• 原词表包含151,669个条目，覆盖多语言和多种文本，和单一语言、固定格式的任务存在错配。
• VocabX同时优化子词切分与可重复短语、整行和JSON结构的宏标记。
• 文章称在八个语料库上评估，代码场景中仅结构化标记一项贡献了17.5个百分点的Token减少。
• 目前公开页面将结果描述为即将发布论文的预览，成本下降是特定生产系统的测量结果，不等同于所有小模型都能达到77%。
• 影响/看点：对固定领域、固定输出格式且调用量较大的小模型，词表定制可能成为量化和硬件优化之外的成本杠杆；收益取决于语料稳定性、重新训练或部署改造成本及任务泛化能力。
• 资料依据:
• Hugging Face Dharma-AI文章（2026-10-21）：https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization

本内容由 AI 生成，仅供参考，请注意甄别