ttok 1.0 发布：默认支持 GPT-5/GPT-6 分词器

ttok 1.0 发布，默认改用 GPT-5 与 GPT-6 系列使用的 o200k_base 分词器，关注价值在于减少模型切换时的 token 计数偏差。· GitHub 官方发布说明称，ttok 1.0 将默认分词器切换为 o200k_base。· 工具同时更新了 --list-models 对 gpt-5* 等模型前缀的展示方式。· 该版本说明把 GPT-5 与 GPT-6 放在同一分词器范围内，但这首先是 ttok 的实现选择，并不等同于 OpenAI 对 GPT-6 分词器的正式确认。· 分词器变化会影响长度估算、成本预估和上下文容量判断。影响/看点：对依赖命令行统计 token 的开发者来说，默认值更贴近新模型使用场景；其准确性取决于模型实际分词器与工具映射保持一致。资料依据: GitHub Release（2026-10-09）：https://github.com/simonw/ttok/releases/tag/1.0 Simon Willison 博客（2026-10-09）：https://simonwillison.net/2026/Oct/9/ttok/

本内容由 AI 生成，仅供参考，请注意甄别