Kimi K3 与鹈鹕基准测试还能教我们什么
Simon Willison撰文分析Kimi K3基准表现:超越Opus 4.8和GPT-5.5,但逊于Fable 5和GPT-5.6 Sol
AI 深度解读
独立开发者Simon Willison用他标志性的“鹈鹕骑自行车”SVG测试对Kimi K3做了实测,并结合Artificial Analysis的评测数据,给出一份相对克制、偏技术向的第三方解读。
- 确认K3是2.8万亿参数、号称首个“3T级”开源模型,取代此前DeepSeek V4 Pro 1.6T的纪录,自评基准多数超过Claude Opus 4.8 max和GPT-5.5 high,但不敌Claude Fable 5和GPT-5.6 Sol
- Artificial Analysis数据显示,K3在长时程知识工作评测中Elo达1547,比K2.6提升732分,仅次于Claude Fable 5,单任务成本0.94美元,约为Opus 4.8的一半
- 定价为每百万输入token 3美元、输出15美元,与Anthropic的Claude Sonnet系列同档,是中国实验室迄今发布的最贵模型
- 作者用llm-openrouter实测生成“鹈鹕骑自行车”SVG这一非正式基准,作为对模型实际表现的直观补充
- 第三方独立评测和非正式测试的加入,让K3的实力评价不再只依赖厂商自报数据,业内对其真实定位有了更立体的参照。