研究发现小语种使用 AI 成本更高 Token 消耗最多相差 17 倍

人工智能语言公平研究联盟的研究发现，AI 模型处理不同语言时消耗的 Token 数量差异悬殊，网络内容较少的语言用户成本更高，这被称为隐性的"分词器税"。

互联网最常用的 20 种语言间 Token 消耗量相差 1.5 至 5 倍，个别模型中差距最高达 17 倍。消耗越多，AI 响应越慢，可处理的上下文越少，计算资源有限的地区受影响最重。

印度投资人乔杜里呼吁主要 AI 实验室公布各语言评估结果，将语言处理效率作为产品基本要求。提高数据质量是改善途径之一，如收录 38 种方言录音的 RESPIN 项目。

Maya Research CEO 雷迪指出，Token 价格下降将减轻费用差异，但缩小分词差距仍需 AI 实验室改进下一代分词器设计。