AI“分词器税”加剧语言不平等，非主流语言用户面临更高成本与更低效率

【科技纵览】IT之家 10 月 30 日讯，一项由人工智能语言公平研究联盟上月发布的最新报告揭示了一个被长期忽视的行业痛点：使用非英语及小众语言的用户，在接入人工智能服务时，往往需要承担比英语及其他主流语言用户更高的隐性成本。据外媒 Rest of World 报道，这种成本差异源于 AI 模型在处理不同语言文本时，Token（词元）消耗量的巨大悬殊。Token 作为 AI 处理数据的基本单位，其生成依赖于分词器对文本、图像或音频的拆分。研究人员将由此产生的额外开销定义为“分词器税”，并指出网络内容匮乏的语言群体首当其冲。

数据显示，即便仅考察互联网上最常用的 20 种语言，其 Token 消耗量也存在显著波动，最高值可达最低值的 1.5 至 5 倍；若测试范围扩展至 200 种语言，差距进一步拉大，在某些特定 AI 模型中，不同语言的 Token 消耗比甚至高达 17 倍。这意味着，位于班加罗尔的初创企业每向 AI 输入指令并获取回复，其成本可能远超奥斯汀的竞争对手。这一现象带来的后果不仅限于费用激增，Token 消耗的增加直接导致 AI 响应速度变慢，有效处理的上下文窗口也随之缩小。对于计算资源和网络条件本就受限的地区而言，这种分词处理上的不平等严重限制了当地人群参与 AI 经济的机会。

印度首家专注 AI 投资的风险投资基金 Activate AI 联合创始人普拉蒂尤什·乔杜里对此深感忧虑。他指出，在非英语语境下，同样的上下文容量能容纳的文档和对话记录大幅减少，使得 AI 生成回答更加吃力。乔杜里以教学场景为例阐释道：“教师需记忆学生过往的错误与讲解记录以提升教学质量，但若历史记录迅速填满上下文窗口，教学效果必将受损。”他呼吁，语言处理效率应被视为与准确性、速度和可靠性同等重要的 AI 产品基本指标，并要求主要 AI 实验室公布各语言评估结果，承诺改善薄弱语言支持。

针对这一问题，孟买 AI 语音基础设施初创企业 Navana.ai 联合创始人兼 CEO 拉乌尔·纳纳瓦蒂提出，提高底层数据质量是关键。其参与的 RESPIN 项目由盖茨基金会资助，与印度科学学院合作，收集了 38 种方言母语使用者的文本与录音。然而，人工智能语言公平研究联盟发现，决定 Token 消耗量的并非仅有人口数量，文字系统同样至关重要。例如，阿斯图里亚斯语虽使用者寥寥且在 Common Crawl 数据集中缺失，但得益于拉丁字母及其罗曼语族亲属语言的数据覆盖而受益。Maya Research CEO 迪曼特·雷迪强调，现有分词器多针对英语等资源丰富语言优化，根本症结在于高质量数字化数据的匮乏。尽管 Token 价格下降可缓解部分直接影响，但要真正缩小差距，AI 实验室仍需专门改进下一代分词器设计，使其更适配各类语言文字。