研究称AI模型不同语种Token消耗最高差17倍
IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。 当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量 可能相差悬殊 。 Token 是 AI 模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为 隐性的“分词器税” ，网络内容较少的语言尤其容易受到影响。 研究发现，即使是互联网上最常用的 20 种语言，Token 消耗量也存在明显差异， 最高是最低的 1.5 至 5 倍 。如果将测试范围扩大到 200 种语言，差距还会进一步扩大。在其中一个 AI 模型中， 不同语言的 Token 消耗量最多相差 17 倍 。 研究报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高的成本。“分词器税”带来的问题还不只是费用上涨。消耗的 Token 越多，AI 响应就越慢，能够有效处理的上下文内容也越少。 计算资源和网络条件本就有限的地区受到的影响尤其严重。 分词处理上的不平等，也限制了人们参与 AI 经济的机会 。 印度首家专注 AI 投资的风险投资基金 Activate AI 联合创始人普拉蒂尤什 · 乔杜里指出，使用非英语语言时，同样的上下文容量能够容纳的文档和对话记录更少，AI 生成回答也更加费力。 乔杜里以教学为例解释道：“老师要想教好学生， 就得记住学生以前犯过什么错误、接受过哪些讲解 。如果使用某种语言时，这些历史记录很快就占满了上下文窗口，最终连教学质量都会受到影响。” 乔杜里认为，语言处理效率应当像准确性、速度和可靠性一样，成为 AI 产品的基本要求。“要求所有语言获得完全平等的待遇或许不现实， 但长期存在的巨大差距仍需合理解释 ，并制定改进计划。我希望所有主要 AI 实验室都能公布各语言的评估结果，说明使用不同语言完成相同难度的任务分别需要花多少钱，并承诺改善支持最薄弱的语言，取得可以量化的进展。” IT之家从报道中获悉，改善这一问题的办法之一， 是提高底层数据的质量 。 孟买 AI 语音基础设施初创企业 Navana.ai 联合创始人兼 CEO 拉乌尔 · 纳纳瓦蒂认为：“开放数据项目在这方面很重要。比如我们与印度科学学院合作、由盖茨基金会资助的 RESPIN 项目，就收集了 38 种方言母语使用者提供的文本和朗读录音 。” 不过，人工智能语言公平研究联盟发现，决定 Token 消耗量的并不只有一种语言的使用人数， 采用什么文字同样重要 。 例如，阿斯图里亚斯语的使用者不多，在 Common Crawl 数据集中也没有收录， 但拉丁字母为其带来了优势 。意大利语等同属罗曼语族的语言在数据中有所覆盖，也让阿斯图里亚斯语受益。 Maya Research CEO 迪曼特 · 雷迪指出，现有许多分词器仍然主要针对 英语等数据资源丰富的语言 进行优化，根本问题在于缺乏高质量的数字化数据。 雷迪强调，改善训练数据本身还不够：“Token 价格下降得很快，费用差异造成的直接影响应该会逐渐减轻。更好的多语言数据和合成数据也有助于提高模型质量。但要真正缩小不同语言之间的分词差距，AI 实验室仍然需要 专门改进下一代分词器的设计 ，让它们更好地处理这些语言和文字。”