ChatGPT的哈萨克语推广揭示了“英语独大”AI的文化局限

哈萨克斯坦与OpenAI合作开发哈萨克语AI基准，代表了亚洲文化相关AI发展的重要一步。该项目由Qazaq Tili国际协会主导，创建了一个包含140亿个标记（token）的数据集和一个500道题的文化知识测试，展示了从语言自身结构而非通过英语翻译来构建AI的承诺。这种方法直接挑战了大型语言模型训练中普遍存在的“英语优先”范式，该范式往往导致其他语言的输出肤浅或不准确。对于亚洲从事多语言AI应用的开发者和公司而言，这项举措指出了投资于特定语言基准和母语数据收集的必要性。依赖事后翻译来处理具有文化细微差别的内容将越来越显得不足。OpenAI欧洲、中东和非洲教育主管Valerie Focke指出，该项目也将哈萨克斯坦定位为AI采用和与OpenAI合作的先驱。