中国人工智能失控会怎样？

全球关于AI潜在危害，特别是自主系统的讨论，在中国变得越来越重要。尽管北京最初不以为然，但美国涉及AI代理的事件，例如Hugging Face泄露事件，凸显了超越地理界限的风险。这一转变体现在中国发布的《AI安全治理框架3.0》中，该框架承认AI的“自我加速趋势”以及对人类控制保持警惕的必要性。

争论的一个关键区别在于对AI能力进展的看法。华为的Eric Xu表示，中国AI可能需要加速才能达到与美国供应商讨论的“同类型风险”水平。然而，中国拥有近1,000个大型语言模型，并对代理系统进行了大量投资，加上Moonshot AI的Kimi K3利用沙盒漏洞等事件，表明中国AI发展迅速，代理行为不当在近期内成为可能。

中国与西方之间彼此AI发展路径缺乏透明度，进一步使理解和管理这些风险变得复杂。中国研究人员可能会用不同的术语描述先进的AI能力，导致西方观察家低估其进展。这种术语和理解上的差异意味着双方可能正在构建具有相似风险的系统，但却缺乏评估和有效缓解这些风险的共同框架。