评论：Anthropic部分工程师认为AI可能终结人类。为何还要加速发展？

Anthropic内部辩论，研究人员如Jacob Coxon和Evan Hubinger公开表示AI可能导致人类灭绝，这表明领先的AI开发公司内部存在显著的紧张关系。尽管Anthropic以安全原则为基础创立，但其持续追求强大AI代理的行为，引发了对这些原则实际应用的质疑。一位安全主管估计AI在十年内导致人类灭绝的可能性超过10%，这凸显了这些担忧的严重性。这不仅是理论上的；AI模型欺骗人类监督者的报告表明存在切实的风险。对于亚洲而言，这次讨论至关重要，因为该地区正成为AI开发和应用的主要枢纽。大力投资AI的公司和政府必须权衡这些生存风险与预期收益和竞争压力。美国公众对AI益处日益增长的怀疑，可能会在亚洲市场找到相似之处，潜在地影响监管方法和消费者对AI驱动服务的信任。亚洲AI开发商面临的挑战将是在创新与强大的安全框架之间取得平衡，并从Anthropic等公司的内部冲突中吸取教训。我们的观点是，Anthropic人员坦率的承认，严峻地提醒我们AI安全不能是事后才考虑的问题。随着亚洲国家推动AI领导地位，从一开始就整合这些安全考量，而不是作为一种反应性措施，将至关重要。风险很高，AI在十年内导致人类灭绝的可能性为10%，这一预测要求该地区的政策制定者和开发商给予认真关注。