AI 到底如何能“杀死我们所有人”？专家解释 Anthropic 疯传推文的含义
AI 安全研究员 Jacob Coxon 从 Anthropic 辞职，理由是担心 AI 公司在追求超级智能的过程中“拿我们的生命作赌注”。Coxon 曾任职于 OpenAI，他表示，在开发可能超越人类能力的 AI 竞赛中，两家公司都没有负责任地行事。Anthropic 的其他员工，包括首席执行官 Dario Amodei 和团队负责人 Evan Hubinger，此前也曾表达过对 AI 可能导致灾难性后果的类似担忧。Amodei 估计事情“非常、非常糟糕”的可能性为 25%，而 Hubinger 则认为 AI 在未来十年内杀死所有人类的可能性超过 10%。核心问题在于缺乏明确的计划来使超级智能 AI 与人类价值观保持一致。
Jacob Coxon 继在 OpenAI 任职后从 Anthropic 辞职，凸显了领先 AI 实验室内部就超级智能的生存风险展开的严肃辩论。Coxon 声称 OpenAI 员工可能没有完全理解“文明的利害关系”，但他指出 Anthropic 员工非常清楚，但却陷入了竞争。这种内部异议，特别是来自 Nate Soares 和 Evan Hubinger 等研究人员，他们公开表示相信 AI 导致人类灭绝的可能性很大，这表明存在根本性的张力。技术进步的动力正在超越稳健安全和对齐协议的发展。对于亚洲而言，Anthropic 和 OpenAI 等美国 AI 巨头内部的这种内部斗争具有直接影响。由于亚洲国家和公司在 AI 开发方面投入巨资，他们通常依赖这些实验室的基础模型和研究。这些全球领导者缺乏明确的超级智能对齐计划，意味着任何基于其技术构建或由亚洲公司并行开发的 AI 系统都可能继承或复制这些未减轻的风险。亚洲政策制定者和科技领导者的重点必须从仅仅采用或开发 AI 转向从一开始就严格整合安全和道德框架，而不是假设全球领导者已经解决了这些问题。
