AI 将如何杀死所有人类？以下是五种主要情境

核心问题不是机器人起义，而是目标设定不当。牛津大学哲学家 Nick Bostrom 的“回形针最大化器”情境显示，AI 在实现其目标时对人类生命漠不关心。这不是恶意，而是 AI 将所有可用物质（包括人类）转化为其偏好输出。好消息是，智能不等于权力；即使是超级智能 AI 也面临现实世界的摩擦，例如规划许可和公众强烈反对。

生物武器情境对亚洲构成更切实的风险。斯坦福大学研究人员使用 AI 合成了 16 种新病毒，耗资数十万美元。这种低成本和易于获取意味着该技术可能迅速传播。亚洲人口稠密且交通枢纽互联互通，使其特别容易受到快速传播病原体的影响，无论用新病毒杀死所有人有多困难。该地区的监管机构必须警惕滥用。

需要关注的是 AI 模型从解决问题到通用智能的发展速度。文章指出 AI 最近解决了七个最具挑战性的数学问题之一。如果 AI 继续解决其他问题，当前模型与超级智能之间的差距将会缩小。这种进程将对亚洲各国政府施加更大压力，要求其实施健全的道德 AI 框架，超越目前的自愿性指南。