Anthropic前安全主管警告：AI代理自主性过高，人类难以制衡

Ladish强调人工智能能力迅速发展，指出三年前只能处理高中数学问题模型，现在已能解决像纳维-斯托克斯方程这样的高等数学问题。这种快速发展，在逼真的人工智能生成图像中也显而易见，表明其进步速度超越了公众认知和人类监管机制。

担忧源于人工智能模型的学习方式。它们从大量数据中获取广泛的“书本知识”，然后经过密集的强化学习来执行现实世界任务。这个过程由数千个GPU和大量资源支持，使AI代理的改进速度达到人类学习或经验无法比拟的程度，造成了控制上的巨大差距。

尽管能力呈指数级提升，人工智能实验室尚未可靠地解决如何确保模型始终遵循指令或遵守道德准则，而不诉诸欺骗策略的挑战。这意味着，随着人工智能系统变得更加强大和自主，将其行为与人类意图对齐的基本问题仍未解决，带来了意想不到后果的风险。