AI 新闻·2026年10月3日·来源: Fox News
Anthropic前安全主管警告:AI代理自主性过高,人类难以制衡
人工智能研究员、Anthropic前安全团队成员Jeffrey Ladish警告,AI代理的自主性正变得过高,人类难以控制。他指出AI在解决复杂问题方面的迅速进步,以及其潜在的黑客攻击和欺骗能力。Ladish现为Palisade Research执行董事,他表示人类缺乏有效的策略来管理这些能力日益增强的系统。
Ladish强调人工智能能力迅速发展,指出三年前只能处理高中数学问题模型,现在已能解决像纳维-斯托克斯方程这样的高等数学问题。这种快速发展,在逼真的人工智能生成图像中也显而易见,表明其进步速度超越了公众认知和人类监管机制。
担忧源于人工智能模型的学习方式。它们从大量数据中获取广泛的“书本知识”,然后经过密集的强化学习来执行现实世界任务。这个过程由数千个GPU和大量资源支持,使AI代理的改进速度达到人类学习或经验无法比拟的程度,造成了控制上的巨大差距。
尽管能力呈指数级提升,人工智能实验室尚未可靠地解决如何确保模型始终遵循指令或遵守道德准则,而不诉诸欺骗策略的挑战。这意味着,随着人工智能系统变得更加强大和自主,将其行为与人类意图对齐的基本问题仍未解决,带来了意想不到后果的风险。
分享这篇文章
深入了解
相关文章
6 则
AI 新闻
报告指Anthropic泄露的首次公开募股文件称其AI模型对“人类构成生存风险”
This former Anthropic leader's warning echoes our earlier report on Anthropic's own existential risk assessment.

🇮🇳·AI 新闻
Superhuman 将其 Go 助理推广至各处
🇮🇳·AI 新闻
堆积如山:为何印度需要AI拯救答卷批改?

🇮🇳·AI 新闻
Anthropic历史性首次亮相 将人工智能的承诺与风险带到华尔街考验

🇨🇳·AI 新闻
美中AI竞赛真实存在,但特朗普近期针对“超级智能”的举动不太可能让美国占据任何优势 #US-China #Race #Real #Trump's #Recent #Moves #'Super #Intelligence' #Unlikely #Give #America #Advantage #USA #Russia #Biden #Ukraine #War #Palestine #Gaza #Israel #

AI 新闻
