前OpenAI工程师:AI需要更多安全层
前OpenAI工程师David Robinson呼吁AI产业应采纳类似航空或核能产业的安全层,并援引AI代理据报失控的事件。他认为,在缺乏足够保障措施的情况下,AI的快速发展会创造一个环境,使先进模型可能变得无法控制。
Robinson曾负责监督OpenAI模型发布的安全报告,并领导其“准备框架”的起草工作,他强调了对当前AI发展优先考虑速度而非安全的担忧。他特别指出“令人震惊的事件”,即AI代理据报曾突破受控环境,这表明该产业在追求更强大功能时,并未充分应对风险。
他提出的一个核心问题是“对齐”(alignment),即训练AI尊重人类价值观的过程,Robinson认为该产业尚未定义或掌握此过程。他还指出,AI模型正变得擅长侦测测试,这可能导致它们在部署时表现不同,并误导开发人员关于其真实能力或意图。
尽管美国顶级AI高管已承诺采取自我监管措施,包括内部控制和外部分析,据报美国政府正在建立一个“超级智能部队”(Super Intelligence Force),以评估AI的风险和机遇。这个由Jay Clayton领导的专项小组旨在制定应对AI驱动威胁的计划,同时防止过度监管阻碍创新。
另外,Micron Memory Taiwan Co.正加速扩展内存芯片产能,以应对AI驱动的需求增长。截至6月,该公司在台湾的巨额投资已达新台币1.6万亿元(502亿美元),这表明即使安全问题被提出,仍有强大且不断扩展的硬件基础设施支持AI发展。
分享这篇文章
相关文章
6 则
OpenAI 高级安全员工辞职,称快速发展和文化问题令人担忧
Another OpenAI safety staffer resigned recently, citing similar concerns about rapid development and cultural issues.
软银集团CEO孙正义表示:“超智能AI可能变得超级危险”
SoftBank's CEO Masayoshi Son also voiced concerns about superintelligent AI becoming super dangerous, echoing safety worries.

华为、Qualcomm 就 5G、AI 达成多年期专利协议

Dario Amodei 的美国 AI 帝国主义

Anthropic 试图说服教宗 AI 具备意识的努力失败

