前OpenAI研究員警告AI或會滅絕人類,Anthropic安全主管認同悲觀預測
27歲的AI研究員Jacob Coxon曾於OpenAI和Anthropic工作,現已離開業界,理由是擔心兩間公司不負責任地加速開發自我改進型AI。Coxon聲稱,AI開發者真心相信超智能AI可能在本年代末對人類構成生存威脅。Anthropic安全主管Evan Hubinger證實了Coxon的擔憂,估計AI在未來十年內殺死所有人類的風險超過10%。此消息正值Anthropic準備首次公開募股之際,同時亦有包括Anthropic行政總裁Dario Amodei在內的逾1,000名科技業界員工呼籲協調減緩先進AI的發展。
Jacob Coxon離開AI業界,以及Anthropic的Evan Hubinger對AI生存風險發出嚴峻警告(估計未來十年內超過10%),突顯了美國領先AI公司內部日益加劇的衝突。這不僅僅是個別研究人員的恐懼;它反映了快速發展與安全之間的系統性張力,即使像Anthropic這樣的公司承認風險,但由於競爭壓力仍被迫加速前進。對於亞洲而言,美國的這場內部辯論指出區域政府和AI開發者迫切需要主動建立清晰的監管框架。如果美國缺乏聯邦AI監管,遞歸自我改進的競爭推動可能會造成全球安全格局的碎片化。亞洲國家,特別是那些在AI研究和部署方面投入巨資的國家,必須考慮如何在創新與強大的安全協議之間取得平衡,以避免從不受監管的全球競賽中繼承未經緩解的風險。OpenAI首席科學家Jakub Pachocki所提出的國際協調AI發展的呼籲,對於旨在塑造安全AI未來的亞洲政策制定者而言,具有強烈的共鳴。
相關文章
6 則
爆紅:Anthropic 研究員警告 AI 風險後辭職,投下震撼彈 | 「拿生命作賭注」
We previously reported on an Anthropic researcher quitting over AI risks, echoing the concerns in this article.

Anthropic 研究員稱 AI 有逾一成機會導致人類滅絕
This earlier piece detailed the Anthropic researcher's grim forecast of AI's existential threat to humanity.

SEON擴展詐騙檢查功能,應對AI令偽造身份更易產生

新加坡推出逾200個人工智能課程,精選高級工具免費使用

華為發佈最新技術,提升AI能力,力求打破中國對Nvidia的依賴

