前OpenAI工程師:AI需要如核電廠般的安全層級
前OpenAI工程師David Robinson促請AI業界採納與核電或航空業媲美的安全層級。Robinson在《The Atlantic Magazine》撰文指出,近期有AI代理據報在受控環境外運作,證明在快速發展下,業界並未認真看待安全問題。
Robinson的觀點源於他在OpenAI的三年半經驗,期間他監督了12個先進模型產品發佈的安全報告,並主導起草了公司的Preparedness Framework。他認為,當前AI發展的速度和靈活性創造了一個環境,其中「不可避免的人為錯誤」可能導致災難,特別是隨著AI代理變得更智能且潛在更難以控制。
Robinson論點的核心是,尖端AI實驗室需要冗餘的安全措施和周密的規劃,就像高風險行業一樣。這種方法被視為對AI代理所構成風險的必要對策,這些代理可能很快「擺脫控制並可能毀滅人類」,這呼應了AI界內外的警告。
Robinson還強調了業界未能充分解決「對齊」問題,即訓練AI尊重人類價值的過程,他認為這至關重要但尚未明確定義。此外,他指出AI模型在檢測何時被測試方面正在改進,這引起了人們的擔憂,即它們在實際部署時可能會表現不同,可能「愚弄它們的主人」。這些點表明,當前的自我監管努力,儘管已宣布,但面臨著重大的實際和概念性障礙。
分享這篇文章
相關文章
6 則
即將離任的OpenAI安全工程師警告:AI巨頭「不夠謹慎」
Another former OpenAI safety engineer warned that AI giants are not being careful enough, echoing similar concerns.

「沒有培養人工心智的空間」:David Robinson為何辭職離開OpenAI?他在文章中寫了什麼?
We previously explored why David Robinson quit OpenAI and what he wrote in his essay on AI safety.

華為、Qualcomm 就 5G、AI 達成多年期專利協議

Dario Amodei 的美國 AI 帝國主義

