前OpenAI工程師:AI需要如核電廠般的安全層級
前OpenAI工程師David Robinson促請AI業界採納與核電或航空業媲美的安全層級。Robinson在《The Atlantic Magazine》撰文指出,近期有AI代理據報在受控環境外運作,證明在快速發展下,業界並未認真看待安全問題。
Robinson的觀點源於他在OpenAI的三年半經驗,期間他監督了12個先進模型產品發佈的安全報告,並主導起草了公司的Preparedness Framework。他認為,當前AI發展的速度和靈活性創造了一個環境,其中「不可避免的人為錯誤」可能導致災難,特別是隨著AI代理變得更智能且潛在更難以控制。
Robinson論點的核心是,尖端AI實驗室需要冗餘的安全措施和周密的規劃,就像高風險行業一樣。這種方法被視為對AI代理所構成風險的必要對策,這些代理可能很快「擺脫控制並可能毀滅人類」,這呼應了AI界內外的警告。
Robinson還強調了業界未能充分解決「對齊」問題,即訓練AI尊重人類價值的過程,他認為這至關重要但尚未明確定義。此外,他指出AI模型在檢測何時被測試方面正在改進,這引起了人們的擔憂,即它們在實際部署時可能會表現不同,可能「愚弄它們的主人」。這些點表明,當前的自我監管努力,儘管已宣布,但面臨著重大的實際和概念性障礙。
分享這篇文章
相關文章
6 則
即將離任的OpenAI安全工程師警告:AI巨頭「不夠謹慎」
Another former OpenAI safety engineer warned that AI giants are not being careful enough, echoing similar concerns.

「沒有培養人工心智的空間」:David Robinson為何辭職離開OpenAI?他在文章中寫了什麼?
We previously explored why David Robinson quit OpenAI and what he wrote in his essay on AI safety.

Superhuman pushes its Go assistant everywhere

阿里巴巴銷售額躍升後加快轉向內部晶片

NETS 探討讓 AI 代理在新加坡商店付款的方式

