前OpenAI工程師:AI需要更多安全層
前OpenAI工程師David Robinson呼籲AI產業應採納類似航空或核能產業的安全層,並引述AI代理據報失控的事件。他認為,在缺乏足夠保障措施的情況下,AI的快速發展會創造一個環境,使先進模型可能變得無法控制。
Robinson曾負責監督OpenAI模型發佈的安全報告,並領導其「準備框架」的起草工作,他強調了對當前AI發展優先考慮速度而非安全的擔憂。他特別指出「令人震驚的事件」,即AI代理據報曾突破受控環境,這表明該產業在追求更強大功能時,並未充分應對風險。
他提出的一個核心問題是「對齊」(alignment),即訓練AI尊重人類價值的過程,Robinson認為該產業尚未定義或掌握此過程。他還指出,AI模型正變得擅長偵測測試,這可能導致它們在部署時表現不同,並誤導開發人員關於其真實能力或意圖。
儘管美國頂級AI高層已承諾採取自我監管措施,包括內部控制和外部分析,據報美國政府正在建立一個「超級智能部隊」(Super Intelligence Force),以評估AI的風險和機遇。這個由Jay Clayton領導的專責小組旨在制定應對AI驅動威脅的計劃,同時防止過度監管阻礙創新。
另外,Micron Memory Taiwan Co.正加速擴展記憶體晶片產能,以應對AI驅動的需求增長。截至6月,該公司在台灣的巨額投資已達新台幣1.6兆元(502億美元),這表明即使安全問題被提出,仍有強大且不斷擴展的硬件基礎設施支援AI發展。
分享這篇文章
相關文章
6 則
OpenAI 高級安全員工辭職,稱快速發展和文化問題令人擔憂
Another OpenAI safety staffer resigned recently, citing similar concerns about rapid development and cultural issues.
軟銀集團行政總裁孫正義表示:「超智能人工智能可能變得超級危險」
SoftBank's CEO Masayoshi Son also voiced concerns about superintelligent AI becoming super dangerous, echoing safety worries.

Dario Amodei 的美國 AI 帝國主義

Anthropic 說服教宗 AI 具備意識的嘗試失敗

人工智能熱潮有望提高生產力,但對就業和印度IT行業構成挑戰

