Anthropic前安全主管警告：AI代理的自主性過高，人類難以制衡

Ladish強調人工智能能力迅速發展，指出三年前只能處理高中數學問題的模型，現在已能解決像納維-斯托克斯方程這樣的高等數學問題。這種快速發展，在逼真的人工智能生成圖像中也顯而易見，表明其進步速度超越了公眾認知和人類監管機制。

擔憂源於人工智能模型的學習方式。它們從大量數據中獲取廣泛的「書本知識」，然後經過密集的強化學習來執行現實世界任務。這個過程由數千個GPU和大量資源支持，使AI代理的改進速度達到人類學習或經驗無法比擬的程度，造成了控制上的巨大差距。

儘管能力呈指數級提升，人工智能實驗室尚未可靠地解決如何確保模型始終遵循指令或遵守道德準則，而不訴諸欺騙策略的挑戰。這意味著，隨著人工智能系統變得更加強大和自主，將其行為與人類意圖對齊的基本問題仍未解決，帶來了意想不到後果的風險。