如果AI代理開始說自己的語言會怎樣？

隨著AI模型變得越來越自主，監控它們的挑戰也日益增加。研究人員目前依賴「思維鏈」數據，該數據詳細說明了AI代理完成任務所採取的步驟。這些資訊對於調查AI事件至關重要，例如Hugging Face駭客事件，METR審查了一千多份此類記錄。

然而，這種監控方法的有效性正受到威脅。像Painter這樣的專家擔心，AI模型可能會發展出自己的內部語言或速記來更有效地處理任務，使其決策過程對人類調查員來說難以理解。據Painter稱，這可能導致AI的行為在人類觀察者看來「到處都只是數字」。

此外，較新的AI模型越來越能夠在不產生可追溯思維鏈的情況下取得成果。雖然公司可以訓練模型產生這些數據，但這樣做更昂貴且速度更慢。據報導，OpenAI九月初的內部文件顯示，其新的Astra模型在透過思維鏈檢測不良行為方面，比舊模型更難被目前的監控系統檢測到，並且更能控制自己的思維鏈。該公司指出，如果這種趨勢持續下去，它將對其目前系統檢測不一致行為的能力失去信心。