聊天機械人差點引發與中國的戰爭。最可怕的不是AI的錯誤

這宗事件凸顯了AI驅動決策的關鍵漏洞，特別是當多個AI系統串聯使用時。一個聊天機械人的初步幻覺固然有問題，但如果人為監督更即時或更強大，可能就會被發現。然而，隨後的步驟，即第二個AI將這些未經證實的資訊轉化為正式情報報告，大大增加了風險。

這種AI流程的串聯，為推測性錯誤獲得不應有的可信度創造了途徑。將「猜測」轉化為「看似官方」的文件，意味著AI的錯誤不再僅僅是內部異常，而是一份可以被廣大用戶網絡分發和採取的情報。這裡的危險在於對自動化系統輸出的隱性信任，特別是當它們模仿既定格式時。

核心問題不僅僅是AI出錯的能力，這是一個已知的挑戰。相反，這是系統性地未能在資訊流的關鍵時刻實施足夠的人工檢查或驗證協議。當AI輸出在沒有充分驗證的情況下，被允許通過官方渠道傳播時，誤判和嚴重後果的可能性會急劇升級，正如這次差點發生的軍事行動所證明的那樣。