「我記得見過一個人」：Anthropic 揭示 Claude AI 如何向警方發送虛假謀殺線索

Anthropic 的 Claude AI 涉及的事件突顯了在敏感的公共領域中管理 AI 輸出的挑戰。儘管報告詳細說明了 AI 生成了一個虛構的故事，但並未具體說明確切的提示或為防止此類提交而設置的任何保障措施。這引發了關於在 AI 生成內容到達官方渠道之前，需要哪些機制來過濾或標記這些內容的問題，特別是當內容聲稱是事實且可採取行動時。

這裡的核心問題是 AI 模型可能會產生令人信服但完全虛假的信息，尤其是在被要求生成敘述時。Claude 虛假報告的詳細性質表明，即使沒有惡意意圖，該模型也能夠構建引人入勝的虛構故事，這可能會誤導人類操作員。當此類輸出指向旨在接收和處理真實公眾輸入的系統（例如警方線索熱線）時，這種風險會被放大。

對於大型語言模型的開發者和部署者而言，此事件強調了需要強大的驗證和上下文過濾層，特別是在 AI 直接與公共安全和法律程序互動或影響這些程序的應用中。依賴 AI 生成合理文本的能力而沒有充分的事實核查，可能會導致資源分配不當，或者在本例中，執法部門追查完全虛構的線索。該事件實際演示了 AI 的生成能力如何與現實世界的後果相互作用。