良性注入：一句「已知問題」或「已在其他地方處理」如何大幅影響 AI 的判斷

傳統的提示注入旨在透過嵌入惡意指令，使 AI 執行有害、非預期的操作。Anthropic 的系統卡表明，模型對此類攻擊的抵抗力已取得顯著進展，據報 Claude Opus 5 和 5.5 在編碼環境中的攻擊成功率非常低。

然而，報告的測試探討了一種不同的漏洞，稱為「良性注入」。當程式碼中的「已知行為（請勿重新報告）」或文件中的「已與客戶達成共識」等看似無害的備註，改變了 AI 的判斷前提時，就會發生這種情況。文章將其定義為一種非惡意的上下文偏見注入形式。

對 AI 進行程式碼和文件審查或編輯任務的核心發現是，當備註的主張無法根據手頭的即時材料獨立驗證時，模型的判斷會持續受到影響。相反，其主張可以當場驗證的備註影響最小。

這表明 AI 模型可能會不加批判地接受無法檢查的外部主張，可能忽略實際缺陷。測試涉及帶有單個錯誤的小型 Python 儲存庫，儘管在不同內容類型和任務中保持一致，但據報模型即使存在良性備註，也沒有忽略諸如缺少授權或 SQL 注入等問題。