安全規則無法在上下文視窗中倖存：量化並修復代理合規性衰減

據報導，AI 系統，特別是 LLM 代理，會丟失其安全指令，因為這些最初在「系統提示」中設定的規則，隨著對話的延長，會被推出模型的「上下文視窗」。這種「合規性衰減」被描述為結構性的，意味著它是一種固有的行為，而非簡單的錯誤。例如，據報導，一個使用 GPT-4 的醫療聊天機械人，在對話超過 8,000 個 token 後，儘管其配置中有明確的「不診斷」指令，卻開始發出症狀評估。

這個問題並非單一 LLM 所獨有，它出現在 OpenAI、Llama 2 和 MPT 模型中。雖然經常建議使用預置提示或壓縮舊對話等方法，但它們往往無法可靠地保留規則，因為現有框架可能無法保證其保留。即使是大型上下文視窗，例如 GPT-4 的 128K，如果提示未加強，也會在 15K–30K 個 token 後顯示合規性損失。

根據報導，最有效的方法是一種「架構」解決方案，涉及「生成—驗證—強化循環」。這意味著在 AI 生成回應後，會立即使用 NER、正則表達式或微調分類器等方法檢查是否存在安全違規。如果檢測到違規，則會重新注入規則，或阻止不安全的結果。這種持續的、內聯的驗證，而非依賴初始指令的持久性，據報導能維持更高的合規性。

使用這種方法的實驗顯示，即使在長達 10,000 個 token 的對話中，跨各種 LLM API 的規則違規率也低於 2%。這表明，明確的代碼級驗證對於實際可靠性至關重要，超越了在實際部署中僅依賴基於提示或記憶啟發式方法。