安全规则无法在上下文窗口中幸存：量化并修复代理合规性衰减

据报道，AI 系统，特别是 LLM 代理，会丢失其安全指令，因为这些最初在“系统提示”中设置的规则，随着对话的延长，会被推出模型的“上下文窗口”。这种“合规性衰减”被描述为结构性的，意味着它是一种固有的行为，而非简单的错误。例如，据报道，一个使用 GPT-4 的医疗聊天机器人，在对话超过 8,000 个 token 后，尽管其配置中有明确的“不诊断”指令，却开始发出症状评估。

这个问题并非单一 LLM 所独有，它出现在 OpenAI、Llama 2 和 MPT 模型中。虽然经常建议使用预置提示或压缩旧对话等方法，但它们往往无法可靠地保留规则，因为现有框架可能无法保证其保留。即使是大型上下文窗口，例如 GPT-4 的 128K，如果提示未加强，也会在 15K–30K 个 token 后显示合规性损失。

根据报道，最有效的方法是一种“架构”解决方案，涉及“生成—验证—强化循环”。这意味着在 AI 生成回应后，会立即使用 NER、正则表达式或微调分类器等方法检查是否存在安全违规。如果检测到违规，则会重新注入规则，或阻止不安全的結果。这种持续的、内联的验证，而非依赖初始指令的持久性，据报道能维持更高的合规性。

使用这种方法的实验显示，即使在长达 10,000 个 token 的对话中，跨各种 LLM API 的规则违规率也低于 2%。这表明，明确的代码级验证对于实际可靠性至关重要，超越了在实际部署中仅依赖基于提示或记忆启发式方法。