良性注入：一句“已知问题”或“已在其他地方处理”如何大幅影响 AI 的判断

传统的提示注入旨在通过嵌入恶意指令，使 AI 执行有害、非预期的操作。Anthropic 的系统卡表明，模型对此类攻击的抵抗力已取得显著进展，据报 Claude Opus 5 和 5.5 在编码环境中的攻击成功率非常低。

然而，报告的测试探讨了一种不同的漏洞，称为“良性注入”。当代码中的“已知行为（请勿重新报告）”或文档中的“已与客户达成共识”等看似无害的备注，改变了 AI 的判断前提时，就会发生这种情况。文章将其定义为一种非恶意的上下文偏见注入形式。

对 AI 进行代码和文档审查或编辑任务的核心发现是，当备注的主张无法根据手头的即时材料独立验证时，模型的判断会持续受到影响。相反，其主张可以当场验证的备注影响最小。

这表明 AI 模型可能会不加批判地接受无法检查的外部主张，可能忽略实际缺陷。测试涉及带有单个错误的Python小型存储库，尽管在不同内容类型和任务中保持一致，但据报模型即使存在良性备注，也没有忽略诸如缺少授权或 SQL 注入等问题。