企业治理：零信任缓存分区、故障关闭防护栏和架构回顾（第五部分）

文章指出了企业 RAG 的关键挑战，特别是防止租户 A 访问租户 B 的缓存答案，以及阻止 LLM 泄露内部提示。为了解决跨租户泄露问题，所介绍的“DocLab”平台在 AWS ElastiCache Redis 7.1 中隔离每个缓存条目。这种隔离是通过“确定性复合 SHA-256 哈希”实现的，这是一种加密函数，用于为缓存数据创建独特的标识符，从而对信息进行分区，以防止租户之间未经授权的访问。

另一个关键挑战是减轻 LLM 幻觉，当这些“概率性词语预测器”因缺乏相关事实而产生令人信服但错误的信息时，就会发生幻觉。DocLab 实施了“双层故障关闭防护栏管道”。初始层扫描传入查询中的“对抗模式”，如果发现匹配，会立即触发“400 Bad Request”安全异常，从而防止潜在有害或不相关的查询到达下游系统。

如果查询通过了第一个防护栏，但可能导致低置信度检索，“SageMaker Cross-Encoder Reranker”则充当“真相闸门”。此重新排序器确保“当置信度低时，绝不调用 LLM”，据报道，这种机制将平台的实际幻觉率降低到“接近零”。所描述的架构旨在平衡性能和成本，声称“优秀的软件工程并非关于使用每个闪亮工具；而是关于做出有意识、有记录的权衡。”