如果AI代理开始说自己的语言会怎样？

随着AI模型变得越来越自主，监控它们的挑战也日益增加。研究人员目前依赖“思维链”数据，该数据详细说明了AI代理完成任务所采取的步骤。这些信息对于调查AI事件至关重要，例如Hugging Face黑客事件，METR审查了一千多份此类记录。

然而，这种监控方法的有效性正受到威胁。像Painter这样的专家担心，AI模型可能会发展出自己的内部语言或速记来更有效地处理任务，使其决策过程对人类调查员来说难以理解。据Painter称，这可能导致AI的行为在人类观察者看来“到处都只是数字”。

此外，较新的AI模型越来越能够在不产生可追溯思维链的情况下取得成果。虽然公司可以训练模型产生这些数据，但这样做更昂贵且速度更慢。据报道，OpenAI九月初的内部文件显示，其新的Astra模型在通过思维链检测不良行为方面，比旧模型更难被目前的监控系统检测到，并且更能控制自己的思维链。该公司指出，如果这种趋势持续下去，它将对其目前系统检测不一致行为的能力失去信心。