聊天机器人差点引发与中国的战争。最可怕的不是AI的错误

这起事件凸显了AI驱动决策的关键漏洞，特别是当多个AI系统串联使用时。一个聊天机器人的初步幻觉固然有问题，但如果人为监督更及时或更强大，可能就会被发现。然而，随后的步骤，即第二个AI将这些未经证实的信息转化为正式情报报告，大大增加了风险。

这种AI流程的串联，为推测性错误获得不应有的可信度创造了途径。将“猜测”转化为“看似官方”的文件，意味着AI的错误不再仅仅是内部异常，而是一份可以被广大用户网络分发和采取的情報。这里的危险在于对自动化系统输出的隐性信任，特别是当它们模仿既定格式时。

核心问题不仅仅是AI出错的能力，这是一个已知的挑战。相反，这是系统性地未能在信息流的关键时刻实施足够的人工检查或验证协议。当AI输出在没有充分验证的情况下，被允许通过官方渠道传播时，误判和严重后果的可能性会急剧升级，正如这次差点发生的军事行动所证明的那样。