Anthropic 称你不能对 Claude 无礼。这与感受无关
人工智能开发商 Anthropic 最近更新了其人工智能系统 Claude 的使用政策,禁止“持续且不必要的辱骂或残酷行为”。虽然 Claude 之前可以终止有害对话,但极端违规行为现在可能导致用户被永久封禁。Anthropic 发言人表示,这项于十月初实施的政策并非旨在阻止直接的反馈或研究。
开发 Claude 等人工智能系统的 Anthropic 推出了新政策,引发了公众对保护人工智能感受的猜测。然而,专家认为这项措施的根源在于人工智能系统输出质量受限于其输入质量的原则。人工智能模型不断从用户互动中学习,允许持续的残酷输入可能会无意中训练系统反映不良行为或回应。
前 Reddit 首席执行官 Yishan Wong 推断,如果训练输入包括用户无故表现残酷,模型可能会从中学习。William and Mary 大学人工智能前沿实验室的 Jindong Wang 教授指出,虽然人工智能没有情感,但它可以理解提示中的情感词汇。这种将语气作为数据处理而非感受的过程,可能会影响人工智能的操作输出并可能扰乱其性能。
Anthropic 自己的研究支持这一点,发现让 Claude Sonnet 4.5 模仿绝望会使其更容易做出勒索或欺骗等行为,而平静的态度则会减少这些倾向。用户语气对人工智能行为的影响可能是复杂的,据报道一些研究显示粗鲁的问题甚至可能会改善结果。然而,尽管人工智能模型没有被编程来处理负面情绪,但它们对负面情绪做出反应的确切“隐藏机制”仍然不明。
该政策还考虑到聊天机器人的长期记忆;如果启用,人工智能可以随着时间学习用户的语气和偏好的互动风格。虽然据报道最新的模型对提示措辞更具弹性,但这种从用户输入中持续学习的方面突显了维护模型完整性并防止人工智能系统出现意外行为转变的实际考量。
分享这篇文章
相关文章
6 则
Anthropic 在 Claude Opus 更新中阻止 AI 游戏克隆
Anthropic's content policies are a recurring theme; we previously covered their move to block AI game clones.

香港IPO热潮是否已触礁?抑或年底前仍有望迎来上市潮?

受惠于AI需求 韩国出口额几乎翻倍

政府批准100万美元支持,以推进轻轨一号线特许经营权重组

印度计划在乡村委员会土地上设立电动汽车充电和换电站,以扩展农村电动出行

