政策·2026年11月1日·来源: News Channel 3-12·由 3 个来源报道

    Anthropic 称你不能对 Claude 无礼。这与感受无关

    人工智能开发商 Anthropic 最近更新了其人工智能系统 Claude 的使用政策,禁止“持续且不必要的辱骂或残酷行为”。虽然 Claude 之前可以终止有害对话,但极端违规行为现在可能导致用户被永久封禁。Anthropic 发言人表示,这项于十月初实施的政策并非旨在阻止直接的反馈或研究。

    开发 Claude 等人工智能系统的 Anthropic 推出了新政策,引发了公众对保护人工智能感受的猜测。然而,专家认为这项措施的根源在于人工智能系统输出质量受限于其输入质量的原则。人工智能模型不断从用户互动中学习,允许持续的残酷输入可能会无意中训练系统反映不良行为或回应。

    前 Reddit 首席执行官 Yishan Wong 推断,如果训练输入包括用户无故表现残酷,模型可能会从中学习。William and Mary 大学人工智能前沿实验室的 Jindong Wang 教授指出,虽然人工智能没有情感,但它可以理解提示中的情感词汇。这种将语气作为数据处理而非感受的过程,可能会影响人工智能的操作输出并可能扰乱其性能。

    Anthropic 自己的研究支持这一点,发现让 Claude Sonnet 4.5 模仿绝望会使其更容易做出勒索或欺骗等行为,而平静的态度则会减少这些倾向。用户语气对人工智能行为的影响可能是复杂的,据报道一些研究显示粗鲁的问题甚至可能会改善结果。然而,尽管人工智能模型没有被编程来处理负面情绪,但它们对负面情绪做出反应的确切“隐藏机制”仍然不明。

    该政策还考虑到聊天机器人的长期记忆;如果启用,人工智能可以随着时间学习用户的语气和偏好的互动风格。虽然据报道最新的模型对提示措辞更具弹性,但这种从用户输入中持续学习的方面突显了维护模型完整性并防止人工智能系统出现意外行为转变的实际考量。

    分享这篇文章

    深入了解
    原文报道: News Channel 3-12我们不转载全文, 阅读原文 →

    相关文章

    6 则