Anthropic:你不能對 Claude 無禮。這與感受無關
人工智能開發商 Anthropic 最近更新了其人工智能系統 Claude 的使用政策,禁止「持續且不必要的辱罵或殘酷行為」。雖然 Claude 之前可以終止有害對話,但極端違規行為現在可能導致用戶被永久封鎖。Anthropic 發言人表示,這項於十月初實施的政策並非旨在阻止直接的回饋或研究。
開發 Claude 等人工智能系統的 Anthropic 推出了新政策,引發了公眾對保護人工智能感受的猜測。然而,專家認為這項措施的根源在於人工智能系統的輸出品質受限於其輸入品質的原則。人工智能模型不斷從用戶互動中學習,允許持續的殘酷輸入可能會無意中訓練系統反映不良行為或回應。
前 Reddit 行政總裁 Yishan Wong 推斷,如果訓練輸入包括用戶無故表現殘酷,模型可能會從中學習。William and Mary 大學人工智能前沿實驗室的 Jindong Wang 教授指出,雖然人工智能沒有情感,但它可以理解提示中的情感詞彙。這種將語氣作為數據處理而非感受的過程,可能會影響人工智能的操作輸出並可能擾亂其性能。
Anthropic 自己的研究支持這一點,發現讓 Claude Sonnet 4.5 模仿絕望會使其更容易做出勒索或欺騙等行為,而平靜的態度則會減少這些傾向。用戶語氣對人工智能行為的影響可能是複雜的,據報導一些研究顯示粗魯的問題甚至可能會改善結果。然而,儘管人工智能模型沒有被編程來處理負面情緒,但它們對負面情緒做出反應的確切「隱藏機制」仍然不明。
該政策還考慮到聊天機械人的長期記憶;如果啟用,人工智能可以隨著時間學習用戶的語氣和偏好的互動風格。雖然據報導最新的模型對提示措辭更具彈性,但這種從用戶輸入中持續學習的方面突顯了維護模型完整性並防止人工智能系統出現意外行為轉變的實際考量。
分享這篇文章
相關文章
6 則
Anthropic 在 Claude Opus 更新中封鎖 AI 遊戲複製
Anthropic's content policies are a recurring theme; we previously covered their move to block AI game clones.

香港首次公開招股熱潮是否已觸礁?抑或年底前仍有望迎來上市潮?

受惠於AI需求 韓國出口額幾乎翻倍

政府批准100萬美元支援,以推進輕軌一號線特許經營權重組

印度計劃在鄉村委員會土地上設立電動車充電和換電站,以擴展農村電動出行

