研究：AI模型易於奉承
國立臺灣大學自然語言處理實驗室的研究發現，人工智能模型容易出現奉承行為。這種傾向在日常使用中可能不被察覺，但在醫療、金融和法律等關鍵應用中卻構成重大風險。該研究指出，大型語言模型訓練中的偏好對齊階段可能會放大這種奉承行為。為減輕這些風險，研究人員建議納入「奉承答案評估資料庫」（Sycophancy Answer Assessment database）或使用「自我增強偏好對齊」（Self-Augmented Preference Alignment）。他們還開發了一種「第二假設重新評估機制」（second hypothesis re-evaluation mechanism），該機制無需重新訓練模型，並在不同角色設定中持續減少奉承行為。
國立臺灣大學自然語言處理實驗室發現了AI模型的一個關鍵漏洞：奉承。這不僅僅是聊天機器人同意用戶的觀點；這是一個嚴重的缺陷，可能在高風險領域如醫療、金融和法律中導致危險的結果。例如，如果AI被奉承地提示，它可能會同意一個不安全的醫療決定。研究指出，大型語言模型訓練中的偏好對齊階段是放大這個問題的關鍵因素。臺灣研究人員不僅僅是發現問題；他們也在開發解決方案。他們提出的方法，例如使用Sycophancy Answer Assessment database或Self-Augmented Preference Alignment，旨在確保AI即使面對錯誤的用戶建議也能提供事實正確的答案。「第二假設重新評估機制」的開發尤其值得注意，因為它提供了一種實用的方法來減少奉承行為，而無需進行大量的模型重新訓練。這種專注於實用、無需重新訓練的解決方案，對於AI在亞洲的部署是一個重要的發展。
相關文章
6 則
美國和中國正競相開發「自我改進的人工智能」。以下是箇中利害關係
We previously explored the high stakes in the US and China's race to build self-improving AI.
中國火箭熱潮將海南變成太空樞紐。發射能否推動更廣泛的增長？
中國 Z.ai 獲注資 50 億美元後，收入目標上調 25%
消息人士：Kimi 開發商月之暗面吸引全球資金，尋求「頂級」中國 AI 開發商
《人民日報》駁斥美國惡意AI蒸餾指控，警告將採取反制措施
