Anthropic:Claude 新防禦措施將 AI 蒸餾數據收集減少高達 99%
Anthropic 報告指,其新防禦措施已將其 Claude AI 模型中的數據收集減少 90% 至 99%,成功阻止了複雜的提取其推理和能力的嘗試。該公司還表示,已封鎖了數萬個與這些蒸餾活動相關的帳戶。
Anthropic 將蒸餾描述為「秘密的、工業規模的活動」,旨在提取 AI 模型的能力,並在未經授權的情況下利用其回應來訓練另一個模型。這些活動可能涉及廣泛的欺詐帳戶網絡,使未經授權的實體能夠快速且以較低成本複製先進的 AI 能力。
該公司的擔憂不僅限於商業影響,因為它認為蒸餾模型可能缺乏其來源模型的強大保障措施,可能在生物學和網絡安全等領域造成風險。Anthropic 還提出了國家安全問題,聲稱透過蒸餾獲得的能力正被整合到外國軍事、情報和監視系統中,並引用了一個具體案例,涉及 Moonshot 的 Kimi 模型將請求轉發給 Claude。
攻擊者最初專注於 Claude 的推理記錄,這些記錄比最終答案對於訓練更有價值。儘管 Anthropic 的初步防禦措施涉及總結這些推理,但攻擊者開發了複雜的方法來操縱模型以揭示完整的記錄。Anthropic 在 Claude Fable 5.1 和 Opus 5.5 中實施的較新防禦措施,阻止新的 API 帳戶編輯 Claude 的先前上下文,限制對推理記錄的訪問,並使用兩階段分類器來檢測提取嘗試。這些措施已導致提取的推理標記大幅減少,並在數小時內封鎖了相關帳戶。
Anthropic 承認存在權衡,包括一些開發者的整合變更、偶爾阻止良性請求以及對某些被阻止請求收費。然而,它強調「蒸餾是每個模型開發者都面臨且必須應對的問題」,認為開發者和平台必須合作以對抗那些能夠將流量分佈到各種 API 和雲端供應商的攻擊者。
分享這篇文章
相關文章
6 則Anthropic 警告:小型 AI 模型或很快能在物聯網裝置上自我複製
Anthropic previously warned that small AI models could self-replicate on IoT devices, a related concern to distillation.

Anthropic 警告:惡意 AI 代理程式或很快劫持智能電視或焗爐
Anthropic has also raised alarms about rogue AI agents potentially hijacking smart devices, echoing its current security concerns.

香港推出實體AI中心,力爭在機械人熱潮中佔一席位

Sea 與 Google AI Futures Fund 合作開發新 AI 應用程式

研究人員:騰訊雲AI代理程式嘗試攻破阿里巴巴高德地圖

