Anthropic 称 Claude 新防御措施将 AI 蒸馏数据收集减少高达 99%
Anthropic 报告称,其新防御措施已将其 Claude AI 模型中的数据收集减少 90% 至 99%,成功阻止了复杂的提取其推理和能力的尝试。该公司还表示,已封禁了数万个与这些蒸馏活动相关的账户。
Anthropic 将蒸馏描述为“秘密的、工业规模的活动”,旨在提取 AI 模型的能力,并在未经授权的情况下利用其响应来训练另一个模型。这些活动可能涉及广泛的欺诈账户网络,使未经授权的实体能够快速且以较低成本复制先进的 AI 能力。
该公司的担忧不仅限于商业影响,因为它认为蒸馏模型可能缺乏其来源模型的强大保障措施,可能在生物学和网络安全等领域造成风险。Anthropic 还提出了国家安全问题,声称通过蒸馏获得的能力正被整合到外国军事、情报和监视系统中,并引用了一个具体案例,涉及 Moonshot 的 Kimi 模型将请求转发给 Claude。
攻击者最初专注于 Claude 的推理记录,这些记录比最终答案对于训练更有价值。尽管 Anthropic 的初步防御措施涉及总结这些推理,但攻击者开发了复杂的方法来操纵模型以揭示完整的记录。Anthropic 在 Claude Fable 5.1 和 Opus 5.5 中实施的较新防御措施,阻止新的 API 账户编辑 Claude 的先前上下文,限制对推理记录的访问,并使用两阶段分类器来检测提取尝试。这些措施已导致提取的推理标记大幅减少,并在数小时内封禁了相关账户。
Anthropic 承认存在权衡,包括一些开发者的整合变更、偶尔阻止良性请求以及对某些被阻止请求收费。然而,它强调“蒸馏是每个模型开发者都面临且必须应对的问题”,认为开发者和平台必须合作以对抗那些能够将流量分布到各种 API 和云提供商的攻击者。
分享这篇文章
相关文章
6 则Anthropic 警告:小型 AI 模型或很快能在物联网设备上自我复制
Anthropic previously warned that small AI models could self-replicate on IoT devices, a related concern to distillation.

Anthropic 警告:恶意 AI 代理或很快劫持您的智能电视或烤箱
Anthropic has also raised alarms about rogue AI agents potentially hijacking smart devices, echoing its current security concerns.

联想携手 SentinelOne 工具,助力新加坡企业应对“影子 AI”风险

台积电证实与Elon Musk洽谈德州“Terafab”项目,但坚持运营控制权

中美讨论人工智能之际,芯片股暴跌冲击亚洲市场

