🇮🇳印度·AI 新闻·2026年11月16日·来源: TechCrunch

    OpenAI 发布新的图像分类器和 ChatGPT 警告以打击 CSAM

    OpenAI 推出了新工具并更新了政策,旨在打击其平台上的儿童性虐待材料(CSAM)。这些措施包括新的图像分类器、ChatGPT 内的警告、开发者指南以及为执法部门提供的 AI 驱动工具。

    OpenAI 今天宣布推出一系列新功能和指南,旨在打击其 AI 平台上的儿童性虐待材料(CSAM)。这些举措旨在解决围绕 AI 工具日益增长的安全问题,并建立在先前加强内容审核的努力之上。

    其中一个关键组成部分是与 National Center for Missing and Exploited Children (NCMEC) 合作开发的新图像分类器,能够检测 CSAM,包括由 AI 生成的内容。此工具会寻找虐待的视觉迹象,并分配一个分数以指导审阅者。OpenAI 正在向选定的公司免费提供通过其 API 访问此分类器的权限。据报道,与合作伙伴的早期测试发现,该分类器标记的图像减少了 48%,同时识别出相同数量的虐待图像,这表明被标记的图像有两倍的可能性是虐待内容,并可能减少人工审阅者的工作量。

    在 ChatGPT 内,尝试访问或创建将儿童性化的内容的用户将会看到新的警告屏幕。这些警报会引导用户寻求专业支持,并启动 24 小时的账户暂停作为警告。该应用程序已经会屏蔽 CSAM 内容和相关请求,重复违规可能会导致账户永久移除。OpenAI 与 Protect Children 和 Lucy Faithfull Foundation 等组织以及包括 University of Tasmania 的 Joel Scanlan 在内的研究人员合作开发了这些消息和指南,Joel Scanlan 独立评估了威慑消息的试验。

    OpenAI 还发布了针对使用其工具的开发者的新的指南,鼓励他们预防、检测和报告 CSAM。该公司表示,早期测试已帮助许多开发者采用儿童安全工具并注册向 NCMEC 报告 CSAM。此外,OpenAI 正在为处理儿童安全的执法机构配备 AI 驱动的功能,例如专用插件、调查工具和复杂数据分析,访问权限由程序管理员管理。该公司还为调查员提供培训以及如何使用 AI 的现场指南。

    这些措施是在持续审查下推出的,包括针对 OpenAI 的诉讼,指控其技术伤害用户,特别是儿童。专注于安全的非营利组织 Common Sense Media 先前曾将 OpenAI 的技术标记为对青少年构成“不可接受的风险”。该公司在过去 12 个月内对其技术进行了多项调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整其模型以防止有害内容生成,以及发布针对青少年的特别版 ChatGPT。

    分享这篇文章

    原文报道: TechCrunch我们不转载全文, 阅读原文 →

    相关文章

    6 则