OpenAI 发布新的图像分类器和 ChatGPT 警告以打击 CSAM
OpenAI 推出了新工具并更新了政策,旨在打击其平台上的儿童性虐待材料(CSAM)。这些措施包括新的图像分类器、ChatGPT 内的警告、开发者指南以及为执法部门提供的 AI 驱动工具。
OpenAI 今天宣布推出一系列新功能和指南,旨在打击其 AI 平台上的儿童性虐待材料(CSAM)。这些举措旨在解决围绕 AI 工具日益增长的安全问题,并建立在先前加强内容审核的努力之上。
其中一个关键组成部分是与 National Center for Missing and Exploited Children (NCMEC) 合作开发的新图像分类器,能够检测 CSAM,包括由 AI 生成的内容。此工具会寻找虐待的视觉迹象,并分配一个分数以指导审阅者。OpenAI 正在向选定的公司免费提供通过其 API 访问此分类器的权限。据报道,与合作伙伴的早期测试发现,该分类器标记的图像减少了 48%,同时识别出相同数量的虐待图像,这表明被标记的图像有两倍的可能性是虐待内容,并可能减少人工审阅者的工作量。
在 ChatGPT 内,尝试访问或创建将儿童性化的内容的用户将会看到新的警告屏幕。这些警报会引导用户寻求专业支持,并启动 24 小时的账户暂停作为警告。该应用程序已经会屏蔽 CSAM 内容和相关请求,重复违规可能会导致账户永久移除。OpenAI 与 Protect Children 和 Lucy Faithfull Foundation 等组织以及包括 University of Tasmania 的 Joel Scanlan 在内的研究人员合作开发了这些消息和指南,Joel Scanlan 独立评估了威慑消息的试验。
OpenAI 还发布了针对使用其工具的开发者的新的指南,鼓励他们预防、检测和报告 CSAM。该公司表示,早期测试已帮助许多开发者采用儿童安全工具并注册向 NCMEC 报告 CSAM。此外,OpenAI 正在为处理儿童安全的执法机构配备 AI 驱动的功能,例如专用插件、调查工具和复杂数据分析,访问权限由程序管理员管理。该公司还为调查员提供培训以及如何使用 AI 的现场指南。
这些措施是在持续审查下推出的,包括针对 OpenAI 的诉讼,指控其技术伤害用户,特别是儿童。专注于安全的非营利组织 Common Sense Media 先前曾将 OpenAI 的技术标记为对青少年构成“不可接受的风险”。该公司在过去 12 个月内对其技术进行了多项调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整其模型以防止有害内容生成,以及发布针对青少年的特别版 ChatGPT。
分享这篇文章
相关文章
6 则
OpenAI ChatGPT 商业代理 - 初步体验
OpenAI's ChatGPT is at the core of this story; here is our first look at its business agent.

Superhuman 将其 Go 助理推广至各处
积压如山:印度为何需要AI拯救答卷评分?

Anthropic历史性首次亮相 将人工智能的承诺与风险带上华尔街考验

美中AI竞赛真实存在,但特朗普近期针对“超级智能”的举动不太可能让美国占据任何优势 #US-China #Race #Real #Trump's #Recent #Moves #'Super #Intelligence' #Unlikely #Give #America #Advantage #USA #Russia #Biden #Ukraine #War #Palestine #Gaza #Israel #

