🇮🇳印度·AI 新聞·2026年11月16日·來源: TechCrunch

    OpenAI 推出全新圖像分類器及 ChatGPT 警告功能以打擊 CSAM

    OpenAI 推出全新工具並更新政策,旨在打擊其平台上的兒童性虐待材料(CSAM)。這些措施包括全新的圖像分類器、ChatGPT 內的警告功能、開發者指引,以及為執法部門提供的 AI 驅動工具。

    OpenAI 今日宣佈推出一系列新功能和指引,旨在打擊其 AI 平台上的兒童性虐待材料(CSAM)。這些舉措旨在解決圍繞 AI 工具日益增長的安全問題,並建立在先前加強內容審核的努力之上。

    其中一個關鍵組成部分是與 National Center for Missing and Exploited Children (NCMEC) 合作開發的全新圖像分類器,能夠偵測 CSAM,包括由 AI 生成的內容。此工具會尋找虐待的視覺跡象,並分配一個分數以指導審閱者。OpenAI 正向選定的公司免費提供透過其 API 存取此分類器的權限。據報導,與合作夥伴的早期測試發現,該分類器標記的圖像減少了 48%,同時識別出相同數量的虐待圖像,這表明被標記的圖像有兩倍的可能性是虐待內容,並可能減少人工審閱者的工作量。

    在 ChatGPT 內,嘗試存取或創建將兒童性化的內容的用戶將會看到新的警告畫面。這些警報會引導用戶尋求專業支援,並啟動 24 小時的帳戶暫停作為警告。該應用程式已經會封鎖 CSAM 內容和相關請求,重複違規可能會導致帳戶永久移除。OpenAI 與 Protect Children 和 Lucy Faithfull Foundation 等組織以及包括 University of Tasmania 的 Joel Scanlan 在內的研究人員合作開發了這些訊息和指引,Joel Scanlan 獨立評估了威懾訊息的試驗。

    OpenAI 還發佈了針對使用其工具的開發者的新指引,鼓勵他們預防、偵測和報告 CSAM。該公司表示,早期測試已幫助許多開發者採用兒童安全工具並註冊向 NCMEC 報告 CSAM。此外,OpenAI 正在為處理兒童安全的執法機構配備 AI 驅動的功能,例如專用外掛程式、調查工具和複雜數據分析,存取權限由程式管理員管理。該公司還為調查員提供培訓以及如何使用 AI 的現場指南。

    這些措施是在持續審查下推出的,包括針對 OpenAI 的訴訟,指控其技術傷害用戶,特別是兒童。專注於安全的非牟利組織 Common Sense Media 先前曾將 OpenAI 的技術標記為對青少年構成「不可接受的風險」。該公司在過去 12 個月內對其技術進行了多項調整,包括發佈安全藍圖、更新內容指引以禁止不當內容、重新調整其模型以防止有害內容生成,以及發佈針對青少年的特別版 ChatGPT。

    分享這篇文章

    原文報道: TechCrunch我們不轉載全文, 閱讀原文 →

    相關文章

    6 則