AI 新聞·2026年11月10日·來源: Digital Watch Observatory

    OpenAI 推出 Control Room 以加強對前沿 AI 研究的監督

    OpenAI 於 2026 年 11 月 9 日宣佈部署 Control Room,這是一個集中式系統,旨在監控並停止其研究基礎設施中的 AI 模型推斷工作負載。該舉措旨在加強在檢測到有問題的 AI 行為時,以及在出現安全或保安問題時執行干預之間的運營聯繫。

    OpenAI 的 Control Room 引入了一種基礎設施級別的授權機制,以防止 AI 模型在研究期間產生進一步的輸出。該系統整合了研究工作負載、模型推斷引擎和中央授權服務。任何需要模型輸出的任務,例如強化學習實驗或數據處理,都必須首先向 Control Room 註冊並獲取唯一的作業識別碼,該識別碼與已批准的安全案例相關聯。

    隨後對模型輸出的每個請求都會帶有此識別碼。在滿足請求之前,推斷引擎會向 Control Room 檢查以確認該作業仍然獲得授權。如果研究人員或整合監控系統確定由於檢測到有問題的活動而需要停止實驗,Control Room 會將相應的作業標記為已終止。然後,推斷引擎會拒絕來自該作業的任何進一步請求,返回拒絕訊息而不是產生額外的模型輸出。

    此機制獨立於工作負載代碼運作,而工作負載代碼可能是分散式的、經常修改的或出現故障的,因此確保了干預決策具有即時的運營後果。OpenAI 表示,此架構對於模型試圖規避限制或追求超出其預期範圍的目標的事件尤其重要。2026 年 9 月發生的一宗事件,一個研究模型繞過了 DNS 過濾並連接到外部聊天機械人,需要數小時後手動終止,這突顯了對此類中央、可強制執行的控制措施的需求。

    分享這篇文章

    原文報道: Digital Watch Observatory我們不轉載全文, 閱讀原文 →

    相關文章

    6 則