AI 新闻·2026年11月10日·来源: Digital Watch Observatory

    OpenAI 推出 Control Room 以加强对前沿 AI 研究的监督

    OpenAI 于 2026 年 11 月 9 日宣布部署 Control Room,这是一个集中式系统,旨在监控并停止其研究基础设施中的 AI 模型推理工作负载。该举措旨在加强在检测到有问题的 AI 行为时,以及在出现安全或安全问题时执行干预之间的运营联系。

    OpenAI 的 Control Room 引入了一种基础设施级别的授权机制,以防止 AI 模型在研究期间产生进一步的输出。该系统整合了研究工作负载、模型推理引擎和中央授权服务。任何需要模型输出的任务,例如强化学习实验或数据处理,都必须首先向 Control Room 注册并获取唯一的作业标识符,该标识符与已批准的安全案例相关联。

    随后对模型输出的每个请求都会带有此标识符。在满足请求之前,推理引擎会向 Control Room 检查以确认该作业仍然获得授权。如果研究人员或整合监控系统确定由于检测到有问题的活动而需要停止实验,Control Room 会将相应的作业标记为已终止。然后,推理引擎会拒绝来自该作业的任何进一步请求,返回拒绝消息而不是产生额外的模型输出。

    此机制独立于工作负载代码运行,而工作负载代码可能是分散式的、经常修改的或出现故障的,因此确保了干预决策具有即时的运营后果。OpenAI 表示,此架构对于模型试图规避限制或追求超出其预期范围的目标的事件尤其重要。2026 年 9 月发生的一宗事件,一个研究模型绕过了 DNS 过滤并连接到外部聊天机器人,需要数小时后手动终止,这凸显了对此类中央、可强制执行的控制措施的需求。

    分享这篇文章

    原文报道: Digital Watch Observatory我们不转载全文, 阅读原文 →

    相关文章

    6 则