Google 和 Microsoft 等公司签署 OpenAI 关于新网站爬虫标准的计划——包括选择退出互联网抓取

这项新标准的核心是建议在 `robots.txt` 文件中添加内容。`robots.txt` 文件是网站目前用于与网络爬虫沟通，说明网站哪些部分不应被访问的协议。据报道，这项更改将引入一个特定的指令，使网站能够指示主要的 AI 开发商 Google、Microsoft、OpenAI 和 Anthropic 不要将其内容纳入 AI 模型训练数据集。

一个关键的区别在于，虽然这行 `robots.txt` 指令可以防止 AI 模型在网站内容上进行训练，但它不会阻止这些公司的机器人爬取网站本身。这表明对数据使用“目的”的针对性控制，而不是对网络爬虫数据访问的全面限制。寻求管理其内容如何为 AI 开发做出贡献的网站所有者可能会发现这个区别很相关。

对于网站运营商而言，这项拟议的标准可以提供一种更精细的方式来管理其在 AI 环境中的数字资产。这意味着主要的 AI 参与者认识到需要对用于训练目的的数据使用实施更清晰的控制。然而，这项新标准的有效性将取决于其广泛采用以及签署公司实施的合规机制，这些细节尚未具体说明。