Google 和 Microsoft 等公司簽署 OpenAI 關於新網站爬蟲標準的計劃——包括選擇退出互聯網抓取

這項新標準的核心是建議在 `robots.txt` 檔案中添加內容。`robots.txt` 檔案是網站目前用於與網絡爬蟲溝通，說明網站哪些部分不應被存取的協議。據報道，這項更改將引入一個特定的指令，使網站能夠指示主要的 AI 開發商 Google、Microsoft、OpenAI 和 Anthropic 不要將其內容納入 AI 模型訓練數據集。

一個關鍵的區別在於，雖然這行 `robots.txt` 指令可以防止 AI 模型在網站內容上進行訓練，但它不會阻止這些公司的機械人爬取網站本身。這表明對數據使用「目的」的針對性控制，而不是對網絡爬蟲數據存取的全面限制。尋求管理其內容如何為 AI 開發做出貢獻的網站擁有者可能會發現這個區別很相關。

對於網站營運商而言，這項擬議的標準可以提供一種更精細的方式來管理其在 AI 環境中的數碼資產。這意味著主要的 AI 參與者認識到需要對用於訓練目的的數據使用實施更清晰的控制。然而，這項新標準的有效性將取決於其廣泛採用以及簽署公司實施的合規機制，這些細節尚未具體說明。