OpenAI、Googleなど4大企業がAIトレーニング拒否ルールを統一、ウェブサイトは個別設定が不要に

動察 Beating AI 速報、OpenAI、Google、Microsoft、Anthropic が合意：今後、ウェブサイトは `robots.txt` に `User-Agent: __usage_ai-training` と `Disallow: /` の2つのルールを追加するだけで、これらの企業に自社コンテンツをAIの学習に使用しないよう同時に伝えられる。これまでは、ウェブサイトは GPTBot や ClaudeBot などのクローラーごとに個別にルールを設定する必要があった。

このルールはAI学習のみを対象とし、クローラーによるウェブサイトのクロールを一律に禁止するものではなく、AIが回答内でウェブサイトのコンテンツを引用することにも必ずしも影響しない。Anthropicのエンジニアが提案したもので、現在はインターネット技術タスクフォース（IETF）の技術ドラフトである。

各社のルールの実施方法は完全には同一ではない。MicrosoftはウェブサイトがAI学習のみを個別に禁止しつつ、コンテンツがAI検索に引用される機会を維持することを認めている。Googleはこのルールを既存の Google-Extended 設定と連動させる計画で、Geminiによるウェブサイトコンテンツの引用も併せて制限される可能性がある。

Anthropicはすでに採用を開始しており、Microsoftは2027年2月の発効を予定し、Googleは2027年の対応を計画、OpenAIも今後数か月以内に導入する予定である。

ただし、これらのルールは過去に学習に使用されたデータを撤回することはできず、AI企業に遵守を強制することもできない。