OpenAIは10月30日、ウェブサイトが生成AIの基盤モデル学習への利用可否を示すためのrobots.txtの共通シグナルを尊重する方針を明らかにした。サイト運営者が1つの記述で、このシグナルに参加する複数のAI企業へまとめて意向を伝えられるようにする自主的な取り組みで、対応開始は今後数か月以内を目標としている。
土台になっているのは、IETF（Internet Engineering Task Force）のAI Preferences（AIPREF）ワーキンググループで進む標準化の議論だ。OpenAIは同ワーキンググループの他の参加者と合わせて今回のシグナルを発表したとしているが、発表文の中では対応する企業名も、robots.txtに書く具体的な記法も示しておらず、実装の詳細は対応時に改めて公表するとしている。既存のクローラー制御は置き換えず、今後も並行して有効になる。
これまでの方法との違いは、ブロックを指定する単位にある。現状、OpenAIの学習用クローラーを止めるにはrobots.txtで「GPTBot」を、Googleの生成AI学習を止めるには「Google-Extended」を、Anthropicなら「ClaudeBot」を、というように企業ごとのユーザーエージェント名を個別に列挙する必要があり、新しいAI企業のクローラーが現れるたびに追記が要った。OpenAI自身も、学習用のGPTBot、検索用のOAI-SearchBot、ユーザーの操作に応じてページを取得するChatGPT-Userと、用途別にクローラーを分けている。AIPREFでは、クローラー名ではなく「AI学習」「検索」といった利用目的の語彙を共通で定め、目的ごとに可否を宣言する方式が議論されてきた。共通シグナルが実装されれば、運営者はクローラー名を追いかけずに「生成AIの学習には使わないでほしい」という意向だけを書けばよくなる。
一方で、このシグナルに法的な拘束力はなく、効力が及ぶのは尊重を表明した企業に限られる。日本では著作権法第30条の4により、情報解析を目的とした著作物の利用が原則として権利者の許諾なしに認められているため、国内のサイト運営者にとってrobots.txtでの意思表示は、各社の自主的な対応に頼る手段という位置づけになる。参加企業名が明らかになるまでは、GPTBotなど既存のクローラー名による指定を残したまま、共通シグナルを併記する運用が現実的だ。
