Google-Extendedは学習拒否と引用許可を1つのトークンに束ねており、OpenAIのbotは分けて設定できる
検索には出続けながらAI学習だけを拒否するrobots.txtの設定は、OpenAIでは公式文書がbotトークンの独立性を保証する。Google-Extendedは学習と引用を単一のトークンにまとめ、その分離を提供しない。
タグ
ai-crawler
2件の記事
AIクローラーはあなたのJavaScriptを実行しない
GPTBotもClaudeBotもJSをレンダリングしない。CSRページがAI検索に見えない理由をcurlで再現し、サーバーサイドで直す手順をまとめた。