#robots-txt

Google-Extendedは学習拒否と引用許可を1つのトークンに束ねており、OpenAIのbotは分けて設定できる

検索には出続けながらAI学習だけを拒否するrobots.txtの設定は、OpenAIでは公式文書がbotトークンの独立性を保証する。Google-Extendedは学習と引用を単一のトークンにまとめ、その分離を提供しない。