ルールが届かないとき処理は止まらず素通りする: robots.txtとAGENTS.mdの実測
robots.txtの33セル中10セルで遮断意図のURLが通過し、AGENTS.mdは32KiBを超えると末尾の指示が6回中0回しか届かない。219回の実行はすべて終了コード0だった。宣言ファイルが壊れたとき例外は出ず、判定したパーサーの名前を先に確認してから遮断可否を読む必要がある。32KiB境界も測った。
タグ
robots.txt
2件の記事
AIクローラーをrobots.txtで正しく制御する — 学習は拒否、引用は許可する2026年の戦略
GPTBotを一行ブロックして「AI遮断完了」と思っているサイトは多い。学習・検索・ユーザー要求のクローラーを分けて制御するrobots.txtを実際に書き、標準パーサーで検証した。Google-ExtendedがAI Overviewsを止められない落とし穴と、llms.txtの正直な現状まで。