ルールが届かないとき処理は止まらず素通りする: robots.txtとAGENTS.mdの実測
robots.txtの33セル中10セルで遮断意図のURLが通過し、AGENTS.mdは32KiBを超えると末尾の指示が6回中0回しか届かない。219回の実行はすべて終了コード0だった。宣言ファイルが壊れたとき例外は出ず、判定したパーサーの名前を先に確認してから遮断可否を読む必要がある。32KiB境界も測った。
タグ
Web標準
2件の記事
引用された一文へ戻るリンクは、コードブロックだけで切れる
自サイトのビルド成果物から69本のテキストフラグメントを作り、Chromiumで一つずつクリックして到達を記録した。散文の48本は全部届き、コードブロックは15本中14本が切れた。ブロック境界と単語境界の規則を実測で整理する。