규칙이 잘려도 에러는 나지 않는다 robots.txt와 AGENTS.md 219런 실측
2026년 8월 17일 세 개의 robots.txt 파서와 두 코딩 에이전트 CLI를 219번 돌렸다. 규칙이 잘리거나 잘못 읽혀도 프로세스는 0으로 끝났고 차단 의도 10셀에서 ALLOWED나 UNDEFINED가 나왔다. 32 KiB 경계와 RFC 9309 사양의 구멍을 정리한다.
태그
ai-crawlers
1개 글
태그
1개 글
2026년 8월 17일 세 개의 robots.txt 파서와 두 코딩 에이전트 CLI를 219번 돌렸다. 규칙이 잘리거나 잘못 읽혀도 프로세스는 0으로 끝났고 차단 의도 10셀에서 ALLOWED나 UNDEFINED가 나왔다. 32 KiB 경계와 RFC 9309 사양의 구멍을 정리한다.